Neurone21
← Wiki

Deepnote

logicielcas-usage-entrepriseMaturité : productionLicence : Agent Initiative Benchmark : Apache 2.0

Éditeur d’un carnet de données collaboratif (notebook) qui publie en novembre 2026 l’Agent Initiative Benchmark, un banc d’essai libre sur l’initiative des agents d’IA au travail.

Rôle

Deepnote édite un carnet de données en ligne où des équipes écrivent du code, des requêtes et des analyses ensemble. Son équipe de recherche publie des évaluations d’agents d’IA en situation de travail.

Points clés

  • Agent Initiative Benchmark (13 novembre 2026) : entreprise fictive PageMantle avec 11 services connectés, six ans d’historique et 10 Go de données ; 50 situations de 8 types ; deux modèles juges en aveugle ; 180 secondes par tâche ; code sous Apache 2.0 (Deepnote).
  • Résultats : GPT-6 Astra 8,97 sur 10 (0,693 dollar par tâche), GPT-6.1 Sol 8,65 (0,112 dollar), Claude Fable 5.2 8,17 (1,87 dollar) ; Grok 4.7 dernier à 4,51 ; marges d’erreur d’Astra et Sol recouvertes (Deepnote).
  • Savoir se taire : quand il fallait ne rien faire, les meilleurs modèles se sont abstenus 8 fois sur 10, la moyenne 6 fois sur 10 (Deepnote).

Limites

Banc d’essai conçu et noté par l’éditeur, sur une entreprise fictive ; les juges sont eux-mêmes des modèles d’IA.

Voir aussi

  • Fiche wiki llm-marche.

Billets Neurone21

Sources