Rôle
Deepnote édite un carnet de données en ligne où des équipes écrivent du code, des requêtes et des analyses ensemble. Son équipe de recherche publie des évaluations d’agents d’IA en situation de travail.
Points clés
- Agent Initiative Benchmark (13 novembre 2026) : entreprise fictive PageMantle avec 11 services connectés, six ans d’historique et 10 Go de données ; 50 situations de 8 types ; deux modèles juges en aveugle ; 180 secondes par tâche ; code sous Apache 2.0 (Deepnote).
- Résultats : GPT-6 Astra 8,97 sur 10 (0,693 dollar par tâche), GPT-6.1 Sol 8,65 (0,112 dollar), Claude Fable 5.2 8,17 (1,87 dollar) ; Grok 4.7 dernier à 4,51 ; marges d’erreur d’Astra et Sol recouvertes (Deepnote).
- Savoir se taire : quand il fallait ne rien faire, les meilleurs modèles se sont abstenus 8 fois sur 10, la moyenne 6 fois sur 10 (Deepnote).
Limites
Banc d’essai conçu et noté par l’éditeur, sur une entreprise fictive ; les juges sont eux-mêmes des modèles d’IA.
Voir aussi
- Fiche wiki
llm-marche.
Billets Neurone21
- Deepnote mesure si les agents d’IA savent quand intervenir et quand se taire au travail (15 novembre 2026)