Le fait
Deepnote a publié le 13 novembre 2026 l’Agent Initiative Benchmark, un banc d’essai sous licence libre Apache 2.0. Il mesure si un agent d’IA sait quand aider, quoi dire et quand ne rien faire. Les modèles sont plongés dans PageMantle, une entreprise fictive avec 11 services connectés (messagerie, tickets, documents…), six ans d’historique et 10 Go de données. Ils doivent réagir à 50 situations de 8 types, notées par deux modèles juges qui ne savent pas quel modèle ils évaluent, avec 180 secondes par tâche.
Contexte
Sur 10, GPT-6 Astra obtient 8,97 pour 0,693 dollar par tâche, GPT-6.1 Sol 8,65 pour 0,112 dollar, Claude Fable 5.2 8,17 pour 1,87 dollar, puis Claude Opus 5.5 (7,84). Plus bas : DeepSeek V4.1 Flash (6,35), Mistral Large 4 (6,09), Gemini 4 Argon (5,60) et Grok 4.7 (4,51). Les marges d’erreur d’Astra et de Sol se recouvrent. Le point le plus parlant : quand il fallait ne rien faire, les meilleurs modèles se sont tus 8 fois sur 10, la moyenne 6 fois sur 10.
Pourquoi ça compte
La plupart des bancs d’essai mesurent si un agent réussit une tâche demandée. Celui-ci mesure l’initiative, donc les interventions inutiles : un message envoyé à tort, un ticket modifié sans raison. En entreprise, ce sont ces erreurs-là qui coûtent la confiance.
Lecture Neurone21
GPT-6.1 Sol offre presque le score d’Astra pour six fois moins cher : un bon exemple de calcul coût-efficacité. Avant de laisser un agent agir seul sur la messagerie ou les tickets, il faut le tester sur ses propres cas, y compris ceux où il doit s’abstenir. Le code publié permet de le faire.