Le fait
Une équipe d’Alibaba (Token Hub), de l’université Fudan, de l’université chinoise de Hong Kong et d’autres établissements a publié Co-Design Bench, un banc d’essai pour agents de code relayé le 8 novembre 2026. Il compte 273 tâches de modification d’applications web, tirées de 37 463 demandes réelles issues de 26 314 sessions de code, avec 2 331 critères d’acceptation cachés rédigés par des experts. Sur dix modèles testés dans le même environnement (celui de Claude Code), GPT-6 Astra arrive en tête : il remplit en moyenne 69,9 % des critères d’une tâche, mais ne réussit entièrement que 26,4 % des tâches.
Contexte
Les auteurs ont privilégié les demandes qui avaient déjà posé problème : reformulées plusieurs fois ou annulées par l’utilisateur. Une partie des tâches s’appuie sur des images, de l’audio, de la vidéo ou des documents (extraire un montant d’un reçu et mettre à jour tous les totaux qui en dépendent, par exemple). La notation passe par un juge automatique qui teste l’application dans un navigateur, puis par un second vérificateur qui conteste chaque verdict positif et traque les résultats codés en dur. Astra réussit 41 % des tâches multimodales mais 17,9 % seulement des modifications de dépôt complet. Derrière lui viennent Claude Opus 5 et Qwen3.8-Max ; Grok 4.6 est dernier. Sur un banc plus ancien (WebCompass-edit), Claude Opus 4.8 atteint 99,4 % en mode agent.
Pourquoi ça compte
L’étude montre aussi que l’environnement d’exécution de l’agent, le « harnais » (le programme qui lui permet de lire, écrire et lancer du code), pèse autant que le modèle : Qwen3.8-27B passe de 0,749 à 0,560 de complétion sur les modifications de dépôt selon le harnais utilisé. Un classement qui ne cite que le modèle ne dit donc qu’une partie de l’histoire.
Lecture Neurone21
Pour une entreprise, la leçon est concrète : un agent qui fait 70 % du travail laisse presque toujours un détail à reprendre, et c’est ce détail qui coûte en relecture. Il faut tester le couple modèle et harnais sur ses propres tâches. Limites déclarées : une seule demande figée par tâche, sans échange avec l’utilisateur, et des juges automatiques qui peuvent se tromper.