Le fait
Le 17 novembre 2026, Runta a publié FrontierHarness Eval v1.1, mené avec l’hébergeur de modèles Baseten : 27 280 exécutions d’agents de programmation et 83 milliards de jetons. Le banc croise 22 configurations de harnais (l’outil qui pilote le modèle : boucle de travail, outils et consignes), cinq modèles ouverts (GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse et Kimi K3), 62 tâches en terminal et quatre essais par tâche. Résultat principal : 64,5 % de la dépense est allée à des exécutions qui n’ont pas réussi, dont 52,7 % pour des échecs et 11,8 % pour des dépassements de temps.
Contexte
Le modèle explique 92,8 % des écarts de coût par tâche. À modèle égal, le harnais le plus cher coûte de 1,9 à 4,9 fois plus par tâche réussie que le moins cher. Payer plus n’achète pas un meilleur taux de réussite, et le meilleur harnais change selon le modèle : Codex CLI est premier en coût avec GLM-5.3 et seizième avec Kimi K3. Avec les cinq harnais les plus rentables, 68 % à 82 % des échecs se terminent par une réponse finale assurée, et non par l’arrivée au temps limite.
Pourquoi ça compte
Raccourcir les délais d’exécution ne suffit donc pas à limiter le gaspillage : l’agent croit avoir fini. Pour les éditeurs d’outils, Runta conseille de réduire le nombre d’étapes, car chacune renvoie tout le contexte au modèle.
Lecture Neurone21
Changer de modèle sans retester son harnais revient à changer de moteur sans régler la boîte de vitesses. Pour une PME, la méthode est simple : un petit jeu de tâches internes, deux ou trois harnais, et une mesure du coût par tâche réussie plutôt que du prix au jeton.