Neurone21

Benchmarks des modèles d’IA

Mise à jour du · 24 modèles · 85 scores sourcés sur 144 cases

Ce tableau réunit les principaux modèles d’IA, propriétaires ou à poids ouverts, sur six tests reconnus et encore discriminants. Chaque score renvoie à sa source : l’éditeur du modèle, ou un évaluateur indépendant (Epoch AI, ARC Prize, LMArena, Artificial Analysis, Datacurve). Quand aucune source publique n’existe, la case reste vide.

Un score dépend de son réglage : effort de raisonnement, accès à des outils, harnais de l’agent. Le réglage est indiqué sous le score quand la source le donne. Deux scores obtenus dans des conditions différentes ne se comparent qu’avec prudence, et un benchmark ne remplace pas un test sur vos propres tâches.

Le repère peu couvert signale un modèle cité dans 3 articles Neurone21 au plus, mais qui atteint un score fort sur au moins un test. Il y en a 9 aujourd’hui : ce sont les modèles qu’on risque d’oublier.

Scores des modèles sur six benchmarks, avec prix API
ModèleGPQAHLETerminalDeepSWEARC-AGI-2ArenaPrix / M jetonsSur Neurone21
Nemotron 3.5 Bolt 74B-A9BNVIDIA · sortie le 15 octobre 2026poids ouvertscompactLicence : OpenMDW-1.1Conçu pour tourner en local dans 24 Go de mémoire ; pas de prix API.86,4 %éditeur · version quantifiée IQ2 de 24 Go——————2 articlesNVIDIA publie Nemotron 3.5 Bolt 74B-A9B
Claude Haiku 5.5Anthropic · sortie le 7 octobre 2026propriétairecompact89,6 %indépendant · effort max57,4 %éditeur · avec outils39,2 %éditeur—61,3 %indépendant · effort xhigh1 423indépendant · High0,1 $ / 0,5 $entrée / sortie, au 9 novembre 2026 · requêtes jusqu’à 100 000 jetons ; 0,50 $ / 2,50 $ au-delà2 articlesClaude Haiku 5.5 : le petit modèle pour sous-agents
GPT-6 LunaOpenAI · sortie le 22 septembre 2026propriétairecompact90,5 %indépendant · effort max—16,4 %relayé—59,3 %indépendant · effort max1 440indépendant · Max0,1 $ / 0,5 $entrée / sortie, au 29 septembre 202610 articlesOpenAI ouvre à tous sa Decisions API
Qwen3.8-27BAlibaba (Qwen) · sortie le 14 août 2026poids ouvertscompactLicence : Apache 2.089,2 %éditeur——42,2 %éditeur · harnais Claude Code42,4 %indépendant · effort xhigh1 433indépendant—7 articlesCo-Design Bench, où Qwen3.8-27B se classe deuxième

Les six tests retenus

GPQA Diamond
Questions de niveau doctorat en biologie, chimie et physique. Au hasard, on obtient 25 %. Proche de la saturation en haut du classement.
Humanity’s Last Exam (avec outils)
Questions d’experts, toutes disciplines. Seuls les scores « avec outils » publiés par les éditeurs sont repris, pour comparer des réglages proches.
Terminal-Bench 4.0
Tâches d’agent dans un terminal (code, administration, données). Le harnais utilisé change le score.
DeepSWE v1.1
Tâches longues de génie logiciel sur de vrais dépôts. Il a pris la place de SWE-bench Verified, que les éditeurs ne publient plus pour les modèles sortis depuis l’été 2026.
ARC-AGI-2
Raisonnement abstrait sur des grilles inédites, vérifié par l’ARC Prize Foundation.
LMArena, classement texte (Elo)
Préférences d’utilisateurs en votes à l’aveugle. Mesure ce que les gens préfèrent lire, pas l’exactitude.

Le prix est celui de l’API de l’éditeur, en dollars par million de jetons, en entrée puis en sortie. Il ne dit rien du coût réel d’une tâche, qui dépend du nombre de jetons consommés.

Pour bien lire un benchmark