Neurone21

Benchmarks des modèles d’IA

Mise à jour du · 24 modèles · 85 scores sourcés sur 144 cases

Ce tableau réunit les principaux modèles d’IA, propriétaires ou à poids ouverts, sur six tests reconnus et encore discriminants. Chaque score renvoie à sa source : l’éditeur du modèle, ou un évaluateur indépendant (Epoch AI, ARC Prize, LMArena, Artificial Analysis, Datacurve). Quand aucune source publique n’existe, la case reste vide.

Un score dépend de son réglage : effort de raisonnement, accès à des outils, harnais de l’agent. Le réglage est indiqué sous le score quand la source le donne. Deux scores obtenus dans des conditions différentes ne se comparent qu’avec prudence, et un benchmark ne remplace pas un test sur vos propres tâches.

Le repère peu couvert signale un modèle cité dans 3 articles Neurone21 au plus, mais qui atteint un score fort sur au moins un test. Il y en a 9 aujourd’hui : ce sont les modèles qu’on risque d’oublier.

Scores des modèles sur six benchmarks, avec prix API
ModèleGPQAHLETerminalDeepSWEARC-AGI-2ArenaPrix / M jetonsSur Neurone21
Gemini 4 ArgonGoogle · sortie le 30 septembre 2026propriétairefrontière96,4 %indépendant · effort high—57,4 %éditeur77,9 %éditeur91,3 %indépendant · effort high1 522indépendant · High2 $ / 10 $entrée / sortie, au 13 octobre 2026 · prix de lancement jusqu’au 30/11/2026, puis 4 $ / 20 $7 articlesGemini 4 Argon : sortie via FairwindGemini 4 Argon s’ouvre à l’API
DeepSeek-V4.1-Flash-1017DeepSeek · sortie le 17 octobre 2026poids ouvertsintermédiaireLicence : MIT93,2 %indépendant · effort max—42,3 %éditeur · harnais Claude Code77 %éditeur · harnais Mini-SWE-V278,1 %indépendant · effort max1 475indépendant · version du 10/09/2026, Max0,3 $ / 1,2 $entrée / sortie, au 9 novembre 2026 · tarif heures pleines ; moitié prix en heures creuses10 articlesRecursa : DeepSeek-V4.1-Flash sans enseignant plus fort
Kimi K3.1 ProMoonshot AI · sortie le 23 octobre 2026poids ouvertsfrontièreLicence : licence Kimi K3.1 Pro (maison)94,2 %indépendant · effort max70 %éditeur · avec outils, effort max65,7 %éditeur · effort max, harnais Claude Code75,5 %éditeur · effort max, harnais Claude Code———5 articlesMoonshot lance Kimi K3.1 ProLes poids de Kimi K3.1 Pro publiés sous licence maison
GPT-6 AstraOpenAI · sortie le 3 septembre 2026propriétairefrontière95,8 %indépendant · effort max57,2 %éditeur · avec outils, meilleur score tous efforts confondus57,9 %éditeur · meilleur score tous efforts confondus74,1 %indépendant · effort xhigh, harnais mini-swe-agent95 %indépendant · effort max1 474indépendant · Max10 $ / 50 $entrée / sortie, au 3 septembre 202628 articlesGPT-6 Astra en fait moins, sans le dire, sur les tâches de sécurité de l’IALes modèles d’OpenAI arrivent sur Google Cloud
Gemini 3.8 FlashGoogle · sortie le 2 septembre 2026propriétaireintermédiairepeu couvert95,4 %indépendant · effort high—19,1 %relayé73,8 %indépendant · effort high, harnais mini-swe-agent89,2 %indépendant · effort high1 498indépendant · High, score préliminaire—3 articlesGemini 4 Argon : sortie via Fairwind
MiniMax M3.1 FlashMiniMax · sortie le 19 octobre 2026poids ouvertsintermédiairepeu couvertLicence : MiniMax Community———73,7 %éditeur · harnais mini-SWE-agent 2.4.5——0,15 $ / 0,6 $entrée / sortie, au 19 octobre 20263 articlesMiniMax M3.1 Flash à 0,15 dollar le million de jetons
MiMo-V2.6-ProXiaomi · sortie le 22 septembre 2026poids ouvertsfrontièrepeu couvertLicence : poids ouverts (Xiaomi)——34,9 %éditeur71,9 %éditeur—1 480indépendant0,435 $ / 0,87 $entrée / sortie, au 9 novembre 20261 articleServerBench (papier qui cite MiMo)
Grok 4.7xAI (SpaceXAI) · sortie le 21 septembre 2026propriétairefrontière92,7 %indépendant · effort xhigh—37,6 %éditeur · effort xHigh71 %éditeur · effort high61,4 %indépendant · effort xhigh1 442indépendant · xHigh2 $ / 6 $entrée / sortie, au 21 septembre 20262 articlesGrok 4.7 : code et travail de connaissance
GLM-5.3Zhipu / Z.ai · sortie le 14 août 2026poids ouvertsfrontièreLicence : licence GLM-5.390,9 %indépendant · effort max62,5 %éditeur · avec outils—69 %indépendant · effort max, harnais mini-swe-agent—1 483indépendant · Max—6 articlesCloudflare : fuite entre clients sur GLM-5.3
Qwen3.8-MaxAlibaba (Qwen) · sortie le 2 août 2026propriétairefrontièrepeu couvert92,7 %indépendant · effort xhigh——57,5 %indépendant · effort xhigh, harnais mini-swe-agent—1 484indépendant—3 articlesCo-Design Bench : le meilleur agent de code ne termine qu’une tâche sur quatre
Qwen3.8-27BAlibaba (Qwen) · sortie le 14 août 2026poids ouvertscompactLicence : Apache 2.089,2 %éditeur——42,2 %éditeur · harnais Claude Code42,4 %indépendant · effort xhigh1 433indépendant—7 articlesCo-Design Bench, où Qwen3.8-27B se classe deuxième
GPT-6.1 SolOpenAI · sortie le 29 septembre 2026propriétairefrontière95,4 %indépendant · effort max———94,2 %indépendant · effort max1 482indépendant · Max2 $ / 10 $entrée / sortie, au 29 septembre 20267 articlesOpenAI DevDay : Dots, ChatGPT Space et GPT-6.1 Sol
GPT-6.1 TerraOpenAI · sortie le 26 octobre 2026propriétaireintermédiairepeu couvert94,3 %indépendant · effort max—50,3 %éditeur · effort max———1 $ / 5 $entrée / sortie, au 26 octobre 20261 articleGPT-6.1 Terra : OpenAI divise le prix par deux
GPT-6 LunaOpenAI · sortie le 22 septembre 2026propriétairecompact90,5 %indépendant · effort max—16,4 %relayé—59,3 %indépendant · effort max1 440indépendant · Max0,1 $ / 0,5 $entrée / sortie, au 29 septembre 202610 articlesOpenAI ouvre à tous sa Decisions API
Claude Fable 5.1Anthropic · sortie le 1 septembre 2026propriétairefrontière—65,6 %éditeur · avec outils55,8 %éditeur—90 %indépendant · effort max1 503indépendant · Max10 $ / 50 $entrée / sortie, au 9 novembre 20265 articlesGrok 4.7 face à Fable 5.1 et GPT-5.6 Sol
Claude Opus 5.5Anthropic · sortie le 22 septembre 2026propriétairefrontière90,6 %indépendant · effort max67,7 %éditeur · avec outils, effort max66,4 %éditeur · effort xhigh—93,3 %indépendant · effort high1 506indépendant · High4 $ / 20 $entrée / sortie, au 22 septembre 202615 articlesKimi K3.1 Pro, proche de Claude Opus 5.5 en code
Claude Sonnet 5.5Anthropic · sortie le 28 septembre 2026propriétaireintermédiairepeu couvert95,6 %indépendant · effort max64,5 %éditeur · avec outils70,6 %éditeur—83,9 %indépendant · effort xhigh1 472indépendant · xHigh2 $ / 10 $entrée / sortie, au 28 septembre 20262 articlesServerBench : Claude Sonnet 5.5 construit un serveur LLM
Claude Haiku 5.5Anthropic · sortie le 7 octobre 2026propriétairecompact89,6 %indépendant · effort max57,4 %éditeur · avec outils39,2 %éditeur—61,3 %indépendant · effort xhigh1 423indépendant · High0,1 $ / 0,5 $entrée / sortie, au 9 novembre 2026 · requêtes jusqu’à 100 000 jetons ; 0,50 $ / 2,50 $ au-delà2 articlesClaude Haiku 5.5 : le petit modèle pour sous-agents
Gemini 4 CarbonGoogle · sortie le 28 octobre 2026propriétairefrontièrepeu couvert——65,2 %relayé · harnais Artificial Analysis——1 527indépendant · High, score préliminaire2 $ / 10 $entrée / sortie, au 28 octobre 2026 · prix de lancement, puis 4 $ / 20 $ ; accès d’abord réservé au programme Fairwind1 articleGemini 4 Carbon, réservé d’abord aux défenseurs
Muse WonderMeta · sortie le 12 octobre 2026propriétairefrontièrepeu couvertMeta ne publie pas de score sur les tests retenus ici dans son billet de lancement.—————1 512indépendant · Max—2 articlesMeta lance Muse Wonder
Inkling 2 SmallThinking Machines Lab · sortie le 5 novembre 2026propriétaireintermédiairepeu couvertLicence : poids fermés au lancement, publication annoncée——13,1 %indépendant—81,7 %indépendant1 412indépendant · score préliminaire0,3 $ / 1 $entrée / sortie, au 9 novembre 2026 · inférence sur Tinker, la plateforme de l’éditeur1 articleThinking Machines lance Inkling 2 Small
Mistral Large 4Mistral AI · sortie le 6 octobre 2026poids ouvertsfrontièreLicence : MIT modifiée90,2 %indépendant · effort high—41 %relayé · version à poids ouverts du 29/10——1 419indépendant0,7 $ / 2,1 $entrée / sortie, au 29 octobre 20264 articlesMistral Large 4 « Le Chonk »Mistral publie les poids de Large 4
Muse Spark Open (816B-A42B)Meta · sortie le 15 octobre 2026poids ouvertsfrontièreLicence : Muse Model License88,6 %indépendant · effort xhigh———57,5 %indépendant · effort xhigh——1 articleMeta ouvre Muse Spark Open
Nemotron 3.5 Bolt 74B-A9BNVIDIA · sortie le 15 octobre 2026poids ouvertscompactLicence : OpenMDW-1.1Conçu pour tourner en local dans 24 Go de mémoire ; pas de prix API.86,4 %éditeur · version quantifiée IQ2 de 24 Go——————2 articlesNVIDIA publie Nemotron 3.5 Bolt 74B-A9B

Les six tests retenus

GPQA Diamond
Questions de niveau doctorat en biologie, chimie et physique. Au hasard, on obtient 25 %. Proche de la saturation en haut du classement.
Humanity’s Last Exam (avec outils)
Questions d’experts, toutes disciplines. Seuls les scores « avec outils » publiés par les éditeurs sont repris, pour comparer des réglages proches.
Terminal-Bench 4.0
Tâches d’agent dans un terminal (code, administration, données). Le harnais utilisé change le score.
DeepSWE v1.1
Tâches longues de génie logiciel sur de vrais dépôts. Il a pris la place de SWE-bench Verified, que les éditeurs ne publient plus pour les modèles sortis depuis l’été 2026.
ARC-AGI-2
Raisonnement abstrait sur des grilles inédites, vérifié par l’ARC Prize Foundation.
LMArena, classement texte (Elo)
Préférences d’utilisateurs en votes à l’aveugle. Mesure ce que les gens préfèrent lire, pas l’exactitude.

Le prix est celui de l’API de l’éditeur, en dollars par million de jetons, en entrée puis en sortie. Il ne dit rien du coût réel d’une tâche, qui dépend du nombre de jetons consommés.

Pour bien lire un benchmark