Le fait
Mi-décembre 2025, l’Allen Institute for AI (Ai2) publie Molmo 2, suite open de modèles vision-langage pour image, multi-images et vidéo. Variantes : Molmo 2 (8B) et (4B) sur backbone Qwen 3, plus Molmo 2-O (7B) sur Olmo (stack entièrement open). Le message choc, repris par The Robot Report le 21 décembre 2025 : le 8B surpasse le Molmo 72B de 2024 sur les benchmarks clés de pointing / grounding image, et se hisse en tête des évals Ai2 de tracking vidéo, devant plusieurs baselines open et, selon Ai2, devant Gemini 3 Pro sur le tracking multi-domaines.
Capacités nouvelles : grounding spatio-temporel au niveau frame (coordonnées pixel, positions, timestamps), tracking multi-objets avec IDs persistants malgré occlusions, counting-by-pointing, captioning dense et détection d’anomalies. Entraînement revendiqué sur moins d’un huitième des vidéos de Meta PerceptionLM — 9,19 M vs 72,5 M — avec neuf datasets open dédiés (Molmo2-Cap, VideoPoint, VideoTrack, MultiImageQA/Point, etc.). Poids, data recipes et outils d’eval sur Hugging Face / Playground Ai2 ; licence Apache 2.0 (sous réserve des datasets tiers académiques).
Contexte
Molmo 2024 avait déjà imposé le pointing comme interface de grounding open. Molmo 2 prolonge la thèse Ai2 : qualité de supervision + objectifs de grounding plutôt que scale opaque. Architecture classique VLM (vision encoder + LLM) mais connecteur qui intercale timestamps et indices d’image ; jusqu’à 128 frames à ≤2 fps, pooling 3×3, attention croisée entre tokens visuels — condition pour raisonner multi-images / vidéo. Prétrain (captioning 60 %, pointing 30 %, NLP 10 %) puis SFT multimodal 25k steps / batch 128 / contexte 16k tokens.
Sur le marché, la plupart des VLM « vidéo » restent soit descriptifs (texte libre sans preuve spatiale), soit fermés (API Gemini / GPT). Pour la robotique et l’inspection industrielle, « combien de fois le bras saisit le bloc rouge ? » exige des preuves (points + temps), pas un paragraphe. Ali Farhadi (CEO Ai2) cadre explicitement : fraction de data, impact sur tracking / grounding / multi-frame — et une brique de plus dans l’écosystème open Ai2 (Olmo + Molmo + data).
Exception notée par Ai2 : sur InfoQA, le Molmo 72B reste devant ; ailleurs (Point-Bench, PixMo-Count, CountBenchQA), le 8B gagne nettement. Sur short-video QA (MVBench, MotionQA, NextQA…), Molmo 2 mène le peloton open ; le long-video laisse encore de l’avance aux systèmes propriétaires plus gros.
Pourquoi ça compte
1. Efficacité > gigantisme. Un 8B qui bat un 72B sur le grounding change le TCO d’inférence (edge, flotte robots, on-prem EU) et la boucle fine-tuning labo. Moins de paramètres, moins de data brute, plus de localisation vérifiable.
2. Le grounding devient le produit. Coordonnées + timestamps = API exploitable pour VLA, inspection, sécurité, analytics trafic — là où une caption seule ne déclenche pas d’action. Le tracking avec IDs persistants est le chaînon manquant entre « voir » et « compter / suivre » en production.
3. Open data = reproductibilité. Neuf corpus open (>9 M d’exemples multimodaux ; captions >100k vidéos, souvent >900 mots) permettent de challenger, auditer et spécialiser — critère critique face aux stacks propriétaires Physical AI. Molmo 2-O (Olmo) offre même le contrôle bout-en-bout vision + LLM.
Limites : scores de video grounding encore bas en absolu (personne n’atteint 40 % sur le counting vidéo Ai2) ; claims « bat Gemini 3 » à lire comme évals constructeur ; usage commercial à vérifier selon licences des datasets tiers.
Lecture Neurone21
Thèse : Molmo 2 valide que le prochain différenciateur multimodal n’est pas « encore 10× de tokens vidéo », c’est la densité de supervision spatiale-temporelle. Pour une équipe FR/EU : (1) prototyper le 4B/8B sur cas inspection / téléop / QA vidéo métier avant d’acheter une API fermée ; (2) exiger en RFP des sorties groundées (points, timestamps), pas seulement du texte ; (3) croiser avec MolmoAct (ARM) — perception groundée → action ; (4) cartographier conformité data (Apache 2.0 vs clauses académiques des sources).
À suivre : API Ai2, code d’entraînement open annoncé, benchmarks indépendants tracking vs Gemini/GPT-5, et premiers déploiements robotique / industrie hors playground.
Sources : Ai2 blog — Molmo 2, 11/12/2025 · The Robot Report — Molmo 2 less data, 21/12/2025 · Business Wire — Molmo 2 release · Hugging Face — allenai/Molmo2-8B. Image : hero Molmo 2 (Ai2 / DatoCMS).