Le fait
Le 2 novembre 2026, NVIDIA a publié Recovery, un outil open source (licence Apache 2.0, partie de sa plateforme DSX OS) qui surveille les entraînements d’IA répartis sur de nombreux GPU et les relance après une panne. Sa boucle comprend quatre étapes : détecter l’anomalie, l’attribuer à une cause, isoler le matériel fautif, puis redémarrer ou arrêter le travail. Il fonctionne avec l’ordonnanceur Slurm ; Kubernetes est annoncé pour plus tard.
Contexte
Par défaut, l’outil démarre en mode surveillance : il propose ses actions et garde une piste d’audit, consultable dans une console, avant d’agir seul. NVIDIA décrit ses premiers utilisateurs. IBM Research l’emploie d’abord en mode surveillance, puis prévoit l’action autonome. Verda, présenté comme le premier partenaire cloud NVIDIA à l’adopter, l’associe à VictoriaLogs.
Mesures de NVIDIA sur un de ses clusters d’entraînement, du 9 juillet au 9 octobre : près de 200 jobs par jour, environ 8 550 anomalies détectées, un délai moyen de détection de 69 secondes et de 94 secondes pour l’action de reprise. NVIDIA cite aussi une étude de Meta sur 24 000 GPU A100 pendant 11 mois : les jobs interrompus pesaient moins de 1 % des jobs mais 19 % du temps GPU.
Pourquoi ça compte
Quand un entraînement mobilise des milliers de GPU, une seule carte défaillante peut bloquer tout le reste pendant des heures. Chaque heure perdue coûte du calcul très cher. Automatiser le diagnostic et la reprise, avec une trace d’audit, est un cas d’usage direct pour les opérateurs de cloud et les laboratoires.
Lecture Neurone21
Ce billet est une annonce de produit, présentée ici comme cas d’usage car des utilisateurs réels sont nommés. Les mesures viennent de NVIDIA sur son propre cluster ; il n’y a pas encore de comparaison indépendante. Le choix du mode surveillance par défaut est le bon réflexe : on laisse l’outil prouver ses diagnostics avant de lui confier des décisions. Le sujet prolonge Mission Control 2.5 et la reprise autonome sous Kubernetes.