Le fait
Le 6 novembre 2026, NVIDIA a publié un billet technique sur le collectif Reshard, avec une implémentation open source NCCL M2N Reshard, destinée à accélérer le refit : le transfert périodique des poids mis à jour depuis les GPU d’entraînement vers les GPU d’inférence pendant le post-entraînement par apprentissage par renforcement (RL).
Contexte
Pour les plus gros modèles ouverts, NVIDIA estime la charge logique d’un refit gather-and-broadcast autour de 10 To par étape (exemple : Kimi K3 à 2,8 T paramètres en BF16). Reshard reformule le problème en transfert DTensor vers DTensor : seuls les morceaux utiles circulent, avec regroupement par domaine NVLink pour éviter les doublons réseau. Dans NeMo RL, une approche hybride applique Reshard aux projections feed-forward (environ 95 % des paramètres selon NVIDIA) et garde le gather-and-broadcast pour le reste. Sur DGX H100 et GB200, NVIDIA mesure des accélérations de 2,7× à 5,7× (ex. DeepSeek v3 671B : 14,9 s → 2,6 s sur H100). Un microbenchmark cite 4,3 s pour un refit seul sur Qwen3.8 2,4 T.
Pourquoi ça compte
En RL à l’échelle du trillion de paramètres, le temps perdu à recopier les poids devient un poste de coût aussi visible que le calcul. Un collectif standard change la donne pour NeMo et les frameworks tiers.
Lecture Neurone21
Tous les chronos sont NVIDIA sur NeMo RL. À suivre : adoption hors NeMo, comportement sous reconfiguration de nœuds (shrink/grow NCCL annoncé comme travail futur), et mesures indépendantes.