Le fait
Le 5 novembre 2026, NVIDIA a publié un billet technique sur la co-conception de la mémoire dans une « usine d'IA ». Le point central : sur le banc SemiAnalysis AgentX, le rack Vera Rubin NVL72 délivre jusqu'à 30 fois le débit par mégawatt du GB300 NVL72, alors que chaque GPU conserve 288 Go de mémoire HBM. Les chiffres viennent de NVIDIA.
Contexte
Le billet présente cinq leviers qui, selon NVIDIA, font travailler chaque octet plus utilement :
- NVFP4 : format de calcul sur 4 bits qui réduit l'empreinte des poids d'environ 3,5 fois face à FP16 et 1,8 fois face à FP8, et qui peut aussi compresser le cache KV (la mémoire des jetons déjà calculés) ;
- le parallélisme d'experts large dans TensorRT-LLM, qui répartit les experts d'un modèle à mélange d'experts sur huit GPU ou plus pour laisser plus de HBM au cache ;
- Dynamo, la couche de service distribuée : routage conscient du cache KV, séparation préremplissage / décodage, et un « KV Cache Runner » qui range les blocs de cache entre GPU, CPU et stockage ;
- le processeur Vera (88 cœurs Olympus, jusqu'à 1,5 To de LPDDR5X, lien NVLink-C2C à 1,8 To/s) pour garer le cache pendant les appels d'outils ;
- CMX, un étage de stockage flash partagé au niveau du pod, pensé pour le cache KV.
NVIDIA ajoute que NVFP4 est devenu la précision par défaut de plusieurs bancs « agents » ouverts, et cite jusqu'à 4 fois le débit par mégawatt face à une base FP8 sur DeepSeek R1 / GB300.
Pourquoi ça compte
Les usines d'IA se heurtent d'abord au coût et à la rareté de la mémoire rapide, pas seulement au nombre de GPU. Une hausse de débit par watt change le coût d'une requête d'agent et la densité d'un datacenter.
Lecture Neurone21
Tous les gains sont mesurés par NVIDIA, souvent « jusqu'à », sur des bancs choisis. Le billet ne donne pas de date de livraison des racks Vera Rubin ni de mesures indépendantes. À suivre : les premières mesures de tiers sur machines réelles et le coût réel de CMX dans un pod.