Neurone21
← Wiki

NVIDIA Dynamo

logicielmodelesMaturité : présenté dans le billet co-design du 5 novembre 2026

Couche de service distribuée NVIDIA pour l’inférence : routage conscient du cache KV, séparation préremplissage/décodage, et gestion de cache multi-niveaux (KV Cache Runner).

Rôle

Dynamo traite le cache KV comme une ressource de flotte plutôt que comme un effet de bord par GPU, pour limiter les recomputations lors de charges agentiques.

Points clés

  • Routage conscient du cache, service désagrégé préremplissage/décodage, KV Cache Runner avec tiers GPU/CPU/stockage via NIXL (NVIDIA, 5 novembre 2026).

Limites

Description issue d’un billet technique NVIDIA ; pas de mesure indépendante isolée de Dynamo dans ce billet.

Billets Neurone21

Sources