Le fait
Le 4 novembre 2026, Together AI a publié Together Compiler (TKCC), décrit comme une boucle d'optimisation continue de l'inférence : des agents proposent des optimisations pendant que des moteurs « persistants » les rechargent à chaud, sans redémarrer tout la pile. Together affirme servir déjà des trillions de jetons avec ce système et ouvre un accès en bêta limitée pour les déploiements dédiés.
Contexte
Le blog technique avance plusieurs mesures, toutes produites par Together :
- jusqu'à 2,6 fois plus de jetons par seconde sur des modèles ouverts (Kimi K3, GLM 5.3, MiniMax M3.1-Flash, DeepSeek v4.1-Flash) en moins de 24 heures d'optimisation ;
- 1 111 jetons/s sur MiniMax M3.1-Flash et 1 205 jetons/s sur DeepSeek v4.1-Flash en latence faible (batch 1) sur le banc SemiAnalysis InferenceX / AgentX ;
- 1,7 fois plus rapide que des méga-noyaux humains sur Llama 1B, batch 1 ;
- un débit d'expérimentation annoncé 252 fois supérieur aux systèmes agents qui relancent un moteur à chaque essai.
L'idée centrale : le trafic, les architectures et le matériel changent trop vite pour figer une configuration à la main.
Pourquoi ça compte
Pour une entreprise qui héberge ses modèles, le coût d'inférence dépend moins du choix initial du moteur que de la capacité à le retoucher chaque semaine quand le trafic dérive.
Lecture Neurone21
Les records sont ceux de Together, sur ses puces et ses bases ; la bêta limitée ne dit rien du prix ni du transfert vers un cloud souverain européen. À suivre : mesures indépendantes et disponibilité hors de la plateforme Together.