Rôle
Runta fournit des environnements d’exécution jetables : dans son banc, chaque essai démarre dans un environnement neuf, supprimé à la fin.
Points clés
- FrontierHarness Eval v1.1 (17 novembre 2026, avec Baseten) : 27 280 exécutions, 83 milliards de jetons, 22 configurations de harnais, 5 modèles ouverts, 62 tâches, 4 essais ; 64,5 % de la dépense sur des exécutions non réussies (52,7 % échecs, 11,8 % dépassements de temps) ; le modèle explique 92,8 % des écarts de coût ; à modèle égal, de 1,9 à 4,9 fois d’écart de coût par tâche réussie entre harnais ; 216 essais de triche détectés et notés zéro (Runta).
Limites
Banc limité à des modèles ouverts servis par Baseten et à des tâches en terminal ; coûts calculés aux tarifs publics de Baseten.
Voir aussi
- Fiches wiki
deepseeketmodel-ml.
Billets Neurone21
- Agents de programmation : 64,5 % de la dépense part dans des exécutions ratées, selon 27 280 essais (18 novembre 2026)