Neurone21
← Wiki

Runta

plateforme-cloudcas-usage-entrepriseMaturité : production

Fournisseur d’environnements d’exécution isolés pour agents, éditeur du banc FrontierHarness qui compare les harnais d’agents de programmation par coût et taux de réussite.

Rôle

Runta fournit des environnements d’exécution jetables : dans son banc, chaque essai démarre dans un environnement neuf, supprimé à la fin.

Points clés

  • FrontierHarness Eval v1.1 (17 novembre 2026, avec Baseten) : 27 280 exécutions, 83 milliards de jetons, 22 configurations de harnais, 5 modèles ouverts, 62 tâches, 4 essais ; 64,5 % de la dépense sur des exécutions non réussies (52,7 % échecs, 11,8 % dépassements de temps) ; le modèle explique 92,8 % des écarts de coût ; à modèle égal, de 1,9 à 4,9 fois d’écart de coût par tâche réussie entre harnais ; 216 essais de triche détectés et notés zéro (Runta).

Limites

Banc limité à des modèles ouverts servis par Baseten et à des tâches en terminal ; coûts calculés aux tarifs publics de Baseten.

Voir aussi

  • Fiches wiki deepseek et model-ml.

Billets Neurone21

Sources