Neurone21
← Wiki

METR

evaluationmodeles-iaMaturité : en activité

Organisme américain à but non lucratif qui évalue les capacités des modèles d’IA, connu pour sa mesure de l’horizon temporel des tâches réussies par les agents.

Rôle

METR évalue les capacités des modèles d’IA publics utiles à l’accélération de la recherche en IA. Sa mesure phare, l’horizon temporel, est la durée qu’il faudrait à un humain pour une tâche que le modèle réussit une fois sur deux (METR).

Points clés

  • Mise à jour du 20 novembre 2026 : modèles évalués jusqu’à Opus 5.5 et GPT-6 Astra ; horizon temporel doublant environ tous les 3,6 mois sur les jeux TH1.1 et TH2 ; modèles au niveau ou au-dessus d’humains qualifiés en code et optimisation, mais jugement inférieur aux experts sur les tâches sans retour clair (METR).
  • Évaluations conçues par l’IA : aucune jugée utilisable par les chercheurs de METR ; Opus 5.5 frôle le seuil requis (MIT Technology Review).

Limites

Durées des nouvelles tâches surtout estimées ; certaines tâches notées par une seule personne (MIT Technology Review).

Voir aussi

  • Fiche wiki anthropic.

Billets Neurone21

Sources