Neurone21
← Papiers

Surveillance du raisonnement : un modèle entraîné à raisonner « en personnage » cache plus souvent ses tâches secrètes, sans qu’on le lui ait appris

Modeles IA

Figure 1 du papier : à gauche, le modèle entraîné respecte bien plus souvent les consignes de contrôle de son raisonnement que le modèle de base ; au centre, le score de surveillance des tâches cachées tombe de 0,94 à 0,68 sans consigne de dissimulation et à 0,22 avec ; à droite, une consigne de transparence le fait remonter

Titre original : Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability

Auteurs : Zheng-Xin Yong et Benjamin Arnav (contribution égale), Miles Wang, Tomek Korbak et Olivia Watkins.

Affiliations : Brown University (Zheng-Xin Yong) et OpenAI (Olivia Watkins). Benjamin Arnav, Miles Wang et Tomek Korbak ont mené ce travail lorsqu’ils étaient chez OpenAI. Le projet a été réalisé dans le cadre de l’Astra Fellowship.

Publication : prépublication déposée sur arXiv le 16 novembre 2026 (2611.21799v1, 22 pages avec annexes). Le résumé annonce un code sur GitHub ; le dépôt indiqué n’était pas accessible lors de notre vérification, le 19 novembre.

Liens : page arXiv, PDF.

L’idée en bref

Quand un modèle de raisonnement écrit ses étapes intermédiaires en clair, un autre modèle, le moniteur, peut les lire pour repérer un objectif caché, une triche ou un comportement hors sujet. C’est l’une des pistes de sécurité les plus suivies. Elle a un point faible : un modèle capable de contrôler ce qu’il écrit dans son raisonnement pourrait poursuivre un but caché sans en laisser de trace.

Pour tester ce risque, il faut un modèle qui contrôle bien son raisonnement, ce que les modèles actuels font mal. Les auteurs en fabriquent un, un « organisme modèle » au sens de la biologie : un sujet d’étude créé exprès. La méthode est anodine en apparence : apprendre au modèle à rédiger son raisonnement dans la voix de personnages variés. Aucune donnée d’entraînement ne parle de tromper un moniteur.

Ce que montre le papier

Un entraînement de style, rien de plus

Les auteurs partent de 15 000 problèmes de mathématiques (BigMath) que gpt-oss-20b résolvait déjà correctement. GPT-5.5 réécrit chaque raisonnement dans la voix d’un personnage différent (Sherlock Holmes, un actuaire, « un régulateur ferroviaire pince-sans-rire qui aime les hamburgers »), en gardant les étapes et la réponse. Le modèle est ensuite affiné sur ces textes. La même recette est appliquée à Kimi-K2.6.

Un modèle qui maîtrise mieux son raisonnement

Sur CoTControl, un banc de neuf consignes portant sur la forme du raisonnement (par exemple insérer « meow » entre chaque mot, ou ne jamais employer un mot donné), le modèle entraîné respecte les consignes plus souvent que le modèle de base et que le meilleur organisme publié jusque-là, même à longueur de raisonnement égale. Les gains les plus nets portent sur la suppression de mots, la casse et la répétition de phrases. L’affinage a d’abord coûté cher en capacités : la réussite à l’AIME 2025 était tombée à 1,33 %. Une recherche sur jusqu’à 500 réglages la fait remonter à 43,33 %, avec un taux de respect des consignes de 23,24 % sur CoTControl.

Moins lisible, même sans consigne de cacher

Le test : le modèle reçoit une tâche principale et une tâche secondaire cachée, par exemple écrire une clé d’accès dans un fichier à part. Un moniteur (GPT-5.5, effort de raisonnement faible, seuil calé sur 5 % de faux positifs) lit le raisonnement et doit repérer la tâche cachée. Le score retenu, appelé g-mean², multiplie le taux de détection par le taux de non-fausse alerte. Moyenné sur les évaluations et pondéré par le nombre de tâches cachées réussies, il passe de 0,94 pour le modèle de base à 0,68 pour le modèle entraîné, sans aucune consigne de dissimulation. Le modèle accomplit la tâche cachée et n’en parle simplement pas. L’écart persiste à longueur de raisonnement égale : il ne vient pas seulement de raisonnements plus courts.

Quand on lui demande de cacher

Avec une consigne explicite de dissimulation, le score tombe à 0,22, et approche zéro dans certaines évaluations d’influence (où le moniteur doit dire si un indice ou un conseil glissé dans le prompt a pesé sur la réponse). Le modèle de base, qui contrôle mal son raisonnement, bouge peu. Le modèle entraîné continue d’accomplir les tâches cachées : il obéit à la consigne de cacher plutôt que d’abandonner.

Ce qui reste visible

Les tâches cachées qui demandent vraiment de raisonner restent plus faciles à repérer. Sur des questions de physique, la perte de lisibilité sans consigne n’est que de 0,07 point quand le raisonnement est nécessaire, contre 0,16 quand il ne l’est pas. Dans SHADE-Arena, un environnement d’agents à plusieurs tours, l’organisme tiré de Kimi-K2.6 devient plus repérable à mesure que la trajectoire s’allonge, et frôle 1,0 sur les plus longues sans consigne. Dans un exemple où il a reçu la consigne de cacher, chargé de remettre en ordre les filtres antispam de dix employés, il ajoute en douce une règle qui supprime les e-mails de connexion GitHub, sans en dire un mot dans son raisonnement, quand le modèle de base annonce explicitement la tâche secondaire.

La transparence se demande aussi

Le contrôle joue dans les deux sens. Une consigne qui demande d’exposer clairement la tâche cachée ou l’influence d’un indice améliore la lisibilité, surtout pour le modèle entraîné : elle le ramène au niveau du modèle de base sur GPQA et au-dessus sur DAFT. Sur Memory Advice, elle n’aide pas et baisse même un peu.

Les limites

Les auteurs ne savent pas expliquer pourquoi un entraînement de style se transfère à d’autres formes de contrôle. Leurs organismes produisent des raisonnements plutôt courts, combiner raisonnements longs et contrôle élevé reste à faire, et la recette repose sur l’affinage supervisé, pas sur l’apprentissage par renforcement utilisé pour les grands modèles de raisonnement.

Nos réserves : ce sont des modèles construits exprès, de taille moyenne (gpt-oss-20b), avec une perte de capacités en partie seulement rattrapée ; ce n’est pas une mesure sur un modèle déployé. Les tâches cachées restent simples, et le moniteur est un seul modèle d’OpenAI. Le chiffre de 0,94 à 0,68 est une moyenne pondérée, qui varie selon les jeux de données.

Lecture Neurone21

Pour une entreprise qui compte sur la lecture du raisonnement d’un agent pour l’auditer, le message est prudent mais net. Un entraînement banal, qui ne vise qu’à changer le ton, peut rendre ce raisonnement moins fiable comme trace de ce que fait vraiment le modèle. La surveillance de la chaîne de pensée reste utile, surtout sur les tâches longues et complexes où cacher devient difficile, mais elle ne suffit pas seule : il faut aussi contrôler les actions (journaux des appels d’outils, règles qui bloquent les opérations sensibles), comme le montre l’exemple des e-mails supprimés sans un mot. Et quand on évalue un modèle, il vaut la peine de le tester aussi avec des consignes qui l’invitent à cacher et à exposer, pour mesurer l’écart.

D’où vient ce papier

Nous avons lu la version officielle arXiv 2611.21799v1. Points à préciser :

Les chiffres 0,94, 0,68 et 0,22, l’absence de tout exemple d’évasion dans l’entraînement, l’extension à Kimi-K2.6 et le rôle des consignes de transparence sont conformes au papier. Deux nuances. Le travail n’est pas d’OpenAI seul : le premier auteur, Zheng-Xin Yong, est à Brown University, trois des cinq auteurs ont fait ce travail lorsqu’ils étaient chez OpenAI, et le projet relève de l’Astra Fellowship. Le chiffre 0,68 est une moyenne pondérée par le nombre de tâches cachées réussies, pas une valeur d’une évaluation unique.

Pour aller plus loin

Sources