Neurone21
← Papiers

RIME : Carnegie Mellon entraîne un modèle de 4 milliards de paramètres à écrire sa propre mémoire, au niveau de GPT-5.4 et Claude Opus 4.7 sur un test de code

Modeles IA

Figure 2 du billet : gain cumulé grâce à la mémoire en fonction du score cumulé sur Codebase Adaptation, le Qwen3.5-4B entraîné (étoile) face aux autres versions du même modèle, aux modèles de pointe et aux agents de code

Titre original : How to Train Memory Writing for Continual Learning (méthode RIME, pour RL for Memory & Exploration)

Auteurs : Qixin Xu, Yuxiao Qu, Ian Wu et Aviral Kumar.

Affiliation : Carnegie Mellon University (laboratoire AIRe), avec des GPU du centre CMU FLAME.

Publication : billet de recherche publié en novembre 2026 sur le site du laboratoire, hors arXiv et sans relecture extérieure. Nous n’avons trouvé ni version arXiv ni PDF à ce jour.

Liens : le billet, les tâches d’entraînement.

L’idée en bref

Un agent qui enchaîne des tâches dans le même dépôt de code devrait apprendre de ses premières tâches : où sont les tests, quelles erreurs éviter. Aujourd’hui, on lui demande en général de résumer son expérience dans un fichier de notes, comme le MEMORY.md des agents de code. RIME entraîne plutôt cette écriture. Un seul modèle joue deux rôles selon la consigne : l’acteur résout la tâche avec les notes du moment, puis le rédacteur réécrit ces notes pour la tâche suivante.

Le rédacteur est récompensé si la réussite moyenne sur les quelques tâches suivantes dépasse celle des quelques tâches précédentes. L’acteur est récompensé pour sa tâche, plus un bonus d’exploration : un modèle juge compare les notes avant et après, sans voir la tâche, et note les découvertes, les croyances corrigées, les pistes concrètes et l’absence de redite. Découverte centrale des auteurs : entraîner le seul rédacteur ne suffit pas, il faut aussi pousser l’acteur à explorer, sinon il n’a plus rien d’utile à transmettre.

Ce que montre le papier

Le test principal, Codebase Adaptation (Continual Learning Bench), enchaîne 19 corrections de bugs dans deux dépôts jamais vus (9 dans tablib, 10 dans tenacity), sur cinq passes. Le score cumulé additionne les récompenses, le gain cumulé mesure l’apport de la mémoire face au même modèle repartant de zéro à chaque tâche.

Qwen3.5-4B passe d’un score de 0,82 à 10,55, avec un gain de +2,27. Placé dans la même boucle sans entraînement, il ne fait que 1,33 ; les méthodes concurrentes CoD et SkillRise, entraînées sur les mêmes données, font 3,56 et 7,25. GPT-5.4 et Claude Opus 4.7, d’après le classement du banc, font 10,14 et 10,36. Les modèles de pointe testés par les auteurs font bien mieux en score (Claude Opus 5.5 à 17,40, GPT-6 Astra à 17,25, GPT-5.6 Sol à 15,20), mais Claude Opus 5.5 tire peu de son passé (+0,90), GPT-6 Astra autant que le 4B entraîné (+2,26), et seul GPT-5.6 Sol fait nettement plus (+4,71). Codex fait moins bien avec son historique que sans (−0,80).

Les ablations confirment le mécanisme. Sans bonus d’exploration et avec un rédacteur entraîné, le gain devient négatif. Les tâches d’entraînement, 382 suites de 12 tâches tirées de 53 dépôts, doivent aller du facile au difficile : mélangées, le score tombe à 8,05. Sur deux suites plus longues de 26 et 27 tâches, le modèle reste en tête (13,50 et 12,35). Un modèle unique pour les deux rôles fait mieux que deux modèles séparés (10,55 contre 10,07).

Les limites

Le billet n’a pas de section dédiée et pose surtout des questions ouvertes : jusqu’où la méthode généralise, et comment faire quand les tâches n’arrivent pas en suites bien définies. Nos réserves : le résultat principal repose sur une seule suite de 19 tâches et un seul modèle de 4 milliards de paramètres ; les scores de GPT-5.4 et Claude Opus 4.7 sont repris du classement, non recalculés, et les auteurs jugent eux-mêmes la comparaison inégale ; le test sur l’environnement jouet Symbolic Alchemy utilise un autre modèle, Qwen3-4B. Ce n’est pas un papier relu par des pairs.

Lecture Neurone21

Pour une entreprise qui fait travailler un agent dans la durée sur ses propres outils, le message est clair : un fichier de notes résumé à la fin de chaque tâche ne garantit pas que l’agent s’améliore, et les agents de code du marché testés ici gagnent peu, voire perdent, avec leur historique. Il vaut mieux mesurer ce gain directement, en comparant l’agent avec et sans sa mémoire sur une suite de tâches réelles. La méthode elle-même s’adresse aux équipes qui affinent un modèle ouvert : un petit modèle local entraîné ainsi peut rivaliser avec de grands modèles fermés de la génération précédente.

D’où vient ce papier

Elvis Saravia (@omarsar0) l’a recommandé le 13 novembre 2026 à 21:13 heure de Paris, en citant le post d’Aviral Kumar publié à 16:08. Nous avons lu le billet officiel. Écarts avec le post :

« Un score proche de GPT-5.4 et Claude Opus 4.7 » est exact pour le score cumulé sur Codebase Adaptation, mais ces deux références sont reprises du classement et datent d’une génération : les modèles de pointe testés par les auteurs font 15 à 17. La description des deux rôles, de la récompense du rédacteur et du juge qui compare anciennes et nouvelles notes est fidèle. Le post évoque un travail « à petite échelle », ce que confirme le billet : un seul modèle, une suite de test, pas de publication arXiv.

Pour aller plus loin

Sources