Une prépublication suggère qu'un modèle de langage retrouve une compétence écartée de son entraînement
Une prépublication, non relue par d'autres chercheurs, décrit des expériences sur des modèles de langage, ces programmes qui apprennent à partir de grandes quantités de textes et de données. Quand on retire à un modèle les données d'une compétence pendant son entraînement, les progrès généraux du modèle sur le reste de ses données semblent tenir lieu des données retirées, et la compétence peut être reprise avec une petite fraction des données initiales.
Le résultat
Un modèle de langage apprend à partir de vastes ensembles de données : textes, parties de jeu, suites de symboles. Les développeurs peuvent retirer de ces données le signal d'entraînement d'une compétence, pour empêcher qu'un modèle apprenne une capacité pouvant être détournée. Cette étude montre que ce retrait retarde la compétence sans la rendre impossible à acquérir : les progrès généraux du modèle sur le reste de ses données semblent tenir lieu des données retirées.
L'expérience a porté sur des modèles appris à jouer aux échecs et à Othello, un jeu de plateau, sur des chaînes de signes décrivant des molécules, sur des langages de parenthèses équilibrées et sur du texte du web. Pour les échecs, un modèle qui n'avait jamais été explicitement entraîné à répondre à l'échec, c'est-à-dire à une position où le roi est directement menacé, classait les coups légaux presque aussi bien qu'un modèle qui l'avait été.
Une fois entraînés sur les données retirées, les modèles ont acquis la compétence avec une petite fraction des données nécessaires au départ, et cette fraction baissait à mesure que les modèles progressaient. Une règle de difficulté équivalente, servant de témoin, a été apprise beaucoup plus lentement. Un langage de programmation retiré des textes d'entraînement d'un modèle de 7 milliards de paramètres, c'est-à-dire de valeurs internes ajustées pendant l'apprentissage, a été retrouvé de la même façon.
Comment ils l'ont établi
Il s'agit d'expériences menées sur des modèles, et non sur des personnes. Le principe : pour une compétence donnée, les chercheurs retirent le signal d'entraînement qui la concerne, puis observent quand le modèle acquiert de nouveau la compétence et avec combien de données une fois qu'on la lui réapprend. Le retard d'une compétence dans les grands modèles a été prédit à partir de modèles plus petits. Le résumé ne donne ni le nombre de modèles testés, ni la taille exacte des jeux de données, ni la durée des entraînements.
Ce que cela change
Pour les développeurs qui filtrent leurs données d'entraînement, l'étude indique qu'un tel filtrage retarde une capacité sans la supprimer : elle peut être regagnée, avec des données dont la quantité diminue à mesure que les modèles progressent. On peut en déduire qu'un retrait de données ne suffirait pas à écarter durablement une capacité, puisque sa reprise demande de moins en moins de données. Cette déduction reste à vérifier sur des modèles réels.
Dans ces expériences, le retard d'une compétence a pu être anticipé à partir de modèles plus petits, ce qui suggère qu'un tel retard peut se prévoir à l'avance, dans ce cadre précis.
Ce que l'étude ne prouve pas
Le travail n'a pas encore été relu par d'autres chercheurs. Le résumé ne donne pas les chiffres précis de la fraction de données nécessaire, et il ne détaille pas les méthodes.
Les expériences portent sur des jeux, des chaînes de symboles chimiques, des langages formels et du texte du web. Pour le langage de programmation, la reprise a été observée sur un modèle de 7 milliards de paramètres. Elles ne montrent pas qu'une capacité pouvant être détournée, dans un modèle d'usage courant, se comporte de la même façon. Un résultat sur des modèles de jeux ne vaut pas automatiquement pour les grands modèles.
La baisse de la fraction de données avec les progrès du modèle est une observation sur les modèles testés ; elle ne dit pas pourquoi le phénomène se produit. Le résumé ne mesure pas non plus l'usage réel des capacités reprises : il décrit un retard et une reprise à moindre coût, mais ne dit pas si ce retard suffit à empêcher un détournement.
Ce qui reste à établir
Le résumé pose deux questions : combien de temps dure le retard, et combien de données il faut vraiment pour retrouver une compétence. L'étude ne les tranche pas pour les grands modèles réels. Restent ouvertes la transposition à des capacités plus complexes, à d'autres modèles et à d'autres échelles que celles testées, ainsi que la question de savoir si la baisse observée se poursuit. Le résumé n'indique pas de suites précises annoncées par les auteurs.
- arXiv (prépublication), 18 novembre 2026