Aller au contenu
Tech et Web · Intelligence artificielle

Des IA savent écrire et lire les poids de petits réseaux de neurones, selon une prépublication

Une prépublication déposée sur arXiv, non relue par d'autres chercheurs, examine si de grands modèles de langage savent écrire et lire les poids de petits réseaux de neurones. Les résultats suggèrent des capacités réelles, mais encore limitées.

Par Publié le
Tech et Web : Des IA savent écrire et lire les poids de petits réseaux de neurones, selon une prépublication

Cette étude est une prépublication : elle a été mise en ligne sur arXiv et n'a pas encore été relue par d'autres chercheurs. Elle répète et prolonge un travail de chercheurs du MIT (Massachusetts Institute of Technology, université américaine), qui affirmaient qu'un modèle, GPT-6 Astra, pouvait écrire en une seule réponse les poids d'un petit réseau de neurones. Les poids sont les nombres qui déterminent ce que fait un réseau de neurones, c'est-à-dire un programme informatique qui apprend à partir d'exemples.

Des réseaux écrits par une IA qui fonctionnent

Sur le jeu Breakout, les réseaux écrits par GPT-6 Astra atteignent des scores de 514, 550 et 307, contre 517 pour ceux des chercheurs du MIT. Ils fonctionnent aussi sur deux versions modifiées du jeu. Le modèle Claude Opus 5.5 sait lui aussi écrire des réseaux qui marchent, mais il est souvent à court de jetons de sortie (les unités de texte qu'un modèle peut produire en une réponse).

Le point nouveau est la traduction d'un programme en poids. Les modèles plus anciens savaient écrire une bonne règle de décision sous forme de code, une génération avant de savoir écrire des poids. Les réseaux produits se comportent comme des programmes compilés, c'est-à-dire traduits d'un langage lisible vers une forme que la machine exécute. Deux modèles ont, séparément, reconstitué en Python le réseau Breakout d'Astra, et ce code agit comme le réseau dans tous les états testés.

Le résultat est moins net pour la reconnaissance de chiffres écrits à la main : les réseaux d'Astra atteignent en moyenne 50 %, contre 82 % pour un classifieur simple (un outil qui range des données dans des catégories).

Comment ils l'ont établi

Le travail a été mené en trois jours, sous forme de reproduction puis d'extension d'expériences. Il porte sur l'écriture de poids pour des jeux, la traduction d'un programme en poids, la lecture de poids bruts et l'audit d'un réseau sans exécuter son code. Pour la lecture, les chercheurs ont conçu et entraîné eux-mêmes trois jeux nouveaux. Astra et Opus 5.5 identifient presque parfaitement le jeu auquel joue un réseau, mais Astra retrouve surtout où se trouvent les éléments du plateau et manque en grande partie le fonctionnement du jeu.

Pour l'audit, Astra examine des réseaux à partir des seuls poids. Il s'agit de repérer un petit modèle de langage empoisonné pendant son entraînement (modifié de façon malveillante à cette étape), un autre empoisonné par un entraînement supplémentaire ajouté après coup, et un adaptateur malveillant (un module ajouté à un modèle pour en modifier le comportement). Il a repéré le premier cas dans 10 essais sur 10, le second dans 7 essais sur 10, et l'adaptateur dans 23 cas sur 32. Il n'a jamais identifié le déclencheur ni le comportement malveillant.

Ce que cela change

Pour les chercheurs, ces résultats suggèrent qu'un grand modèle de langage peut aider à l'interprétabilité, c'est-à-dire à comprendre ce qui se passe à l'intérieur d'un réseau de neurones. Ils décrivent cette approche comme un outil prometteur, mais encore précoce. Dans ce test, le réseau est examiné à partir de ses seuls poids, sans exécution de son code.

Ce que l'étude ne prouve pas

L'étude se présente elle-même comme un travail précoce. Ses conclusions portent sur de petits réseaux, sur des jeux et sur un nombre réduit d'essais : un score obtenu sur un jeu, ou des résultats sur quelques dizaines de cas, ne disent pas ce qui se passe pour de grands modèles ni pour d'autres tâches.

L'audit a une limite nette : il repère qu'un réseau semble altéré, mais ne dit ni quel déclencheur active l'altération, ni quel comportement malveillant elle produit. Une détection ne décrit donc pas ce que fait le modèle.

Les modèles dont les poids sont publics (dits open-weight) sont décrits comme en retard sur les autres. Les résultats obtenus avec les modèles les plus avancés ne se transposent donc pas directement à ces derniers.

Ce qui reste à établir

La question centrale reste ouverte : la lecture de poids peut-elle aller au-delà de la couche d'entrée, c'est-à-dire de la partie du réseau qui reçoit les données ? L'étude conclut que, pour l'instant, elle se limite à cette partie et à la compilation de programmes conçus à la main.

Le résumé n'annonce pas de suite précise. Le travail doit encore être relu par d'autres chercheurs, et des tests sur des réseaux plus grands ou d'autres modèles restent à faire pour élargir ces conclusions.

Sources