Prépublication : 1,2 % à 15,7 % des affirmations de deux familles de modèles viendraient de leur mémoire

Une part des affirmations sourcées ne vient pas des documents

Ce travail est une prépublication : il a été déposé sur arXiv, un site de publication d'articles scientifiques en ligne, et n'a pas encore été relu par d'autres chercheurs. Il porte sur les systèmes dits de génération augmentée par récupération, en anglais retrieval-augmented generation (RAG). Ces systèmes cherchent des passages dans des documents, rédigent une réponse, puis y rattachent des citations.

Selon la prépublication, ces citations indiquent souvent mal l'origine de ce qu'elles accompagnent. Entre 1,2 % et 15,7 % des affirmations susceptibles d'être citées, mesurées sur deux familles de modèles, proviendraient de la mémoire paramétrique du modèle, c'est-à-dire de ce qu'il a appris pendant son entraînement, et non du contexte récupéré.

Les chiffres varient selon le modèle et selon la distance de substitution, c'est-à-dire l'ampleur de la modification apportée au passage. Dans la configuration la plus prudente, ils s'élèvent à 4,6 % et 8,5 % sur les deux modèles testés à ce niveau. Au sein d'une même famille, la part augmente avec la taille du modèle.

Comment les chercheurs ont mesuré cela

La méthode repose sur une substitution de valeur contrefactuelle. Les chercheurs remplacent un fait présent dans les passages récupérés par une version fausse, puis interrogent de nouveau le modèle. L'idée est simple : si la réponse ne change pas malgré la fausse information, elle n'a probablement pas été tirée de ce passage.

L'étude porte sur cinq tailles d'un même modèle, ainsi que sur une seconde famille de modèles servant de comparaison. Dix méthodes d'attribution ont été comparées sur les mêmes affirmations. Le résumé ne précise pas le nombre d'affirmations analysées.

Pourquoi les vérifications habituelles échouent

La vérification par inférence en langage naturel (NLI, pour natural language inference, qui teste si un passage implique une affirmation) est l'approche standard. Selon la prépublication, ses résultats sont indiscernables de ceux du hasard sur l'ensemble des modèles testés, y compris lorsqu'on se limite au passage cité.

Les auteurs concluent que la cause est structurelle : un modèle qui répond à partir de sa mémoire choisit un passage cité qui concorde avec sa réponse. Parmi les dix méthodes comparées, c'est le contraste entre la distribution du modèle avec et sans contexte qui sépare le mieux les deux origines. Pourtant, agir sur ce signal n'améliore pas l'honnêteté des attributions à ces taux de base.

Ce que cela change

Pour une personne qui lit une réponse sourcée, la présence d'une citation ne garantit pas que l'affirmation vienne du document cité. Pour les concepteurs de tels systèmes, l'étude suggère que les contrôles courants ne suffisent pas à repérer ce décalage. Le détecteur proposé n'est pas, selon ses auteurs, assez précis pour être utilisé tel quel.

Ce que l'étude ne prouve pas

Il s'agit d'un résultat de prépublication, non relu à ce stade. Les mesures portent sur des familles de modèles précises : le résumé ne dit rien de leur application à d'autres modèles ni à d'autres usages. Une affirmation venue de la mémoire du modèle peut être exacte ; le chiffre mesure l'origine, pas la justesse. Enfin, selon les auteurs, le détecteur mesure ce que le modèle savait plutôt que ce qu'il a utilisé, une limite qu'ils reconnaissent.

Ce qui reste à établir

Les auteurs désignent comme problème ouvert la séparation entre ce que le modèle savait et ce qu'il a effectivement utilisé pour répondre. Un détecteur assez fiable pour agir sur les attributions reste donc à construire. Le résumé ne détaille pas d'autres suites annoncées.