Relecture d'articles scientifiques par l'IA : le choix du modèle pèse plus que les outils

Il s'agit d'une prépublication : l'étude a été déposée sur arXiv, une archive en ligne où les chercheurs diffusent leurs travaux avant leur publication dans une revue. Elle n'a pas encore été relue par d'autres chercheurs. Elle porte sur la relecture automatique d'articles scientifiques, confiée à des grands modèles de langage (LLM, des programmes d'intelligence artificielle entraînés sur de très grandes quantités de textes). Ces relecteurs sont déjà utilisés à grande échelle, relèvent les auteurs, mais leur évaluation reste limitée.

Le modèle d'IA, premier facteur de détection

Le facteur qui pèse le plus sur le taux de détection est le choix du modèle. À consigne identique, trois LLM de pointe, c'est-à-dire parmi les plus avancés, diffèrent d'environ 50 points de pourcentage sur le taux de détection total, dans les deux corpus. Le taux de détection est la part des erreurs effectivement signalées par le relecteur.

Les outils et l'encadrement logiciel, c'est-à-dire l'ensemble des programmes et consignes qui entourent le modèle, aident lorsqu'ils apportent ce que le modèle ne peut pas fournir seul. En astrophysique, une configuration de Claude Code fait mieux qu'un seul appel à Claude pour repérer les erreurs de mathématiques et de calculs numériques.

Le système Skepthical fait travailler plusieurs programmes, qui se répartissent la tâche (on parle de système multi-agents). Il va chercher les articles cités pour vérifier les références, recourt à un logiciel de calcul formel (qui manipule des expressions mathématiques de façon exacte) pour les mathématiques, et exécute du code pour vérifier les chiffres. En astrophysique, il détecte nettement plus d'erreurs de citation que tous les autres systèmes testés.

Un banc d'essai avec 357 erreurs introduites

Le protocole est un banc d'essai, c'est-à-dire une épreuve commune. Les chercheurs insèrent dans de vrais articles des erreurs connues, de quatre types (problèmes généraux, mathématiques, calculs numériques et citations), à trois niveaux de gravité. Ils mesurent ensuite le taux de détection de chaque relecteur, par type d'erreur et par gravité, ainsi que son taux de faux positifs, c'est-à-dire les alertes levées à tort sur des textes où aucune erreur n'a été insérée.

Les deux corpus (ensembles de textes) comptent chacun 15 prépublications récentes d'arXiv : l'un en astrophysique, l'autre en apprentissage automatique (ML, pour machine learning). Au total, 357 erreurs ont été injectées et douze systèmes évalués : six relecteurs fondés sur un seul LLM, deux configurations de Claude Code, trois relecteurs disponibles publiquement et Skepthical. Il s'agit donc d'une expérience sur de vrais textes avec des erreurs ajoutées, et non d'un suivi de relectures réelles.

Ce que cela change pour la relecture automatique

Le résultat suggère qu'un relecteur automatique ne se juge pas d'un bloc : sa fiabilité dépend du type d'erreur, du domaine et du modèle utilisé. Le taux de faux positifs est inférieur à 10 % pour la plupart des systèmes, mais il varie avec la consigne, le modèle et l'encadrement. Les alertes sur les mathématiques sont la principale source de fausses alertes.

Pour les équipes qui utilisent ou évaluent ces outils, l'étude fournit des points de comparaison chiffrés, qui décrivent les écarts mesurés dans ce banc d'essai.

Ce que l'étude ne prouve pas

L'étude porte sur deux disciplines seulement, avec 15 articles par discipline. Ses résultats ne valent donc pas pour l'ensemble de la recherche scientifique ni pour d'autres domaines. Les erreurs ont en outre été ajoutées volontairement : elles ne sont pas forcément représentatives de celles qu'un auteur commet réellement, et le banc d'essai ne mesure pas la qualité d'une relecture réelle.

Le résultat sur les citations ne se retrouve pas en apprentissage automatique. Sur ce corpus, la détection de citations par Skepthical ne se distingue pas statistiquement de celle du meilleur LLM utilisé seul. Une hypothèse est que les modèles connaissent mieux la littérature de ce domaine. Cela reste à vérifier.

Les suites annoncées

Les chercheurs rendent publics le protocole d'évaluation, les erreurs injectées et les journaux d'arbitrage (les traces des décisions prises pour juger si une alerte est fondée), afin que le banc d'essai puisse être réutilisé.