Un assistant d'IA repère les risques de corruption dans des projets de loi ukrainiens

Un outil pour signaler les dispositions à risque

Le projet décrit par l'étude consiste à passer au crible des projets de loi pour y repérer les dispositions qu'un expert en prévention de la corruption critiquerait, et à nommer pour chacune le défaut de régulation en cause. La chaîne de traitement combine un découpage du texte par des règles fixes, une évaluation de chaque disposition prise isolément par un modèle de langage, une attribution des facteurs de risque par des règles, et une supervision humaine externe.

Ce qu'ont donné les tests

Sur 100 projets de loi, la proportion de constats retrouvés parmi les dix premiers signalements de l'outil atteint 0,28 avec le modèle local Gemma 4 31B, et 0,30 avec le modèle Sonnet 5.5. Tous signalements confondus, elle se situe entre 0,43 et 0,46. Une référence figée, testée en aveugle, atteint 0,21, avec un intervalle de confiance à 95 % allant de 0,16 à 0,26. Les auteurs précisent que les scores du système ne sont pas obtenus en aveugle.

La plupart des constats manqués concernent des dispositions que l'outil a bien repérées, mais auxquelles il a attribué un autre risque. Aucun des 32 constats liés à des collisions juridiques n'a été retrouvé.

Comment l'outil a été testé

Le banc d'essai, c'est-à-dire le jeu de données servant à mesurer le système, a été construit à partir des conclusions publiées par l'Agence nationale de prévention de la corruption d'Ukraine (NAZK, selon son sigle anglais). Il regroupe 132 projets de loi et 474 constats, eux-mêmes extraits par un modèle d'IA. L'étude ne décrit pas de validation de ces constats par des experts humains.

Un constat est compté comme retrouvé lorsque l'outil vise une disposition compatible et qu'un LLM (grand modèle de langage, ici utilisé comme juge) estime que le risque est identique, mesure stricte, ou en partie identique, mesure souple. Sur 21 textes tenus à l'écart du réglage du système, la chaîne fait mieux qu'une consigne unique contenant toute la méthodologie, selon la mesure stricte, mais pas selon la mesure souple. Le modèle Opus 5.5 n'apporte rien de plus que Sonnet 5.5 dans ces essais.

Ce que cela change

On peut supposer qu'un tel outil servirait à pré-trier des projets de loi avant leur examen par des experts, qui resteraient chargés du contrôle final, comme le prévoit la supervision humaine décrite dans l'étude. Le résumé ne indique pas que l'outil est utilisé aujourd'hui par une institution.

Ce que l'étude ne prouve pas

Le premier point tient à l'absence de validation par des experts humains : les constats de référence sont extraits par un modèle, et leur concordance avec l'outil est jugée par un autre LLM. Les auteurs indiquent que les deux voies d'accès à ce juge concordent sur 73 étiquettes sur 74, ce qui ne remplace pas un contrôle humain. Les scores ne sont pas non plus obtenus en aveugle.

Un autre point tient au cadre : les résultats reposent sur un seul pays, sur les conclusions d'une seule agence, et sur 100 puis 21 projets de loi. Un résultat obtenu en Ukraine ne dit pas ce qu'il vaudrait ailleurs ni sur d'autres textes. Un score de 0,28 signifie aussi que la majorité des constats n'est pas retrouvée parmi les dix premiers signalements.

Ce qui reste à établir

Le résumé n'annonce pas de suite précise. Restent ouvertes la validation des constats par des experts humains, la question de savoir si l'outil tient sur d'autres pays et d'autres textes, et celle des 32 constats de collisions juridiques, qu'aucune des exécutions n'a retrouvés. Cela reste à vérifier par d'autres travaux.