Aller au contenu
Tech et Web · Intelligence artificielle

Biais intersectionnels des modèles de langage : une prépublication propose la méthode ADDIS

Une prépublication déposée sur l'archive arXiv, non relue par des pairs à ce stade, propose une méthode, ADDIS, pour repérer les biais intersectionnels dans les modèles de langage. Ses auteurs estiment qu'une part des biais signalés par les audits pourrait venir d'effets d'un seul attribut, un petit noyau d'interactions survivant à cet ajustement.

Par Publié le
Tech et Web : Biais intersectionnels des modèles de langage : une prépublication propose la méthode ADDIS

Un critère qui signale trop de cas

Les grands modèles de langage (LLM, pour large language models) sont les systèmes d'intelligence artificielle qui produisent du texte. Un biais intersectionnel désigne le cas où un modèle traite une personne qui cumule plusieurs identités marginalisées autrement que ne le prévoiraient ces identités prises séparément. Les auteurs partent d'un constat : faute de référence commune sur ce que prédiraient des attributs indépendants, de nombreux audits signalent un sous-groupe, c'est-à-dire une combinaison d'au moins deux attributs, dès qu'il dépasse chacun de ses attributs pris seul. Or des attributs qui agissent chacun de leur côté remplissent déjà cette condition.

Pour tester ce critère, les auteurs ont construit 150 jeux de données synthétiques, sans aucune interaction entre attributs. Le critère usuel y signale en moyenne 66,1 faux sous-groupes par jeu de données, et au moins un dans chacun d'entre eux. Lorsqu'on ajoute des interactions de taille connue, une référence corrigée ne lui permet de retrouver que 32 % d'entre elles.

Les auteurs proposent ADDIS (Additive Intersectional Screen). La méthode ajuste d'abord un modèle additif, qui somme l'effet de chaque attribut, puis mesure l'écart de chaque sous-groupe à la prédiction de ce modèle, appelé distance résiduelle additive. Sur leur jeu de test synthétique, ADDIS signale 0,09 faux sous-groupe par jeu de données et retrouve 84 % des mêmes interactions.

Comment l'étude a été menée

Le travail combine des simulations et l'audit de modèles de langage. Dans la première partie, les interactions ajoutées ont une taille connue : on sait donc ce qui devait être retrouvé. ADDIS teste ensuite chaque écart contre une autre référence, dite de Freedman-Lane.

Dans la seconde partie, les chercheurs ont créé IndiPersona : 10 000 personas synthétiques, des profils fictifs décrits par six attributs identitaires. Ils ont audité 13 modèles de langage dits ouverts, sur 738 sous-groupes testés. Le critère usuel en signale en moyenne 7,1 %, contre 3,0 % pour ADDIS. Des personas contrefactuels servent à vérifier ces résultats.

Ce que cela change pour les audits

Si ces résultats se confirment, ils suggèrent qu'une partie des biais intersectionnels signalés par les audits pourrait provenir d'effets d'un seul attribut, et que l'absence de référence commune peut conduire à en signaler davantage. Les auteurs soulignent cependant qu'un petit noyau d'interactions subsiste.

La prépublication présente ADDIS comme un outil de tri des sous-groupes, fondé sur un modèle additif de référence. Il ne s'agit donc pas d'une conclusion sur la manière dont ces modèles se comportent envers le public.

Ce que l'étude ne prouve pas

Le cœur de la démonstration repose sur des données synthétiques. Les personas sont fictifs, et les résultats ne mesurent pas directement le traitement réel d'utilisateurs. L'audit porte sur 13 modèles seulement et sur six attributs, ce qui ne couvre ni tous les modèles ni toutes les identités possibles. Un résultat observé dans un modèle ne désigne pas, à lui seul, la cause de ce comportement.

L'interaction entre caste et classe n'apparaît que grâce aux profils contrefactuels, car le test sur données observées n'avait pas assez de données pour la détecter. Elle n'est donc pas établie par l'observation. Enfin, cette étude n'a pas encore été relue par d'autres chercheurs : une seule prépublication ne tranche pas la question.

Ce qui reste à établir

Plusieurs questions restent ouvertes : les mêmes écarts se retrouvent-ils sur des données réelles, et sur d'autres modèles que les 13 testés ? Le noyau d'interactions qui subsiste à l'ajustement additif peut-il être confirmé par l'observation, et pas seulement par des profils contrefactuels ? Ces points restent à vérifier par d'autres travaux et par une relecture par les pairs.

Sources