Une prépublication teste si les IA favorisent certains pays dans des travaux de sciences sociales

Ce travail est une prépublication : il a été mis en ligne sur arXiv, une archive de travaux scientifiques, avant d'être relu par d'autres chercheurs. Ses auteurs ont testé si des intelligences artificielles (IA) penchent en faveur d'un pays lorsqu'on les utilise pour des questions de sciences sociales. Dans l'ensemble, les modèles développés aux États-Unis, en Chine et en Europe ne présentent pas de biais politique dans les textes produits. Ils se distinguent en revanche par les sources qu'ils citent.

Les chercheurs notent toutefois que certaines questions comparatives, qui mettent en regard les États-Unis et la Chine, favorisent l'un des deux pays, et que cette tendance est plus marquée pour certaines questions. Les auteurs relèvent qu'un tel biais pourrait fausser des résultats de recherche, miner la crédibilité scientifique et déformer les conclusions diffusées au public.

Comment ils l'ont établi

Il s'agit d'un test de référence (en anglais « benchmark », une épreuve commune permettant de comparer des systèmes). Les chercheurs ont demandé aux IA de rédiger de courts essais sur des questions de sciences sociales. Ces questions portaient sur les deux pays, sur un seul des deux, ou étaient générales. Trois facteurs ont été variés : le type de question, le modèle testé (deux développés aux États-Unis, deux en Chine, un en Europe) et la consigne donnée, soit une demande simple, soit une demande qui attribue au modèle une identité de chercheur, générique, américain ou chinois.

Pour beaucoup de questions de sciences sociales, il n'existe pas de réponse chiffrée de référence. Les textes ont été annotés à la main, c'est-à-dire lus et évalués un par un, pour repérer le biais et l'usage des sources. Ce travail a été mené par deux chercheurs ayant une expérience des sciences sociales sur la Chine et les États-Unis. Un jugement humain de ce type peut être discuté : une autre grille de lecture pourrait classer certains textes différemment.

Ce que cela change

L'étude part d'une question précise : les modèles favorisent-ils le pays où ils ont été développés, ou les théories de sciences sociales issues des traditions universitaires de ce pays ? Pour les étudiants et les chercheurs qui demandent à une IA des pistes de recherche, cela suggère que le point de départ d'un travail peut porter un penchant, même limité à certaines questions comparatives. Les auteurs rappellent que ces outils sont de plus en plus utilisés pour générer des idées de recherche.

Le résumé ne tranche pas l'origine des penchants observés. Il pose seulement la question d'un lien possible avec le pays de développement du modèle et les traditions académiques de ce pays, sans y répondre. Un lecteur peut donc retenir que les modèles ne présentent pas, dans l'ensemble, de biais politique, mais que certaines questions comparatives penchent vers l'un des deux pays.

Ce que l'étude ne prouve pas

Le premier point est le statut du travail : c'est une prépublication, qui n'a pas encore fait l'objet d'une relecture par d'autres chercheurs. Le champ est ensuite restreint : deux pays, cinq modèles, des essais courts et une annotation faite par deux personnes. Un résultat obtenu sur ces modèles, à un moment donné, ne vaut pas automatiquement pour d'autres IA, d'autres pays, d'autres consignes ou l'ensemble des questions de sciences sociales.

Un penchant constaté dans un texte ne dit pas à lui seul pourquoi il apparaît. Le résumé ne démontre aucune cause : il relève des différences et des tendances, et les met en regard de la question d'un lien possible avec le pays de développement et les traditions académiques, sans l'établir.

Ce qui reste à établir

Le résumé ne précise pas quelles questions comparatives penchent vers un pays, ni pourquoi. Il ne détaille pas non plus l'effet de la consigne, en particulier de l'identité de chercheur attribuée au modèle, qui faisait partie des conditions testées. Le résumé n'annonce pas de suite précise. Les auteurs appellent à la prudence pour les chercheurs et étudiants qui recourent à l'IA en sciences sociales.