IA : sur Chatbot Arena, la part des votes jugeant les deux réponses mauvaises augmente pour des modèles figés

Il s'agit d'une prépublication : le travail n'a pas encore été relu par d'autres chercheurs. Les résultats décrits ici sont donc à prendre avec cette réserve, et une seule étude ne suffit pas à trancher la question.

Ce que l'étude observe

Les auteurs ont analysé 1 260 967 votes recueillis sur Chatbot Arena, une plateforme publique où un internaute compare les réponses de deux modèles de langage anonymes, sans connaître leur identité. Il peut choisir la meilleure réponse, ou indiquer que les deux réponses sont mauvaises. Les votes couvrent la période de mai 2023 à août 2024.

Pour des paires de modèles restées inchangées, la part des votes jugeant les deux réponses mauvaises augmente de 1,71 point de pourcentage par mois, avec une part moyenne de 17,1 %. En 2024, la hausse atteint 1,91 point par mois. Sur quatorze paires de modèles observées souvent en 2023 comme en 2024, cette part monte dans les quatorze cas, de 15,5 % à 23,3 %.

En revanche, le classement ne dérive pas : en 2024, la part des votes qui désignent le modèle le plus fort comme meilleur reste stable.

Comment l'étude sépare les deux explications

L'hypothèse testée est double : soit les modèles ont changé, soit les personnes qui les jugent ont changé d'exigence. Pour les départager, l'étude ne retient que des modèles dont la version est figée : des versions datées publiées par les éditeurs, ou des modèles dont les paramètres internes (les poids) sont publics et fixes.

Les chercheurs suivent aussi les mêmes votants dans le temps et comparent des groupes définis par la date de leur premier vote. La hausse persiste dans chacun des contrôles effectués : consigne donnée aux modèles, langue (dans toutes les grandes langues testées), modèles dont la longueur des réponses est stable, et entre deux changements d'interface de la plateforme. Enfin, un effet mensuel estimé à partir des paires d'autres modèles suffit à retirer cette hausse des paires de chaque modèle : la tendance est donc partagée entre les modèles.

Ce que cela change

Si la hausse vient des personnes qui jugent, un modèle resté identique peut sembler perdre en qualité. Selon les auteurs, cette hausse correspond à un standard qui suit les progrès du domaine : un produit qui stagne y est jugé en déclin. Les verdicts absolus sur l'IA ont donc dérivé, alors que les comparaisons relatives entre modèles sont restées stables.

Les auteurs estiment aussi que cette dérive compte pour les classements de modèles et pour les retours humains utilisés pour entraîner les modèles. On peut en déduire qu'un classement établi à partir de votes étalés sur plusieurs mois compare des exigences qui ont pu évoluer entre-temps.

Ce que l'étude ne prouve pas

L'étude établit un lien dans le temps entre la date des votes et la part des votes jugeant les deux réponses mauvaises. Elle ne démontre pas à elle seule que l'exigence des votants en soit la cause, même si les contrôles réduisent les autres explications possibles.

Les votants sont des personnes qui choisissent de participer à une plateforme publique. Ils ne forment sans doute pas un échantillon représentatif de tous les utilisateurs de ces assistants. Par ailleurs, l'étude ne porte que sur des modèles dont la version est figée : elle ne permet donc pas de conclure sur les modèles dont la version change.

Ce qui reste à établir

Reste à établir la cause exacte de la hausse, c'est-à-dire ce qui a changé dans la façon de juger les réponses, ainsi que l'effet précis de cette dérive sur les classements et sur les retours humains servant à entraîner les modèles. Une relecture par d'autres chercheurs reste nécessaire pour confirmer ces résultats.