Santé mentale : ce que recommandent 41 modèles d'IA selon qui pose la question

Des internautes posent déjà des questions de santé mentale à des modèles de langage, ces systèmes d'intelligence artificielle qui produisent des textes à partir de très vastes corpus de données. Cette étude est une prépublication, déposée sur l'archive arXiv : elle n'a pas encore été relue par d'autres chercheurs, et ses résultats doivent être lus avec cette réserve.

Des recommandations qui changent avec la position de l'interlocuteur

Les auteurs ont soumis les mêmes informations cliniques à 41 modèles, depuis trois positions de départ : un clinicien décrivant un patient, un proche aidant décrivant un proche, ou une personne se décrivant elle-même. Ils constatent que les recommandations diffèrent selon cette position. Beaucoup de modèles répondent aux cliniciens sur un mode proche de la consultation professionnelle, tandis qu'ils donnent aux particuliers des conseils assortis de précautions et simplifiés.

Un second constat nuance le premier. D'une manière générale, les modèles recommandent surtout ce qu'ils notent bien. Mais, lorsqu'on leur demande des recommandations pour un type d'intervention précis, ils citent plus souvent en premier choix des options qu'eux-mêmes avaient notées en dessous de zéro, le plus souvent avec des conditions.

Comment l'étude a été menée

Il s'agit d'un audit de réponses. Les chercheurs ont interrogé 41 modèles de langage sur 19 scénarios de cas cliniques et cinq questions, et recueilli 35 055 réponses rédigées en texte libre. Un outil automatique, décrit comme validé, a relevé chaque intervention citée, c'est-à-dire chaque traitement, démarche ou orientation proposée. Ensuite, 29 modèles ont noté la liste complète des options pour les mêmes cas, sur une échelle de notation en sept degrés dont les valeurs passent sous zéro.

Il s'agit donc de cas standardisés et de réponses écrites, non de conversations réelles avec des personnes. Le résumé ne détaille ni les scénarios, ni la liste des modèles testés.

Ce que cela change

Pour quelqu'un qui pose une question de santé mentale à un chatbot, l'étude indique que la réponse dépend de la manière dont la situation est présentée. Un même dossier peut ainsi donner lieu à des réponses de nature différente, qu'il soit décrit par un professionnel, par un proche ou par la personne concernée. Pour beaucoup de modèles, les réponses adressées aux particuliers sont plus prudentes et plus simples ; l'étude ne dit pas si cela les aide ou non.

Ce que l'étude ne prouve pas

Le résumé ne formule pas de limites explicites, mais la méthode en impose plusieurs. Décrire des écarts entre positions ne dit pas pourquoi les modèles répondent ainsi : l'étude constate une différence, elle n'en établit pas la cause. Les résultats portent sur 41 modèles, 19 scénarios et cinq questions : ils ne disent pas ce que donneraient d'autres modèles, d'autres formulations ou d'autres cas, ni si ces recommandations ont un effet sur les personnes.

Autre point : les notes elles-mêmes ont été attribuées par des modèles, et le résumé ne dit pas si elles ont été comparées à l'avis de professionnels de santé mentale. Enfin, une prépublication non relue ne suffit pas à juger l'ensemble de ces outils : cette étude montre des tendances dans un cadre précis, sans trancher la question.

Les suites annoncées

Les auteurs annoncent qu'ils publieront, à la parution, l'instrument d'évaluation, le code et le corpus complet des réponses. Ils présentent leur audit comme un travail appelé à être tenu à jour. La relecture par d'autres chercheurs reste à faire. Restent aussi ouvertes les questions que le résumé ne traite pas : l'effet de ces réponses sur les personnes, et les raisons des écarts observés selon la position de l'interlocuteur.