Aller au contenu
Tech et Web · Intelligence artificielle

Auto-triage médical : plusieurs modèles d'OpenAI comparés à un avis de médecins, en prépublication

Cette prépublication, non relue à ce stade par d'autres chercheurs, compare des outils d'auto-triage (qui évaluent l'urgence d'une situation de santé) et plusieurs générations de modèles d'OpenAI au jugement préliminaire de sept médecins, sur des cas issus de données de triage de routine en Allemagne. Sur 480 cas décrits, la capacité à repérer les urgences varie fortement d'un système à l'autre.

Par Publié le
Tech et Web : Auto-triage médical : plusieurs modèles d'OpenAI comparés à un avis de médecins, en prépublication

Des résultats très variables selon les systèmes

L'étude porte sur des outils numériques d'auto-triage, c'est-à-dire des logiciels qui aident une personne à juger si sa situation relève de l'urgence, d'une prise en charge rapide ou d'un avis non urgent. Elle mesure notamment la sensibilité sur les cas urgents, soit la part des urgences effectivement repérées. Une fois pondérée, cette part va de 51,3 % (intervalle de confiance à 95 % : 35,5 à 66,3 %) pour le modèle gpt-4.1 à 99,9 % (99,7 à 100 %) pour gpt-6-astra.

L'exactitude, c'est-à-dire la part de réponses classées dans la même catégorie que l'avis des médecins, parmi les trois retenues, va de 54,4 % à 68,8 %. Le modèle gpt-4.1 obtient la meilleure exactitude mesurée, alors qu'il repère le moins bien les urgences. Aucun système n'est le meilleur dans toutes les catégories.

Comment l'étude a été menée

Il s'agit d'une comparaison transversale : les systèmes sont testés à un instant donné, sur les mêmes cas, sans suivi dans le temps. Les chercheurs ont comparé deux systèmes de triage, SmED et le moteur Infermedica, accessibles par interface de programmation (API), à cinq configurations d'OpenAI couvrant plusieurs générations de modèles : gpt-4.1, gpt-5.4, gpt-5.6-luna, gpt-5.6-sol et gpt-6-astra. Les fabricants de SmED et d'Infermedica proposent des produits certifiés MDR de classe IIb (règlement européen sur les dispositifs médicaux), mais ces produits certifiés n'ont pas été évalués directement : l'étude teste des versions mises en œuvre pour ce travail.

Les cas sont 480 vignettes, c'est-à-dire des descriptions de situations préparées par des médecins et dérivées de données de triage de routine en Allemagne. Un patient simulé, piloté par un grand modèle de langage (LLM, un système d'intelligence artificielle qui produit du texte), présente chaque cas aux systèmes. Sept médecins ont fourni des classements de référence et un consensus, présentés comme préliminaires. Les recommandations sont ramenées à trois catégories : urgence, situation aiguë et non urgent. Les résultats sont pondérés selon la fréquence de ces situations dans le triage de routine, avec un écrêtage des valeurs extrêmes.

Des profils de triage différents d'une configuration à l'autre

Les configurations les plus récentes d'OpenAI ont un profil de triage plus précautionneux, qui ressemble à celui de SmED : elles repèrent davantage les cas urgents. L'étude suggère que ce changement est le plus marqué pour gpt-6-astra. Elle suggère ainsi une évolution vers des réponses plus prudentes d'une génération de modèles à l'autre, sans établir pour autant une amélioration de l'exactitude.

Le projet, nommé Benchmark Self-Triage (BeST), vise à fournir un cadre pour comparer ces systèmes à une référence médicale allemande, présentée comme un « gold standard ». L'auto-triage numérique étant de plus en plus utilisé, la prépublication estime que son contrôle de qualité exige de mesurer à la fois la détection des urgences et l'accord global avec le jugement clinique. Elle soutient surtout une évaluation par catégorie, l'accord global ne suffisant pas à juger ces outils.

Ce que l'étude ne prouve pas

Ce n'est pas une étude de suivi : elle montre des écarts entre générations de modèles à un moment donné, mais n'établit pas que l'exactitude s'améliore avec le temps. Il s'agit d'une prépublication, qui n'a pas encore été relue par d'autres chercheurs.

Les tests reposent sur des cas préparés et sur un patient simulé, non sur de vrais patients. Le consensus médical est préliminaire et repose sur sept médecins. Les données viennent d'Allemagne, si bien que les résultats ne renseignent pas directement sur d'autres systèmes de santé. L'étude reconnaît aussi la nécessité de réduire la dépendance aux données dérivées de SmED. Les auteurs estiment qu'il est trop tôt pour conclure à la sécurité clinique de ces outils.

Ce qui reste à établir

La prépublication annonce qu'un consensus d'experts plus large, une évaluation plus complète et des étapes pour réduire la dépendance aux données dérivées de SmED sont nécessaires et prévus. Ces travaux doivent précéder toute conclusion sur la sécurité clinique des systèmes testés.

Sources