Un outil d'IA de détection d'embolie pulmonaire moins sensible en pratique, selon une prépublication

Une sensibilité nettement sous le chiffre de l'autorisation

Une embolie pulmonaire est un caillot qui bloque une artère des poumons. Un outil d'IA autorisé par la Food and Drug Administration (FDA), l'agence américaine du médicament, aide à repérer ces caillots sur les angioscanners thoraciques. Une étude publiée sur medRxiv, un site où les travaux sont mis en ligne avant toute relecture, examine ses performances en conditions réelles.

Les chercheurs ont analysé 14 736 angioscanners réalisés entre juillet 2023 et mars 2026 dans six sites d'un même réseau de santé. Une embolie était présente dans 1 402 de ces examens, soit 9,5 %. L'outil en a détecté 64,1 % : c'est sa sensibilité, c'est-à-dire la part des patients réellement atteints qu'il signale. Le document de la FDA, appelé résumé 510(k), en donnait 93 %. L'intervalle de confiance à 95 %, la fourchette où se situe probablement la vraie valeur, va de 61,5 % à 66,6 %.

La spécificité, c'est-à-dire la part des examens sans embolie correctement identifiés, atteint 98,8 %, contre 93,7 % dans le même document. L'outil manque donc davantage de cas que prévu, tout en signalant peu de fausses alertes.

Une sensibilité qui varie selon le caillot et le site

La sensibilité dépend de la localisation du caillot. Elle atteint 88,6 % pour les embolies centrales, 63,1 % pour les embolies lobaires ou segmentaires (qui touchent un lobe ou un segment pulmonaire), et 33,3 % pour les subsegmentaires, plus éloignées du centre des poumons. Elle est aussi plus basse pour les caillots installés depuis longtemps (chroniques, 57,4 %) que pour les caillots récents (aigus, 65,5 %).

Entre les deux sites qui traitent le plus d'examens, la sensibilité passe de 68,7 % à 55,7 %, soit un écart de 13 points. Les chercheurs jugent cet écart statistiquement significatif, c'est-à-dire peu probable s'il ne tenait qu'au hasard. Le scanner utilisé est la seule variable qui diffère entre ces deux sites. Ce lien est observé, il n'est pas démontré comme cause de l'écart.

Une baisse progressive sur la période

Le taux de faux positifs, c'est-à-dire les examens sans embolie signalés à tort, a baissé de 40 % par an, à un rythme comparable sur deux sites. Dans le même temps, la sensibilité a reculé de 15 % par an sur le site A, de 72,5 % à 65,0 % entre la première et la seconde moitié de la période, une baisse que l'étude juge statistiquement significative. Les auteurs décrivent ainsi un glissement vers une spécificité élevée au prix d'une sensibilité faible : l'outil signale moins de fausses alertes, mais aussi moins de vrais cas.

Selon l'étude, le fabricant n'a signalé aucune mise à jour du modèle ni aucun changement de seuil pendant la période. Le seuil est le niveau à partir duquel l'outil déclenche une alerte. Les chercheurs évoquent deux explications possibles : une dérive des données, c'est-à-dire un changement progressif des examens traités, ou une modification du seuil. Ces hypothèses restent à vérifier.

Ce que cela change pour les services qui utilisent l'outil

Une autorisation repose sur des performances mesurées à un moment donné. Cette étude suggère qu'elles peuvent s'éloigner de celles observées ensuite dans les services. Selon les chercheurs, une dérive peut passer inaperçue si elle n'est pas surveillée, et ils insistent sur l'intérêt d'un suivi continu après la mise sur le marché, mené de façon indépendante du fabricant.

Pour un établissement, l'étude montre aussi qu'un même outil peut donner des résultats différents d'un site à l'autre, comme l'écart de 13 points entre deux sites l'illustre. Elle ne mesure pas l'effet de l'outil sur la prise en charge des patients.

Ce que l'étude ne prouve pas

Il s'agit d'une étude rétrospective : elle analyse des examens déjà réalisés, sans suivi prospectif. Elle porte sur un seul réseau de six sites, et rien dans le résumé ne permet de dire si ces résultats valent ailleurs, avec d'autres appareils ou d'autres populations. Le résumé indique que les performances ont aussi été examinées selon les caractéristiques démographiques des patients, sans que ces chiffres soient donnés ici.

Les cas de référence ont été extraits automatiquement des comptes rendus radiologiques par un modèle de langage de grande taille (LLM), utilisé sans entraînement spécifique. Ce procédé a été validé sur 600 comptes rendus annotés par un radiologue, avec un indice d'accord (kappa) de 0,98, proche de la valeur maximale de 1. On peut toutefois supposer qu'un compte rendu ne reflète pas toujours exactement l'examen, ce qui pourrait fausser les chiffres.

La comparaison avec le chiffre de la FDA est directe mais prudente, puisque le résumé ne détaille pas les conditions de cette évaluation. Enfin, comme il s'agit d'une prépublication, ces résultats n'ont pas encore été examinés par d'autres chercheurs.

Les questions restées ouvertes

Reste à savoir si la baisse de sensibilité vient d'un changement dans les données traitées par l'outil ou d'une modification de son seuil, et si une telle modification a eu lieu. Reste aussi à expliquer l'écart entre les deux sites : le type de scanner joue-t-il un rôle, ou d'autres facteurs entrent-ils en jeu ? Le résumé ne précise pas de suite annoncée, et ces questions restent donc ouvertes.