Des jumeaux numériques d'enquêtés plus prévisibles que les vrais répondants : une prépublication

Des jumeaux plus faciles à prédire que les personnes réelles

Cette prépublication, déposée sur Zenodo, plateforme hébergée par le CERN (Organisation européenne pour la recherche nucléaire), n'a pas encore été relue par d'autres chercheurs. Elle est signée d'un seul auteur et porte sur un jeu de données public, Twin-2K-500 : 2 058 répondants américains, interrogés au cours de quatre vagues d'enquête. Pour chacun, un jumeau numérique a été construit à partir d'environ 500 de ses réponses.

Chez les vraies personnes, 14 variables seulement (données de recensement, politiques et religieuses) captent entre 36 et 95 % de ce qu'atteint un modèle à 64 variables, mesuré sur des données qui n'ont pas servi à construire ce modèle. Avec 39 variables, on atteint au moins 95 % de ce niveau dans cinq familles de questions sur six.

Le R² est une mesure de 0 à 1 : plus elle est proche de 1, plus les réponses sont expliquées par les variables retenues. Pour les jumeaux, quatre variables (parti, idéologie, religion et fréquentation religieuse) suffisent à prédire les attitudes politiques avec un R² de 0,72, contre 0,24 pour les vraies personnes. Les deux autres mesures comparées vont dans le même sens : les réponses des jumeaux, prédites à partir de leur profil, atteignent 0,75, tandis que les réponses des vraies personnes, prédites à partir de leur propre réponse antérieure à la même question, atteignent 0,54. Ces deux chiffres ne mesurent pas exactement la même chose ; sur ce critère, les jumeaux restent néanmoins plus prévisibles que les personnes elles-mêmes.

Deux analyses sur des données existantes

La première analyse compare, pour les vraies personnes et pour leurs jumeaux publiés, le nombre de variables nécessaires pour prédire 29 réponses de la quatrième vague d'enquête, ainsi qu'une mesure liée à l'achat. Il s'agit d'analyses statistiques de données d'enquête et de réponses produites par des modèles, et non d'une expérience sur des personnes.

La seconde analyse fait varier, pour 100 personnes, le nombre de réponses passées de la personne données au modèle, de 0 à 500. Le moteur du modèle et la formulation de la consigne (le « prompt », l'instruction écrite qui lui est donnée) restent identiques d'un essai à l'autre. Le dépôt contient les 600 requêtes et les sorties correspondantes du modèle.

Aucune quantité de réponses passées ne produit de gain détectable : le score de justesse est de 0,673 avec les seules données démographiques, et de 0,668 avec 500 réponses. L'écart est de −0,005, avec un intervalle à 95 % allant de −0,028 à +0,019. Cet intervalle indique les valeurs compatibles avec les données : il inclut aussi bien une légère baisse qu'une légère hausse. Pour repère, le « test-retest », qui mesure la constance des réponses d'une même personne interrogée à nouveau, plafonne à 0,813 dans cette étude.

Ce que cela change pour les études qui simulent des répondants

Ces résultats concernent les méthodes qui utilisent des jumeaux numériques à la place de personnes réelles. Dans le cadre testé, l'étude suggère deux choses : les réponses des jumeaux se prédisent mieux à partir d'un profil simple que celles des personnes réelles, et ajouter davantage de réponses passées n'a pas produit de gain détectable.

On peut supposer qu'une partie de cet écart tient à des profils plus types chez les jumeaux que dans la diversité réelle des personnes. Cette hypothèse part du seul fait que les réponses des jumeaux se laissent mieux prédire par leur profil ; elle reste à vérifier.

Ce que l'étude ne prouve pas

Le travail n'a pas encore été relu par d'autres chercheurs. Son auteur indique que son entreprise vend des échantillons synthétiques.

Les limites découlent aussi de la méthode. Le jeu de données ne concerne que des répondants américains : rien dans ce cadre ne dit ce qui vaudrait pour d'autres pays. La seconde analyse porte sur 100 personnes, avec un seul moteur et une seule consigne ; un résultat nul dans cette configuration ne préjuge pas de ce qui se passerait avec d'autres outils.

Ce sont par ailleurs des liens statistiques, non des causes : un profil qui prédit une réponse n'en est pas la raison. Être plus prévisible n'est pas non plus la même chose qu'être fidèle à la personne réelle.

Selon son auteur, le résultat sur la précision rejoint celui d'un travail publié dans la revue Science Advances, dont une prépublication avait rapporté ce point en premier. Les quatre autres analyses ne figurent pas sous cette forme dans ce travail.

Les questions encore ouvertes

La première étape reste la relecture par d'autres chercheurs. Le dépôt comprend les scripts, les tables dérivées, les requêtes, les sorties du modèle et un fichier de contrôle à sommes de contrôle, c'est-à-dire des empreintes numériques des fichiers. Il permet, en principe, de refaire les calculs.

Restent ouvertes plusieurs questions : les mêmes écarts apparaissent-ils avec d'autres jeux de données, dans d'autres pays, avec d'autres modèles et d'autres consignes ? L'hypothèse d'un profil plus type chez les jumeaux, évoquée plus haut, reste aussi à vérifier.