Un modèle d'IA mieux noté en programmation ne montre pas de hausse significative du code intégré
Une prépublication compare des développeurs privés d'un modèle d'IA mieux noté en programmation à ceux restés sur un modèle moins bien noté. Elle ne trouve pas de hausse significative des demandes de modification de code acceptées.
Cette étude est une prépublication : elle a été déposée sur la plateforme arXiv et n'a pas encore été relue par d'autres chercheurs. Elle pose une question simple : un modèle d'IA qui obtient un meilleur score aux tests de programmation fait-il réellement davantage de travail utile ? D'après la prépublication, une directive américaine de contrôle des exportations a interdit l'accès au modèle Claude Fable 5 pendant 19 jours à partir du 12 juin 2026, ce qui a obligé ses utilisateurs à changer de modèle.
Pas de hausse statistiquement significative du code intégré
Les chercheurs mesurent le travail réel par les demandes de modification de code, appelées pull requests, soumises sur la plateforme GitHub. Ils regardent surtout la part de ces demandes acceptée et intégrée au projet dans les sept jours qui suivent : c'est le taux de fusion. Avec l'accès à Claude Fable 5, l'estimation de ce taux augmente de 1,4 point de pourcentage. L'intervalle donné par l'étude, de -1,4 à +4,3 points, contient zéro : l'effet réel pourrait donc être une légère baisse comme une hausse allant jusqu'à 4,3 points. Les auteurs ne concluent pas à une hausse significative. Le nombre de demandes intégrées au projet par semaine n'augmente pas non plus de façon significative : +2,4 %, dans un intervalle allant de -4,9 % à +10,2 %.
Lors de cinq mises à niveau de modèles intervenues en 2026, avant et après la suspension, la moyenne pondérée de la variation du taux de fusion est de -0,9 point de pourcentage, dans un intervalle de -1,9 à +0,2. Les cinq estimations sont négatives, mais leurs intervalles incluent zéro et ne diffèrent pas significativement les unes des autres.
Une suspension utilisée comme expérience naturelle
Les chercheurs y voient une expérience naturelle : une situation réelle modifie une seule chose, ici le modèle utilisé, pendant que les personnes et les projets restent les mêmes. Ils ont suivi les demandes de modification sur GitHub de 297 utilisateurs de Claude Fable 5, avant, pendant et après la suspension. Comme groupe de référence, ils ont retenu 8 908 développeurs restés sur Opus 4.8 pendant toute la période. La plupart des anciens utilisateurs de Fable 5 sont passés sur ce modèle, qui obtient 11 points de moins que Fable 5 au test de référence SWE-Bench Pro, un test qui mesure les capacités des modèles en programmation.
La méthode principale, dite différence de différences, compare l'évolution des deux groupes avant et après la suspension. Des effets fixes par développeur et par date sont ajoutés, pour neutraliser les différences propres à chaque personne et les variations communes à tous au fil du temps.
Une seconde analyse reprend la comparaison sur les cinq mises à niveau de 2026 : 1 208 développeurs et 15 442 demandes de modification. Il s'agit d'un suivi d'utilisateurs réels, et non d'un essai randomisé, c'est-à-dire d'un tirage au sort des modèles par les chercheurs.
Ce que cela change pour les équipes
Le résultat suggère qu'un score plus élevé à un test de référence ne s'accompagne pas, dans cette étude, d'une hausse significative du code accepté dans des projets réels. Pour les développeurs et les entreprises qui comparent des modèles à partir de ces scores, la question est ce que mesurent réellement ces tests. Ce constat ne porte que sur la mesure retenue par l'étude.
Ce que l'étude ne prouve pas
Un résultat non significatif n'établit pas l'absence d'effet. Pour Fable 5, l'intervalle laisse ouverte une hausse pouvant atteindre 4,3 points. Pour les mises à niveau, les estimations sont toutes négatives, mais elles ne permettent pas de conclure à une baisse.
Plusieurs limites découlent de la méthode décrite. La comparaison ne couvre que 19 jours de suspension. Des différences entre les utilisateurs de Fable 5 et ceux restés sur Opus 4.8 peuvent peser sur les résultats. Le taux de fusion indique si une modification est acceptée, non sa qualité ni sa valeur. Enfin, l'étude porte sur des développeurs suivis sur GitHub et sur des modèles précis : elle ne dit pas ce qu'il en serait avec d'autres outils ou d'autres types de tâches.
Ce qui reste à établir
Les questions ouvertes portent sur la portée du résultat : vaut-il au-delà de ces 19 jours, pour d'autres développeurs, d'autres outils, d'autres mesures que les demandes acceptées ? Savoir si un score plus élevé correspond à un travail de meilleure qualité reste à vérifier. Tant que ces résultats ne sont pas relus par d'autres chercheurs, ils restent à confirmer.
- arXiv (prépublication), 17 novembre 2026