# Crise de la reproductibilité

La crise de la reproductibilité (replication crisis ou replicability crisis ou reproducibility crisis en anglais) est la crise méthodologique dans le domaine des sciences selon laquelle de nombreux résultats publiés dans des revues scientifiques sont difficiles, voire impossibles à reproduire au cours d'études subséquentes. Initiée au milieu des années 2000, la crise prend de l'ampleur au milieu des années 2010, nourrie par la publication de plusieurs articles sur le phénomène.
La crise n'est pas propre à un domaine unique bien qu'elle semble moins toucher les sciences fondamentales et appliquées que les sciences médicales. Les facteurs qui en sont responsables semblent nombreux. Des pistes d'amélioration de la reproductibilité au sein des publications scientifiques, dont notamment l'amélioration des critères de publication, sont explorées.

## Historique

En 2005, John Ioannidis, professeur de médecine et chercheur à l'école de médecine de l'université Stanford, est l'un des premiers à faire état de la crise dans son article Why Most Published Research Findings Are False. Il y expose, notamment, que la nature incertaine de la recherche scientifique rend souvent difficile la détermination avec précision des causes de non-reproductibilité d'une expérience et ainsi rend improbable l'atteinte éventuelle d'un taux de validité des résultats de 100 % dans la littérature publiée.

## Étendue du phénomène

Le phénomène de non-reproductibilité semble être présent au sein d'un grand éventail de disciplines. Certaines, comme la physique et la chimie, sont moins affectées que d'autres, alors que l'exactitude de domaines comme la psychologie sociale est sévèrement touchée. Il est particulièrement répandu en médecine et atteint également la biologie, la recherche biomédicale, la pharmacologie (dans le domaine des neurosciences et de la psychiatrie), la psychologie ou encore l'écologie.
Selon un sondage sur la reproductibilité des recherches sur le cancer, 50 % des répondants affirment avoir fait l'expérience d'au moins un épisode d'incapacité à reproduire des données publiées. Plusieurs étant incapables de déterminer la source du problème même en interrogeant les auteurs originaux.
Selon une étude réalisée auprès de 1 500 scientifiques et publiée par Nature en 2016, plus de 70 % des chercheurs affirment avoir été incapables de reproduire une expérience scientifique d'un autre chercheur et plus de la moitié affirment avoir échoué à reproduire une de leur propre expérience. Selon les disciplines, les pourcentages se répartissent ainsi :
| Discipline | % d'échec d'expériences de collègues | % d'échec de sa propre expérience |
| Chimie | 90 | 60 |
| Biologie | 80 | 60 |
| Physique et ingénierie | 70 | 50 |
| Médecine | 70 | 60 |
| Géologie et environnement | 60 | 40 |
Des analyses portant sur les taux de succès de reproduction, c'est-à-dire la proportion d'articles ayant réussi à être répliqués, dans les domaines de la psychologie et de l'oncologie étaient respectivement 40 % et 10 %.
En avril 2022, une étude publiée par des chercheurs de l'université Cambridge et utilisant le robot scientifique Eve (en) constate que moins d'un tiers d'un échantillon de 74 articles, sélectionnés parmi 12 000 dans le domaine du cancer du sein, sont reproductibles. L'étude affirme que l'utilisation d'outils automatiques et semi-automatiques peut aider à mieux quantifier le problème.

### Médecine

Le domaine médical est l'un des domaines les plus touchés par la crise de reproductibilité. La problématique provient entre autres de la forte variabilité dans les systèmes biologiques, de la nature complexe de la médication et des pathologies (particulièrement les cancers) ainsi que des limitations propres aux outils et modèles utilisés durant les tests pré-cliniques.
L'augmentation significative du nombre de recherches biomédicales fait en sorte que plusieurs traitements atteignent très rapidement l'étape de développement clinique avant même d'avoir terminé toutes les évaluations de la phase pré-clinique requises normalement$^,$. Ainsi, au cours des dernières années, le monde médical aurait été envahi par de nombreuses publications pré-cliniques non reproductibles et des centaines de publications secondaires seraient affectées.
D'après Ioannidis (2005), sur 49 études médicales publiées de 1990 à 2003, 45 affirment que les thérapies étudiées sont efficaces, alors que 16 % de ces études ont été contredites par des travaux, 16 % ont surévalué l'efficacité des traitements et 24 % n'étaient pas reproductibles. La Food and Drug Administration a trouvé de son côté des lacunes dans près de 10 à 20 % d'études médicales publiées entre 1977 et 1990. En 2016, le chercheur affirme que la médecine est moins centrée sur les besoins du patient que sur les besoins des médecins, investisseurs et chercheurs.
Dans un article publié en 2012, des chercheurs ont déterminé que 11 % des études pré-cliniques sur le cancer sont reproductibles$^,$.
Selon le psychologue clinicien Thomas Rabeyron cette crise pose question quant à la fiabilité de nombreux travaux menés en psychiatrie. Ainsi une méta-analyse de Turner et al., en 2008, s'appuyant sur les évaluations de la Food and Drug Administration portant sur 12 antidépresseurs et impliquant 12 564 patients, montre que selon les études portant sur leur efficacité menées entre 1987 et 2004, 38 la confirmaient tandis que 36 en révélaient l'absence, mais certains antidépresseurs étaient pourtant toujours donnés comme efficaces et présents sur le marché$^,$.

### Psychologie

Bien que les problèmes de reproductibilité soient présents dans plusieurs domaines, ils sont souvent associés à la psychologie$^,$. En effet, plusieurs facteurs ont fait de la psychologie le centre de la controverse, notamment la psychologie sociale.
Les résultats du Reproducibility project (en) démontrent que seulement 36 % des études testées avaient des résultats significatifs par rapport à 97 % des recherches initiales. La taille du taux d'effet de la réplication était en moyenne deux fois moins grande que celle de la recherche originale. Ainsi, la moitié des recherches en psychologie cognitive et trois-quarts de celles en psychologie sociale n'ont pas pu être reproduites.
Un des problèmes du milieu de la psychologie est que, selon une analyse des recherches des cent plus importants journaux de psychologie entre 1900 et 2012, seulement environ 1,07 % des publications sont des expériences de réplication et que seulement 78,9 % de ces expériences de réplication étaient concluantes.
Selon Daniel Kahneman, trois éléments remettent en question la reproductibilité en psychologie :
* de mauvaises pratiques de recherche (en) (questionable research practices, QRP) semblent fréquentes dans le domaine. En effet, un sondage réalisé auprès de plus de 2 000 psychologues montre qu'une majorité des répondants affirme avoir au moins une fois réalisé une QRP. Les faux-positifs sont fréquents. Ils résulteraient de la pression à publier ou du biais de confirmation de l'auteur ;
* la psychologie s'est retrouvée au centre de cas de recherches frauduleuses très importants, comme le cas de Diederik Stapel, qui a fortement nui à l'image de la psychologie sociale. Cependant, cet aspect contribuerait peu à l'absence de reproductibilité ;
* en dernier lieu, des problèmes de réplications dans le domaine avaient été découverts bien avant le début de la crise. En effet, des journaux scientifiques comme le Judgment and Decision Making (en) ont publié plusieurs études au fil des ans sur des tentatives de reproduction non fructueuses. Les reproductions sont d'ailleurs particulièrement difficiles lorsqu'elles sont menées par des groupes n'ayant pas un fort lien avec le sujet.
James Coyne, un psychologue et professeur en psychologie, a récemment écrit que beaucoup de recherches et de méta-analyses sont compromises par leur piètre qualité et les conflits d'intérêts entre les auteurs et les groupes de défenses d'intérêts, ce qui résulterait en beaucoup de faux positifs quant à l'efficacité de certains types de psychothérapie.
Le professeur émérite Daniel Kahneman affirme que les auteurs originaux devraient être présents lors du processus de reproduction pour combler les lacunes au niveau de la description de la méthode expérimentale. En effet, la présence de l'auteur original peut modifier la reproductibilité des résultats. En effet, une étude de 2012 indique que 91,7 % des essais de réplication avec les conseils de l'auteur original ont réussi, contrairement à 64,6 % pour celles réalisées sans sa présence.
Selon une étude d'Andy et une autre de Martin et Clarke une toute petite proportion des journaux académiques en psychologie et en neurosciences demandaient explicitement la reproduction des recherches.
Selon la psychologue clinicienne Anne Brun, cette crise met également en évidence des faiblesses méthodologiques dans le domaine de l'évaluation des psychothérapies, telles que Bruce Wampold (en) en avait fait état dans une étude de 1997$^,$.
Selon Thomas Rabeyron, s'appuyant sur le travail du psychothérapeute et thérapeute de groupe, Farhad Dalal, la crise de la reproductibilité touche également la thérapie cognitivo-comportementale (TCC) qui proclame une efficacité supérieure aux autres thérapies à partir d'un système d'évaluation copiant celui de la médecine alors même que beaucoup d'études établissent que les TCC ont un taux de rechute élevée et que leur efficacité a plutôt tendance à diminuer, ce qui rejoint le problème des essais randomisés en double aveugle, sachant qu'« on ne peut délivrer un placebo de psychothérapie », ainsi que celui des effets d'allégeance (la foi du chercheur dans les résultats de son modèle), la recherche sur les TCC ne peut dès lors être du même ordre que celle qu'on trouve dans les sciences naturelles.

## Causes

Ionnidis et Begley identifient en 2015 de nombreuses causes à ce problème.
Un problème bien connu en sciences est le biais de confirmation. Plusieurs recherches non-reproductibles pourraient s'expliquer par une mauvaise gestion de ce phénomène.
Le mécanisme même de la publication de la recherche scientifique est également pointé du doigt. En effet, peu de revues s'intéressent à la publication de reproductions d'expériences précédentes. Elles priorisent plutôt les publications présentant des découvertes, ce qui fait en sorte que les expériences de reproduction sont considérées comme un gaspillage de ressources. De plus, le lien direct entre l'avancée de la carrière d'un chercheur et le nombre de ses publications dans des revues renommées entraîne une certaine pression à publier, exprimée par l'expression publier ou périr (publish or perish). Ce phénomène pousserait les scientifiques, consciemment ou non, à modifier ou à interpréter ses résultats pour qu'ils soient publiés. Cette incitation à la publication de nouveaux articles vient du fait que les chercheurs doivent se faire une notoriété par la publication pour pouvoir recevoir des fonds de recherche. Ainsi, lorsqu'un article n'est pas à la hauteur, il est possible de modifier les résultats pour qu'il le soit. Aussi, le fait que les chercheurs doivent publier plus rapidement pour ne pas sombrer dans l'oubli, crée une augmentation de la quantité de recherche publiée, mais la qualité de ces articles n'est pas toujours bonne vu le fait que les scientifiques ne peuvent pousser autant leurs recherches par manque de temps.

### Fraudes

La fraude scientifique ne serait pas une cause importante de la crise de la reproductibilité. Ainsi, bien que certains cas fortement médiatisés laissent croire une certaine étendue du phénomène$^,$$^,$, ces derniers sont relativement rares, ce qui fait en sorte qu'ils ne représentent qu'une mince partie des mauvaises publications.
Une méta-analyse portant sur l'inconduite de plusieurs scientifiques indique qu'en moyenne 2 % des scientifiques ont admis avoir fabriqué, falsifié ou modifié des résultats d'analyse au moins une fois. Entre 5,2 et 33,3 % des répondants ont affirmé avoir eu connaissance de collègues ayant fabriqué ou falsifié des résultats de recherche.
Selon la banque de données de PubMed, 0,02 % des publications sont retirées pour des raisons de mauvaise conduite.
Aux États-Unis, d'après les cas confirmés par le gouvernement américain, des éléments de fraude sont documentés dans les travaux de 1 scientifique sur 100 000. 8 parmi 800 publications présentées à The Journal of Cell Biology (en) comportent des images qui ont été manipulées de manière incorrecte.

## Pistes de solutions

Plusieurs pistes sont explorées pour diminuer le nombre d'études non-reproductibles au sein des publications scientifiques.
L'une d'elles est de faire un effort pour rendre plus facilement accessible les données brutes utilisées par les chercheurs pour réaliser leurs analyses.
En juillet 2016, le gouvernement des Pays-Bas annonce l'investissement de trois millions d'euros afin d'augmenter le nombre d'expériences de reproduction dans les domaines des sciences sociales et de la médecine.