La démarche, lancée par les chercheurs en psychologie eux-mêmes, s’inscrit dans une série de critiques qui ont mis à mal leur discipline : en 2012, une compilation faisait état d’un taux catastrophique de moins de 1% des recherches en psychologie qui pouvaient faire l’objet d’une reproduction indépendante —autrement dit, en posant les mêmes questions ou en soumettant des gens aux mêmes expériences, on n’arrivait pas à obtenir les mêmes résultats que dans l’expérience originale.

S’agissait-il de fraudes, d’examinateurs trop subjectifs ou de recherches trop préliminaires qui n’auraient jamais passé le cap d’une publication dans une autre discipline? Les observateurs parlaient alors d’une «crise de la reproductibilité», d’où la démarche qui fait parler d'elle cette semaine, le Reproducibility Project.

Ce nouveau travail, le plus ambitieux de ceux entrepris depuis 2012, n’est pas aussi désastreux, mais il permet de convaincre qui en doutait que la recherche en psychologie a un problème. Sur les 100 travaux que des équipes indépendantes ont tenté de reproduire, 24 ont obtenu une note « modérément similaire » et 39 ont effectivement pu être reproduits avec les mêmes résultats que dans la recherche originale. Ce qui en laisse tout de même 37 sur le carreau.

Il s’en trouve toutefois qui sont moins sévères pour la psychologie : interrogée par Nature, Daniele Fanelli, professeure à l’Université Stanford en Californie, où elle étudie l’inconduite scientifique, se demande si ce manque de reproductibilité n’est pas similaire à celui qu’on trouverait dans beaucoup de disciplines universitaires : elle fait référence à des études antérieures sur la biologie du cancer ou sur de nouveaux médicaments. «Par rapport à mes attentes, (ces résultats) ne sont pas si mauvais.»

Les critères du travail ont été développés par un groupe appelé le Centre pour une science ouverte, basé en Virginie : il a publié toutes les méthodologies et les résultats, au fur et à mesure qu’ils lui arrivaient des différentes équipes. Un tableau résumant ces résultats a été mis en ligne le 24 avril et Nature lui a consacré un reportage le 30, mais le directeur du Centre, Brian Nosek, a refusé d’accorder des entrevues tant que ces résultats n’auraient pas été eux-mêmes révisés par les pairs.

Brian Nosek note toutefois que la tâche consistant à reproduire des résultats n’est pas aussi facile qu’elle en a l’air. À elle seule, la distinction entre «résultats reproduits» et «résultats modérément similaires» est de nature à engendrer beaucoup plus de débats en psychologie qu’en physique des particules. Mais en même temps, ce dernier argument devient une porte de sortie trop facile pour un fraudeur, comme l’ont dénoncé depuis le début de la décennie des observateurs tels que John Ioannidis, biostatisticien qui s’est spécialisé dans des recherches sur la crédibilité... des recherches.

Étonnamment, le travail du Center for OpenScience ne semble pas avoir créé de remous : selon Nature, les auteurs des recherches originales et leurs «vérificateurs» semblent avoir interagi sans heurts. Ce qui ouvre la porte à une solution régulièrement mise sur la table depuis 2012 : encourager des recherches « concurrentes » où deux équipes mènent parallèlement la même recherche. À condition que les deux rendent leurs données publiques.