ÉPISTÉMOLOGIE. "Des événements singuliers non reproductibles n’ont pas de signification pour la science." C’est ainsi que le philosophe des sciences austro-britannique Karl Popper a formulé ce qui a été érigé en dogme chez les scientifiques : les résultats de leurs expériences doivent être mesurables et reproductibles, en appliquant la "recette" publiée dans les journaux scientifiques. Mais cette reproductibilité est-elle vraiment toujours assurée ?
Un collectif de pas moins de 270 chercheurs du monde entier ont tenté de la chiffrer en psychologie. Ils ont sélectionné 100 études a priori solides, publiées dans trois revues de psychologie. Puis les ont reproduites pour voir s’ils arrivaient aux mêmes résultats. Las ! ils n’y sont parvenus que dans moins de la moitié des cas… Ainsi, alors que 97 % des études originales mettaient en avant des résultats statistiquement significatifs, ce n’est le cas que pour… 36 % des études reproduites.
"La reproductibilité des résultats en psychologie constitue un vrai problème, dont la communauté commence à prendre conscience, confirment Christian Lorenzi, professeur de psychologie expérimentale à l’École normale supérieure de Paris, et Michèle Leduc, présidente du comité d’éthique du CNRS. Ce problème est lié pour partie à un usage inadéquat de l'outil statistique et à des fragilités, voire des erreurs, dans la construction des protocoles expérimentaux." Ils citent également d’autres problème directement liés : "La part de spéculation, inhérente à toute recherche innovante, n'est pas systématiquement bien présentée comme telle, mais trop souvent comme une conclusion. Ensuite l'écriture d'un article est trop souvent infléchie en fonction du journal, avec une forte tendance à l'amplification du "grandiose"."
PREUVES. Cette étude pourrait faire date, car la question de la reproductibilité est paradoxalement très peu étudiée. « Pendant des années, il y a eu des doutes sur la reproductibilité des découvertes scientifiques, mais peu de preuves scientifiques. Ce projet est le premier du genre qui en apporte et qui laisse à penser que ces doutes sont légitimes », affirme Brian Nosek, professeur de psychologie à l’université de Virginie (États-Unis). Le peu d’intérêt porté à la possibilité ou non de reproduire les résultats de ses confrères s’explique facilement pour les auteurs de l’étude. "La reproductibilité des résultats est mal connue car les financements incitent les scientifiques à préférer l’originalité à la reproduction de données."
Mais si cette étude pointe du doigt la psychologie, faut-il y voir une discipline "à part" et penser que les choses seraient différentes en physique ou en biologie ? "Toutes les disciplines n’ont pas le même degré de maturité, concède Christian Lorenzi. Mais on peut penser que ces fragilités de la psychologie se corrigeront naturellement avec le temps, à mesure que la discipline mûrit, à mesure que ses concepts et théories s’affinent, à mesure que ses instruments de mesure se complexifient et s’ajustent aux questions posées."
Une alerte pour débusquer les fraudes
Ne pas réussir à reproduire un résultat est la première alerte qui permet de débusquer des cas de fraude. Le dernier exemple célèbre est celui des cellules Stap.
En janvier 2014, une scientifique japonaise, Haruko Obokata, publiait une méthode inédite pour transformer toute cellule en cellule embryonnaire indifférenciée capable de donner naissance à n’importe quel autre type de cellule. Las, personne n’a réussi à reproduire son expérience et l’affaire s’est terminée par ce communiqué d’un autre chercheur du même centre de recherche : « Nous n'avons pas pu reproduire le phénomène des cellules Stap et avons décidé d'interrompre les expériences. » Entre temps, Haruko Obokata a été contrainte à la démission et l’un de ses responsables s’est suicidé…