Des chercheurs en psychologie donnent du poil-à-gratter à toute la profession avec une publication décevante dans « Science ». Les études psychologiques se révèlent assez peu fiables, selon l’Open Science Collaboration, regroupant 270 experts reconnus de différentes nationalités. L’équipe, qui a tenté de reproduire 100 études sociopsychologiques, publiées dans 3 journaux spécialisés reconnus, a eu la désagréable surprise de s’apercevoir que les résultats originaux n’étaient reproduits que dans moins de la moitié des cas.
Ce constat interroge la discipline et sème le doute pour la science en général. Car, comme le souligne Brian Nosek, premier auteur : « La crédibilité d’une étude dépend avant tout de la possibilité de reproduire ses résultats ». Cependant, les scientifiques insistent aussi sur le fait que ne pas arriver à reproduire les résultats ne signifie pas qu’ils soient faux. « Il est important de noter que ces résultats assez décevants ne remettent pas directement en cause la validité des théories initiales, a estimé Gilbert Chin, psychologue et rédacteur en chef du journal. Ce que nous apprenons, c’est que nous devrions moins faire confiance à beaucoup des résultats de ces expériences ». Pour ces spécialistes, la vraie question est d’arriver à identifier des facteurs prédictifs de reproductibilité qu’il faudrait adopter pour améliorer les pratiques.
La renommée des équipes peu déterminante
C’est ce que les scientifiques ont commencé à faire, en testant la corrélation de 5 indicateurs avec la reproductibilité des résultats : le journal éditeur ; la taille de l’effet la valeur du p et la taille de l’échantillon ; l’expérience et l’expertise de l’équipe de recherche originale ; l’intérêt pour la question (nombre de citations de l’article) ; l’effet de surprise de l’étude.
Il apparaît que, plus que la renommée de l’équipe originale ou de celle réplicative, la reproduction des résultats était corrélée au niveau de preuve obtenu initialement. La renommée d’une équipe ne valide pas forcément ses travaux. Plus la valeur de p était proche de 0,05, plus les chercheurs avaient la chance d’arriver à retrouver les mêmes conclusions. En général, les effets surprenants étaient moins reproductibles, de même qu’il était difficile de répéter les expérimentations délicates.
Les chercheurs mettent en garde néanmoins sur la nécessité de rester « innovant » : « L’innovation est le moteur de la découverte et est vitale pour un projet scientifique productif et efficace. » Selon eux, pour progresser, il y a un équilibre à trouver entre innovation et reproductibilité. Ce constat n’est pas pour eux « une défaite » de la discipline, mais un appel à améliorer la crédibilité de la littérature scientifique.