Le verre à moitié vide (ou plein) de la psychologie

(Photo : archives La Presse)

(Photo : archives La Presse)

Discipline secouée par plusieurs scandales de fraude scientifique et d’expériences douteuses, la psychologie vient de recevoir son premier «bulletin» — les résultats de la plus vaste entreprise de reproduction des résultats d’expériences antérieures afin de voir s’ils sont robustes. La question de savoir si la «note» de 39 % qu’elle vient d’obtenir va résoudre sa «crise de crédibilité» s’apparente toutefois pas mal à celle du verre à moitié vide ou à moitié plein…

Les scandales des dernières années ont amené (ou accéléré) une prise de conscience dans ce domaine. Au-delà des cas les plus spectaculaires de fraude, disent les critiques (souvent eux-mêmes chercheurs en psychologie), la discipline a un problème de reproductibilité : à cause de biais de publication dans les revues savantes, plus intéressées par les percées novatrices que par la vérification de résultats déjà publiés, une proportion alarmante des études en psycho ne sont jamais reproduites. Le problème ne touche pas que cette discipline, notons-le, mais la psychologie y est apparemment plus sujette, et le problème est dans tous les cas très sérieux, car tout l’édifice de la science repose sur le fait que l’on puisse reproduire des résultats d’expérience. Ce qui implique que l’on essaie de le faire minimalement souvent, histoire de savoir si ce que l’on croit savoir est vrai.

Environ 270 chercheurs de ce secteur ont donc décidé de prendre le taureau par les cornes et ont refait un échantillon de 100 expériences publiées ces dernières années en neurosciences. À vue de nez, leurs résultats sont proprement consternants : seulement 39 sur les 100 essais ont dûment reproduit les résultats des publications initiales.

Mais voilà, font remarquer des experts cités dans ce compte-rendu du site de Nature, les systèmes d’évaluation binaires, dans lesquels on ne peut que réussir complètement ou échouer complètement, ne sont pas particulièrement indiqués pour évaluer la reproductibilité d’une étude. Par exemple, dans cet essai, des chercheurs ont tenté de reproduire les résultats d’une expérience qui avait trouvé que la «négativité induite par l’erreur» (NIE, les signaux nerveux sont essentiellement des signaux électriques et, lorsque nous commettons une erreur, une partie du cerveau se polarise négativement pour un bref instant) semblait être associée à un réflexe de défense. Grosso modo, les sujets de l’expérience devaient indiquer si une flèche qu’ils voyaient sur un écran penchait vers la droite ou vers la gauche, ce qu’ils faisaient en appuyant sur une touche de clavier qui déclenchait un bruit très fort (105 dB). Des électrodes permettaient alors de mesurer à la fois le degré de surprise et la NIE, et les deux semblaient associés dans le papier original.

Officiellement, les chercheurs ont échoué à reproduire ces résultats, leur expérience n’ayant pas atteint le seuil statistique à partir duquel on considère un résultat comme «significatif». Mais c’est uniquement parce que leur échantillon était très réduit — 42 personnes —, car leurs données montrent exactement le même pattern que la première étude. On peut argumenter autant qu’on veut sur le fait un peu étrange que l’on mène une telle entreprise de vérification et de rigueur avec de si petits échantillons, mais le fait demeure que le même pattern est apparu — et que les seuils de signifiance statistique sont déterminés arbitrairement.

Pour tenir compte de ce genre de situation, les chercheurs ont donc mis au point une échelle où les «réplicateurs» donnaient leur opinion sur la concordance des résultats, allant de «pratiquement identiques» à «pas du tout similaires». Et avec cet indicateur (plus subjectif, soit), 67 des 100 tentatives ont donné des résultats «modérément similaires» ou mieux.

Ce qui montre que le verre de la psychologie n’est certainement pas complètement plein, mais sans doute pas aussi vide que le laisse présager le résultat «officiel» de 39 %…

Open all references in tabs: [1 - 5]

Leave a Reply