Faut-il avoir peur des études scientifiques ?

scientifique

Photo : Pixabay.com

Seule une expérience sur trois réalisée dans le cadre de recherches en psychologie serait reproductible, montre une étude publiée récemment dans le magazine Science. Doit-on s’en inquiéter et remettre en question les résultats dévoilés par les études scientifiques ?
Sante_et_science

En 2011, le psychologue américain Brian Nosek a appelé des chercheurs à participer à un projet de recherche collaboratif pour vérifier s’il était possible de reproduire les résultats de 100 études importantes publiées en 2008 dans trois revues savantes reconnues, en suivant la méthode indiquée dans chacune d’elles.

Les 270 chercheurs qui ont répondu à son appel se sont donc mis à la tâche, avec la collaboration des auteurs des études initiales. Toutes les étapes de cette vaste entreprise de vérification ont été menées de manière transparente, à l’aide d’une plateforme Web de science ouverte, dans laquelle les études ont été versées au fur et à mesure.

La compilation du tout, publiée dans Science il y a quelques semaines, montre que seulement 36 % de ces nouvelles études ont donné le même résultat que les expériences initiales.

Fiable, la science ?

Ce piètre résultat fait beaucoup jaser, mais ceux qui en profitent pour rire de la science devraient peut-être y songer à deux fois.

Quand a-t-on pour la dernière fois tenté de mettre à l’épreuve les savantes analyses des prévisionnistes économiques, des commentateurs sportifs ou des homéopathes ? Combien avaient prévu la baisse des prix du pétrole, les difficultés d’Eugenie Bouchard ou une guérison miraculeuse avec des pilules de sucre ?

C’est justement parce que la science a ce pouvoir de se remettre en question qu’on doit continuer à lui faire confiance. Cette étude montre cependant qu’on pourrait faire mieux, et elle devrait servir de leçon.

La force du nombre

En psychologie, et plus largement en sciences humaines et sociales, on mène de nombreuses études sur de tout petits échantillons de personnes, faute d’argent. Plutôt que de s’en contenter, les chercheurs devraient sans doute se regrouper plus souvent afin de mener des projets en collaboration avec des groupes plus larges, comme cela se fait dans des domaines telle la génétique.

Plusieurs études ont aussi démontré que les analyses statistiques des chercheurs comportent souvent des erreurs, particulièrement en sciences humaines et sociales. Les maths ne sont en effet pas le point fort de tous les spécialistes de ces domaines ! Les mauvaises utilisations de la notion de valeur p, qui sert d’échelle de mesure pour évaluer la «solidité des résultats», seraient légion.

Les universités, chercheurs et organismes subventionnaires devraient sans doute mettre beaucoup plus d’importance et de moyens sur la formation initiale et continue en statistiques (un bon début : le livre Statistics Done Wrong).

La pression de publier n’aide pas non plus les chercheurs. Une série de petites études a bien plus de chances de profiter à leur carrière qu’une grande enquête d’envergure qu’il faudra un temps fou pour organiser, financer et publier.

L’attrait de la nouveauté

Par ailleurs, partout dans le monde, les organismes subventionnaires sont plus enclins à financer des études originales plutôt que la reproduction d’études passées.

En sciences sociales, tout comme en recherche génétique ou en cancérologie, tout ce qui est «nouveau» vaut de l’or. Au Canada en particulier, tous les chercheurs savent qu’inscrire les mots «innovant», «original» ou «significatif» dans leurs demandes leur donne un bon coup de pouce dans une course à la subvention toujours plus sauvage, faute de fonds suffisants alloués aux organismes subventionnaires fédéraux.

Sur 1 375 chercheurs qui ont soumis des propositions à la dernière grande ronde de subvention des Instituts de recherche en santé du Canada en juillet dernier, seuls 150 ont obtenu des fonds. Des centaines de chercheurs aguerris devront attendre des mois avant de pouvoir tenter leur chance une nouvelle fois.

Financer ainsi la science, sur la seule base de la course à la nouveauté, représente un énorme gaspillage de fonds publics, lesquels seraient bien mieux investis à vérifier au moins en partie, au fur et à mesure, si certaines pistes de recherche sont prometteuses ou non.

Mais quelle université publierait un communiqué de presse parce que ses chercheurs ont réussi à reproduire une étude, et quel média le reprendrait ? On veut tous du nouveau !

Pas juste en psycho

Le chercheur John Ioannidis, de l’Université Stanford, en Californie, s’intéresse depuis plusieurs années à ces questions. Et selon lui, la non-reproductibilité des études est loin de se cantonner à la seule psychologie.

«La plupart des résultats de recherche sont faux», écrivait-il en 2005 dans un article publié dans la revue PLOS Medicine qui a fait grand bruit.

L’an dernier, il a obtenu six millions de dollars d’une fondation privée pour mettre sur pied le Meta-Research Innovation Center, à Stanford — qui se penche spécifiquement sur les problèmes de reproductibilité en sciences.

La création de ce nouveau centre de recherche, à l’instar d’études comme celles publiées dans Science (ou celle que je vous rapportais il y a quelques jours sur les résultats des essais cliniques de médicaments), montre que les scientifiques sont de plus en plus préoccupés par la validité de leurs recherches.

On peut y voir un verre à moitié vide et rire de tous ces chercheurs qui se trompent en essayant de décortiquer des choses aussi complexes que le cerveau humain ou le petit changement dans une liaison chimique au cœur d’une cellule qui peut nous tuer. On voudrait tant des remèdes miracles à nos états d’âme ou nos maladies !

On peut aussi, comme je le préfère, voir un verre à moitié plein en se disant que contre vents et marées, la lente et pénible vérification des faits — qui constitue l’essence même de la démarche scientifique — n’a pas encore perdu la bataille contre les dogmes en tout genre.

L’actualité Express

Abonnez-vous à L’actualité Express, le cyberbulletin quotidien de L’actualité !
Livré du lundi au vendredi, dans votre boîte courriel, avant 8 h.

Open bundled references in tabs: