Gli studi psicologici sono difficili da replicare (ma non è detto che …

La riproducibilità dei dati di un esperimento è tra i pilastri della ricerca. Ma la sua diffusione nel mondo accademico attuale non è ancora del tutto nota. Ora uno dei più ampi studi sulla riproducibilità delle ricerche in ambito psicologico (in particolare nella psicologia sociale e cognitiva) fa emergere un dato sconfortante: oltre la metà degli studi scientifici in questo campo non è replicabile. O meglio, non lo è stata per il team di più di 270 ricercatori coinvolto nel progetto.

Lo studio intitolato Estimating the Reproducibility of Psychological Science - appena pubblicato su Science - offre un importante spunto di riflessione metodologica a quanti lavorano in ambito accademico. Brian Nosek, psicologo dell'Università della Virginia, ha guidato il tentativo di replicare i risultati di 100 studi psicologici pubblicati nel 2008 su tre importanti riviste scientifiche di settore.

Risultati deludenti. Tra il novembre 2011 e il dicembre 2014, il gruppo internazionale del progetto open access Reproducibility Project: Psychology ha provato a riprodurre gli esperimenti per puro interesse "formale" (senza entrare nel merito delle ricerche). E se gli esperimenti sono stati replicabili nella maggior parte dei casi, i risultati lo sono stati in meno della metà.

Per esempio, il 97% degli studi originali dava risultati significativi, con un valore di P (l'indicatore di successo di un esperimento, ossia la probabilità che un risultato sia emerso per caso) inferiore al 5%: una soglia sotto alla quale i risultati ottenuti vengono considerati non frutto del caso, e quindi attendibili. Eppure, solo il 36% degli studi replicati ha dato gli stessi risultati. E anche la grandezza degli effetti trovati è risultata inferiore alla metà di quella degli studi originali.

Non solo "fuffa". Vuol dire che la metà degli studi psicologici che leggiamo è falsa? No, insistono i ricercatori.«I nostri dati non offrono una spiegazione definitiva del perché gli effetti non siano replicabili» spiega Nosek. «Può darsi che lo studio originale abbia ottenuto come risultato un "falso positivo". Ma anche che la replicazione abbia dato un "falso negativo" o che i metodi di analisi adottati nelle due circostanze siano troppo discordanti tra loro».

non il nome, ma i dati. I ricercatori hanno cercato di trovare le variabili maggiormente predittive del successo di replicabilità, considerandone 5 (tra le quali, il chiedere a un esperto: "pensi che quello studio sarà replicabile?"). Quella maggiormente predittiva non è, come si potrebbe pensare, l'autorevolezza o l'esperienza del team che ha compiuto lo studio originale. Ma la forza dell'evidenza iniziale (per esempio, l'indicatore di successo di un esperimento).

Sorprese amare. Gli studi originali con un indicatore di successo inferiore ma vicino al 5% (0,05) risultano meno replicabili di quelli vicini allo zero. Un dato sorprendente perché, convenzionalmente, i risultati con valore di P inferiore al 5% sono considerati comunque significativi (indipendentemente dalla forza dell'effetto trovato). In generale, gli studi che arrivano ai risultati più sorprendenti sono anche i più difficilmente replicabili.

Quantità e qualità. La ricerca suggerisce la necessità di una maggiore cautela nel considerare certi gli effetti trovati sperimentalmente, data la difficoltà nello stabilire se questi siano o meno riproducibili. Inoltre, offre nuovi parametri di valutazione della carriera di un ricercatore il cui CV, per contare qualcosa, deve annoverare il maggior numero possibile di importanti pubblicazioni.

L'insidia dello "scoop". «Scopo degli scienziati è contribuire alla conoscenza, ma anche produrre risultati per mantenere il proprio posto da ricercatore» dice Novek. «Per farsi largo nella scienza, bisogna pubblicare, e alcuni risultati sono più facili da pubblicare di altri, soprattutto se mostrano scoperte nuove e inaspettate».

Evidentemente, è la riproducibilità dei risultati a farne le spese. «Ma non vedo la faccenda in modo pessimistico. Il progetto è una dimostrazione di autocorrezione, qualità scientifica. Darà nuovi strumenti per rendere la scienza più efficace e utile alla collettività».

Ho scoperto... l'acqua calda! I 9 studi inutili (o quasi)

VAI ALLA GALLERY (9 foto)