Su 100 studi riprodotti solo il 39% ha ottenuto gli stessi risultati originali. Questo però non significa necessariamente che alcuni studi siano falsi
Pubblicato
agosto 28, 2015
(credits immagine: Sigrid Gombert/Corbis)
Uno dei capisaldi del metodo scientifico è la riproducibilità di un esperimento. Ovvero: se lo stesso test viene ripetuto da un altro team di scienziati indipendenti, altrove, ma nelle stesse condizioni e seguendo lo stesso metodo, e i risultati che si ottengono confermano quanto osservato in precedenza, la scoperta guadagna corpo, credibilità, valore (il che non significa comunque che le cose stiano definitamente in un modo piuttosto che in un altro).
In altre parole la riproducibilità serve per accumulare evidenze a sostegno di una teoria. Quanto di questo valore di riproducibilità è presente negli studi di psicologia? Se lo sono chiesti gli scienziati del Reproducibility Project: Psychology, guidati da Brian Nosek della University of Virginia, giungendo a risultati interessanti, come spiega il resoconto presentato su Science questa settimana.
Sono stati replicati 100 studi di psicologia pubblicati di recente su tre giornali di prestigio sulla materia, relativi a diversi temi (dalla gestione delle insicurezze alla risposta alle paure).
Uno sforzo che ha richiesto il contributo di circa 270 scienziati e 4 anni di lavoro, che è riuscito a riprodurre i risultati originali nel 39% dei casi. Una percentuale bassa, verrebbe da dire a una prima analisi, che però non significa affatto che quanto osservato nello studio originale sia falso. Potrebbe infatti essere sbagliato il secondo studio, o potrebbero esserci state delle differenze inapprezzate che potrebbero aver portato a risultati diversi, così come d’altra parte potrebbe essere vero che alcune evidenze siano più forti di altre.
Quello che di fatto dicono i risultati presentati da Nosek e colleghi è questo: è difficile riprodurre i risultati di ricerche scientifiche, e al tempo stesso anche stabilire che cosa significa replicare un risultato, dal momento che una replica può assumere forme diverse. Allo stesso modo è difficile identificare dei predittori di riproducibilità. Ma non del tutto impossibile.
Analizzando quando osservato, i ricercatori hanno infatti provato a stabilire se ci fossero degli indicatori di riproducibilità. In generale, spiegano gli scienziati, la riproducibilità non dipende dall’esperienza o dall’expertise degli sperimentatori. Inoltre là dove era più difficile riprodurre gli esperimenti era più difficile ottenere anche risultati paragonabili, così come erano meno riproducibili quelli con effetti sorprendenti. A risultare più riproducibili poi sono stati gli studi con valore P nei risultati più vicino a zero rispetto a quelli con P prossimo a 0.05 (il P-value è usato per misurare la significatività statistica di quanto osservato, spesso si giudica significativo qualcosa che abbia P0.05).
Uno sforso simile a quello compiuto con la psicologia è in corso per gli studi sul cancro: la psicologia potrebbe essere infatti un campo particolarmente difficile per la riproducibilità. In ogni caso gli autori si augurano che lo sforzo mostrato in questo lavoro promuova maggior controllo e rivisitazione della ricerca passata, spiega Cody Christopherson della Southern Oregon University, uno degli autori: “Essere dalla parte del giusto significa rivisitare regolarmente le ipotesi e i risultati passati, trovare nuovi modi per testarli. L’unico modo che la scienza ha per avere successo ed essere credibile è essere autocritica”.
This opera is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License.