Lo scorso agosto ha generato un certo scalpore nella comunità scientifica uno studio condotto dal Center for Open Science, che ha tentato di replicare i risultati di un centinaio di scoperte in materia di psicologia, riuscendovi solo in una percentuale alquanto ristretta, ossia in meno della metà dei casi.

In parole diverse: le affermazioni di tali esperimenti sono state messe alla prova, ma non è stato possibile ripeterle e verificarle in gran parte dei casi (più del 60%).

Siamo dunque in presenza di scoperte scientifiche non valide? L’occasionale mancanza di ripetibilità riguarda solo la psicologia, oppure è un tratto ricorrente lungo il processo di avanzamento della scoperta scientifica?

Riproducibilità

Il problema della riproducibilità degli esperimenti scientifici è noto ed è una normale componente del modo in cui funziona la scienza.

Riproducibilità significa che i risultati si ripetono quando gli stessi dati vengono analizzati nuovamente, o quando nuovi dati sono acquisiti per mezzo dello stesso metodo.

La scienza è unica rispetto ad altre forme di conoscenza, in quanto basata sull’assunto che i risultati e le prove raccolte debbano essere ripetibili da chiunque, a patto che gli stessi metodi siano usati.

Tuttavia, mentre alcune categorie di esperimenti scientifici possono in effetti essere replicate facilmente, persino con mezzi di fortuna nella cucina di casa, altre ancora richiedono apparecchiature costose o difficilmente reperibili. Alcuni esperimenti possono essere condotti da chiunque, ma in altri casi è necessario essere a conoscenza di tutte le possibili variabili intervenienti, allo scopo di poterle controllare e far sì che non falsino i risultati.

Pertanto, la mancanza di riproducibilità dei risultati non significa, di per sé, che siamo in presenza di conclusioni o dati non validi.

In alcuni campi - e la psicologia è uno di quelli - è necessaria una comprensione approfondita dei metodi utilizzati nella ricerca originale, tenendo conto che persino cambiamenti apparentemente innocui nel contesto o nelle condizioni sperimentali possono influenzare i risultati.

Supponiamo, come suggerisce Lisa Feldman Barrett, di avere due schemi sperimentali identici, progettati in modo perfetto, A e B, che investigano lo stesso fenomeno, ma che a conti fatti producono risultati diametralmente opposti. Lo schema A predice correttamente il fenomeno, ma non il B.

Siamo quindi in presenza di una mancata riproducibilità dei risultati.

Questo significa che il fenomeno studiato sia illusorio? Ovviamente no.

Se gli studi sono stati progettati in modo corretto, è più probabile che il fenomeno in questione sia vero solo a certe condizioni. Il lavoro dello scienziato è pertanto quello di far luce su quali siano tali condizioni, allo scopo di formulare nuove e più precise ipotesi da sottoporre a test.

Moscerini e particelle subatomiche fuori contesto

Alcuni anni fa, ad esempio, sembrava fosse stato identificato con precisione un gene responsabile per la curvatura delle ali nel moscerino della frutta. I risultati sembravano robusti entro i confini precisi e ordinati del laboratorio, ma là fuori, nella confusionaria natura, il gene non produceva gli stessi risultati in modo affidabile.

In senso riduttivo, si potrebbe dire che non è stato possibile replicare l’esperimento. Ma in senso più ampio, come fa notare il biologo evoluzionista Richard Lewontin, “fallimenti” come questo significano solo che un gene può influenzare in modo diverso caratteri e comportamento a seconda del contesto.

Allo stesso modo, quando i fisici scoprirono che le particelle subatomiche non obbedivano alle leggi newtoniane del moto, non si misero a gridare che “non è stato possibile replicare le leggi di Newton”. Piuttosto, accettarono che le leggi di Newton sul moto sono valide solo in un determinato contesto e non sono universali. E fu così che nacque la meccanica quantistica.

Topi con disturbo da stress post-traumatico

In psicologia si osservano molti fenomeni che non possono essere replicati se si cambia il contesto in cui avvengono. Ogni psicologo ricercatore sa bene, ad esempio, che un esperimento condotto con soggetti in laboratorio non può avere la stessa validità di uno sul campo. Si badi bene: non maggiore o minore validità, ma una diversa validità, più circoscritta e meno generale.

Un classico è la paura appresa, concetto utilizzato per spiegare patologie come il disturbo da stress post-traumatico. Gli scienziati mettevano un topo in una piccola gabbia con il pavimento elettrificato. Gli facevano sentire un suono molto forte e poi somministravano una piccola scossa elettrica. Lo shock faceva bloccare il povero topo, mentre la frequenza dei battiti e la pressione arteriosa aumentavano. Ripetendo un certo numero di volte il processo, appaiando il suono forte con la scossa, si ottenevano sempre il blocco e l’aumento di frequenza cardiaca e pressione. Alla fine, emettendo il solo suono senza la scossa, il topo si bloccava, come se restasse in attesa della scossa (apprendimento per stimolo condizionato).

All’inizio si pensava che tale “spavento appreso” fosse una legge universale. Più tardi, però, altri ricercatori variarono il contesto e il topo non rispondeva più allo stesso modo: non si bloccava più. Ad esempio, contenendo fisicamente i movimenti del topo durante il suono, la frequenza cardiaca diminuiva invece di aumentare. E se la gabbia era di dimensione sufficientemente grande, il topo scappava via invece di bloccarsi.

Questi “fallimenti” non significano che gli esperimenti iniziali fossero privi di valore. Invece, aiutarono i ricercatori a capire che la risposta di congelamento del topo era dovuta all’incertezza della minaccia incombente, scatenata dalla particolare combinazione di suono, caratteristiche della gabbia e scossa elettrica.

CONCLUSIONE

Gran parte della scienza dà per scontato che i fenomeni possano essere spiegati da leggi universali e che il contesto non conti. Ma il mondo non funziona così. Persino un’affermazione ordinaria come “il cielo è blu” è vera solo a determinate ore del giorno, a certe latitudini e in determinate condizioni metereologiche.

Come in ogni altro campo della scienza, anche in psicologia sono stati pubblicati studi condotti in modo negligente o addirittura falsificati a bella posta. Ma contrariamente a ciò che sembra implicare il Reproducibility Project, non c’è nessuna crisi di replicabilità in psicologia. La “crisi”, forse, consiste solo nella mancata comprensione di ciò che la scienza è.

La scienza non è un corpo di fatti che vengono alla luce in modo continuo, come sotto a una striscia di lampadine che si accendono, illuminando progressivamente il cammino della verità universale. Piuttosto, parafrasando Henry Gee, la scienza è un metodo per quantificare il dubbio su un’ipotesi, e per trovare contesti nei quali il fenomeno è più probabile. L’occasionale mancanza di replicabilità non è un bug, fa parte del gioco.

Fonte:
L. F. Barrett, 2015. Psychology is not in crisis. New York Times online.