”En svala gör ingen sommar.” ”Andra gången gillt.” ”En gång är ingen gång.” Så lyder tre gamla talesätt som i högsta grad kan tillämpas även på vetenskap.

Som nyhetskonsument ska man ha väldigt klart för sig att en enstaka vetenskaplig studie inte räcker för att ändra på gammal kunskap.

Först när två av varandra oberoende forskargrupper har publicerat resultat i välfungerande vetenskapliga tidskrifter, är det dags att börja ta resultaten på allvar.

Detta faktum blir pinsamt tydligt i en studie i veckans Science. Ett stort antal psykologiforskare från olika länder har gått ihop och försökt upprepa hundra studier som tidigare har publicerades i välrenommerade tidskrifter inom ämnet psykologi.

Mindre än hälften av resultaten stod sig vid de upprepade försöken.

Det behöver absolut inte bero på att forskarna i de ursprungliga studierna har fuskat eller slarvat speciellt mycket. Snarare handlar det om slumpens roll och om att det är svårt att mäta mänskligt beteende helt objektivt. Och även om vetenskapliga tidskrifter hellre vill ta in studier med stort nyhetsvärde, det vill säga med positiva och oväntade resultat. Tråkiga studier som misslyckas med att hitta någon intressant effekt eller bara upprepar gammal skåpmat löper större risk att bli refuserade.

Den nya studien i Science är en påminnelse om den viktigaste principen av alla för vetenskap. Det handlar om försök, observationer och resultat, inte om vad gamla auktoriteter säger.

Att forskarna bakom originalstudien var etablerade och berömda och jobbade på extra ansedda institutioner ökade inte alls chansen att deras resultat stod sig i granskningen.

En enda faktor stack ut, och det var den statistiska säkerheten. Vetenskapliga resultat brukar ofta anges med ett så kallat p-värde – en uppskattning av om det som ser ut som ett samband i själva verket bara är en slump. Inom medicin och psykologi anses ett p-värde under 0,05 vara acceptabelt. Då anses resultatet vara ”statistiskt signifikant”.

Men när försöken upprepades låg ursprungliga p-värden runt 0,05 ganska risigt till. Det var snarare resultat med p-värden nära noll som höll måttet; det vill säga studier med mycket hög statistisk kraft.

Sensationella resultat som stred mot tidigare etablerad kunskap klarade sig också sämre i granskningen.

Vilket leder till två andra gamla visdomsord, nämligen ”om något är för bra för att vara sant så är det oftast inte sant” och ”extraordinära påståenden kräver extraordinärt starka belägg”.

Något att tänka på när folk påstår sig ha uppfunnit kallfusion eller hittat nytt stöd för att växthusgaser inte alls skulle göra jorden varmare.

Även om veckans Science-studie handlar om ämnet psykologi är slutsatserna allmängiltiga. Inget tyder på att psykologer skulle vara så mycket värre än andra sorters forskare. Försök att upprepa grundläggande cancerforskning har visat samma nedslående resultat.

Nu ska vi inte ge upp hoppet om den vetenskapliga metoden bara för att mindre än hälften av nya resultat står sig i längden. Den vetenskapliga metoden är ändå den oöverträffat bästa vägen till ny kunskap.

Enstaka forskare kan slarva och i värsta fall även fuska. De kan ha otur med sina experiment. Men själva systemet är självsanerande, med olika forskargrupper som konkurrerar med varandra och (ibland) lyckas upprepa varandras resultat.

Det fanns en tid när många psykologer baserade sin världsuppfattning på enskilda auktoriteter som Sigmund Freud och Carl Gustav Jung.

Att förlita sig på vetenskapliga resultat är betydligt mer stabilt. Men först när resultaten har upprepats av flera olika forskargrupper.