De helft van alle wetenschappelijke publicaties in de experimentele psychologie bevat statistische slordigheden, van afrondfouten tot opgepoetste data. En vaak komt dat de auteurs wel goed uit. Dat zegt de Amsterdamse psycholoog Marjan Bakker in haar proefschrift, waarop ze later deze maand promoveert.

En weer krijgt de psychologie er stevig van langs.
"Dankzij verschillende rechtzaken kwam het mij ironisch genoeg wel goed van pas, omdat er opeens weer veel aandacht is voor de methodes van de psychologie, van hypothese via data naar conclusies. Daar werkte ik al jaren aan. Mijn vraag is: gebruiken experimentele psychologen hun gereedschappen op de juiste manier?"

En het antwoord lijkt ronduit nee.
"Er is vooral een grijs gebied tussen keurig netjes en helemaal fout dat me interesseert. Er gaat veel mis. Dat is lang niet allemaal bewust. Laat staan opzettelijk. Maar het gebeurt wel voortdurend."

Is er ook goed nieuws?
"Het goede nieuws is dat er aanmerkelijk minder misgaat in studies waarin mensen samenwerken. Dat dwingt kennelijk tot orde en netheid."

Wat is het probleem?
"Het probleem is vooral onze obsessie met de zogeheten p-waarde. Dat is een statistische maat die aangeeft in hoeverre een gevonden effect bij een meting ook toeval kan zijn. De meeste bladen accepteren alleen studies die een effect melden met minder dan 5 procent toevalskans."

Dat klinkt niet zo gek, toch?
"Het probleem is vooral dat onderzoekers zich gaan richten op het halen van een p-waarde van 0.05 om een effect aan te tonen. Als je goed gaat kijken, ronden mensen daarom zaken net gustig af, of besluiten dat bepaalde observaties toch maar niet worden meegerekend."

Hoe vaak gebeurt dat?
"Uit onze steekproef maken we op dat ongeveer in 15 procent van de gevallen de conclusie van een studie wezenlijk anders is. Doorgaans wordt er een effect aangetoond, waarvan je je moet afvragen of dat echt bewezen is."

U analyseerde ook een beroemde studie van psycholoog Daryl Bem die keihard aantoonde dat proefpersonen tests beter maken als ze daarna oefenen met de stof. Helderziendheid!
"Dat is vooral een mooie casus omdat het resultaat absurd is, en de statistiek toch solide lijkt. Mijn conclusie is: Bem heeft krankzinnig veel gelukstreffers gehad, of heeft toch geshopt in de data, bijvoorbeeld door te focussen op de gelukte experimenten."

U zegt: dat iemand de statistische grens haalt, betekent niet vanzelf dat het een bewijs is.
"Het probleem is eigenlijk dat veel psychologische studies verkennend zijn: zoeken naar opmerkelijke effecten. Dat mag, dat is ook wetenschap. Maar daarna komt het erop aan om te testen of die effecten er echt zijn."

Dat klinkt eigenlijk behoorlijk logisch.
"Toch gebeurt dat minder dan je denkt. Wetenschappelijke tijdschriften willen nieuwe sterke resultaten, en publiceren geen studies die ander werk nalopen. En al helemaal niet als de uitkomst ook nog negatief is. Of de boel afzwakt."

Is dit iets dat specifiek voor de psychologie geldt?
"Nee, er zijn studies die hetzelfde laten zien in de geneeskunde en ook elders. Hooguit kun je zeggen dat werk met proefpersonen extra lastig is en dat er misschien te snel argumenten te bedenken zijn om bepaalde uitkomsten toch niet of anders mee te nemen."

Maak je eigenlijk veel vrienden met een proefschrift vol zelfkritiek?
"Dat valt wel mee, er is naar mijn gevoel opmerkelijk veel openheid in de psychologie gekomen. Mensen beseffen hoe moeilijk hun vak is, en dat je dus netjes moet opereren."