Weer slecht nieuws voor de psychologie. Maar ook goed nieuws.

Eerst het slechte nieuws: de psychologische literatuur bevat al decennia veel statistische fouten. In een op de acht artikelen zit „een ernstige statistische fout” die van invloed kan zijn op de uitkomst van de studie. Dat concluderen psychologen van Tilburg University na een analyse van ruim 30.000 artikelen in de periode 1985-2013 (Behavior Research Methods, 23 oktober, online). „Eén op de acht vind ik erg veel”, zegt promovendus Michèle Nuijten, eerste auteur van de studie.

Het goede nieuws: de fouten zijn in de tijd niet toegenomen. „Het idee dat het met de twijfelachtige onderzoekspraktijken in de psychologie dus steeds erger is geworden, door publicatiedruk of wat dan ook, zien wij niet terug”, zegt Nuijten. Het lijken eerder structurele slordigheden. „En daar kun je wat aan doen.”

Voor hun studie selecteerden de Tilburgse psychologen acht vooraanstaande tijdschriften uit diverse psychologische disciplines. Ze richtten zich op de rapportage van p-waardes. Die geven de kans weer dat een gevonden verschil tussen twee groepen in het experiment op toeval berust. Een p-waarde onder de 0,05 duidt in de regel op een significant verschil.

In absolute zin zagen de Tilburgse onderzoekers in de tijd weliswaar een toename van het aantal statistische fouten, maar ook het aantal gerapporteerde p-waardes per artikel steeg. Procentueel is het aantal fouten constant gebleven, in sommige bladen zelfs licht gedaald. De psychologen duiden 10 procent van de p-waardes aan als ‘kleine fout’ en iets meer dan 1 procent als ‘ernstige fout’.

De uitkomsten van hun studie zijn in lijn met eerdere onderzoeken, maar deze is wel veel groter van opzet. Dat komt omdat Nuijten en collega Sacha Epskamp een computerprogramma hebben ontwikkeld (statcheck) dat statistische gegevens uit PDF- en HTML-tekst kan halen en checken. De controles hoeven niet meer met de hand te gebeuren.

Daar zit meteen een mogelijke verbetering voor de psychologische literatuur, stellen de Tilburgse onderzoekers. Gebruik van statcheck door eerste auteurs, co-auteurs, peer reviewers kan helpen het percentage fouten naar beneden te krijgen.