Ditmaal was het een bericht in de kantlijn van het nieuws: in 36 van de 58 onderzochte studies van Diederik Stapel heeft de onderzoekscommissie inmiddels  grote onregelmatigheden gevonden. Binnen de internationale gemeenschap van de experimentele psychologie heeft deze affaire vele ogen geopend over het wetenschappelijk klimaat in hun vakgebied. Juist dat klimaat zorgde ervoor dat het handelen van Stapel zo lang onopgemerkt bleef. De fraude zou waarschijnlijk eerder aan het licht zijn gekomen als zijn experimenten ooi exact waren herhaald.

Priming
Experimenten van collega’s herhalen is echter geen gewoonte binnen de psychologie. In de psychologie gaat het vaak over abstracte concepten, bijvoorbeeld priming. Er worden wel andere experimenten uitgevoerd om eenzelfde concept aan te tonen, echter exacte herhalingen van het originele experiment worden zelden uitgevoerd. In een bekend priming-experiment uit 1995 moesten proefpersonen een taal-oefening doen. Bij de ene groep waren woorden gerelateerd aan ouderdom onderdeel van de oefening. De controlegroep kreeg alleen neutrale woorden te zien. Na afloop van de test werd de tijd bijgehouden die men nodig had om de uitgang te bereiken.  Proefpersonen, blootgesteld aan  ouderdomgerelateerde woorden, bleken langzamer naar de uitgang te lopen dan personen uit de controlegroep. Na dit onderzoek zijn er wel nieuwe onderzoeken opgezet om het concept priming op een andere manier aan te tonen, maar een exacte herhaling van dit klassieke experiment is pas onlangs door Belgische onderzoekers uitgevoerd. Zij konden de originele resultaten echter niet reproduceren. Zo kan het dus gebeuren dat op een wankele basis een kaartenhuis aan experimentele data wordt gebouwd.

Helderziend
Vele ogen werden pas geopend na een grote controverse over een artikel van sociaal psycholoog Bem, getiteld Feeling the future, waarin hij bewijs aanvoerde voor het bestaan van helderziendheid. Bem maakte gebruik van gangbare psychologische testen, alleen voerde hij de experimenten in omgekeerde volgorde uit. In één  experiment, waar hij de sterkste effecten zag, werd proefpersonen een geheugen-test afgenomen van woorden die ze één keer mochten bekijken. Na afloop mochten de proefpersonen de woorden voor langere tijd bestuderen. De verbijsterende conclusie van Bem was dat de geheugentest ook beter werd gemaakt als het bestuderen pas na het afnemen van de test plaatsvond. Oorzaak en gevolg zijn dus omgedraaid. Met een simpel experiment werden zo ook even de basisprincipes van de natuurkunde ondergraven. Drie onderzoekers namen de uitdaging van Bem om het experiment te herhalen aan. Maar zij konden de resultaten van dit controversiële onderzoek niet reproduceren. Gedrieën publiceerden zij hun resultaten en niet geheel zonder humor gaven zij hun artikel de titel Failing the Future mee.

Onderzoek repliceren
Bij hun pogingen om de replicatie-studies gepubliceerd te krijgen liepen bovenstaande onderzoekers  tegen een muur op. Veel tijdschriften weigerden hun artikelen, zelfs de tijdschriften die het originele controversiële onderzoek hadden gepubliceerd. Gerenommeerde vaktijdschriften willen geen replicaties publiceren, omdat het niet nieuwswaardig of innovatief is. Uiteindelijk zijn de artikelen verschenen in PLoS One (hier en hier),een tijdschrift dat alle artikelen die op een technisch correcte wijze zijn uitgevoerd publiceert zonder te kijken naar de impact van het onderzoek.

De grote moeite die men heeft om replicatie-studies gepubliceerd te krijgen, zorgt ervoor dat psychologen onderzoek van collega’s niet graag herhalen. Daarnaast is er vooral binnen de psychologie een tendens om bijna alleen positieve resultaten te rapporteren. Onderzoek wordt tegenwoordig vooral beoordeeld op noviteit en innovativiteit (of plat gezegd: is het nieuw en hebben we er ook wat aan). Ook is er grote druk om artikelen te publiceren in gerenommeerde vaktijdschriften. Replicatie van andermans experimenten past hier niet in. Zorgvuldige replicaties van controversieel onderzoek is wel goede wetenschap, maar geen goede carrière-strategie. Dit alles kan leiden tot een klimaat waarin wetenschappelijk laakbaar handelen, zoals in het geval Stapel, lang onopgemerkt kan blijven. Het zelfreinigend vermogen binnen de psychologie kan dus nog wel wat verbetering gebruiken.

Geloofwaardigheid
Een mogelijke oplossing is om master-studenten tijdens onderzoeksstages te laten werken aan controversiële projecten die herhaling behoeven. Het geeft hun waardevolle ervaring met het opzetten van experimenten  en het schrijven van artikelen . Tegelijkertijd bewijzen ze de wetenschap een goede dienst.

Tenslotte is een platform om replicatie-studies gepubliceerd te krijgen hard nodig. Binnen de psychologie is de website psychfiledrawer.org opgezet waar onderzoekers resultaten van herhalingsexperimenten online kunnen zetten. Daar kan men ook stemmen op een top 20 van onderzoeken die men graag herhaald zou willen zien. Ik zou willen voorstellen dat elk onderzoeksgebied een dergelijke top 20 samenstelt om controversieel onderzoek  tegen het licht te houden. De wetenschappelijke wereld  kan zo zijn eigen geloofwaardigheid  nog verder opkrikken.