Afgelopen vrijdag  kwam de Volkskrant met het nieuws dat het merendeel van de psychologische studies die in wetenschappelijke tijdschriften zijn gepubliceerd, gebaseerd is op drijfzand. Welke gevolgen heeft dat voor de wetenschapsjournalistiek? Hoe moeten media voortaan omgaan met resultaten van psychologische onderzoeken? DNR deed rondvraag bij wetenschapsjournalisten.

Het nieuws van de Volkskrant is afkomstig uit Science, dat vrijdag de uitkomsten publiceerde van een onderzoek waarin 100 psychologische studies uit gerenommeerde wetenschappelijke tijdschriften zijn herhaald. Slechts in 39% van de gevallen leverde het replicatieonderzoek dezelfde uitkomsten op als het oorspronkelijke onderzoek. Zo’n 60% van de bekeken studies leverde dus andere bevindingen op.

Deze constatering roept ook voor de journalistiek vragen op. Kunnen media de bevindingen van psychologisch onderzoek nog wel als nieuws brengen?

Rekening houden

“Helemaal geen nieuwsberichten meer brengen uit de psychologie gaat mij wat te ver”, meent Dennis Rijnvis, die als freelance wetenschapsjournalist nieuwsberichten over wetenschap maakt voor NU.nl. “Maar dit is wel iets om rekening mee te houden. Het is wel belangrijk om de lezer er nadrukkelijk op te wijzen dat bepaalde uitkomsten niet onomstotelijk vaststaan. We moeten dus nieuws voorzichtiger brengen, met meer slagen om de arm en soms inderdaad studies laten liggen.”

Vooral voor een tijdschrift als Psychologie Magazine, dat ruim gebruik maakt van onderzoeken uit de psychologie, is het onderzoek uit Science wellicht een hard gelag. “Ik zal niet ontkennen dat ik even heel diep moest zuchten toen ik het las”, bekent hoofdredacteur Sterre van Leer.

Een ander populair-wetenschappelijk tijdschrift dat regelmatig put uit psychologisch onderzoek is Quest Psychologie. Adjunct-hoofdredacteur Philip Fontani toon zich vrij laconiek over het Science-onderzoek. “Ik geloof niet dat we opeens heel anders met psychologisch onderzoek moeten omgaan. Dat veel onderzoek niet overeind blijft als het herhaald wordt, was wel bekend. En dat geldt niet alleen voor de psychologie. Maar het maakt vooral duidelijk dat je eigenlijk elk resultaat met een korreltje zout moet nemen.”

Dat vindt ook wetenschapsjournalist Frank van Kolfschooten, die twee boeken publiceerde over wetenschapsfraude: “Media moeten bij berichtgeving over onderzoek uit alle wetenschapsgebieden relativerende opmerkingen maken. Uit vergelijkbare onderzoeken in de medische hoek blijkt ook dat veel resultaten na verloop van tijd niet hard blijken te zijn. Ik zie dus geen aanleiding om nu speciaal bij psychologisch onderzoek extra op te letten.”

Relativerende kanttekeningen

Goed opletten doet Psychologie Magazine zoveel mogelijk, vertelt hoofdredacteur Van Leer: “Grotere verhalen baseren we nooit op losse onderzoekjes. Dan gaat het altijd over wat de wetenschap ‘robuuste effecten’ noemt. Het effect van aanraking op ons welbevinden, bijvoorbeeld, is echt goed gedocumenteerd; voor een stuk daarover zijn stapels onderzoek te vinden, plus de expertise van onderzoekers die zich echt hebben toegelegd op dit onderzoeksgebied. Maar een goed gelezen rubriek als Hoofdzaken, waarin we nieuwsberichten uit de wetenschap brengen, is kwetsbaar: daarin berichten we namelijk wel over losse onderzoeken.”

Daarom hanteert de redactie dan bepaalde richtlijnen, legt Van Leer uit: “Van een populair-wetenschappelijk medium mag je een kritische, voorzichtige houding verwachten bij selectie en berichtgeving. We nemen alleen onderzoek over uit gedegen journals – al blijkt nu maar weer eens dat dat ook niet alles zegt. We letten op de steekproefgrootte; we schrijven niet over piepkleine onderzoekjes onder zeventien proefpersonen. En de redacteuren lezen de onderzoeksartikelen zelf – niet de bijbehorende persberichten, waarin de effecten nog weleens jubelend overdreven worden. Verder kom je in Psychologie Magazine regelmatig zinnen tegen als ‘Onderzoekers vermoeden dat…’ of ‘Dat suggereert een experiment waarin…’. Dat mag misschien overdreven genuanceerd lijken, maar op momenten als deze ben ik daar wel blij mee.”

Dat soort relativerende kanttekeningen plaatsen bij onderzoek doet Quest ook altijd al, vertelt Fontani.” In grotere verhalen over psychologie is het natuurlijk makkelijker om ruimte te maken voor mitsen en maren dan in korte berichten. In korte nieuwsberichten presenteren wij ook vaak het resultaat van één experiment als nieuws. Maar een resultaat betekent niet dat voor eens en voor altijd is aangetoond hoe de psychologische werkelijkheid in elkaar zit. Wij presenteren in korte berichten wat wetenschappers hebben gedaan, en wat voor conclusies zij daaraan denken te kunnen verbinden. Dat blijven we gewoon doen.”

Flutonderzoek

De Volkskrant is terughoudend in het brengen van bepaalde onderzoeksresultaten als nieuws, vertelt Maarten Keulemans, die het nieuws over het replicatie-onderzoek uit Science in de Volkskrant publiceerde. “We schrijven zelden of nooit zomaar over losse feitjes van het kaliber ‘vrouwen praten meer dan mannen’. En als we dat al doen, doen we dat soms in de vorm van een factcheck, zoals in dit specifieke geval. Zie onze rubriek Klopt dit wel.”

Keulemans vertelt dat de Volkskrant al langer bezig is met het buiten de deur houden van wat hij noemt ‘flutonderzoek’. “Wat wij, als ‘kwaliteitskrant’ met gespecialiseerde wetenschapsredactie, nu al doen, is zoveel mogelijk barrières opwerpen. We lezen altijd het achterliggende onderzoek en vragen ons af: waar is het gepubliceerd, is het een enkele auteur of meerdere, hoe liggen de cijfers, wat is de rationale van dit effect, etc. Bovendien proberen we altijd een onafhankelijke derde aan het woord te laten met kennis van zaken: hoe kijkt die ertegenaan?”

Keulemans benadruk dat dit geen nieuwe maatregelen zijn. “We deden dit al en dit onderzoek bevestigt dat het niet voor niets is! Bij mijzelf knaagt het al een jaar of tien, sinds John Ioannidis’ baanbrekende paper over Why most published research findings are false; bij onze krant ging het een jaar of vijf geleden meer leven, nadat onze columnist Hans van Maanen een paar keer achter elkaar gehakt maakte van stukken die we vrij prominent in de krant hadden gebracht. Vaak ging het daarbij trouwens om medisch onderzoek.”

Goed geschoolde wetenschapsjournalisten

Psychologie Magazine-hoofdredacteur Van Leer wil nog wel een kanttekening plaatsen: “Ik vind wel dat er grenzen zijn aan wat je van een populair-wetenschappelijk medium kunt verwachten. Als wetenschapsjournalist bericht je over de huidige stand van het onderzoek. Je kunt niet zeggen: we publiceren pas over dit onderzoek als het eerst drie keer is herhaald in andere vakbladen.”

Bovendien, meent Keulemans, “is het een fabeltje dat wij van de media aldoor maar lekkere geile psychologische feitjes zouden opdissen. Ik heb dat eens gecheckt voor Diederik Stapel: toen bleek dat we nauwelijks aandacht hadden besteed aan al die koddige onderzoekjes van de man! Het valt dus wel mee.”

Van Kolfschooten wijst op het belang van goed geschoolde wetenschapsjournalisten: “Het beoordelen van de waarde van nieuwe wetenschappelijke resultaten vereist de nodige kennis over hoe het toegaat bij wetenschappelijk onderzoek. Daar moet je journalisten in scholen om te voorkomen dat er flutberichten in de krant komen. Wetenschapsredacteuren zijn geen overbodige luxe.”

Fontani ziet nog wel een positieve kant aan het onderzoek uit Science: “Ik vind het wel een mooie aanleiding voor een groot verhaal in Quest. Dan kunnen we onze lezers weer eens uitleggen dat wetenschappers ook mensen zijn, dat vooral experimenten met een positief resultaat gepubliceerd worden en dat de uitkomst van één experiment geen sluitend bewijs is. En dan kunnen we ook weer mooi het vrolijke cliché uit de kast halen dat de psychologie vooral duidelijk maakt hoe psychologiestudenten in elkaar zitten. Want zij moeten altijd opdraven als proefpersoon in al die experimenten.”