Die meisten Ergebnisse aus psychologischen Studien lassen sich nicht replizieren. Das zeigt ein Großprojekt mit der Beteiligung von mehr als 270 Forschern auf fünf Kontinenten. Darin stellten Psychologen insgesamt 100 Studien nach, deren Ergebnisse zuvor in drei hochkarätigen psychologischen Fachzeitschriften erschienen waren. Die meisten Wiederholungen bestätigten die Resultate der Originalstudien nicht. Das berichtet das Team um Brian Nosek von der University of Virginia in Charlottesville im Fachblatt "Science". Der Befund weckt grund­legende Zweifel am Wissenschafts­betrieb – weit über die Psychologie ­hinaus.

"Reproduzierbarkeit ist ein Kernprinzip des wissenschaftlichen Fortschritts", betonen die Forscher gleich zu Beginn ihres Artikels. Denn davon hänge die Glaubwürdigkeit der Ergebnisse ab. "Seit Jahren gab es Zweifel an der Reproduzierbarkeit wissenschaftlicher Befunde, aber kaum direkte systematische Belege", wird Projektkoordinator Nosek in einer Mitteilung seiner Universität zitiert. "Dieses Projekt, das erste seiner Art, belegt substanziell, dass die Sorgen berechtigt sind."

Insgesamt ließen sich vor allem überraschende Befunde nicht replizieren

Dies betont auch Susann Fiedler vom Bonner Max-Planck-Institut zur Erforschung von Gemeinschaftsgütern, die maßgeblich an dem Projekt beteiligt war. Oft habe es auf Fachkonferenzen Zweifel an Studien gegeben – teils weil die Resultate der Vernunft widersprachen, teils weil andere Forscher sich vergeblich damit abmühten, Ergebnisse zu bestätigen.

In dem mehrjährigen Mammutprojekt prüften die Psychologen seit 2011 systematisch, wie zuverlässig publizierte Resultate tatsächlich sind. Dazu wählten sie 100 Studien aus, die im Jahr 2008 in drei renommierten psychologischen Fachzeitschriften veröffentlicht wurden – in "Psychological Science", im "Journal of Personality and Social Psychology" sowie im "Journal of Experimental Psychology: Learning, Memory and Cognition".

Diese 100 Versuche stellten dann diverse Forscherteams unter möglichst identischen Bedingungen nach. Resultat: In nicht einmal der Hälfte der Fälle konnten sie das frühere Resultat bestätigen. Während 97 Prozent der Originalstudien klare Ergebnisse hatten, waren es bei den Wiederholungen lediglich 36 Prozent.

Die Max-Planck-Forscherin Fiedler stellte zwei der Studien nach – zum absichtlichen Vergessen und zum Blickfeld. "In beiden Fällen konnten wir die Ergebnisse nicht bestätigen", sagt sie. Insgesamt ließen sich vor allem überraschende Befunde nicht replizieren. Dies müsse nicht unbedingt heißen, dass das frühere Ergebnis falsch war, betonen die Wissenschaftler in "Science". Einzelne Wiederholungsstudien könnten auch durch Zufälle oder sonstige Einflüsse andere Ergebnisse haben.

Doch um die Häufung der abweichenden Ergebnisse zu erklären, lohnt ein Blick auf den Wissenschaftsbetrieb. "Forscher wollen zwar zuverlässiges Wissen schaffen, müssen aber auch Resultate produzieren, die ihnen helfen, ihren Job als Wissenschaftler zu behalten", erläutert Nosek. "Um in der Wissenschaft Erfolg zu haben, brauchen Forscher Veröffentlichungen, und manche Ergebnisse lassen sich leichter publizieren als andere, vor allem jene, die neuartig sind und in überraschende oder neue Richtungen weisen." Wer publizieren wolle, brauche signifikante Ergebnisse, erläutert Fiedler. "Was nicht signifikant ist, lässt sich oft schwer publizieren."

Heißt das, dass Forscher bewusst Statistiken schönen, um erwünschte Ergebnisse vorweisen zu können? Solche Fälle gebe es zwar auch, sagt Fiedler, meist seien die Prozesse aber subtiler. So könnten Forscher, die nach jahrelanger Arbeit kein klares Resultat hätten, im Nachhinein die Fragestellung verändern – unter Umständen so lange, bis das Ergebnis passt. Mitunter könne man auch nachträglich Kovarianten wie Geschlecht oder Alter einführen, sagt Fiedler. "Die Befunde mögen dann zwar spannend sein, müssen aber erneut getestet werden, um sie abzusichern."

Prof. Philipp Mayring von der ­Universität Klagenfurt, der an dem Projekt nicht beteiligt war, ist von den Resultaten des Projekts nicht überrascht. Dies habe man schon länger ­gemutmaßt, sagt der Psychologe. Es ­gebe einfach sehr viele Wissenschaftler, die alle publizieren wollten. "Da ­haben sich Forschungsstile etabliert, um schnell zu Veröffentlichungen zu kommen", sagt er. Dies fördere Schlampereien, etwa beim Planen von Studien. Zudem bevorzugten Fachjournale überraschende Resultate, auch wenn die auf wackligen Beinen stünden.

In den Naturwissenschaften bestehe das gleiche Problem

Das Problem betrifft nicht nur ­Disziplinen wie etwa Psychologie oder Sozialwissenschaften. Als die Max-Planck-Forscherin Fiedler ihre Erkenntnisse auf Tagungen von Naturwissenschaftlern vortrug, kam die ­Reaktion "Wir haben das gleiche Problem, es sind dieselben Strukturen." Auch in diesen Fächern müssen Forscher für ihre Karriere publizieren, und dazu brauchen sie möglichst spektakuläre Studienresultate. Derzeit prüft ein Parallelprojekt des Open Science Frameworks die Reproduzierbarkeit von 50 Studien zur Krebsbiologie.

"Die Probleme waren vielen schon vorher bewusst", sagt Fiedler. "Aber mit der Veröffentlichung kann niemand mehr wegschauen. Diese Fakten kann man nicht länger ignorieren."