Im Gegensatz zu früheren Annahmen würden diese aber immerhin tendenziell zu den gleichen Resultaten gelangen wie ihre Vorgänger, berichten der Psychologe Matthew Makel von der Duke University und Kollegen in einer Studie.
Die Studie:
"Replications in Psychology Research: How Often Do They Really Occur?" von Matthew Makel und Kollegen ist in der November-Ausgabe der "Perspectives on Psychological Science " erschienen.
Ein "Goldstandard", der unsexy ist
Ihrer Arbeit voran stellen sie ein Zitat des US-Mathematikers und -Statistikers John Tukey: "Bestätigung erfolgt durch Wiederholung. Jeder Versuch, diese Aussage zu vermeiden, führt zu Versagen und noch wahrscheinlicher zu Zerstörung", schrieb dieser 1969.
Obwohl die Replikation von Experimenten kein Allerheilmittel für die Wissenschaft ist, sehen viele in ihr dennoch einen "Goldstandard": Wiederholungen können dabei helfen, mögliche Fehler in den Grundannahmen oder Arbeitshypothesen zu lokalisieren und zu korrigieren. Das gilt für alle Disziplinen, aber erst recht für die Psychologie, deren Forschungsgebiet der methodisch besonders schwierig zu fassende Mensch ist.
So klar dies für Wiederholungen von Studien spricht, so wenig attraktiv sind sie in der Wirklichkeit. Entsprechende Arbeiten gelten nicht gerade als sexy, dabei wird kein neues Wissen gewonnen, das dann medial gut "verkauft" werden kann. "Wiederholungsforscher" gelten dementsprechend als Handwerker, denen die Kreativität fehlt. Dass das nicht erst ein Phänomen der vergangenen Jahre und Jahrzehnte ist, zeigt nun die Studie von Makel und seinen Kollegen.
Wiederholungsrate von 1,07 Prozent
Sie haben sich der Frage der Wiederholungen in der Psychologie mit statistischen Mitteln genähert. Dazu durchforsteten sie die online zur Verfügung stehende Forschungsliteratur seit 1900 und durchsuchten die 100 wichtigsten Fachzeitschriften nach dem Begriff "replicat*". (Das Sternchen steht für alle möglichen Wortendungen.)
Da sich nicht alle der gefundenen Worte tatsächlich auf die Wiederholung einer früher gemachten Studie bezogen, stellten sie ein Zufallssample von 500 Studien zusammen, wo sie den Gebrauch von "replicat*" genauer analysierten. Aus all dem errechneten sie für den Gesamtzeitraum seit 1900 eine Wiederholungsrate von 1,07 Prozent.
Andere Forscher, andere Ergebnisse
Einige Zahlen im Detail sind sehr aufschlussreich: In der zehnjährigen Periode zwischen 2000 und 2009 sind mit 99.000 mehr psychologische Studien erschienen als im gesamten Zeitraum zwischen 1900 und 1979 (75.000). Ab den 1960er Jahren ist die Anzahl der Publikationen geradezu explodiert, auch die Wiederholungsrate stieg an, aber nicht in dem gleichen Ausmaß.
Sie war nach dem Jahr 2000 etwa knapp zweimal höher als zwischen 1950 und 1999. Im ersten Jahrzehnt des aktuellen Jahrhunderts ist sie noch einmal angestiegen - möglicherweise als Reaktion auf die einsetzende Kritik an zu wenigen Wiederholungsexperimenten in der Psychologie, wie die Forscher mutmaßen.
Im Gegensatz zu früheren Untersuchungen errechneten Makel und Kollegen, dass der Großteil "erfolgreiche Wiederholungen" waren, dass die Resultate also den ursprünglichen Studien entsprachen. Allerdings: Wenn keiner der ursprünglichen Autoren an der Wiederholungsstudie beteiligt war, sank die Wahrscheinlichkeit einer "erfolgreichen Replikation signifikant" - andere Forscher kommen also auch im gleichen Setting zu eher anderen Ergebnissen.
Betrifft auch andere Disziplinen
Die Psychologie steht mit ihrer Wiederholungsrate von knapp über einem Prozent keineswegs allein, betonen die Forscher. Zwar gebe es keine vergleichbaren umfassenden Studien wie die aktuelle in anderen Disziplinen. Einzelstudien in den Bereichen Wirtschaft, Marketing und Kommunikation würden aber ebenfalls auf Raten zwischen einem und drei Prozent kommen.
Den Einwänden gegen ihre eigene Studie begegnen Makel und seine Kollegen selbst: Natürlich beinhalten nicht alle Studien, die Vorangegangenes wiederholen, ein Wort mit "replicat*". Um die Wiederholungsrate 100 Prozent korrekt anzugeben, müsste man alle jemals erschienenen Studien analysieren, und das sei schlicht "unpraktisch".
Einen Vorteil aber hat die aktuelle Arbeit mit Sicherheit: Sie lässt sich - entsprechendes Statistik-Know-How und Zugänge zu Datenbanken vorausgesetzt - jederzeit wiederholen, vermutlich auch mit Erfolg.
Lukas Wieselberg, science.ORF.at
Mehr zu dem Thema aus dem Archiv:
- Studien meist wegen Betrugs zurückgezogen
- "Gehirnstudien nicht wiederholbar"
- Schwerpunkt wissenschaftliches Fehlverhalten
Open all references in tabs: [1 - 8]