Standort: science.ORF.at / Meldung: "Zwei Drittel aller Resultate nicht wiederholbar"

Zeitschriftenstapel

Zwei Drittel aller Resultate nicht wiederholbar

Bevorzugen Frauen an ihren fruchtbaren Tagen alleinstehende Männer? Ja, so lautete der Schluss einer Studie, die vor sieben Jahren erschienen ist. Bei einer aktuellen Wiederholung der Arbeit kamen Forscher nicht zu diesem Ergebnis – ähnlich war es bei einem Großteil von anderen psychologischen Studien, die nun erneut durchgeführt wurden.

Psychologie 31.08.2015

Nur bei etwas mehr als einem Drittel von 100 Arbeiten konnte ein Forscherteam jene Ergebnisse reproduzieren, die ihre Kollegen zuvor herausgefunden hatten.

Die Studie:

"Estimating the Reproducibility of Psychological Science von Brian Nosek und Kollegen ist am 28. August in "Science" erschienen.

Link:

Knapp 100 Studien nochmals durchgeführt

Wissenschaft im Geheimen zu betreiben, ist ein Widerspruch in sich: Ihre Ergebnisse sollen der Gemeinschaft der Kolleginnen und Kollegen präsentiert und gegebenenfalls auch kritisiert werden. Studien, Bücher und ähnliches sind deshalb so etwas wie die "Währung der Wissenschaft".

In den Naturwissenschaften gilt: Ertrag sprich Erkenntnis bringt diese Währung, wenn sich die Resultate wiederholen lassen. Unter gleichen Bedingungen und Voraussetzungen sollte ein Experiment immer wieder zu den gleichen Ergebnissen führen. Tut es aber nicht immer, wie ein Team um Brian Nosek, Psychologe und Leiter des Center for Open Science in Charlottesville, nun sehr eindrucksvoll bewiesen hat.

In einem ersten Schritt wählten die Forscher rund 100 Studien aus, die 2008 in drei renommierten Psychologie-Magazinen erschienen sind. Sie trugen sämtliche Daten zu diesen Studien auf einer Online-Plattform, die für jeden zugänglich ist, zusammen. Dann spielten rund 270 Kollegen und Kolleginnen aus der Open Science Collaboration die 100 Studien noch einmal durch.

Zwei Drittel der Studienergebnisse fragwürdig

Ergebnis: Die Forscher kamen nur bei 39 Studien auf die gleichen Ergebnisse wie beim Original. Bei 25 weiteren Arbeiten erzielten sie "ähnliche Ergebnisse", diese waren aber statistisch nicht relevant.

Nosek betont, dass dies nicht automatisch bedeutet, dass zwei Drittel der ursprünglichen Studien falsch oder fehlerhaft waren. Die Quellen für die unterschiedlichen Resultate seien mannigfaltig, Zufall oder sonstige Einflüsse könnten sowohl bei den Erstversuchen als auch bei den Wiederholungen Regie geführt haben.

Vor allem auch, weil manche Zweitversuche an die gegebenen Situationen angepasst werden mussten. So beispielsweise bei einer Arbeit, deren Resultate nicht bestätigt wurden. Dabei ging es um Angstreize bei Babys. In der Originalstudie wurde ein großer Touch-Monitor verwendet, um diese zu testen, bei der Wiederholung ein Tablet. Ob dieser methodische Unterschied das Ergebnis beeinflusst, kann nicht gänzlich geklärt werden.

Nicht nur Psychologie betroffen

Mit dem Menschen als Untersuchungsobjekt hat die Psychologie nicht gerade die leichtesten methodischen Voraussetzungen. Trotzdem hat die Disziplin das Problem der schlechten Reproduzierbarkeit von Studien nicht für sich allein gepachtet.

Dies sei auch in anderen Bereichen der Fall, meint etwa John Ioannidis, ein Epidemiologe von der Standford University. Er hat schon 2005 einen Artikel veröffentlicht mit dem bezeichnenden Titel "Why Most Published Research Findings Are False". Damals überprüfte er medizinische Studien und nannte allerlei Fehlerquellen wie die Verwendung zu kleiner Stichprobengrößen, die Voreingenommenheit von Wissenschaftlern und finanzielle Interessen.

Das Publizieren in Fachzeitschriften ist selten ganz wertfrei. Besonders gern gedruckt werden Studien mit "überraschenden" und eindeutigen Resultaten, heißt es auch in der aktuellen Wiederholungsstudie psychologischer Arbeiten. Langweilige, aber korrekte Studien hingegen haben weniger gute Chancen auf Veröffentlichung. Das setzt Wissenschaftler unter Druck.

Ein gutes Beispiel dafür ist Diederik Stapel, ein niederländischer Sozialpsychologe. Zahlreiche seiner Arbeiten sind in renommierten Fachzeitschriften erschienen, bis er 2011 zugab, Daten für Studien gefälscht zu haben. Das brachte ihn um seinen Doktortitel.

Deswegen sind Wiederholungen von Studien laut Nosek so wichtig. Er wünscht sich, dass wenigstens ein kleiner Teil der Finanzierung für Forschung und Entwicklung für die Wiederholung von Studien verwendet wird. Bisher sind es nahezu null Prozent.

Claudia Chruszczyk, Lukas Wieselberg, science.ORF.at

Mehr zu dem Thema: