Standort: science.ORF.at / Meldung: "Widerlegungen landen in der Schublade"

Ein Mann legt den Finger an den Mund.

Widerlegungen landen in der Schublade

Hypothesen aufstellen, überprüfen und über das Ergebnis berichten - aus diesen Schritten besteht laut Lehrbuch empirische Sozialforschung. Wie US-Forscher aber nun berichten, wird der letzte Schritt gerne weggelassen, wenn das Ergebnis negativ ausfällt. Zum Nachteil der Wissenschaft, wie sie betonen.

Sozialwissenschaften 01.09.2014

Nur ein Fünftel aller nicht bestätigten Hypothesen wird überhaupt veröffentlicht, 65 Prozent der Forscher schreiben Versuchsverlauf und Ergebnis gleich gar nicht adäquat auf, berichten die Politikwissenschaftlerin Annie Franco von der Stanford University und ihre Kollegen. Der Grund: Forscher nehmen an, dass zumindest die wichtigen Journals, in denen sie publizieren möchten, an nicht-bestätigten Zusammenhängen nicht interessiert sind.

221 Studien über Plattform gefunden

Die Studie:

"Publication bias in the social sciences: Unlocking the file drawer" erscheint am 28. August 2014 in "Science".

Um das graue Feld der in Schubladen verschwundenen Versuche erfassen zu können, zogen die Forscher die US-amerikanische Plattform "TESS" heran, auf der Sozialwissenschaftler Untersuchungen mit dem Anspruch einer landesweiten Auswertung anmelden. Die Betreiber der Plattform unterziehen die Einreichungen einer "Peer Review" und entscheiden danach über eine Förderung.

Das Team um Annie Franco zog für ihre Auswertung 221 Studien heran, die zwischen 2002 und 2012 von TESS akzeptiert wurden. 41 Prozent der Untersuchungen bestätigten die Eingangshypothese, 37 Prozent brachten gemischte Resultate und in 22 Prozent der Fälle konnte ein vermuteter Zusammenhang nicht belegt werden.

Auf der Suche nach verschwundenen Studien

Als nächsten Schritt erfassten Franco und Kollegen durch eine genaue Online-Recherche studienrelevante Publikationen - und zwar sowohl offizielle Papers etwa in sozialwissenschaftlichen Magazinen und Büchern als auch graue Literatur in Form von Arbeitspapieren, Konferenzbeiträgen oder Posterpräsentationen. Danach kontaktierten sie jene Wissenschaftler, zu deren Versuchen sie keinerlei Veröffentlichung finden konnten, und fragten sie, was mit ihren Studien passiert sei.

Die Auswertung zeigte einen starken Zusammenhang zwischen den Ergebnissen einer Studie und der Wahrscheinlichkeit, dass sie publiziert wird. Denn während 60 Prozent der bekräftigten Hypothesen und immerhin noch 50 Prozent der Studien mit gemischten Ergebnissen veröffentlich werden, dringt von den Untersuchungen mit negativem Zusammenhang nur mehr ein Fünftel an die Öffentlichkeit. Dass es diesen Zusammenhang gibt, sei nicht das Überraschende, schreiben Annie Franco, aber das Ausmaß: Endet eine Untersuchung ohne Bestätigung der Hypothese, steigt die Wahrscheinlichkeit, dass sie nicht veröffentlicht wird, um 40 Prozent. Und immerhin 65 Prozent der Forscher dokumentieren diese Analysen nicht einmal.

Auf Nachfrage gaben sie als Gründe an, dass ein Nullergebnis ihrer Einschätzung nach keine Chance auf Publikation in einem angesehen Journal hätte oder dass sie das Forschungsprojekt im Gesamten aufgegeben und ihre Zeit anderen Fragen gewidmet hätten.

Auch Falsifikation ist Information

Diesen hohen Prozentsatz an verlorenem Wissen beschreiben die Autoren der aktuellen Studie als besonders problematisch. Denn auch die Falsifikation einer These sei eine wichtige Information, dringt sie aber nicht an die Öffentlichkeit, werden immer wieder neue Anläufe zur Überprüfung genommen. Außerdem entstehe ein "Publikationsbias", weil Bestätigungen von Hypothesen in der Öffentlichkeit mehr Bedeutung zukomme als im Forscheralltag.

Als Gegenstrategie schlagen Annie Franco und ihre Kollegen zweierlei vor: Werden Förderungen für eine Studie vergeben, sollten die Unterlagen zur Dokumentation explizit auch nach nicht bestätigten Thesen fragen. Und es sollten Magazine etabliert werden, die auch von nicht bestätigten Hypothesen berichten. Ihre Hoffnung ruht hier auf Open-Access-Journalen, die dazu beitragen könnten, dass weniger Wissen in Schubladen verschwindet.

Elke Ziegler, science.ORF.at

Mehr zum Thema:
- Großer Hypothesenputz in der Psychologie
- Experiment: Wiederholung unmöglich
- "Wir stolpern herum wie Blinde"