Standort: science.ORF.at / Meldung: "Zwei Drittel aller Resultate nicht wiederholbar"

Zeitschriftenstapel

Zwei Drittel aller Resultate nicht wiederholbar

Bevorzugen Frauen an ihren fruchtbaren Tagen alleinstehende Männer? Ja, so lautete der Schluss einer Studie, die vor sieben Jahren erschienen ist. Bei einer aktuellen Wiederholung der Arbeit kamen Forscher nicht zu diesem Ergebnis – ähnlich war es bei einem Großteil von anderen psychologischen Studien, die nun erneut durchgeführt wurden.

Psychologie 31.08.2015

Nur bei etwas mehr als einem Drittel von 100 Arbeiten konnte ein Forscherteam jene Ergebnisse reproduzieren, die ihre Kollegen zuvor herausgefunden hatten.

Die Studie:

"Estimating the Reproducibility of Psychological Science von Brian Nosek und Kollegen ist am 28. August in "Science" erschienen.

Link:

Knapp 100 Studien nochmals durchgeführt

Wissenschaft im Geheimen zu betreiben, ist ein Widerspruch in sich: Ihre Ergebnisse sollen der Gemeinschaft der Kolleginnen und Kollegen präsentiert und gegebenenfalls auch kritisiert werden. Studien, Bücher und ähnliches sind deshalb so etwas wie die "Währung der Wissenschaft".

In den Naturwissenschaften gilt: Ertrag sprich Erkenntnis bringt diese Währung, wenn sich die Resultate wiederholen lassen. Unter gleichen Bedingungen und Voraussetzungen sollte ein Experiment immer wieder zu den gleichen Ergebnissen führen. Tut es aber nicht immer, wie ein Team um Brian Nosek, Psychologe und Leiter des Center for Open Science in Charlottesville, nun sehr eindrucksvoll bewiesen hat.

In einem ersten Schritt wählten die Forscher rund 100 Studien aus, die 2008 in drei renommierten Psychologie-Magazinen erschienen sind. Sie trugen sämtliche Daten zu diesen Studien auf einer Online-Plattform, die für jeden zugänglich ist, zusammen. Dann spielten rund 270 Kollegen und Kolleginnen aus der Open Science Collaboration die 100 Studien noch einmal durch.

Zwei Drittel der Studienergebnisse fragwürdig

Ergebnis: Die Forscher kamen nur bei 39 Studien auf die gleichen Ergebnisse wie beim Original. Bei 25 weiteren Arbeiten erzielten sie "ähnliche Ergebnisse", diese waren aber statistisch nicht relevant.

Nosek betont, dass dies nicht automatisch bedeutet, dass zwei Drittel der ursprünglichen Studien falsch oder fehlerhaft waren. Die Quellen für die unterschiedlichen Resultate seien mannigfaltig, Zufall oder sonstige Einflüsse könnten sowohl bei den Erstversuchen als auch bei den Wiederholungen Regie geführt haben.

Vor allem auch, weil manche Zweitversuche an die gegebenen Situationen angepasst werden mussten. So beispielsweise bei einer Arbeit, deren Resultate nicht bestätigt wurden. Dabei ging es um Angstreize bei Babys. In der Originalstudie wurde ein großer Touch-Monitor verwendet, um diese zu testen, bei der Wiederholung ein Tablet. Ob dieser methodische Unterschied das Ergebnis beeinflusst, kann nicht gänzlich geklärt werden.

Nicht nur Psychologie betroffen

Mit dem Menschen als Untersuchungsobjekt hat die Psychologie nicht gerade die leichtesten methodischen Voraussetzungen. Trotzdem hat die Disziplin das Problem der schlechten Reproduzierbarkeit von Studien nicht für sich allein gepachtet.

Dies sei auch in anderen Bereichen der Fall, meint etwa John Ioannidis, ein Epidemiologe von der Standford University. Er hat schon 2005 einen Artikel veröffentlicht mit dem bezeichnenden Titel "Why Most Published Research Findings Are False". Damals überprüfte er medizinische Studien und nannte allerlei Fehlerquellen wie die Verwendung zu kleiner Stichprobengrößen, die Voreingenommenheit von Wissenschaftlern und finanzielle Interessen.

Das Publizieren in Fachzeitschriften ist selten ganz wertfrei. Besonders gern gedruckt werden Studien mit "überraschenden" und eindeutigen Resultaten, heißt es auch in der aktuellen Wiederholungsstudie psychologischer Arbeiten. Langweilige, aber korrekte Studien hingegen haben weniger gute Chancen auf Veröffentlichung. Das setzt Wissenschaftler unter Druck.

Ein gutes Beispiel dafür ist Diederik Stapel, ein niederländischer Sozialpsychologe. Zahlreiche seiner Arbeiten sind in renommierten Fachzeitschriften erschienen, bis er 2011 zugab, Daten für Studien gefälscht zu haben. Das brachte ihn um seinen Doktortitel.

Deswegen sind Wiederholungen von Studien laut Nosek so wichtig. Er wünscht sich, dass wenigstens ein kleiner Teil der Finanzierung für Forschung und Entwicklung für die Wiederholung von Studien verwendet wird. Bisher sind es nahezu null Prozent.

Claudia Chruszczyk, Lukas Wieselberg, science.ORF.at

Mehr zu dem Thema:

Die ORF.at-Foren sind allgemein zugängliche, offene und demokratische Diskursplattformen. Die Redaktion übernimmt keinerlei Verantwortung für den Inhalt der Beiträge. Wir behalten uns aber vor, Werbung, krass unsachliche, rechtswidrige oder beleidigende Beiträge zu löschen und nötigenfalls User aus der Debatte auszuschließen. Es gelten die Registrierungsbedingungen.

Forum

 
  • Wie ich immer sage - traue keiner Statistik, die Du...

    pallas, vor 328 Tagen, 11 Stunden, 26 Minuten

    ...nicht selbst gefaelscht hast

    All diese grossartigen Studien kranken an so vielen Stellen. Es faengt schon mit der Stichprobengroesse an. Die moisten begnuegen sich mit um die 100 Versuchspersonen. Und da hat man natuerlich alle groesseren soziale Schichten, Altersgruppen, Berufsgruppen, Nationalitaeten/Rassen usw. beruecksichtigt - mit genuegend Redundanz um Stoergroessen und indiviuelle "Ausreisser" korrigieren zu koennen ...
    Ja, ja ...
    Und was bei Psychologie and Sozialstudien heutzutahge dazu kommt - es gibt weniger und weniger unbefangene Versuchspersonen. Dadurch, dass mehr und mehr Leute von den diversen anderen Studien wissen (oder noch schlimmer - nur geruechtemaessig davon wissen), gibt es kaum noch jemanden, der einfach unbefangen seine echte Meinung oder Empfindung angibt. Eigentlich wissen viele nicht mehr, was ihre eigene Empfindung ist, und was ihnen suggeriert wird unf wurde.
    Und das ist meiner Meinung nach sogar die Hauptschwierigkeit bei den wiederholten Studien.

  • Das Problem ist die Theorienlosigkeit

    jasomirgott76, vor 328 Tagen, 15 Stunden, 36 Minuten

    Das wahre Problem ist die Theorienlosigkeit, die um sich greift. Versucht wird von den Daten auf etwas Allgemeines zu schließen, und dann wird per Statistik @thomast oder Produktionsbias @vonabisz "geschönt". Theorien anderer Autoren werden kaum gelesen, und noch weniger gelernt. Sie werden auch nicht mehr so stark in die eigene Arbeit inkorporiert. Bias ist vor allem dann möglich, wenn es nichts gibt, was nicht schon vorher von jemanden auf Herz und Nieren geprüft worden ist. Besonders die Sozialpsychologie ist gefährdet, da sie ja nicht so leicht auf biologische Theorien zurückgreifen kann wie z.B. Neuropsychologie oder kognitive Neurowissenschaft. Aber selbst dort greift die Theorienlosigkeit um sich. Mehr und mehr Neurowissenschaftler stürzen sich in die komplexesten statistischen fMRI Vodoo-Modelle, und ignorieren vollkommen die reichhaltige Literatur zu ihren Themen. Nein, sie wird nicht mal ignoriert, das ist das Schlimme!

    Bevorzugen Frauen an ihren fruchtbaren Tagen alleinstehende Männer? Was ist das überhaupt für eine Forschungsfrage? Die wurde nicht aus einer Theorie gewonnen, wie es gut und korrekt wäre, sondern aus dem Leitartikel der Kronen Zeitung! So geht´s nicht!

    • Zur Frage von Besonderheiten

      thomast, vor 328 Tagen, 10 Stunden, 29 Minuten

      zur Zeit des Eisprungs gibt es eine Vielzahl von wissenschaftlichen Arbeiten und eine erhebliche Anzahl von Theorien.

      Google nach "studie verhalten eisprung" und Du findest massig Referenzen zu Studien.

      Die Frage dahinter kann viele Gründe haben, z.B. die Erforschung der Ursachen unbewusster Verhaltensmuster. Es wäre mal zu klären, ob man überhaupt feststellen kann, ob ein Mann alleinstehend ist oder nicht, also ohne weitere Informationen. Und wenn ja, wie? Ist es Verhalten oder vielleicht eine Änderung im Hormonhaushalt der Männer, der dann über den Schweiß den Geruch ändert und dieser würde unbewusst wahrgenommen?

      Wenn die Aussage korrekt wäre, und man erforschen würde, wie das funktioniert, ergeben sich auch massig praktische Anwendungen, denn dann könnte man recht einfach den Zeitpunkt des Eisprungs bestimmen, diese Information wiederum ist z.B. im Bereich der Verhütung relevant, oder auch bei einem Kinderwunsch.

  • genau...

    dergrossenagus, vor 328 Tagen, 16 Stunden, 30 Minuten

    und deswegen sind die ganzen Psychostudien eh nur Geldbeschaffungsaktionen. Jeder deppert, der was dafür Geld ausgibt. D'Forscher freilich haben eh recht. Depperte, was denen Geld geben, gehören ausgenutzt!!!

  • Es wäre an der Zeit

    alabere, vor 328 Tagen, 18 Stunden, 26 Minuten

    Die Wissenschaftsgläubigkeit unserer Gesellschaft zu hinterfragen.
    Was da an Müll produziert wird, meistens auf Kosten der Bürger ist bemerkenswert.

    • vonabisz, vor 328 Tagen, 16 Stunden, 47 Minuten

      Das hat mit Wissenschaftsgläubigkeit eher wenig zu tun. Die Probleme sind wissenschaftssoziologischer Art.
      1. Publikationsbias: nur positiv signifikante Ergebnisse werden veröffentlicht. Das produziert falsch-positive Studien in den Journalen.
      Das wäre an sich noch nicht so schlimm, gäbe es nicht auch noch das
      2.Problem: Replikationen sind nicht sexy. Wenn man etwas bestätigt, sagt jeder, dass wissen wir doch schon. Widerlegt man etwas, wird einem misstraut. Das hat doch der oder die berühmte XY gezeigt, die neue Studie muss fehlerhaft sein.

      Das alles ist natürlich bekannt. Und immer wieder wird der Wert von Replikationen betont. An der Veröffentlichungspraxis hat sich aber nichts geändert.

    • Nein.

      thomast, vor 328 Tagen, 10 Stunden, 52 Minuten

      Die Wissenschaft ist das einzige Instrument, fundierte Informationen zu liefern.

      Wie gut das funktioniert, zeigt der Artikel: Die Wissenschaft stellt sämtliche Grundlagen bereit, die Fehler in Arbeiten zu finden.

      Die Wissenschaft mag nicht perfekt sein, sie ist aber nicht nur das beste, was wir haben, sie ist das einzige, was wir haben.

      Die Alternative wäre blindlings alles zu glauben, was irgendwer behauptet.

    • Die Wissenschaft

      regow, vor 327 Tagen, 7 Stunden, 52 Minuten

      versorgt uns mit dem besten Wissen, das wir haben können. Dieses Wissen ist alldings immer vorläufig. Es kann durch bessere Erkenntnisse ersetzt oder ergänzt werden.
      Leider werden auch hier Fehler gemacht - wie überall.

  • Das ist selbstverständlich einzuschränken.

    thomast, vor 328 Tagen, 18 Stunden, 38 Minuten

    Sowohl in der Psychologie als auch in der Epidemiologie sind placebokontrollierte Doppelblindstudien aus ethischen Gründen in vielen Bereichen einfach nicht möglich.

    Und nur solche sind - soferne andere Parameter eingehalten werden - "sicher".

    Was hier eigentlich kritisiert wird, ist, dass die Wissenschafter *wissen*, dass ihre Arbeiten nicht wirklich irgendeinen Beleg für irgendetwas darstellen, sie aber so tun als ob es so wäre - wider besseren Wissens.

    Nur weil eine gut gemachte placebokontrollierte (Doppel-) Blindstudie tatsächlich ein sehr hohes "Aussageniveau" hat, also vermutlich die Aussage, die da getroffen wird, korrekt ist, bedeutet das nicht, dass jede andere Untersuchung, die der Urheber als Studie bezeichnet, ein ähnlich hohes Niveau hat.

    Zumal Wissenschafter seit längerem die Grundlagen der Ehrlichkeit - also zu versuchen, alles, was gegen die eigene Arbeit zu spricht - zu finden, ignorieren.

    Ebenso fehlt der Versuch, Bias auszuschließen, insbesondere dort, wo nur Daten analysiert werden.

    Ich denke da an eine Studie aus den USA, wo über 25 Jahre Daten von hunderttausenden Frauen ausgewertet wurden, um festzustellen, ob und welchen positiven Einfluss das Stillen auf die Gesundheit von Kindern hat. Diese Studie - also Datenvergleich - ist auch aktuell immer wieder gerne genutzt, zu...

    • thomast, vor 328 Tagen, 18 Stunden, 30 Minuten

      ... "belegen", dass Stillen die Gesundheit der Kinder fördert.

      Dass diese Studie auch aussagt, dass gestillte Kinder ein signifikant geringeres Risiko haben, bevor sie 7 Jahre alt werden an einem Autounfall zu sterben, scheint den Urheber nicht zu stören.

      Die Studie hat nun einmal gewisse logische und sozio-ökonomische Aspekte ignoriert, und ist daher relativ gesehen wertlos. Jedenfalls bezogen auf die Aussage, ob das Stillen eine Auswirkung hat.

      Die Schade dabei ist ja nur, dass Wissenschafter sich nicht genieren, soetwas freizugeben, und dass Zeitschriften sich nicht genieren, soetwas zu publizieren, zumal jeder Laie, sogar Hilfsarbeiter - so sie die Arbeit durchlesen würden - deren Absurdität leicht erkennen könnten und würden.

      Die Zeiten, wo man auf Studien vertrauen konnte, sind lange vorbei, heutzutage muss man jeden Furz erstmal analysieren, ob die Studie überhaupt in irgendeiner Form plausibel ist! Häufig kann man ja schon am Abstract erkennen, dass die Arbeit ungenügend ist, um eine Aussage zu belegen.

    • jasomirgott76, vor 328 Tagen, 15 Stunden, 26 Minuten

      "Die Schade dabei ist ja nur, dass Wissenschafter sich nicht genieren, soetwas freizugeben, und dass Zeitschriften sich nicht genieren, soetwas zu publizieren, zumal jeder Laie, sogar Hilfsarbeiter - so sie die Arbeit durchlesen würden - deren Absurdität leicht erkennen könnten und würden."

      Ja gut, wenn der Hilfsarbeiter oder Laie einen Abstract ohne mir nix dir nix einfach so durchlesen kann und an KEINER STELLE stockt weil es Termini gibt, die er nicht versteht, dann stimmt sowieso was nicht. Du solltest als Laie einen Psychologie Abstract nicht ohne große Schwierigkeiten verstehen! Wenn du es doch tust, dann stimmt was nicht am ganzen Abstract, noch bevor du in die Details reingehst.

      "Die Zeiten, wo man auf Studien vertrauen konnte, sind lange vorbei, heutzutage muss man jeden Furz erstmal analysieren, ob die Studie überhaupt in irgendeiner Form plausibel ist! Häufig kann man ja schon am Abstract erkennen, dass die Arbeit ungenügend ist, um eine Aussage zu belegen."

      Wie oben erwähnt: Wenn du als Laie oder Hilfsarbeiter eine Arbeit oder einen Abstract von einem Psychologen mir nix dir nix einfach so analysieren kannst, dann stimmt was nicht mit der Arbeit und er Studie! Du hast gefälligst nicht...

    • Offenbar

      thomast, vor 328 Tagen, 10 Stunden, 57 Minuten

      hast Du noch keinen Abstract gelesen und auch nicht verstanden, dass es mir um methodologische Fehler geht. Diese sind unabhängig vom Fachgebiet.

      Es lohnt daher nicht wirklich weiter auf Deinen Beitrag einzugehen, lediglich als Anmerkung: Schreibe ich irgendwo, dass ein Laie nicht stocken würde oder einzelne Termini nachschlagen müsste?