Standort: science.ORF.at / Meldung: ""Studien nicht wiederholbar" "

Leuchtender Mandelkern im Gehirnschnitt

"Studien nicht wiederholbar"

Der Hirnforschung mangelt es an wissenschaftlichen Standards, kritisiert der US-Psychologe Joshua Carp. Viele Studien seien methodisch unzureichend oder wegen mangelnder Angaben schlichtweg nicht nachvollziehbar - und werden dennoch in prestigeträchtigen Magazinen publiziert.

Kritik 24.09.2012

Die Studie:

"The secret lives of experiments: Methods reporting in the fMRI literature" von Jonathan Carp erscheint am 15. Oktober in Neuroimage.

Die Macht der Bilder

Joshua Carp hat sich in seiner Arbeit auf die Qualität von neuropsychologischen Studien konzentriert, die mit fMRI-Bildern des Gehirns arbeiten. FMRI steht für functional magnetic resonance imaging. Ein bildgebendes Verfahren, das mit Methoden der Magnetresonanz-Tomographie den Energiebedarf bzw. die Aktivierung von Hirnregionen misst. Bei solchen Untersuchungen befinden sich die Patienten in einem Scanner.

Währenddessen werden ihnen Denkaufgaben gestellt, Bilder bzw. Filme gezeigt, oder sie werden körperlichen Reizen ausgesetzt. Dabei werden die physiologischen Veränderungen im Gehirn in Einzelaufnahmen Schicht für Schicht abgebildet. Diese bildgebenden Verfahren besitzen eine hohe räumliche Auflösung, bis in den Millimeterbereich und sind deswegen in der neuropsychologischen Foschung sehr beliebt.

Auch renommierte Journals betroffen

In seiner Meta-Untersuchung analysierte Carp rund 240 Artikel, die er nach dem Zufallsprinzip aus fast 1.400 Artikeln (entstanden zwischen 2007 und 2011) auswählte. Diese neurowissenschaftlichen Studien stammten aus 68 verschiedenen Journals, zu denen auch prominente Titel wie "PLoS One", "PNAS" oder "Journal of Neuroscience" zählen. Ob und wie viele Informationen über die Methode und das Vorgehen der Wissenschaftler veröffentlicht wurden, war sehr unterschiedlich.

"In mehr als einem Drittel der Studien wurde die Anzahl, die Dauer und die Abstände der Versuchsabläufe nicht beschrieben. In weniger als der Hälfte wurde die Anzahl der ausgeschlossenen Probanden angegeben oder die Gründe für den Ausschluss. Es wurde nicht gesagt, ob und wie Versuchspersonen für die Teilnahme am Experiment entschädigt wurden. Auch über die Auflösung, den genauen Untersuchungsbereich oder die Anordnung der Schichtbilder der fMRI-Untersuchung fehlten ausreichende Informationen", äußerte sich Jonathan Carp gegenüber dem "Research Digest" der British Psychological Society.

Methoden sind oft nicht nachvollziehbar

Auch andere ausschlaggebende Details, wie die Veränderung der Aufnahmezeit eines Scans oder die Anwendung von Modellen, die selbstständig nach Ähnlichkeiten und Verbindungen zwischen den Einzelscans suchen, wurden vielfach unterschlagen. Wenn diese Parameter verändert werden, dann kann das zu beträchtlichen Unterschieden beim Ergebnis führen, betont der Psychologe Jonathan Carp.

Wenn sich die Versuchspersonen im Scanner bewegen, kann es zu gröberen Unschärfen auf den Bildern kommen. Aber nur in einem Fünftel der Studien wurde angegeben, ob und wie viele verschwommene Bilder aus der Untersuchung ausgeschlossen wurden. Jonathan Carp identifizierte insgesamt 179 solcher "methodologischen Entscheidungen". "Dass solche Paramater in den Forschungsberichten einfach ausgelassen werden, ist weit verbreitet und stellt eine ernsthafte Herausforderung für die Wissenschaftler dar, die versuchen ein Experiment zu wiederholen oder auf solchen Versuchen wissenschaftlich aufzubauen."

Statistisches Potpourri

Jonathan Carp hat auch untersucht, wie viele unterschiedliche statistische Techniken und Computerprogramme in den Experimenten angewandt wurden. Denn je mehr statistische Verfahren zur Verfügungen stehen, desto größer ist das Risiko, dass die Wissenschaftler die Datenanalyse so lange abwandeln, bis sie die Resultate bekommen, nach denen sie gesucht haben.

Jonathan Carp konnte in den von ihm untersuchten Studien 207 verschiedene Kombinationen von statischen Verfahren ausfindig machen. Diese Zahl ist fast so groß, wie die Anzahl der Studien selbst. "Wenn bestimmte statistische Methoden günstigere Ergebnisse zu Tage führen als andere, dann werden einige Wissenschaftler sicher nur über jene Kanäle berichten, die die vorteilhaften Ergebnisse hervorgebracht haben."

Wissenschaftliche Standards gewünscht

In der medizinischen Forschung gibt es mittlerweile standardisierte Richtlinien für die Publikation von klinischen Studien. Jonathan Carp fordert solche wissenschaftlichen Standards auch für Studien der Hirnforschung und Neuropsychologie.

Dennoch, Jonathan Carp geht nicht davon aus, dass die Beweggründe der Wissenschaftler arglistig oder verlogen waren. Sie entsprechen den wissenschaftlichen Normen dieses Bereichs. "Bedauerlicherweise ermutigen diese etablierten Normen die Forscher nicht, ihre Methoden im Detail zu schildern und so eine unabhängige Überprüfung ihrer Ergebnisse zu ermöglichen."

science.ORF.at

Mehr zum Thema: