Standort: science.ORF.at / Meldung: "Statistische Schwächen der Hirnforschung"

Gläserner Kopf

Statistische Schwächen der Hirnforschung

Die Hirnforschung boomt und wird von vielen als Leitwissenschaft des 21. Jahrhunderts bezeichnet. Die Euphorie verstellt bisweilen die Sicht auf Schwächen der Disziplin. Diese liegen unter anderem in der Statistik, wie eine aktuelle Auswertung neurowissenschaftlicher Studien ergeben hat.

Review 11.04.2013

Große Versprechen

Das Versprechen der Neurowissenschaften ist nicht eben gering: Hat man erst einmal den kompletten Aufbau und alle Funktionen unseres Denkorgans verstanden, könnte man nicht nur Krankheiten wie Alzheimer und Parkinson behandeln oder sogar heilen. Wir würden letztlich auch den Mensch an sich besser verstehen - und das auf Basis "harter", empirischer Fakten. Kein Wunder also, dass das relativ junge Gebiet derartig boomt.

Mit immer neuen Methoden versucht man dem komplexesten Organ seine letzten Geheimnisse zu entreißen. Bildgebende Verfahren beleuchten seine Aktivität von außen, aber auch Implantate, Tiefenstimulation und Simulation helfen bei der Suche nach neuen Erkenntnissen. Die Beschäftigung mit den großen Fragen hat der einstigen Spezialdisziplin zu großem Ansehen verholfen.

Selbst bei Problemen der Moral, der Philosophie und der Rechtsprechung dürfen prominente Hirnforscher heute mitreden. Der Fluss von Fördergeldern illustriert ebenfalls die zugeschriebene Bedeutung, wie etwa die großzügige Unterstützung zweier Riesenprojekte diesseits und jenseits des Atlantiks zeigt.

Kritik an der Deutungshoheit

Das Review:

"Power failure: why small sample size undermines the reliability of neuroscience" von Katherine Button et al., erschienen am 10. April 2013 in "Nature Reviews".

So vergeht kaum eine Woche, in der nicht neue "bahnbrechende" Erkenntnisse aus dieser Ecke die Wissenschaftsseiten der Welt füllen. Die jüngsten Beispiele sind eine Maschine, die Träume liest oder ein Weg zur Gedankenübertragung.

Sie finden zwar ein geringeres mediales Echo, es gibt aber auch kritische Stimmen. Zum Teil kommen sie aus den Reihen der Forscher selbst. Manche plädieren für einen kritischen Umgang mit der eigenen Disziplin und für einen Dialog mit Sozial- und Kulturwissenschaften, wie z.B. die Plattform critical neuroscience.

Die Einwände kommen dabei nicht nur aus sogenannten weichen Wissenschaften. Auch Naturwissenschaftler äußern ihren Unmut, wie etwa der deutsche Pharmakologe in seinem Buch "Neuromythologie: Eine Streitschrift gegen die Deutungsmacht der Hirnforschung", das vergangenes Jahr erschienen ist. Der Hype sei getragen von biologischem Reduktionismus. Dabei seien die gewonnenen Daten alles andere als objektiv, wie etwa die vielen Unsicherheiten beim Einsatz bildgebender Verfahren verdeutlichen.

Methodische Schwächen

Dass die gewonnenen Daten tatsächlich oft gar nicht so "hart" sind, sondern noch ganz andere methodische Schwächen aufweisen, zeigt auch ein aktueller Review eines Teams um Katherine S. Button von der britischen University of Bristol. Bereits im Vorjahr hat der US-Forscher Joshua Carp die mangelnde Qualität von Gehirnstudien kritisiert.

Die Forscher um Button haben nun 49 neurowissenschaftliche Meta-Studien aus dem Jahr 2011 auf ihre statistische Aussagekraft überprüft, konzentriert haben sie sich dabei auf die sogenannte Teststärke bzw. Power der Studien. Diese gibt - allgemein formuliert - die Wahrscheinlichkeit an, mit der die Nullhypothese widerlegt und eine korrekte Alternativhypothese angenommen wird. Mit anderen Worten: die Chance, dass etwas, das da ist, auch wirklich gefunden wird. Laut den Forschern wird diese Größe gerne unterschätzt.

Die Teststärke ist immer dann niedrig, wenn die Stichprobe klein ist, die untersuchten Effekte sehr gering sind oder beides. Unter diesen Voraussetzungen werden echte Effekte unter Umständen gar nicht gefunden. Und wenn welche gefunden werden, ist es sehr gut möglich, dass deren Ausmaß falsch eingeschätzt wird.

Fragwürdige Ergebnisse

Die untersuchten neurowissenschaftlichen Studien wiesen den Forschern zufolge eine erschreckend niedrige Teststärke auf, obwohl es sich durchwegs um Meta-Analysen handelt, die bei der Eingrenzung messbarer Effekte helfen. Im Durchschnitt lag sie bei 20 Prozent. D.h., die Wahrscheinlichkeit, den untersuchten Effekt zu messen, liegt bei 1:5.

Laut Button kann dies zweierlei nicht unbedenkliche Folgen haben: "Entweder können die Studien die von ihnen gestellten Fragen gar nicht beantworten oder die Ergebnisse sind falsch bzw. unverlässlich", erklärt die Forscherin. Das wirkt sich auch auf die Reproduzierbarkeit der Arbeit aus. Insgesamt werfe das kein gutes Licht auf die Disziplin. Die statistische Schwäche zeige, wie viele unverlässliche Ergebnisse produziert werden. Man könnte auch von Verschwendung sprechen.

Die Studienautoren stellen jedoch nicht den neurowissenschaftlichen Ansatz als Ganzes in Frage. Das enorme Wachstum in diesem Zweig erfordere allerdings eine Anpassung der Methoden. Selbst wenn der Publikationsdruck so hoch ist wie heute, müssten die Neurowissenschaftler - um ihre Seriosität zu wahren - die Standards neu definieren, wie andere Disziplinen (z.B.: Genetik) das bereits getan haben.

Button und ihr Team geben konkrete Empfehlungen: Die Teststärke sollte so gut wie möglich vorab berechnet werden; alle Ergebnisse, Methoden und Änderungen sollten veröffentlicht werden; das Studiendesign vorab prüfen lassen; alle Materialien und Daten zugänglich machen sowie eine vermehrte Zusammenarbeit, um die Aussagekraft zu verstärken und Ergebnisse zu reproduzieren.

Eva Obermüller, science.ORF.at

Mehr zum Thema: