Standort: science.ORF.at / Meldung: "Medizinstudien sind oft mangelhaft"

Eine Labormaus schaut über den Rand eines Tupperware-Behälters

Medizinstudien sind oft mangelhaft

Studien aus der medizinischen Grundlagenforschung sind häufig mangelhaft. Zu diesem harten Urteil kommen zwei Untersuchungen: Die Abläufe werden nicht ausreichend dokumentiert und sind dadurch schwer überprüfbar. Das heißt aber nicht automatisch, dass die Ergebnisse falsch sind.

Methoden 05.01.2016

Die beiden Veröffentlichungen sind nicht die ersten, in denen sich Experten über mangelnde Transparenz und Qualitätssicherung von Studien beklagen. So wurde etwa im vergangenen August das Fazit eines internationalen Großprojekts im Fachjournal "Science" publiziert, wonach sich die meisten Ergebnisse aus psychologischen Studien nicht reproduzieren lassen.

Die Studien in "PLOS Biology":

"Where Have All the Rodents Gone? The effects of Attrition in Experimental Research on Cancer and Stroke" von C. Holman et al.
"Reproducible Research Practices and Transparency across the Biomedical Literature" von S. A. Iqbal et al., erschienen am 4. Jänner 2016.

Ö1 Sendungshinweis:

Dem Thema widmet sich auch ein Beitrag im Mittagsjournal am 5.1. um 12:00.

Die Zweifel am Wissenschaftsbetrieb werden durch die beiden neuen Studien nun vermutlich weiter angefacht. So überprüften Forscher um Constance Holman und Ulrich Dirnagl vom Uniklinikum Charité in Berlin Hunderte Schlaganfall- und Krebsstudien und konzentrierten sich insbesondere auf die dabei verwendeten Versuchstiere. In der Mehrzahl der Artikel wurde die Zahl der Ratten und Mäuse nicht exakt angegeben. "In zwei Drittel der Fälle kann man gar nicht sagen, wie viele Tiere an einem Versuch teilgenommen haben, weil es einfach nicht drinnen steht", so Dirnagl gegenüber science.ORF.at.

"Verschwundene" Tiere

Noch erstaunlicher ist, dass bei vielen Studien Versuchstiere über die Dauer der Experimente "verschwanden". "Bei einem Teil der Studien wurden zu Beginn mehr Tiere als am Ende verwendet. Warum, bleibt unerklärt. Diese Tiere sind also, wenn Sie es salopp formulieren wollen, verloren gegangen", wie der Schlaganfallforscher es beschreibt.
Bei Tierexperimenten könne es durchaus sinnvoll sein, dass Tiere ausgeschlossen werden. Es könne auch passieren, dass Tiere an einer Krankheit sterben. Aber, so Dirnagl, und das ist wesentlich: "Die Kriterien, nach denen Tiere ein- oder ausgeschlossen werden, müssen vor der Studie festgelegt, angegeben und dann eingehalten werden. Nur so lässt sich die Studie nachvollziehen."

Das sei unter anderem deswegen ein Problem, weil die Gruppengröße in der medizinischen Grundlagenforschung oft sehr klein ist, im Mittel betrage sie gerade einmal acht Tiere. Mit Hilfe von Simulationen am Computer haben die Forscher um Dirnagl analysiert, was das für die Auswertung bedeutet: "Schon das zufällige Ausschließen von ein oder zwei Tieren hat massive Effekte hinsichtlich der Aussagekraft. Wenn Sie mit 300 Tieren anfangen würden und zwei ausschließen, wäre der Effekt sehr gering. Wenn sie aber mit sieben oder fünf anfangen, dann zwei ausschließen, und mit drei die Studie abschließen – da kann wohl jeder nachvollziehen, dass man daraus wohl keine wirklichen Schlüsse ziehen kann."

Kriterien für saubere Praxis

Wie es auch anders geht, macht die klinische Forschung bereits seit Jahren vor. Hier gelten strenge Standards für die Anzahl von untersuchten Patienten und deren etwaige Herausnahme aus einem Versuch, die etwa im sogenannten Consort-Statement festgehalten sind. "Wenn Sie zu einer klinischen Studie etwas veröffentlichen, müssen Sie genau dokumentieren, wie viele Patienten Sie untersucht haben, wie viele Sie in die Studie aufgenommen haben, wie viele Sie aus welchen Gründen ausgeschlossen haben. In der präklinischen Medizin ist das offensichtlich nicht der Fall", so der Forscher.

Den Autoren gehe es nicht darum, jemandem betrügerische Absichten zu unterstellen, betont Dirnagl: "Gemeinsam mit meinem Kolleginnen und Kollegen möchte ich lediglich eine mangelhafte Praxis aufzeigen und einen Anstoß zu Verbesserungen geben."

Sie fordern daher konkrete Kriterien für eine saubere Forschungspraxis. Erstens sollten die Studien transparent sein. D.h., angeben, wie es tatsächlich war. "Die zweite Forderung richtet sich an die Journale, die Studien veröffentlichen. Es gibt zwar schon sogenannte Guidelines, aber es halten sich nur die wenigsten daran, weil die Journale das nicht überprüfen und Papers trotzdem veröffentlichen", erklärt der Mediziner.

Die dritte und weitreichendste Forderung betrifft die Qualität der biomedizinischen Forschung. Laut Dirnagl sollte diese im Mittelpunkt stehen und nicht die Belohnungen, die Forscher in Form von Professuren oder Projektförderungen an erhalten. "Nicht nur der schnelle Durchbruch kann zählen, sondern auch die ordentliche Vorgangsweise", ergänzt der Forscher.

Daher sollten bei der Berufung von Professoren in Zukunft zusätzliche Kriterien gelten, fordert der Neurologe. Zudem sollte die Qualitätssicherung von wissenschaftlicher Arbeit auch Teil der Ausbildung sein.

Forschung über Forschung

Die pessimistische Einschätzung der deutschen Wissenschaftler wird durch die zweite in "PLOS Biology" veröffentlichte Studie gestützt: Forscher um den durch seine Kritik an medizinischen Studien bekannt gewordenen John Ioannidis prüften die Reproduzierbarkeit und Transparenz von 441 Studien, die von 2000 bis 2014 Eingang in die biomedizinische Datenbank PubMed fanden. Ergebnis: Die meisten Studien gaben weder Rohdaten noch vollständige Versuchsprotokolle an und erwähnten auch nicht, wer die Arbeit finanziert hatte oder ob mögliche Interessenkonflikte bestanden.

"PLOS Biology" selbst will nun mit einer neuen Abteilung die datenbasierte Meta-Forschung voranbringen. "Somit unterstreichen wir, dass Forschung über Forschung ein wichtiges Gebiet der Wissenschaft ist", erklärt "PLOS-Biology"-Redakteurin Stavroula Kousta in einem parallel veröffentlichten Editorial.

Elke Ziegler, science.ORF.at/APA/dpa

Mehr zum Thema: