Standort: science.ORF.at / Meldung: "Hälfte der Zeitschriften akzeptiert Pseudostudie"

Zeitschriftenstapel

Hälfte der Zeitschriften akzeptiert Pseudostudie

Bevor Wissenschaftler eine Studie veröffentlichen, wird ihre Qualität von Kollegen und Kolleginnen überprüft. Wie schlecht dieser Peer-Review-Prozess oft funktioniert, zeigt der Selbstversuch eines US-Biologen: Eine absichtlich fehlerhafte Studie, die er an 300 Fachzeitschriften schickte, wurde von mehr als der Hälfte akzeptiert.

Wissenschaftsforschung 04.10.2013

Offenbar ist die Anzahl an Journalen, die unseriös arbeiten, größer als bisher gedacht. Open-Access-Zeitschriften haben das Problem verschärft.

Der Artikel:

"Who's Afraid of Peer Review?" von John Bohannon ist am 4.10.2013 in "Science" erschienen.

Link:

Ö1 Sendungshinweis:

Dem Thema widmet sich auch ein Beitrag in Wissen aktuell: 4.10., 13:55 Uhr.

Ein kreativer Gonzo-Journalist

John Bohannon ist ein kreativer Kopf: 2008 hatte er die Idee, dass Biowissenschaftler ihre Doktorarbeit nicht nur schreiben, sondern auch tanzen könnten - umgesetzt wurde sie bei einer Veranstaltung forschender "Dancing Stars" am Institut für Molekulare Pathologie (IMP) in Wien.

Im Hauptberuf ist Bohannon jedoch Biologe und "Gonzo-Journalist" beim Wissenschaftsmagazin "Science". Als solcher mischt er auch gerne einmal selbst in seinen Geschichten mit: Im aktuellen Fall hat er die Vertrauenswürdigkeit von Open-Access-Zeitschriften (OA) getestet.

Im Gegensatz zu traditionellen Journalen, die sich durch Subskriptionsgebühren finanzieren, sind OA-Studien frei zugänglich. Das Geld, das dafür nötig ist, müssen die Wissenschaftler selbst, ihre Förderer oder Institutionen aufbringen.

304 Open-Access-Zeitschriften angeschrieben

Das OA-Modell führt zu mehr Demokratie im Publikationswesen, aber anscheinend auch dazu, dass die Anzahl der schwarzen Schafe in der Branche ansteigt. Bohannon wollte wissen, wie viele es genau sind, und hat deshalb 304 OA-Zeitschriften eine eigens verfasste Studie geschickt. Die Studie gab vor zu beweisen, dass ein bestimmtes Molekül das Wachstum von Krebszellen einschränkt und zugleich ihre Anfälligkeit gegenüber einer Strahlentherapie erhöht.

Die Arbeit strotzte vor Fehlern, versichert Bohannon, und zwar von der Technik bis zu den Schlussfolgerungen, in denen ohne klinische Studien der direkte Einsatz der Methode bei Menschen empfohlen wird.

Um jeweils "einzigartige Studien" zu schaffen, veränderte der Biologe wahllos einige der Grundbezeichnungen und schickte sie dann - unter verschiedenen Pseudonymen afrikanischer Herkunft - an die OA-Zeitschriften ab.

Ö1 Jahresschwerpunkt 2013: Open Innovation

"Öffentliches Wissen" und Bürgerbeteiligung spielen in enger Verbindung mit Qualitätsjournalismus eine immer größere Rolle. Mit dem Jahresschwerpunkt "Open Innovation" unterstreicht Ö1 die Bedeutung dieses Phänomens für eine zukunftsweisende Entwicklung der Zivilgesellschaft. Aktuelle Beiträge und Hintergrundberichte in verschiedenen Sendeformaten von Ö1 informieren, auch science.ORF.at widmet diesem Thema eine Reihe von Beiträgen.

Nur 36 fielen Fehler auf

157 von ihnen akzeptierte die Arbeit, 98 wiesen sie ab, die restlichen Zeitschriften existierten nicht mehr oder waren noch zu keiner Entscheidung gekommen. Mit anderen Worten: Mehr als die Hälfte hätte die Studie erscheinen lassen, obwohl sie angeblich durch kritische Peer Reviewer begutachtet wurde.

Tatsächlich zeigten 149 der Journals "überhaupt keine Anzeichen eines Peer Reviews", wie Bohannon schreibt. Auf den Prozess selbst kann man sich aber offenbar auch nicht verlassen, denn 70 Prozent der Zeitschriften, die die Studie begutachteten, akzeptierten sie am Ende. Nur 36 von ihnen fielen die offensichtlichen wissenschaftlichen Fehler auf. Besonders ernüchternd: Bei 16 von diesen wollten die Herausgeber die Studie dennoch veröffentlichen.

Die Ergebnisse sind also wenig hoffnungsfroh. Es fragt sich aber, warum das - traditionell kostenpflichtige - "Science" einen Test durchgeführt hat, der sich ausschließlich mit Open-Access-Zeitschriften beschäftigt. Der Verdacht liegt nahe, dass die Resultate auch bei vielen Subskriptionszeitschriften ähnlich gewesen wären.

Alte und neue Verlage betroffen

"Das Problem könnte eine generelle Überlastung im Peer-Review-Prozess sein", kommentiert Falk Reckling, Open-Access-Experte des Wissenschaftsfonds (FWF), gegenüber science.ORF.at. "In den vergangenen Jahren ist die Zahl der Journals und der Veröffentlichungen explodiert. Die Wissenschaftler sind oft schlicht überfordert, und das liegt nicht an Open Access. Aber noch naheliegender ist wohl der schlichte Umstand, dass schlechte oder dubiose Zeitschriften sicher nicht die besten Gutachter anwerben werden." "

Hintergrund dieser Entwicklung sind wirtschaftliche Interessen. Neben Verlagshäusern aus den klassischen Wissenschaftsländern sind zuletzt auch viele in Schwellen- und Entwicklungsländern entstanden, die Geld in dem boomenden Markt verdienen wollen. Wie anderswo gibt es dabei seriöse und weniger seriöse. Das Problem ist die schiere Masse an Zeitschriften. Selbst renommierten Wissenschaftlern fällt es oft schwer, den Überblick über das eigene Fachgebiet zu behalten.

Die Zeitschriften geben sich betont sachlich und westlich klingende Namen wie "American Journal of Medical and Dental Sciences" oder "European Journal of Chemistry", sind aber oft in Asien oder Afrika beheimatet. Das Zentrum der unseriösen Verlage liegt laut Bohannon in Indien, danach kommen die Vereinigten Staaten, auch Großbritannien und Nigeria sind stark vertreten.

Seine Fake-Studie akzeptiert haben aber nicht nur undurchsichtige Zeitschriften aus der Dritten Welt: Auch Journals von Branchenriesen wie Elsevier, Sage und Wolters Kluwer wollten sie veröffentlichen.

Lösungsansätze

John Bohannon dokumentiert in seinem Selbstversuch nicht nur die Schwächen des Systems, sondern er zeigt auch den einen oder anderen Lösungsansatz auf. So wurden einige der inkriminierten Zeitschriften von ihren Verlagen mittlerweile geschlossen. Andere zeigten sich erfreut, auf schwarze Schafe aufmerksam gemacht worden zu sein.

Das mittlerweile größte Wissenschaftsjournal der Welt - "PLOS ONE", das Open Access publiziert - wird sogar lobend erwähnt: Als einziges beklagte es zuerst ethische Probleme der Studie (Bohannon hatte keine Angaben gemacht, wie die für seine "Experimente" nötigen Tierzellen gewonnen wurden), danach wies es sie in kürzester Zeit aus inhaltlichen Gründen zurück.

Generell, so meint Falk Reckling, müssten bei der Qualitätskontrolle von Open-Access-Zeitschriften die Schrauben angezogen werden. Das vor zehn Jahren gegründete Directory of Open Access Journals, aus dem sich auch Bohannon bedient hat, umfasst heute fast 10.000 Zeitschriften. Bisher wären nur formale Kriterien für eine Aufnahme entscheidend gewesen. Nun aber würde verstärkt auch auf inhaltliche Qualität achtgegeben - und dies könne der Open-Access-Bewegung nur recht sein.

Lukas Wieselberg, science.ORF.at

Mehr zum Thema: