oa books

Publizieren in der Wissenschaft

Schlagwort: Plattformen

Peer Review in Zeiten von Open Access

Mit der zunehmenden Verbreitung von Open Access stellt sich die Frage nach der Rolle klassischer Peer Review neu. Denn digitale Veröffentlichungspraktiken erlauben alternative Verfahren wissenschaftlicher Qualitätssicherung.

Über die Schwachstellen von Peer Review (subjektiv, willkürlich, undurchsichtig, langsam, ineffizient) wird viel diskutiert. Doch nach wie vor stellt Peer Review – die offizielle Begutachtung von Texten durch renommierte Wissenschaftlerinnen – eine anerkannte Praxis dar. Peer reviewed Artikel oder Bücher gelten als hochwertiger im Vergleich zu Texten, die auch ohne formelle Freigabe ihren Weg in die Öffentlichkeit finden. Zunehmend gilt die Kategorie auch in den Geisteswissenschaften als ein Gütesiegel, das auf keiner Publikationsliste fehlen sollte.

Doch gibt es tatsächlich Unterschiede zwischen offiziell begutachteten Texten und jenen, die schlichtweg eine Herausgeberin begeistern oder gar von der Autorin eigenständig veröffentlicht werden? Wie sinnvoll ist Peer Review im digitalen Zeitalter, wo es de facto keine physische Platzbeschränkung mehr für Texte gibt? Wie hat Open Access die Bewertung von Texten verändert?

Die Aussagekraft von Gutachten
Peer Reviewer dienen als Gatekeeper. Gutachterinnen sollen dafür sorgen, dass nur Texte, die wissenschaftlichen Standards (Originalität, Schlüssigkeit, Nachprüfbarkeit) genügen, publiziert werden. Damit soll die Qualität von Forschung gewährleistet werden.

Welche Kriterien wirklich maßgebend für die Gutachten sind, ist allerdings nicht immer ersichtlich. Im besten Fall erhält man von Reviewern konstruktives Feedback und der Text gewinnt an Prägnanz, die Argumentation an Schlagkraft. Im schlimmsten Fall nutzen Gutachterinnen ihre Position, um unliebsame Theorien, also ihre Konkurrenz auszubremsen. Originelle Arbeiten bleiben dann im Dunkeln, die Forschung stagniert (s. auch „Does Science Advance One Funeral at a Time?“).

Nicht von der Hand zu weisen ist jedenfalls, dass die individuelle Prädisposition einer jeden Gutachterin immer eine Rolle spielt im Begutachtungsprozess. Dies ist umso wichtiger zu bedenken, wenn nur eine einzige Person über die Veröffentlichung entscheidet. Neben objektiven Kriterien bestimmen in der Regel allgemeine, oftmals unbewusste Vorurteile gegenüber der Autorin (etwa aufgrund des Namens, der Reputation, des Herkunftslandes oder des Geschlechts) die Entscheidung. Wie aussagekräftig ist also das Prädikat „peer reviewed“?

Unterschiedliche Standards und Verfahren
Peer Review ist nicht gleich Peer Review. Die Begutachtungsverfahren können sich nicht nur von Verlag zu Verlag unterscheiden, sondern auch von Zeitschrift zu Zeitschrift. So werden manchmal nur ein einziges Gutachten, manchmal zwei oder mehr eingeholt. Manche Peer Review-Verfahren sind „single blind“, d.h. die Gutachterin kennt den Namen der Autorin, die Autorin aber nicht jenen der Gutachterin; manche Verfahren gehen „double blind“ von statten, d.h. beide, Gutachterin und Autorin, bleiben anonym. Um Transparenz in die unterschiedlichen Verfahren zu bringen und sie vergleichbar zu machen, führt die OAPEN Library die jeweilige Vorgehensweise der an ihrer Plattform beteiligten Verlage auf.

Anonymität vs. Fairness
Die Anonymität der Reviewer soll unabhängige, faire und freimütige Gutachten ermöglichen. Doch zu welch unausgegorenen Äußerungen einseitige Anonymität verleiten kann, kennt man nur zu gut von den Kommentarspalten im Internet. Wie das Feedback von Reviewern mitunter aussehen kann, ist auf dem recht unterhaltsamen Tumblr-Blog „Shit my Reviewers Say“ zu lesen.

Dreht man den Spieß um und anonymisiert allein die Autorin, wie es Martin Paul Eve, Mitgründer der Open Library of Humanities, in einem Gedankenspiel demonstriert, wird Vorurteilen Einhalt geboten und zudem konstruktives Feedback gefördert, da die Gutachterin mit ihrem Namen einstehen muss. Außerdem wird so die – meist unbezahlte – Gutachterinnentätigkeit gewürdigt (um die Würdigung von Peer Review geht es auch in der diesjährigen, gerade stattfindenden Peer Review Week). Gleichzeitig steigt der Druck auf die Reviewerin, einwandfreie und damit eher konservative Arbeiten freizugeben, um der Kritik der Kolleginnen vorzubeugen. Auch so können also Veröffentlichungen progressiver Forschung verhindert werden.

Grundsätzlich ist anzuzweifeln, ob man innerhalb einer kleineren, überschaubaren Disziplin Anonymität überhaupt gewährleisten kann oder ob nicht Thema und Position des eingereichten Textes bzw. des Feedbacks ohnehin auf die Identität der Autorin bzw. der Gutachterin hinweisen.

Einen Leitfaden für Gutachterinnen, wie ein verantwortlicher Peer Review-Prozess so oder so aussehen sollte, hat das Committee on Publication Ethics (COPE) erstellt.

Transparenz durch Open Peer Review
Um dem undurchsichtigen Verhältnis zwischen Gutachterin und Autorin entgegenzuwirken, gibt es mittlerweile mehr und mehr Formen der Open Peer Review. Dabei werden beispielsweise die Gutachten mitveröffentlicht, wie etwa im digitalen Video Essay-Journal [in]Transition. Dadurch wird das Feedback als wichtiges Instrument in der Entstehung wissenschaftlicher Texte gewürdigt. Doch da die auf der Website zu sehenden Arbeiten bereits für veröffentlichungswürdig befunden wurden, fallen die Gutachten entsprechend positiv und wenig kritisch aus. Warum ein eingereichter Text nicht publiziert wird, erfährt allein die Autorin. Wie bei der traditionellen Peer Review werden die Gutachten vor der Veröffentlichung erstellt (pre-publication review).

Eine nachträgliche Form der Open Peer Review (post-publication review) stellen Kommentare dar – eine Praxis, die etwa das Content Management-System von MediaCommons Press (s. z.B. Open Review. A Study of Contexts and Practices) oder das Annotationsprogramm Hypothes.is (s. auch diese Website) unterstützen. Arbeiten können mittels Kommentarfunktion noch lange nach Erscheinen öffentlich diskutiert werden. Dadurch wird der Tatsache Rechnung getragen, dass Wissenschaft kollaborativ funktioniert, dass Publikationen immer nur ein Zwischenergebnis eines langwierigen Arbeitsprozesses darstellen können und dass Forschung niemals abgeschlossen ist. Der Gebrauch der Kommentarfunktion hält sich bei wissenschaftlichen Texten im Gegensatz zu Nachrichtenportalen allerdings in Grenzen. Die Hemmungen, seinen Senf zu einem Text öffentlich – und vor allem schriftlich – dazuzugeben, scheinen unter Akademikerinnen (noch) zu groß.

Inoffizielle Qualitätssicherung
Dafür ermöglichen inoffizielle Feedbackrunden (ob mündlich oder schriftlich) einen produktiven Austausch. Wichtige Texte werden nämlich ohnehin vorab von Kolleginnen gegengelesen und auf Konferenzen diskutiert und passieren mehrere Stufen der Überarbeitung bevor sie Autorinnen zur Veröffentlichung einreichen. Diesen crowdsourced Peer Review-Prozess, mit Hilfe dessen im Grunde alle Publikationen entstehen, öffentlich vonstatten gehen zu lassen, dafür setzt sich Kathleen Fitzpatrick ein, die 2009 einen ersten Versuch mit ihrem Buchprojekt Planned Obsolescence gestartet hat. Weitere Publikationen wie die oben genannte Studie zu Open Peer Review oder Jason Mittells Buch Complex TV. The Poetics of Contemporary Television Storytelling haben sich Fitzpatricks Experiment zum Vorbild genommen.

Crowd Review dank Preprint-Server
Preprint-Server – Onlineplattformen, auf denen Wissenschaftlerinnen ihre Texte schon vor der offiziellen Veröffentlichung hochladen können – sind der beste Beweis dafür, dass auch (noch) nicht formell begutachtete Texte längst als ernstzunehmende Publikationen gelten. Preprint-Server wie arXiv.org für Physik, Informatik und Mathematik oder das leider in Verruf geratene Social Science Research Network (SSRN) für Wirtschaftswissenschaft und Jura sind für viele Wissenschaftlerinnen nicht mehr wegzudenken; die sich im Aufbau befindende Plattform SocArXiv für Sozialwissenschaften wächst stetig.

Zumindest aus wissenschaftlicher Sicht scheint der auf eine Veröffentlichung auf einem Preprint-Server in einer Zeitschrift folgende peer-reviewed Artikel an Bedeutung zu verlieren. „We now read papers, not journals“, konstatiert George Lozano in seinem Blogpost zum Impact Factor und der sinkenden Relevanz renommierter Zeitschriften. Preprint-Server erlauben der Community jedenfalls, Forschungsergebnisse lange vor dem Abschluss eines mehrmonatigen Peer Review-Verfahrens und der endgültigen – in der Regel gedruckten – Fassung zu lesen und zu evaluieren.

Qualität durch Open Access
Wenn mit der zunehmenden Verbreitung von Open Access und digitalen Publikationen Texte insgesamt leichter zugänglich sind und eher gelesen werden, ist anzunehmen, dass sich Autorinnen stärker denn je darum bemühen, gute Arbeiten zu präsentieren. Onlinepublikationen sorgen für mehr Transparenz und Vergleichbarkeit. Ein und derselbe Text lässt sich dann nicht mehr so leicht unter unterschiedlichen Titeln in verschiedenen Sammelbänden oder Zeitschriften unterbringen – was in Zukunft vielleicht die Bedeutung von Publikationslisten relativieren wird und auch die Kategorie „peer reviewed“.

Elsevier kauft Preprint-Server SSRN – und wird zum Datenkönig

Das Social Science Research Network (SSRN) ist eines der größten Open Access-Repositorien weltweit. Dass ausgerechnet Verlagsgigant Elsevier diese Plattform jetzt aufgekauft hat, verdeutlicht, dass „offenen“, „kostenfreien“, jedoch profitorientierten Plattformen wie Academia.edu oder ResearchGate mit größter Skepsis zu begegnen ist. Versprechen auf größtmögliche Sichtbarkeit von Forschungsergebnissen und uneingeschränkten Zugang zu wissenschaftlichen Arbeiten verdecken langfristige Ziele und Geschäftsmodelle der Unternehmen, die hinter den Plattformen stehen. Anders als Wissenschaftsverlage, die von den AutorInnen ein article processing charge (APC) verlangen, um Inhalte kostenfrei zugänglich zu machen und trotzdem daran zu verdienen, geht es privatwirtschaftlichen Publikationsplattformen um Daten. Es geht um Daten, die besagen, welche Artikel wo welchen Impact haben. Es geht um Nutzerprofile und Nutzerverhalten. Wie und zu welchem Zwecke diese Informationen genutzt werden (Werbung, Datenhandel, Überwachung) ist unklar. Genauso unklar ist, welche Daten überhaupt generiert werden und wie.

„Academia.edu has a parastical relationship to the public education system, in that these academics are labouring for it for free to help build its privately-owned for-profit platform by providing the aggregated input, data and attention value“, schreibt Gary Hall, Professor für Medienwissenschaft an der Coventry University, in seinem Post „Does Academia.edu Mean Open Access is Becoming Irrelevant?“. Und weiter: „We can thus see that posting on Academia.edu is not ethically and politically equivalent to making research available using an institutional open access repository at all.“ Kathleen Fitzpatrick, Medienwissenschaftlerin in den Digital Humanities, fügt in ihrem Post „Academia, Not Edu“ hinzu: „Everything what‘s wrong with Facebook is wrong with Academia.edu, at least just up under the surface, and so perhaps we should think twice before committing our professional lives to it“.

Es nichts Neues ist, dass auch wissenschaftliche Datenplattformen ein immer lukrativeres Geschäft versprechen. So kaufte Elsevier 2013 die Forschungsplattform Mendeley für einen Millionenbetrag im höheren zweistelligen Bereich von seinen drei deutschen Gründern ab. Kurz darauf forderte Elsevier in etwa 2.800 Abmahnungen die NutzerInnen des Konkurrenten Academia.edu auf, Artikel, die das Copyright verletzten, von der Plattform zu löschen.

Dennoch hat die Übernahme von SSRN durch Elsevier für große Verunsicherung und Aufregung gesorgt. „It’s like if Monsanto bought out your favorite organic farm co-op“, schreibt Cory Doctorow von Boing Boing. Eine der Hauptsorgen ist, was mit den Artikeln passiert, die auf SSRN gehostet werden. Was passiert etwa, wenn Elsevier den SSRN-Server zumacht, um Universitäten, die ihre Zeitschriftenabonnements von Elsevier aufgrund der enormen Preise und missliebigen Bezugsbedingungen gekündigt haben, dazu zwingen, ihre Kündigung zurückzuziehen, damit sie wieder Zugriff auf (ihre eigenen) Forschungsergebnisse haben?

Vielleicht geht es Elsevier auch darum, seine Monopolstellung gegenüber seiner Konkurrenten Springer und Wiley im wissenschaftlichen Zeitschriftenmarkt zu verteidigen. Doch was der eigentliche Gewinn ist: Daten. Wertvolle – für die NutzerInnen unbekannte, unzugängliche – Daten, die man –  wie den Impact Factor des Medienkonzerns Thomson Reuters – vermarkten kann. Christopher M. Kelty, Professor für Informationswissenschaft an der University of California, erklärt in seinem Beitrag „It’s the Data, Stupid. What Elsevier’s Purchase of SSRN also means“ auf savageminds.org:

SSRN represents better data about the impact of social science research than any single journal, or any publisher‘s data (even Elsevier, with its hundreds of social sciences journals), because it has been built on the good will, apparent neutrality, and level playing field of an open access repository. Until Tuesday May 17, it was not tied to any particular publishing conglomerate or metrics company, and so its data represented social science research with a fidelity to reality that is expensive and hard to otherwise achieve.

Doch bitte jetzt nicht in Schockstarre verfallen! Die Bedeutung dieser Daten – und damit der For-Profit-Plattformen – sinkt, wenn wir die Evaluation von wissenschaftlicher Arbeit anhand von quantitativen Kriterien an sich hinterfragen. Wenn wir die Aussagekraft von Impact Factor, Downloads und Publikationslisten kritisch prüfen. Wenn die Leistung von WissenschaftlerInnen stattdessen anhand von Qualität, Innovation und Engagement bewertet wird.

Es ist höchste Zeit, dass die verschiedenen Disziplinen Alternativen zu Plattformen wie Academia.edu und ResearchGate schaffen und ihre eigenen institutsübergreifenden Non-Profit-Repositorien à la ArXiv.org aufbauen, die durch Spenden, Mitgliedsbeiträge und Fördergelder langfristig finanziert werden. SSRN dient dafür ja jetzt leider nicht mehr als Beispiel…

© 2019 oa books

Theme von Anders NorénHoch ↑