Wissenschaftler „schlecht darin, veröffentlichte Arbeiten von Kollegen zu beurteilen“, heißt es in einer neuen Studie

Wissenschaftler „schlecht darin, veröffentlichte Arbeiten von Kollegen zu beurteilen“, heißt es in einer neuen Studie
Wissenschaftler „schlecht darin, veröffentlichte Arbeiten von Kollegen zu beurteilen“, heißt es in einer neuen Studie
Anonim

Sind Wissenschaftler gut darin, die Bedeutung der wissenschaftlichen Arbeit anderer einzuschätzen? Laut einer am 8. Oktober in der Open-Access-Zeitschrift PLOS Biology veröffentlichten Studie (mit begleitendem Leitartikel) beurteilen Wissenschaftler die Bedeutung der veröffentlichten Arbeiten anderer Forscher nicht zuverlässig.

Der Hauptautor des Artikels, Professor Adam Eyre-Walker von der University of Sussex, sagt: "Wissenschaftler sind wahrscheinlich die besten Naturwissenschaftler, aber sie sind ziemlich schlecht darin."

Prof. Eyre-Walker und Dr. Nina Stoletzki untersuchten drei Methoden zur Bewertung veröffentlichter wissenschaftlicher Arbeiten anhand von zwei Gruppen von Peer-Review-Artikeln. Die drei Bewertungsmethoden, die die Forscher betrachteten, waren:

  • Peer-Review: subjektives Peer-Review nach der Veröffentlichung, bei dem andere Wissenschaftler ihre Meinung zu einer veröffentlichten Arbeit abgeben;
  • Anzahl der Zitierungen: die Häufigkeit, mit der ein Artikel als anerkannte Informationsquelle in einer anderen Publikation referenziert wird;
  • Impact Factor: ein Maß für die Bedeutung einer Zeitschrift, bestimmt durch die durchschnittliche Häufigkeit, mit der Artikel in einer Zeitschrift von anderen wissenschaftlichen Artikeln zitiert werden.

Die Ergebnisse, sagen die Autoren, zeigen, dass Wissenschaftler die Wichtigkeit einer wissenschaftlichen Veröffentlichung unzuverlässig beurteilen: Sie sind sich selten einig über die Wichtigkeit einer bestimmten Veröffentlichung und werden stark vom Veröffentlichungsort der Veröffentlichung beeinflusst, was zu einer Überbewertung führt Wissenschaft in hochkarätigen wissenschaftlichen Zeitschriften veröffentlicht. Darüber hinaus zeigen die Autoren, dass die Häufigkeit, mit der auf eine Arbeit später von anderen Wissenschaftlern verwiesen wird, wenig mit dem zugrunde liegenden Verdienst der Wissenschaft zu tun hat.

Wie Eyre-Walker es ausdrückt: "Die drei hier betrachteten Maßstäbe des wissenschaftlichen Werts sind schlecht; insbesondere subjektive Bewertungen sind eine fehleranfällige, voreingenommene und teure Methode, um den Wert zu bewerten.Obwohl der Impact-Faktor die zufriedenstellendste der betrachteten Methoden sein mag, da es sich um eine Form der Überprüfung vor der Veröffentlichung handelt, ist er wahrscheinlich ein schlechtes Maß für den Wert, da er von der subjektiven Bewertung abhängt."

Die Autoren argumentieren, dass die Ergebnisse der Studie erhebliche Auswirkungen auf zukünftige Bewertungen wissenschaftlicher Ergebnisse haben könnten, wie sie derzeit für das bevorstehende Research Excellence Framework (REF) der britischen Regierung durchgeführt werden. Eyre-Walker fügt hinzu: "Die Qualität der während des REF erstellten Bewertungen ist wahrscheinlich sehr schlecht und stellt in Frage, ob das REF in seiner aktuellen Form eine geeignete Methode zur Bewertung wissenschaftlicher Ergebnisse ist."

PLOS Biology veröffentlicht außerdem einen begleitenden Leitartikel von Dr. Jonathan Eisen von der University of California, Davis, und Dr. Catriona MacCallum und Cameron Neylon von der Advocacy-Abteilung der Open-Access-Organisation Public Library of Science (PLOS).

Diese Autoren begrüßen die Studie von Eyre-Walker und Stoletski als „eine der ersten, die eine quantitative Bewertung der Zuverlässigkeit der Bewertung von Forschungsergebnissen liefern“, und ermutigen Wissenschaftler und andere, sie zu lesen.Sie unterstützen auch ihre Forderung nach Offenheit in Forschungsbewertungsprozessen. Sie warnen jedoch davor, dass die Bewertung des Verdienstes an sich ein komplexer und subjektiver Prozess ist, wobei „Verdienst“selbst unterschiedliche Dinge für verschiedene Menschen bedeutet, und weisen darauf hin, dass die Studie von Eyre-Walker und Stoletski „absichtlich vermeidet, zu definieren, was Verdienst ist.“

Dr. Eisen und Co-Autoren gehen auch auf den Vorschlag ein, dass der Einflussfaktor die "am wenigsten schlechte" Form der Bewertung ist, und empfehlen die Verwendung mehrerer Metriken, die den Artikel und nicht die Zeitschrift bewerten ("eine Reihe von Artikelebenen Metriken"), ein Ansatz, für den PLOS Pionierarbeit geleistet hat. Solche Metriken könnten „Anzahl der Aufrufe, Lesezeichen von Forschern, Diskussionen in den sozialen Medien, Erwähnungen in der populären Presse oder die tatsächlichen Ergebnisse der Arbeit (z. B. für Praxis und Politik) umfassen.“

Beliebtes Thema