2023 Autor: Susan Erickson | [email protected]. Zuletzt bearbeitet: 2023-05-22 01:23
Ein Team von Wissenschaftlern unter der Leitung eines Astronomen der Michigan State University hat herausgefunden, dass ein neues Verfahren zur Bewertung vorgeschlagener wissenschaftlicher Forschungsprojekte genauso effektiv - wenn nicht sogar effektiver - ist als die traditionelle Peer-Review-Methode.
Wenn ein Forscher einen Vorschlag einreicht, bittet die Förderagentur normalerweise eine Reihe von Forschern in diesem bestimmten Bereich, eine Bewertung vorzunehmen und Förderempfehlungen abzugeben. Ein System, das manchmal etwas klobig und langsam sein kann - keine ganz exakte Wissenschaft.
"Wie alle menschlichen Bestrebungen hat auch dieses seine Schwächen", sagte Wolfgang Kerzendorf, Assistenzprofessor an den MSU-Abteilungen für Physik und Astronomie sowie Computermathematik, Wissenschaft und Ingenieurwesen.
Ausführlich in der Veröffentlichung Nature Astronomy getestet, haben Kerzendorf und Kollegen ein neues System getestet, das die Arbeitslast der Prüfung von Projektvorschlägen unter den Antragstellern verteilt, bekannt als "Distributed Peer Review"-Ansatz.
Das Team verbesserte es jedoch durch die Verwendung von zwei weiteren neuartigen Funktionen: Verwendung von maschinellem Lernen, um Gutachter mit Vorschlägen abzugleichen, und die Aufnahme eines Feedback-Mechanismus für die Bewertung.
Im Wesentlichen besteht dieser Prozess aus drei verschiedenen Funktionen, die darauf abzielen, den Peer-Review-Prozess zu verbessern.
Wenn ein Wissenschaftler einen Bewertungsvorschlag einreicht, wird er oder sie zuerst gebeten, mehrere Arbeiten seiner Konkurrenten zu überprüfen, um die Anzahl der zu prüfenden Arbeiten zu verringern.
"Wenn Sie die Anzahl der Überprüfungen verringern, die jede Person vornehmen muss, verbringt sie möglicherweise etwas mehr Zeit mit jedem der Vorschläge", sagte Kerzendorf.
Zweitens können Finanzierungsagenturen durch den Einsatz von Computern – maschinelles Lernen – den Gutachter mit Vorschlägen für Bereiche abgleichen, in denen sie Experten sind. Dieser Prozess kann menschliche Vorurteile aus der Gleichung herausnehmen, was zu einer genaueren Überprüfung führt.
"Wir sehen uns im Wesentlichen die Arbeiten an, die potenzielle Leser geschrieben haben, und geben diesen Leuten dann Vorschläge, die sie wahrscheinlich gut beurteilen können", sagte Kerzendorf. "Anstatt dass ein Gutachter sein Fachwissen selbst angibt, erledigt der Computer die Arbeit."
Und drittens führte das Team ein Feedback-System ein, in dem die Person, die den Vorschlag eingereicht hat, beurteilen kann, ob das erh altene Feedback hilfreich war. Letztendlich könnte dies der Community dabei helfen, Wissenschaftler zu belohnen, die konsequent konstruktive Kritik äußern.
"Dieser Teil des Prozesses ist nicht unwichtig", sagte Kerzendorf. „Eine gute, konstruktive Bewertung ist ein kleiner Bonus, eine Belohnung für die Arbeit, die Sie in die Überprüfung anderer Vorschläge gesteckt haben.“
Um das Experiment durchzuführen, prüften Kerzendorf und sein Team 172 eingereichte Vorschläge, die jeweils die Nutzung der Teleskope der Europäischen Südsternwarte forderten, einer aus 16 Nationen bestehenden bodengestützten Sternwarte in Deutschland.
Die Vorschläge wurden sowohl auf traditionelle Weise als auch mittels verteilter Peer-Review begutachtet. Die Ergebnisse? Aus statistischer Sicht war es scheinbar nicht zu unterscheiden
Kerzendorf sagte jedoch, dies sei ein neuartiges Experiment, das einen neuen Ansatz zur Bewertung von Peer-Review-Forschung teste, der in der wissenschaftlichen Welt einen Unterschied machen könnte.
"Während wir sehr kritisch über die Wissenschaft denken, nehmen wir uns manchmal nicht die Zeit, kritisch über die Verbesserung des Prozesses der Zuweisung von Ressourcen in der Wissenschaft nachzudenken", sagte er. "Dies ist ein Versuch, dies zu tun."
