Experimentelle Ökonomie: Ergebnisse, denen Sie vertrauen können

Experimentelle Ökonomie: Ergebnisse, denen Sie vertrauen können
Experimentelle Ökonomie: Ergebnisse, denen Sie vertrauen können
Anonim

Reproduzierbarkeit ist ein wichtiger Validitätsmaßstab in allen Bereichen der experimentellen Wissenschaft. Wenn Forscher A ein bestimmtes wissenschaftliches Ergebnis aus seinem Labor veröffentlicht, sollte Forscher B in der Lage sein, dasselbe Protokoll zu befolgen und dasselbe Ergebnis in ihrem Labor zu erzielen. In den letzten Jahren wurden jedoch viele Ergebnisse in einer Vielzahl von Disziplinen wegen ihrer mangelnden Reproduzierbarkeit in Frage gestellt. Eine neue Studie legt nahe, dass veröffentlichte Ergebnisse aus der experimentellen Ökonomie – einem Gebiet, das am C altech Pionierarbeit geleistet hat – in Bezug auf die Reproduzierbarkeit überdurchschnittlich gut sind.

Die Arbeit wurde in der Online-Ausgabe der Zeitschrift Science vom 3. März veröffentlicht.

"Der Versuch, frühere Ergebnisse zu reproduzieren, ist weder glamourös noch kreativ, also wird es selten gemacht. Aber immer wieder dasselbe Ergebnis zu erzielen, ist Teil der Definition dessen, was Wissen wissenschaftlich macht", sagt Colin Camerer, der Robert-Kirby-Professor für Verh altensökonomie am C altech und Hauptautor des Artikels.

Die Studie basierte auf einer früheren Methode, die zur Bewertung der Replikation von psychologischen Experimenten verwendet wurde. Bei der früheren Technik, die Reproduzierbarkeitsprojektpsychologie (RPP) genannt wurde, replizierten Forscher 100 Originalstudien, die in drei der Top-Zeitschriften der Psychologie veröffentlicht wurden – und stellten fest, dass, obwohl 97 Prozent der Originalstudien sogenannte „positive Ergebnisse“(d. h. a signifikante Veränderung im Vergleich zu Kontrollbedingungen), solche positiven Befunde wurden nur in 36 Prozent der Fälle zuverlässig reproduziert.

Mit derselben Technik reproduzierten Camerer und seine Kollegen 18 experimentelle Laborarbeiten, die zwischen 2011 und 2014 in zwei hochrangigen Wirtschaftszeitschriften veröffentlicht wurden.Elf der 18 – ungefähr 61 Prozent – ​​zeigten einen „signifikanten Effekt in der gleichen Richtung wie in der ursprünglichen Studie“. Die Forscher fanden auch heraus, dass die Stichprobengröße und die p-Werte – ein Standardmaß für statistisches Vertrauen – der ursprünglichen Studien gute Prädiktoren für den Erfolg der Replikation waren, was bedeutet, dass sie als gute Indikatoren für die Zuverlässigkeit der Ergebnisse in zukünftigen Experimenten dienen könnten.

"Replizierbarkeit ist in vielen Wissenschaften in den letzten Jahren zu einem wichtigen Thema geworden, mit oft niedrigen Replikationsraten", sagt Mitautor Jürgen Huber von der Universität Innsbruck. "Die Rate, die wir für die experimentelle Ökonomie angeben, ist die höchste, die wir für alle Bereiche kennen."

Die Autoren schlagen vor, dass es einige methodische Forschungspraktiken in der experimentellen Laborökonomie gibt, die zu dem guten Replikationserfolg beitragen. „Es scheint, dass die in der experimentellen Ökonomie etablierte Kultur – Anreize für Probanden, Veröffentlichung des experimentellen Verfahrens und der Anweisungen, keine Täuschung – zuverlässige Ergebnisse gewährleistet.Das ist sehr ermutigend, da es sich um eine sehr junge Disziplin handelt“, sagt Michael Kirchler, ein weiterer Co-Autor und Mitarbeiter der Universität Innsbruck.

"Als Herausgeber von Zeitschriften sind wir immer neugierig, ob sich experimentelle Ergebnisse über Bevölkerungsgruppen und Kulturen hinweg wiederholen werden, und diese Ergebnisse aus mehreren Ländern sind wirklich beruhigend", sagt Co-Autor Teck-Hua Ho von der National University of Singapore.

Co-Autor Magnus Johannesson von der Stockholm School of Economics fügt hinzu: "Es ist äußerst wichtig zu untersuchen, inwieweit wir veröffentlichten wissenschaftlichen Erkenntnissen vertrauen können, und Institutionen zu implementieren, die die wissenschaftliche Reproduzierbarkeit fördern."

"Seit einem halben Jahrhundert ist C altech führend in der Entwicklung experimenteller Methoden der Sozialwissenschaften. Es ist keine Überraschung, dass Wissenschaftler des C altech Teil einer Gruppe sind, die Replikationsstudien verwenden, um die Gültigkeit dieser Methoden zu demonstrieren, " sagt Jean-Laurent Rosenthal, der Rea A.und Lela G. Axline Professorin für Betriebswirtschaftslehre und Vorsitzende der Abteilung für Geistes- und Sozialwissenschaften am C altech.

Die Arbeit wurde in einem Artikel mit dem Titel "Evaluating Replicability of Laboratory Experiments in Economics" veröffentlicht. Weitere Koautoren sind: Taisuke Imai und Gideon Nave von C altech; Johan Almenberg von der Sveriges Riksbank in Stockholm; Anna Dreber, Eskil Forsell, Adam Altmejd, Emma Heikensten und Siri Isaksson von der Stockholm School of Economics; Taizan Chan und Hang Wu von der National University of Singapore; Felix Holzmeister und Michael Razen von der Universität Innsbruck; und Thomas Pfeiffer vom New Zealand Institute for Advanced Study.

Die Studie wurde vom Österreichischen Wissenschaftsfonds, der Österreichischen Nationalbank, dem Behavioral and Neuroeconomics Discovery Fund, der Jan Wallander and Tom Hedelius Foundation, der Knut and Alice Wallenberg Foundation, der Swedish Foundation for Humanities and Social Sciences finanziert, und die Sloan Foundation.

Beliebtes Thema