Crowdworker sind keine Online-Shakespeare, aber die Forschung zeigt, dass sie schreiben können

Crowdworker sind keine Online-Shakespeare, aber die Forschung zeigt, dass sie schreiben können
Crowdworker sind keine Online-Shakespeare, aber die Forschung zeigt, dass sie schreiben können
Anonim

Schreiben kann eine einsame, intellektuelle Beschäftigung sein, aber Forscher der Carnegie Mellon University haben gezeigt, dass die Aufgabe, einen informativen Artikel zu schreiben, auch von Dutzenden von Menschen erledigt werden kann, die unabhängig voneinander online arbeiten.

Jede Person in den CMU-Experimenten erledigte nur einen Bruchteil der Arbeit zur Vorbereitung eines Artikels, wie z. B. das Erstellen einer Gliederung, das Sammeln von Fakten oder das Zusammenstellen von Fakten zu einer einfachen Prosa. Die „Autoren“haben nie miteinander gesprochen. Das Forschungsteam unter der Leitung von Aniket Kittur, Assistenzprofessorin am Human-Computer Interaction Institute (HCII) der CMU, stellte jedoch fest, dass die Crowdsourcing-Artikel im Vergleich zu Artikeln, die von einem einzelnen Autor verfasst wurden, und zu einfachen englischen Wikipedia-Einträgen gut abschneiden.

"Das ist aufregend, weil kollaboratives Crowdsourcing die Zukunft der Arbeit verändern könnte", sagte Kittur. "Wir sehen einen Tag voraus, an dem es möglich sein wird, auf Hunderttausende oder Millionen von Arbeitnehmern auf der ganzen Welt zurückzugreifen, um kreative Arbeit in einem beispiellosen Ausmaß zu leisten."

Kittur hat zusammen mit Robert Kraut, Professor für Mensch-Computer-Interaktion, und Boris Smus, Student im gemeinsamen Masterstudiengang von HCII und der Universität von Madeira, ein Framework namens CrowdForge entwickelt, das komplexe Aufgaben in einfache herunterbricht, unabhängige Mikroaufgaben, die schnell und kostengünstig erledigt werden können. Ihr technisches Papier ist online verfügbar unter

Jim Giles und MacGregor Campbell, Wissenschaftsjournalisten aus San Francisco, haben einen Blog, www.mybossisarobot.com, erstellt, der die Verwendung von CrowdForge für die Erstellung von Wissenschaftsnachrichtenartikeln auf der Grundlage von Forschungsberichten untersucht.

Crowdsourcing ist zu einem mächtigen Mechanismus geworden, um online zu arbeiten. Millionen von Freiwilligen haben Aufgaben wie die Katalogisierung von Marslandformen (http://beamartian.jpl.nasa.gov) und die Übersetzung von Text in maschinenlesbare Form (http://recaptcha.com) ausgeführt.

In den Experimenten von Carnegie Mellon wurde Crowdsourcing-Arbeit über Amazons Mechanical Turk (MTurk), einen Online-Marktplatz für Arbeit, durchgeführt. Arbeitgeber können einfache, eigenständige Aufgaben auf MTurk veröffentlichen, die Arbeiter oder "Turker" gegen eine geringe Gebühr, normalerweise ein paar Cent, erledigen. Typische Aufgaben sind das Identifizieren von Objekten auf Fotos, das Verfassen von Produktbeschreibungen und das Transkribieren von Audioaufnahmen.

"Aber ein Großteil der Arbeit, die von Organisationen in der realen Welt benötigt wird, erfordert mehr Zeit, kognitive Anstrengung und Koordination zwischen den Mitarbeitern, als es für diese Crowdsourcing-Bemühungen typisch ist", sagte Kittur. Die meisten Türken beispielsweise lehnen lange, komplexe Aufgaben ab, weil sie dafür so wenig bezahlt werden.

Um diese komplexen Aufgaben zu bewältigen, näherten sich die CMU-Forscher dem Crowdsourcing-Markt, als wäre es ein verteiltes Computersystem, ähnlich den großen Computersystemen, die für die Websuche verwendet werden. In einem verteilten Computersystem werden Berechnungen so aufgeteilt, dass kleinere Teile gleichzeitig von einer großen Anzahl von Prozessoren gelöst werden können und Ausfälle einzelner Prozessoren nicht den gesamten Prozess untergraben. Google verwendet beispielsweise ein Framework namens MapReduce, in dem Abfragen in Teilprobleme unterteilt oder abgebildet werden, die von mehreren Computern gleichzeitig gelöst werden können. Die Ergebnisse der Berechnungen werden dann kombiniert oder reduziert, um die Frage zu beantworten.

Das von den CMU-Forschern entwickelte Framework namens CrowdForge teilt komplexe Aufgaben ebenfalls so auf, dass viele Einzelpersonen Teile der Gesamtaufgabe erledigen können, und bietet dann eine Möglichkeit, ihre Arbeit zu koordinieren, zu kombinieren und zu bewerten.

Um zum Beispiel einen kurzen Enzyklopädie-Artikel vorzubereiten, würde CrowdForge mehrere Personen mit der Aufgabe beauftragen, eine Gliederung zu schreiben; Als Qualitätskontrollmaßnahme kann eine zweite Gruppe von Mitarbeitern damit beauftragt werden, für die beste Gliederung zu stimmen oder die besten Teile jeder Gliederung zu einer Hauptgliederung zu kombinieren.Nachfolgende Teilaufgaben könnten das Sammeln eines Fakts für ein Thema in der Gliederung beinh alten. Schließlich könnte einem Mitarbeiter die Aufgabe übertragen werden, mehrere der zu einem Thema gesammelten Fakten in einen Absatz zu verwandeln oder mehrere Absätze in der richtigen Reihenfolge zu einem Artikel zusammenzufassen.

Bei der Vorbereitung von fünf solcher Artikel über New York City erforderte diese Methode durchschnittlich 36 Teilaufgaben für jeden Artikel, bei durchschnittlichen Kosten von 3,26 $. Die Artikel umfassten durchschnittlich 658 Wörter. Die Forscher zahlten dann acht Personen jeweils 3,05 $, um kurze Artikel zu denselben Themen zu verfassen; die durchschnittliche Länge betrug 393 Wörter. Als 15 Personen die Artikel verglichen, bewerteten sie die von Gruppen verfassten Artikel als höherwertig als die von Einzelpersonen erstellten und in etwa so gut wie einen Wikipedia-Eintrag zum Thema. Die Variabilität – die Spanne vom besten zum schlechtesten Artikel – war bei den Crowdsourcing-Artikeln geringer.

"Wir waren überrascht, wie gut CrowdForge funktionierte", sagte Kittur. "Zugegeben, keiner dieser Artikel wird irgendwelche Preise gewinnen. Aber die Bewertungen waren nicht schlecht, wenn man bedenkt, dass die Arbeit von Dutzenden von Menschen koordiniert werden musste, um diese Stücke zu produzieren."

Kittur sagte, die Bedeutung von CrowdForge sei, dass es zeige, dass Crowdsourcing von kreativer Arbeit machbar sei, nicht, dass es die Kosten von Artikeln senken könne. „Wir nutzten MTurk als Quelle für Arbeitskräfte“, bemerkte er, „aber andere Benutzer könnten Autoren und Forscher innerhalb einer Organisation oder eines bestehenden Netzwerks von Freiberuflern anzapfen.“

Beliebtes Thema