Maschinelle Lernalgorithmen treffen zunehmend Entscheidungen unter anderem über Kredite, medizinische Diagnosen, personalisierte Empfehlungen, Werbung und Stellenangebote, aber wie genau, bleibt normalerweise ein Rätsel. Jetzt könnten neue Messmethoden, die von Forschern der Carnegie Mellon University entwickelt wurden, wichtige Erkenntnisse zu diesem Prozess liefern.
Hat das Alter, Geschlecht oder Bildungsniveau einer Person den größten Einfluss auf eine Entscheidung? War es eine bestimmte Kombination von Faktoren? Die Quantitative Input Influence (QII)-Maßnahmen der CMU können das relative Gewicht jedes Faktors bei der endgültigen Entscheidung liefern, sagte Anupam Datta, außerordentlicher Professor für Informatik und Elektro- und Computertechnik.
"Die Forderungen nach algorithmischer Transparenz nehmen zu, da die Verwendung von algorithmischen Entscheidungsfindungssystemen zunimmt und die Menschen das Potenzial dieser Systeme erkennen, Rassen- oder Geschlechtsdiskriminierung oder andere soziale Schäden einzuführen oder aufrechtzuerh alten", sagte Datta.
"Einige Unternehmen beginnen bereits damit, Transparenzberichte bereitzustellen, aber die Arbeit an den Rechengrundlagen für diese Berichte war begrenzt", fuhr er fort. „Unser Ziel war es, Messgrößen für den Grad des Einflusses jedes von einem System berücksichtigten Faktors zu entwickeln, die zur Erstellung von Transparenzberichten verwendet werden könnten.“
Diese Berichte können als Reaktion auf einen bestimmten Vorfall erstellt werden – warum der Kreditantrag einer Person abgelehnt wurde oder warum die Polizei eine Person zur Überprüfung ins Visier genommen hat oder was zu einer bestimmten medizinischen Diagnose oder Behandlung geführt hat. Oder sie könnten proaktiv von einer Organisation verwendet werden, um zu sehen, ob ein künstliches Intelligenzsystem wie gewünscht funktioniert, oder von einer Regulierungsbehörde, um zu sehen, ob ein Entscheidungsfindungssystem unangemessen zwischen Personengruppen diskriminiert.
Datta, zusammen mit Shayak Sen, einem Ph. D. Student der Informatik, und Yair Zick, Postdoktorand am Fachbereich Informatik, werden ihren Bericht über QII auf dem IEEE Symposium on Security and Privacy vom 23. bis 25. Mai in San Jose, Kalifornienvorstellen
Die Generierung dieser QII-Maßnahmen erfordert Zugriff auf das System, erfordert jedoch keine Analyse des Codes oder anderer interner Funktionen des Systems, sagte Datta. Es erfordert auch einige Kenntnisse des Eingabedatensatzes, der ursprünglich zum Trainieren des maschinellen Lernsystems verwendet wurde.
Ein charakteristisches Merkmal von QII-Maßnahmen ist, dass sie Entscheidungen einer großen Klasse bestehender maschinell lernender Systeme erklären können. Eine beträchtliche Anzahl früherer Arbeiten verfolgt einen komplementären Ansatz, bei dem maschinelle Lernsysteme neu gest altet werden, um ihre Entscheidungen interpretierbarer zu machen, und verlieren dabei manchmal die Vorhersagegenauigkeit.
QII-Maßnahmen berücksichtigen bei der Messung des Einflusses sorgfältig korrelierte Eingaben. Betrachten Sie zum Beispiel ein System, das bei Einstellungsentscheidungen für ein Umzugsunternehmen hilft. Zwei Faktoren, Geschlecht und die Fähigkeit, schwere Gewichte zu heben, korrelieren positiv miteinander und mit Einstellungsentscheidungen. Doch die Transparenz darüber, ob das System Gewichtheben oder das Geschlecht bei seinen Entscheidungen berücksichtigt, hat erhebliche Auswirkungen auf die Feststellung, ob es sich an Diskriminierung beteiligt.
"Deshalb integrieren wir Ideen zur kausalen Messung in die Definition von QII", sagte Sen. "Um den Einfluss des Geschlechts für eine bestimmte Person im obigen Beispiel grob zu messen, h alten wir die Gewichthebefähigkeit fest, variieren das Geschlecht und prüfen, ob es einen Unterschied in der Entscheidung gibt."
In Anbetracht dessen, dass einzelne Eingaben nicht immer einen großen Einfluss haben, quantifizieren die QII-Messungen auch den gemeinsamen Einfluss einer Reihe von Eingaben, wie Alter und Einkommen, auf die Ergebnisse und den marginalen Einfluss jeder Eingabe innerhalb der Menge. Da eine einzelne Eingabe Teil mehrerer einflussreicher Sätze sein kann, wird der durchschnittliche marginale Einfluss der Eingabe unter Verwendung von prinzipiellen spieltheoretischen Aggregationsmaßen berechnet, die zuvor angewendet wurden, um den Einfluss bei der Aufteilung der Einnahmen und der Abstimmung zu messen.
"Um ein Gefühl für diese Einflussmaßnahmen zu bekommen, betrachten Sie die US-Präsidentschaftswahlen", sagte Zick. „Kalifornien und Texas haben Einfluss, weil sie viele Wähler haben, während Pennsylvania und Ohio Macht haben, weil sie oft Swing-Staaten sind.
Die Forscher testeten ihren Ansatz anhand einiger standardmäßiger maschineller Lernalgorithmen, die sie verwendeten, um Entscheidungsfindungssysteme mit echten Datensätzen zu trainieren. Sie stellten fest, dass der QII für eine Vielzahl von Szenarien, die sie in Betracht gezogen haben, bessere Erklärungen lieferte als standardmäßige assoziative Maße, einschließlich Beispielanwendungen für vorausschauende Polizeiarbeit und Einkommensvorhersage.
Nun suchen sie die Zusammenarbeit mit Industriepartnern, damit sie QII in großem Umfang in betrieblichen maschinellen Lernsystemen einsetzen können.
