von Maximilian Röhrle | 15. Februar 2022 | Issue The Caring Media
Doris Allhutter ist Wissenschafts- und Technikforscherin und arbeitet am Institut für Technikfolgenabschätzung der Österreichischen Akademie der Wissenschaften. Ihre Forschung fokussiert sich auf politische Implikationen von Informationstechnologien und sozio-technologischen Software-Entwicklungsprozessen. Doris Allhutters Analysen setzen sich aus Diskurstheorie, Dekonstruktion und feministischer Theorie zusammen und eröffnen einen kritischen Blick hinter Algorithmen und AIs, deren Einfluss auf die Gesellschaft mit fortschreitender Digitalisierung weiterwächst. Eines ihrer Forschungsprojekte geht der Frage nach „wie gesellschaftliche Stereotype und Diskriminierung durch Machine Learningund Künstliche Intelligenz (re-)produziert“ [1]werden.
M.R.: In deinem Text „Dem algorithmischen Bias auf der Spur“ stellst du zu Beginn einige richtungsweisende Fragen. Eine davon ist für unser Gespräch besonders relevant. Wie werden gesellschaftliche Stereotype und Diskriminierung durch Machine Learning und Künstliche Intelligenz (re)produziert?
D.A.: Das große Ziel von Machine Learning und KI ist es Computer mit menschen-ähnlichem Verstand auszustatten, Maschinen intelligent zu machen, ihnen Alltagsverständnis, unsere Welt beizubringen. Dafür werden große Datenmengen verarbeitet. Text aus dem Internet und aus sozialen Medien, Bilder, Videos und Sounddaten, alle diese Daten werden zum Trainieren von Systemen verwendet. Interessant zu sehen ist dann, wie Computer dieses Wissen verwerten, wie sie es durch Vernetzung unterschiedlicher Systeme verknüpfen und wie sie damit wieder unser Wissen von der Welt und unsere Erfahrungen mit gestalten. Welche Rolle spielen hier soziale Vorstellungen, Werte und Normen? Mich hat interessiert: Welche Versprechen machen uns aktuelle Entwicklungen im machine learning und KI? Nämlich, dass wir durch das Trainieren von Systemen mit Big Data noch nicht vorhandenes Wissen entdecken können, das wie aus Daten Muster herausfiltern kann und damit menschliche Entscheidungsfindung unterstützen kann. Allerding hat sich gezeigt, dass sich eben auch strukturelle gesellschaftliche Ungleichheiten in den Daten niederschlagen und in der Art, wie Computermodelle aus diesen Daten gebaut werden und wie Algorithmen sie zueinander in Beziehung setzten.
Systeme, die Menschen gezielt oder auch unbeabsichtigt in unterschiedliche Gruppen einteilen, treffen immer Unterscheidungen auf Basis bestimmter Annahmen über diese Gruppen. Ob sich diese Unterscheidungen diskriminierend auswirken, hängt davon ab, wie und in welchen Kontext, sie eingesetzt werden.
D. h. bei der Entwicklung muss der gesellschaftliche und historische Kontext, in dem ein Algorithmus eingesetzt werden soll, mit untersucht werden und die Strukturen darin kritisch reflektiert werden. Dann kann ich entscheiden, welche Daten mir helfen, einen Kontext durch Modellierung abzubilden, ob die Auswahl der Daten oder die Daten selbst einen Bias haben und welche Maßnahmen ich treffen muss. Zum Beispiel die Entscheidung, ob Variablen wie Geschlecht oder Alter relevant sind und was sie in einem bestimmten Kontext bedeuten.
Im Juni 2020 macht ein Fall die Runde, in dem eine Foto-Erkennungssoftware aus einem verpixelten Bild von Barack Obama einen weißen Mann macht. Der Startschuss für die Arbeit der „Algorithmic Justice League“ ist von ähnlicher Natur. AI-Forscherin Dr. Joy Boulamwini – eine Schwarze Frau – entdeckt 2016, dass die Gesichtserkennungssoftware ihr Gesicht nicht erkennt. Was erzählen uns diese Fälle über Biases bei Künstlichen Intelligenzen?
Hier bildet sich struktureller Rassismus und fehlende Diversität in der Entwicklung ab. Die Computerwissenschaften und die Software-Entwicklung sind stark von einer männlichen, weißen und Mittelschichts-Perspektive dominiert. Es braucht mehr Diversität, um vielfältige Sichtweisen in die Entwicklung einzubringen, dann wäre es wahrscheinlich nicht passiert, dass in den Trainingsdaten für solche System People of Color so stark unterrepräsentiert sind, dass sie so fehleranfällig sind. Mich hat aber auch interessiert, wie die Verfahren und Methoden der Informatik selbst schon bestimmte Werte und Normen in sich tragen, so dass diese Biases nicht aufgefallen sind.
Algorithmen und AIs sind integraler Teil unserer digitalen Infrastruktur. Unternehmen und Einrichtungen – wie z. B. das AMS – lassen Entscheidungen zunehmend von automatisierten Entscheidungssystemen treffen. Welchen Einfluss hat der zunehmende Einsatz von Algorithmen in der Entscheidungsfindung auf unsere Gesellschaft bzw. was können wir darauf über bestehende Machtverhältnisse ablesen?
Der AMS-Algorithmus sucht Zusammenhänge zwischen Merkmalen Arbeitssuchender und erfolgreicher Erwerbstätigkeit. Die Merkmale umfassen Alter, Staatengruppe, Geschlecht, Ausbildung, Betreuungspflichten (nur bei Frauen) und gesundheitliche Beeinträchtigung sowie vergangene Beschäftigung, Kontakte mit dem AMS und das Arbeitsmarktgeschehen am Wohnort. Die komplexe Realität der Arbeitssuche wird durch eine kleine Anzahl an unscharfen Variablen vereinfacht. Z. B. wird eine „gesundheitliche Beeinträchtigung“ durch bloßes „ja/nein“ erfasst, ohne die tatsächliche Auswirkung auf die Fähigkeit zur Berufsausübung in Betracht zu ziehen. Bestehende Ungleichheiten am Arbeitsmarkt werden durch das System fortgeschrieben. So werden Frauen mit sogenanntem „Migrationshintergrund“ viel häufiger als Männer der Gruppe mit „niedrigen Chancen“ zugeordnet und sie erhalten damit weniger Zugang zu berufsfördernden Qualifizierungsmaßnahmen.
Vorhersage-Systeme wie dieses basieren auf statistischen Daten der Vergangenheit und sie neigen daher dazu vergangene Verhältnisse fortzuschreiben. Außerdem treffen sie Aussagen auf Populationsebene, die dann aber für Entscheidungen über individuelle Bürger*innen herangezogen werden. Der AMS-Algo teilt Arbeitssuchende sehr grob in drei Gruppen ein, jene mit hohen, mittleren und geringen Chancen einen Arbeitsplatz zu finden. Er reduziert die Arbeitsbiografien von Menschen auf zwei objektivierte Maßzahlen, nämlich wie wahrscheinlich sie kurz- und längerfristig einen Arbeitsplatz finden werden. In der Beratungssituation am AMS sollen diese scheinbar objektiven Zahlen, die Sachbearbeiter*innen unterstützen, die Fälle effizienter abarbeiten zu können. Der Mensch gerät in der Beratungssituation aus dem Blickfeld, denn es muss nun eigentlich verhandelt werden, ob die Vorhersage stimmt oder was sie eigentlich für eine konkrete Person aussagt.
Gesellschaftliche Ungleichheiten, die sich in Daten ausdrücken, können also leicht fortgeschrieben werden und sie tragen die Gefahr in sich, sich durch die Skalierung von Computerentscheidungen zu verstärken.
Im Hinblick auf Sorgepraktiken fordert Maria Puig de la Bellacasa den Fokus nicht auf technologische Artefakte an sich, sondern vielmehr auf eine „verantwortungsvollere Wissensproduktion zu lenken, die die Wirkmächtigkeit von Technologie mitdenkt“ [5]. Wie glaubst du, ist das möglich?
Wissensproduktion in diesem Bereich muss von einer technikzentrierten Perspektive abgehen und die soziotechnische Natur dieser Systeme mitdenken. Dafür braucht es interdisziplinäre Zusammenarbeit aber auch einen machtkritischen Auftrag. Die Auswirkungen der Digitalisierung gehen über die konkreten Nutzer*innen weit hinaus, sie schaffen die Bedingungen unter denen Demokratie und Pluralität künftig ausgehandelt werden können.
Unter dem Namen „fairness and justice in sociotechnical systems“ hat sich ein interdisziplinäres Forschungsfeld entwickelt, das sich mit dem Bias in soziotechnischen Systemen auseinandersetzt. Was sind die besonderen Herausforderungen dieser Forschung?
Soziotechnische Problem können nicht durch rein technische Lösungen angegangen werden. Die Herausforderung für diese Forschung ist es daher, die Schlagworte Inter- und Transdisziplinarität lebendig zu machen. Das heißt auch, tradierte wissenschaftliche Anerkennungsstrukturen zu verändern. Denn wie bringe ich ein Paper durch den wissenschaftlichen Reviewprozess, wenn die Gutachter*innen streng disziplinär Bewertungsmaßstäbe anlegen? Wie komme ich aus prekären Anstellungsverhältnissen mit Kettenvertragsregelungen heraus, wenn die gängigen Vorstellungen von Exzellenz und Innovation neoliberal geprägt sind?
Das Paradoxe dabei ist, dass diese Forschung selbst eine Reihe von normativen Entscheidungen treffen muss, um mathematisch zu definieren, was als fair und frei von Diskriminierung verstanden wird. Wie lässt sich diesem Widerspruch entgegentreten?
Es ist ein moving target. Man wird nie an einem Ziel ankommen und die Lösung wird nicht mathematisch sein. Es braucht eine ständige Infragestellung der Annahmen, die in den Lösungsversuchen getroffen werden. Und vor allem braucht es eine Positionierung dazu, welche Lebensbereiche frei von automatisierten Technologien bleiben sollen. Das Feld muss seine Grenzen kennen und klar sagen, dass Systeme nicht eingesetzt werden können, wo Werte wie Menschenwürde, Gleichheit, Transparenz und die physische und psychische Existenz von Menschen betroffen sind.
Was ist das Ziel eurer Auseinandersetzung?
Im Grunde geht es schlussendlich darum, Computerwissenschaften und die Entwicklung zu politisieren. Das heißt einerseits die Bedingungen der Wissensgenerierung offenzulegen, um zu sehen, wie sie zu bestimmten Framings kommen, also zum Beispiel, dem Auftrag der Wirtschaft zu dienen. Wir können dann diese Framings in Frage stellen und Ergänzen, was uns als Gesellschaft noch wichtig ist.
zurück zum Inhalt dieser Ausgabe
Bibliographie
[1]Allhutter, D. (2019). Dem algorithmischen Bias auf der Spur. Technikfolgenabschätzung – Theorie Und Praxis, 81. Abgerufen am 27.1.2022, von https://www.tatup.de/index.php/tatup/issue/view/8/ISSN%202199-9201%2028-1.
[2]Vincent, J. (2020, 23. Juni). What a machine learning tool that turns Obama white can (and can’t) tell us about AI. bias. Abgerufen am 27.1.2022, von https://www.theverge.com/21298762/face-depixelizer-ai-machine-learning-tool-pulse-stylegan-obama-bias.
[3] Buolamwini, J. (2016). How I’m fighting biased in algorithms. Abgerufen am 26.1.2022, von https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language=en.
[4] Allhutter, D., Mager, A., Cech, F., Fischer, F., & Grill, G. (2020). Der AMS Algorithmus – Eine Soziotechnische Analyse des Arbeitsmarktchancen-Assistenz-Systems (AMAS). Abgerufen am 25.1.2022, von http://epub.oeaw.ac.at/0xc1aa5576_0x003bfdf3.pdf.
[5] Kämpf, K. (2021) M. Bits & Pieces versorgen. Ein Plädoyer. In: Zeitschrift für Medienwissenschaft. Heft 24: Medien der Sorge, Jg. 13 (2021), Nr. 1, S. 63. DOI: https://doi.org/10.25969/mediarep/15775.
Zum Weiterlesen
AllhutterD. (2021). Memory Traces in Society-Technology Relations. How to Produce Cracks in Infrastructural Power. In Robert Hamm (ed.) Reader Collective Memory-Work. Volume 2, Sligo: BeltraBooks, 155-181.
Allhutter D. & Berendt B. (2020). Deconstructing FAT: using memories to collectively explore implicit assumptions, values and context in practices of debiasing and discrimination-awareness. In FAT* ’20: Proceedings of the 2020 ACM Conference on Fairness, Transparency, and Accountability. ACM, Barcelona, Spain, 687, https://dl.acm.org/doi/abs/10.1145/3351095.3375688.
Allhutter D. (2019). Of ‘Working Ontologists’ and ‘High-quality Human Components’. The Politics of Semantic Infrastructures. In J. Vertesi and D. Ribes (Eds.), DigitalSTS: A Field Guide for Science & Technology Studies (Winner of the Olga Amsterdamska Award, 2020), Princeton and Oxford: Princeton University Press, 326-348.