Der Einsatz automatisierter Entscheidungsfindung und KI-basierter Systeme hat in Europa in den vergangenen zwei Jahren stark zugenommen – auch in Deutschland lassen sich immer mehr Anwendungsfälle finden. Die Systeme werden sowohl von der öffentlichen Verwaltung als auch von privaten Unternehmen eingesetzt und beeinflussen das Leben von Millionen von Bürger:innen. Es mangelt jedoch noch immer an Transparenz, Aufsicht und Kompetenz. Nur wenn politische Entscheidungsträger:innen auf europäischer, aber auch auf nationaler Ebene diese Lücken schnell schließen, kann sich der potenzielle Nutzen algorithmischer Systeme entfalten. Das hat die bisher umfassendste Recherche zu diesem Thema in Europa ergeben, die AlgorithmWatch und die Bertelsmann Stiftung für die neue Ausgabe des „Automating Society“ Reports durchgeführt haben.

Der Einsatz automatisierter Entscheidungsfindung (automated decision-making, ADM) und KI-basierter Systeme hat in Deutschland und Europa in den vergangenen zwei Jahren stark zugenommen. Dies wirkt sich auf die Durchsetzung von Rechten, den Zugang zu Dienstleistungen und damit auch auf die Teilhabemöglichkeiten von Millionen von Bürger:innen aus. Trotzdem werden die meisten ADM-Systeme ohne eine breite gesellschaftliche Debatte eingeführt. Oft mangelt es den Systemen an Transparenz in Bezug auf ihre Ziele, Funktionsweise und Wirksamkeit. Doch selbst wenn diese Transparenz in konkreten Anwendungsfällen gegeben ist, bedeutet das noch lange nicht, dass diese einen Nutzen für den Einzelnen oder die Gesellschaft als Ganzes schaffen. Dies sind die Kernergebnisse der neuen Ausgabe des "Automating Society"-Reports 2020. Die Bertelsmann Stiftung und AlgorithmWatch zeigen darin auf Grundlage einer umfassenden Recherche in 16 europäischen Ländern auf, wie sich ADM-Systeme auf alle Aspekte des Lebens auswirken – von der sozialen Sicherung über Gesundheit und Bildung bis hin zu Justiz und Polizeiarbeit.

Mehr als 100 Einsätze von ADM-Systemen dokumentiert

Ein über den ganzen Kontinent verteiltes Recherche-Netzwerk hat mehr als 100 Einsätze von ADM-Systemen dokumentiert und dabei herausgefunden, dass diese Anwendungen in bestimmten Fällen positive Auswirkungen haben können. Beispielsweise wird in den Städten Singen und Weimar ein ADM-System namens DyRiAS eingesetzt, um das Risiko von Gewaltausübung gegen Frauen einzuschätzen. Das algorithmische Prognosepotenzial nutzt auch das Auswärtige Amt, indem es die Software PREVIEW einsetzt, um internationale Krisen früher und besser vorherzusagen.

Die detaillierte Recherche zeigt aber auch, dass die überwiegende Mehrheit der aktuellen Anwendungen eher Nachteile mit sich bringt, statt Menschen zu helfen: Fehlerhafte Systeme haben zum Beispiel im Vereinigten Königreich dazu geführt, Leistungen von Schüler:innen unfair zu benoten, während sie in Dänemark die Jobaussichten von Arbeitslosen falsch einstuften. In Deutschland gab es Kritik an der potenziellen Verletzung von Grundrechten durch den polizeilichen Einsatz von Gesichtserkennungssoftware an einem Berliner Bahnhof.

Viele gute Absichten – oft schlecht umgesetzt

„Automatisierte Entscheidungssysteme haben das Potenzial, einen positiven gesellschaftlichen Beitrag zu leisten", sagt Fabio Chiusi, Projektleiter bei AlgorithmWatch und Koordinator des Recherche-Netzwerks, „aber unser Report zeigt auch, dass dies in der Praxis bisher eher die Ausnahme als die Norm ist."

„Wir sehen viele gute Absichten, die dann oft schlecht umgesetzt werden“, erklärt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung. „Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen.“

Der Bericht zeigt aber auch, dass es Möglichkeiten gibt, unfaire und undurchsichtige ADM-Systeme zu identifizieren, in die öffentliche Debatte zu tragen und sie letztlich so zu verbessern, dass sie positive Wirkung entfalten können. In vielen der analysierten Ländern ist es Journalist:innen, Akademiker:innen und zivilgesellschaftlichen Organisationen gelungen, den Einsatz einer wachsenden Anzahl intransparenter und rechtsverletzender ADM-Systeme zu stoppen und so als effektive Wächter einer immer stärker automatisierten Gesellschaft zu wirken.

Handlungsempfehlungen für größeren Nutzen

Jeder dieser einzelnen Erfolge ist zwar wichtig, reicht aber nicht aus, um den gesellschaftlichen Nutzen von ADM-Systemen systematisch zu gewährleisten. Aus diesem Grund enthält der Bericht eine Reihe politischer Handlungsvorschläge, mit deren Umsetzung es möglich wäre, die Chancen der Systeme zu nutzen und gleichzeitig ihre Defizite zu verringern.

AlgorithmWatch und die Bertelsmann Stiftung empfehlen:

  • die Transparenz von ADM-Systemen zu erhöhen. Hierzu sollten öffentliche Register für die im öffentlichen Sektor eingesetzten ADM-Systeme eingerichtet und rechtsverbindliche Rahmenbedingungen für den Zugang zu Daten eingeführt werden, um Forschung im gesellschaftlichen Interesse zu ermöglichen und zu unterstützen.
  • einen Rahmen für klare Rechenschaftspflichten über ADM-Systeme zu schaffen. Dafür ist es wichtig, Ansätze für die effektive Überprüfung der Anwendungen zu entwickeln, zivilgesellschaftliche Watchdog-Organisationen zu stärken und ADM-Systeme mit hohem Risikopotenzial zu verbieten. 
  • algorithmische Kompetenzen und die öffentliche Debatte über ADM-Systeme zu stärken. Zu diesem Zweck sollten unabhängige Kompetenzzentren für automatisierte Entscheidungsfindung aufgebaut sowie eine integrative und pluralistische demokratische Debatte über ADM-Systeme gefördert werden.

Der Bericht ist in englischer Sprache online verfügbar unter: https://algorithmwatch.org/automatingsociety2020

Über Bertelsmann Stiftung

Über die Bertelsmann Stiftung: Menschen bewegen. Zukunft gestalten.

Die Bertelsmann Stiftung setzt sich dafür ein, dass alle an der Gesellschaft teilhaben können – politisch, wirtschaftlich und kulturell. Unsere Themen: Bildung, Demokratie, Europa, Gesundheit, Werte und Wirtschaft. Dabei stellen wir die Menschen in den Mittelpunkt. Denn die Menschen sind es, die die Welt bewegen, verändern und besser machen können. Dafür erschließen wir Wissen, vermitteln Kompetenzen und erarbeiten Lösungen. Die gemeinnützige Bertelsmann Stiftung wurde 1977 von Reinhard Mohn gegründet.

Weitere Informationen: www.bertelsmann-stiftung.de

Firmenkontakt und Herausgeber der Meldung:

Bertelsmann Stiftung
Carl-Bertelsmann-Str. 256
33311 Gütersloh
Telefon: +49 (5241) 810
Telefax: +49 (5241) 81681396
http://www.bertelsmann-stiftung.de

Ansprechpartner:
Fabio Chiusi
Telefon: +49 (30) 994049-001
E-Mail: fc@algorithmwatch.org
Dr. Sarah Fischer
Telefon: +49 (5241) 81148
E-Mail: sarah.fischer@bertelsmann-stiftung.de
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel