Achtung vor dem rassistischen digitalen Mitarbeiter – KI und Vorurteile

Künstliche Intelligenz hat sich schnell zur zukunftsweisenden Technologie unserer Gesellschaft entwickelt. Gartner prognostiziert, dass KI weltweit bis 2020 für mehr als 30% der CIOs einer der fünf Investitionsschwerpunkte sein wird. Selbst Deutschland hat eine Digital-Strategie zur Künstlichen Intelligenz vorgestellt und will aktuell 500 Millionen Euro in Forschung und Entwicklung für KI investieren. Obwohl viele Argumente für die Akzeptanz und Einführung von KI – sowohl für Unternehmen als auch für Verbraucher – sprechen, gibt es immer noch berechtigte Bedenken. Wenn wir Roboter mit Daten füttern, die unsere menschlichen Vorurteile widerspiegeln, imitieren sie diese und wir laufen Gefahr, antisemitische Chatbots bis hin zu rassistisch voreingenommener Software zu kreieren. Daher ist es für CIOs von größter Bedeutung, dass sie KI-Anwendungsfälle erkennen, die Probleme verursachen könnten, wo der digitale Mitarbeiter (Roboter) böse Absichten, Vorurteile und Unmoral imitiert.

Maschinelle Diskriminierung im Ausbildungssystem

Der vielleicht erste berichtete Fall eines „verdorbenen Systems“ ist ein Programm aus dem Jahr 1979, das von einem Studiendekan an der St. George’s Hospital Medical School in London erstellt wurde.  Versehentlich wurden fast alle Bewerberinnen und Bewerber, die einer Minderheit angehörten, von der Schule ausgeschlossen. 1986 machten sich die Mitarbeiter der Schule Sorgen über mögliche Diskriminierung und entdeckten schließlich, dass jedes Jahr mindestens 60 Bewerberinnen und Bewerber aus Minderheitsgruppen zu Unrecht ausgeschlossen wurden. Dies war natürlich ein Skandalfall. Letztendlich erhielt die Schule jedoch nur eine milde Strafe, und sie bot Entschädigungszahlungen an, einschließlich der Aufnahme einiger der ausgeschlossenen Bewerber.

Benachteiligung im Bankwesen

Ein moderneres Beispiel ist die Hypothek. Mit dem Aufkommen der KI hat sich die Kreditdiskriminierung vom Menschen auf den Algorithmus verlagert. Es ist immer noch Praxis, Gebiete aufgrund von rassischen oder ethnischen Merkmalen zu separieren oder gar zu diskriminieren. Dienstleistungen werden Bewohnern von Brennpunkten nicht oder nur in geringerer Qualität angeboten, während sie für Bewohner der wohlhabenden Gegenden verteuert angeboten werden. Die systematische Trennung von Kreditnehmern durch Banken und Immobilienmakler scheint nicht der Vergangenheit anzugehören. Überraschenderweise hat die Automatisierung der Hypothekenindustrie es nur einfacher gemacht, solche Praktiken hinter einer technologischen Benutzeroberfläche zu verstecken. Anfang dieses Jahres ereilte Facebook beispielsweise eine Klage wegen rassistischer Vorurteile in der Wohnungs- und Hypothekenwerbung.

Diskriminierung im Bewerbungsprozess

Der bei weitem berüchtigtste Fall von Vorurteilen bei der Rekrutierung und Einstellung von Mitarbeitern wurde der Öffentlichkeit bekannt, als Medien über den Ausschluss von Frauen durch die neue Rekrutierungs-Engine von Amazon berichteten. Amazon stellte 2014 ein Team zusammen, das mehr als 500 Algorithmen einsetzte, um den CV-Review-Prozess für Ingenieure und Programmierer zu automatisieren. Das Team trainierte das System, indem es die Lebensläufe der Amazon-Mitarbeiter in den Softwareteams als Modell verwendete, welche überwiegend männlich waren. Folglich lernte das System, jeden zu disqualifizieren, der eine Frauenuniversität besucht oder Frauenorganisationen im Lebenslauf aufgeführt hatte.

Immer mehr Unternehmen setzen auf allen Ebenen des HR-Prozesses auf algorithmische Entscheidungssysteme. Seit 2016 werden 72 Prozent der Lebensläufe von Bewerbern nicht mehr von Menschen, sondern ausschließlich von Computern überprüft. Das bedeutet, dass Stellenbewerber und Mitarbeiter inzwischen seltener mit Menschen zu tun haben – und Geschichten wie die von Amazon könnten immer häufiger werden.

Die gute Nachricht ist, dass einige Unternehmen sich bemühen, solche Vorfälle zu vermeiden. Es gibt Analyseplattformen, die die Verwendung von Indikatoren vermeiden, welche zur Benachteiligung aufgrund von Geschlecht, Alter oder Rasse führen könnten. Außerdem hat zum Beispiel LinkedIn Systeme eingesetzt, um Geschlechterinformationen in LinkedIn-Profilen nicht zu ignorieren, sondern zu sammeln und zu nutzen. LinkedIn verwendet diese Informationen, um eine mögliche Benachteiligung oder Bevorzugung zu klassifizieren und zu korrigieren. Auch die Google-Suche ist nicht davor gefeit: Google AdWords hat sich des Sexismus schuldig gemacht, als Forscher herausfanden, dass männlichen Arbeitssuchenden eher Anzeigen für hochbezahlte Führungspositionen angezeigt wurden als Frauen.

Die Rolle des CIOs

Führende Technologieunternehmen befassen sich zunehmend mit der ethischen Verwendung von Daten. Microsoft hat die Bedeutung der Ethik mit sechs Prinzipien für das Unternehmen festgelegt: Gerechtigkeit, Zuverlässigkeit und Sicherheit, Datenschutz, Inklusion, Transparenz und Rechenschaftspflicht. Für alle Tech-Führungskräfte wäre es sinnvoll, sich daran zu orientieren. Die entwickelte Technologie muss auch den internationalen Gesetzen entsprechen. Die Finanzminister des diesjährigen G20-Gipfels haben sich erstmals auf Prinzipien für eine verantwortungsvolle Nutzung von KI geeinigt. Dazu gehörte auch ein menschenzentrierter KI-Ansatz: die Länder müssen sicherstellen, dass beim KI-Gebrauch die Menschenrechte respektiert werden und keine Nachteile, sondern Vorteile entstehen.

Wenn KI vorurteilsfrei sein soll, müssen Unternehmen einen ganzheitlichen Ansatz für die KI-Technologie unterstützen. Die KI ist nur so gut wie die Modell-Daten, daher müssen diese Daten fair und repräsentativ für alle Menschen und Kulturen sein.

In erster Linie müssen CIOs sich fragen, ob der von ihnen angestrebte KI-Gebrauch moralisch, sicher und richtig ist. Sind die Daten hinter Ihrer KI-Technologie „gut“ oder haben sie sie eine algorithmische Verzerrung? Werden die KI-Algorithmen geprüft, um sicherzustellen, dass sie richtig eingestellt sind, um erwartete Ergebnisse mit vordefinierten Testsätzen zu erzielen? Wird DSGVO-konform transparent gemacht, wie sich die KI-Technologie auf das Unternehmen intern und auf Kunden und Partner extern auswirkt? Gibt es einen speziellen KI-Kontroll- und Beratungsausschuss, dem funktionsübergreifende Führungskräfte und externe Berater angehören, die die Kontrolle von KI-gestützten Lösungen einrichten und überwachen?

Letztendlich haben Unternehmen die rechtliche und moralische Verpflichtung, KI gemäß ethischen Grundsätzen zu nutzen – aber es ist auch ein geschäftlicher Imperativ. Kein CIO will für einen schlechten, diskriminierenden und unethischen Einsatz von KI bekannt werden.

Markus Pichler

Markus Pichler ist Vice President of Sales Europe und verantwortlich für die Entwicklung von Lösungsstrategien für den direkten und indirekten Vertrieb bei ABBYY. Markus verfügt über mehr als 20 Jahre Erfahrung in der Softwarebranche mit Fokus auf ECM, Informationserfassungs- sowie Daten- und Dokumentenmanagementprojekten. Er ist Experte auf dem Gebiet der Digitalen Transformation und bei der Analyse und Automatisierung traditioneller Geschäftsprozesse mithilfe KI-basierter Technologien.