Mit dem Einsatz von künstlicher Intelligenz geben wir Verantwortung an Maschinen ab. Mit welchen Bausteinen können die Risiken unkontrollierbarer Algorithmen minimiert werden?
Künstliche Intelligenz (KI), speziell maschinelles Lernen, ist ein Paradigmenwechsel in der IT. Anstelle von manueller Codeprogrammierung trainieren sich KI-Systeme weitgehend eigenständig auf Basis von Daten. Dabei sind viele KI-Algorithmen Blackboxen, ihre Berechnungsergebnisse und ihr Handeln sind nicht oder nur eingeschränkt nachvollziehbar. Damit wächst aber auch das Risiko an unüberwachten Fehlentscheidungen. Etwa der Voreingenommenheit, wie sich in einem KI-Projekt an US-Gerichten gezeigt hat: Dort wurden Algorithmen eingesetzt, um die Rückfallwahrscheinlichkeit von Angeklagten zu prognostizieren. Dabei hat sich herausgestellt, dass Minderheiten gegenüber anderen Personengruppen durch den Algorithmus benachteiligt wurden. Doch auch bezüglich der Korrektheit und der Nachvollziehbarkeit der Resultate bestehen Risiken: Bei Bilderkennungsverfahren konnte nachgewiesen werden, dass KI-Systeme manchmal komplett falsche Schlüsse ziehen. So hat etwa ein Algorithmus Wölfe von Hunden nicht aufgrund ihrer physischen Erscheinungsmerkmale unterschieden, sondern (auf Basis seines Trainingsmaterials) einen Schneehintergrund als primäres Kategorisierungsmerkmal für Wölfe festgelegt. Was, wenn unsere KI-Systeme attackiert werden? Neuronale Netzwerke für Bilderkennung können ausgetrickst werden, indem lediglich ein Pixel im Bild verändert wird -ein mit Folie überklebtes Stoppschild könnte durch selbstfahrende Autos als Parkverbotsschild interpretiert werden. Schließlich stellen sich auch Fragen der sozialen Verantwortung und der Ethik, etwa bei der selbstlernenden Weiterentwicklung unserer KI-Systeme: Was, wenn diese wie ein Chatbot von Microsoft binnen kürzester Zeit auf Basis ihrer Interaktionen mit Menschen zum rassistischen und frauenfeindlichen Tool werden? Doch die Risiken der KI sollten uns nicht über die Chancen hinwegtäuschen: Unternehmen, die bereits im Zuge der Einführung erster KI-Lösungen proaktiv die damit einhergehenden Risiken adressieren, legen die Grundlage für eine sichere und vertrauenswürdige KI, die das volle Potenzial der Technologie im Sinne des Unternehmens, seiner Kunden und der Gesellschaft lukrierbar macht. Fünf Kernpunkte im Design und in der Umsetzung von Trusted AI.
1. Klare Spezifikationsvorgaben
Ethische und soziale Leitplanken müssen im Design miteingebaut werden - notfalls durch Rückgriff auf menschliche Kontrolle. Neben bestehenden funktionalen und technischen Dokumentationsvorgaben für IT-Systeme ist auch die explizite Behandlung und Dokumentation KI-spezifischer Aspekte und Auswirkungen zu forcieren. Etwa die elementarste Frage: Was soll das (selbstlernende) System selbst entscheiden dürfen, wo sind menschliche Kontrollfunktionen einzubauen? Sind ethische Rahmenbedingungen zu berücksichtigen? Wurden Qualitätskriterien für die Trainingsdaten spezifiziert? Ist der Zugriff zu den Trainingsdaten abgesichert? Diese Aspekte sollten als Spezifikationsvorgabe formuliert und während der Entwicklungsphase kontrolliert werden. In der Spezifikationsphase werden die Rahmenbedingungen für die KI-Lösung festgezurrt. KI bringt hier neue Fragestellungen im Vergleich zu herkömmlicher Software ein, die das Zielbild maßgeblich beeinflussen können.
2. Risikobewertung über interne Kontrollsysteme
Für die AI-spezifischen Risiken müssen erforderliche Prüfschritte abgeleitet und nachvollziehbar angewandt werden. Um KI-Risiken aktiv behandeln zu können, ist eine Einflussanalyse in Bezug auf nicht unmittelbar sichtbare Auswirkungen durchzuführen. So könnte etwa die Vorgabe einer Zielsetzung für die automatische KI-Modellentwicklung dazu führen, dass das Ziel zwar optimal erreicht wird, dadurch jedoch andere Ziele - unbemerkt -negativ beeinträchtigt werden (wenn etwa die Zielvorgabe "häufigste Fälle in minimaler Zeit abwickeln" für seltene Fälle zu unakzeptabel hohen Abwicklungszeiten führt).
Risikofaktoren (z. B. voreingenommene Ergebnisse) sind auf ganz konkrete Einzelrisiken herunterzubrechen (z. B. Sicherstellung der ausgewogenen Verteilung von Trainingsdaten für sämtliche Ergebnisklassen) und in Form einer sog. Risikokontrollmatrix mit entsprechenden Kontrollaktivitäten und möglichen Behandlungsmaßnahmen (z. B. Anreicherung unterrepräsentierter Ergebnisklassen durch zusätzliche, synthetische Datensätze) zu hinterlegen. Dabei ist die Risikobehandlung für jede Phase des Lösungsentwicklungsprozesses (fachliche Spezifikation, Datenbeschaffung und -aufbereitung, Modellierung /Training / Test, Produktivsetzung, laufender Betrieb) entsprechend zu adressieren. Oft denken Unternehmen, dass die Beschäftigung mit den KI-Risiken ihre Time-to-Market einschränkt. Tatsächlich ist das Gegenteil der Fall, denn früher oder später werden Risiken schlagend, und wenn man sich erst dann Gedanken macht, kann das zu umfassenden Änderungsbedarfen an den bereits getätigten Entwicklungen führen.
3. Ergebnisplausibilisierung durch Explainable AI
Deutlich einfacher gestrickte parallele Systeme helfen, die Ergebnisse von KI-Systemen nachzuvollziehen. Sogenannte Challenger-Systeme und "Explainable AI", also separate Modelle, die deutlich einfacher gestrickt sind als die eigentlichen KI-Systeme, können grundsätzliche Plausibilisierungen von Ergebnissen während der Entwicklung, aber auch im laufenden Betrieb durchführen. So lässt sich etwa der Einfluss der wichtigsten Inputparameter auf das Ergebnis quantifizieren, ohne auf die komplexen internen Berechnungsdetails oder die Gesamtheit der Inputdaten eingehen zu müssen (z. B. "die positive Entwicklung der Weltwirtschaft in den kommenden 6 Monaten hat unsere Umsatzprognose konkret um 3 Prozent gesteigert"). Explainable AI ergänzt die Antwort auf die Frage „Was?“ um das „Warum?“. Das ist nicht nur für die Nutzer der KI-Anwendungen ein wertvoller Input, sondern wird zunehmend auch von Audit und Compliance eingefordert.
4. Klare Entscheidungsprozesse, festgelegte Kontrollpunkte
Quality Gates, bei denen definierte Qualitätskriterien über die Freigabe von Zwischenergebnissen entscheiden, sind in der KI-Entwicklung essenziell. Durch klare Entscheidungsstrukturen und -prozesse muss sichergestellt werden, dass die KI-Systeme den vom Unternehmen gewünschten Vorgaben und Prinzipien entsprechen. Wer entscheidet z. B. an welcher Stelle im Entwicklungsprozess, ob ein komplexeres KI-Modell eingesetzt werden soll, das genauere Ergebnisse liefert, oder aber ein einfacheres Modell, dessen Ergebnisse dafür klar nachvollzogen werden können? An gewissen, vorab definierten Punkten im Ablauf des Entwicklungsprojektes, sogenannten Quality Gates, muss dann anhand dieser Kriterien über den Übergang in die nächste Projektphase entschieden werden. In vielen Unternehmen werden KI-Lösungen nicht durch die IT-Abteilung entwickelt, sondern durch ein separates Team von Data Scientisten, oft direkt im Fachbereich angesiedelt. Agile Entwicklung wird hier großgeschrieben, aber oft nur als Ausrede für unstrukturiertes Vorgehen verwendet. Um Agilität auch wirklich nachhaltig umzusetzen, kann man sich durchaus einiges von den IT-Vorgehensweisen abschauen.
5. Awareness und Akzeptanz bei allen Beteiligten schaffen
Vom Management bis hin zu den Produktverantwortlichen muss das Bewusstsein aller Projektbeteiligten für die Risiken geschärft werden. So sollten etwa Data Scientists nicht nur blind die bestmöglichen Berechnungsmodelle anwenden, sondern stets auch überlegen, ob damit etwa eine Benachteiligung von Randgruppen einhergehen kann. Projektsponsoren müssen verstehen, dass das Entwicklungsbudget auch eine Risikobewertung und -behandlung zu ermöglichen hat. Und den Anwendern muss klar sein, dass die Ergebnisse von KI-Systemen vielfach auf Wahrscheinlichkeiten basieren, nicht wie bei herkömmlicher Software auf exakter Mathematik, und somit mit wachem Auge immer zu hinterfragen sind. Zentraler Baustein für Trusted KI ist, sämtliche Beteiligte in der Entwicklung und Anwendung von KI-Lösungen zu sensibilisieren und zu schulen. Künstliche Intelligenz bietet enorme Potenziale, die aber nur dann nachhaltig gehoben werden können, wenn man auch die damit einhergehenden neuen Herausforderungen aktiv adressiert.
Dieser Artikel ist zuerst im INDUSTRIEMAGAZIN erschienen.
