Wie bringt man der KI die Bedeutung von Vertrauen bei? Wie bringt man der KI die Bedeutung von Vertrauen bei?

Autoren
Cathy Cobey

EY Global Trusted AI Advisory Leader

Thought leader in digital trust. Advocate of women in technology. Lover of good food. Film festival enthusiast. Avid learner. Parent.

Keith Strier

EY Global and EY Americas Advisory Leader for AI

Tech visionary, business strategist, experience designer, AI evangelist. Incurably focused on what’s next.

Jeanne Boillet

EY Global Assurance Innovation Leader

Innovation driver in audit services. Client-centric. Strong advocate for diversity and the advancement of women in business.

12 Minuten Lesezeit 3 September 2018

Das transformative Potenzial Künstlicher Intelligenz ist groß – ebenso groß sind aber auch ihre Risiken. Kann Vertrauen Ihrem Unternehmen dabei helfen, die Versprechen von KI zu halten?

Dieser Artikel ist Teil einer Serie zum Thema digitales Vertrauen.

Während sich Künstliche Intelligenz (KI) und maschinelles Lernen verbreiten, überholen KI-Technologien alle unternehmerischen Governance- und Kontrollmechanismen, die ihren Einsatz steuern.

Externe Aufsichtsorgane können einfach nicht Schritt halten und Unternehmen kämpfen immer häufiger mit Forderungen, verlässliche und transparente Kontrollmechanismen vorzustellen, die sich ebenso schnell entwickeln können, wie es die Technologie tut.

Wieder und wieder haben die Katastrophen der jüngsten Zeit bewiesen, welche operativen Risiken der Einsatz von KI ohne robuste Governance- und Ethikvorgaben hat. Datentechnologien und -systeme können ausfallen, aus Versehen oder absichtlich beschädigt werden und sogar menschliche Voreingenommenheit übernehmen. Diese Fehler haben weitreichende Konsequenzen für Sicherheit, Entscheidungsfindung sowie Glaubwürdigkeit und können zu kostspieligen Gerichtsverfahren, Imageschäden, Kundenbeschwerden, Profitabilitätsverlust und regulatorischen Untersuchungen führen.

Die Notwendigkeit, Vertrauen aufzubauen

Führungsverantwortliche müssen darauf vertrauen können, dass die KI-Systeme ihres Unternehmens zuverlässig und präzise funktionieren und sie sich auf die verwendeten Daten verlassen können. Dies bleibt aber fraglich: In unserer aktuellen Studie nannte fast die Hälfte der Befragten (48 Prozent) mangelndes Vertrauen in die Qualität und Glaubwürdigkeit der Daten als Herausforderung bei unternehmensweiten KI-Programmen.1

Gleichzeitig wollen Unternehmen Vertrauen bei ihren externen Stakeholdern aufbauen. So müssen etwa Kunden, Zulieferer und Partner der Unternehmens-KI vertrauen können. Sie wollen wissen, wann sie mit einer KI interagieren und welche Art von Daten zu welchem Zweck verarbeitet wird. Darüber hinaus wollen sie Garantien, dass das KI-System vertrauliche Daten nicht ohne ihre ausdrückliche Zustimmung sammelt, speichert oder weitergibt. Alle, die den Zweck, die Integrität und Sicherheit dieser Technologien anzweifeln, werden zögern – und sich letztendlich sogar weigern –, ihre für die Innovationen von Morgen unverzichtbaren Daten zu teilen.

Aufsichtsbehörden erwarten ebenfalls, dass KI unter dem Strich einen positiven Einfluss auf die Gesellschaft hat. Daher haben sie begonnen, Durchsetzungsmechanismen für den Schutz, die Freiheit und das allgemeine Wohlergehen der Menschen zu entwickeln.

Um von wirklich allen Nutzern – sowohl intern als auch extern – akzeptiert zu werden, müssen KI-Systeme vor allem verständlich sein. Das heißt, dass ihre Entscheidungen nachvollziehbar und nachprüfbar sein müssen. Zudem müssen sie selbst angesichts immer neuer Bedrohungen absolut sicher sein.

Vor dem Hintergrund dieser Überlegungen wird immer deutlicher, dass ein Unternehmen ohne entsprechende Governance- und Ethikstandards zur Stärkung des Vertrauens in die KI kaum das vielversprechende Wachstumspotenzial dieser Technologie nutzen kann.

Ohne Vertrauen kann sich das Potenzial von KI nicht entfalten. Neue Governance- und Kontrollmechanismen, welche auf die dynamischen Lernprozesse der KI zugeschnitten sind, können Risiken angehen und das Vertrauen in KI stärken.
Cathy Cobey
EY Global Trusted AI Advisory Leader
(Chapter breaker)
1

Kapitel 1

Umfassendes Vertrauen in jede Facette von KI

Prinzipien für den Aufbau von Vertrauen

Ein erster Schritt zur Minimierung von KI-Risiken ist es, auf diese Risiken aufmerksam zu machen – sowohl unter Führungskräften als auch unter den Designern, Architekten und Entwicklern der KI-Systeme, die das Unternehmen einsetzen will.

Danach muss sich das Unternehmen aktiv dazu verpflichten, Vertrauen in alle Bereiche des KI-Systems aufzubauen – und zwar vom ersten Tag an. Dieses Vertrauen sollte den strategischen Zweck des Systems ebenso umfassen wie die Integrität der Datensammlung und des Datenmanagements, die Governance des Modelltrainings und die Rigorosität der Techniken, mit denen das System und seine Algorithmen überwacht werden.

Die Einführung von grundlegenden Prinzipien, an denen sich KI-bezogene Designs, Entscheidungen, Investitionen und zukünftige Innovationen orientieren, unterstützen Unternehmen dabei, im Zuge der technologischen Weiterentwicklung das notwendige Vertrauen und die richtige Selbstdisziplin aufzubauen.

Wir sollten nicht vergessen, dass sich Künstliche Intelligenz ständig verändert – sowohl wie sie von Unternehmen benutzt wird, als auch wie sie sich entwickelt und dazulernt, sobald sie aktiv ist. Diese kontinuierliche Innovation ist beeindruckend und wird zweifelsohne zu erheblichen neuen Fähigkeiten und Veränderungen führen. Herkömmliche Steuerungsprinzipien reichen allerdings nicht annähernd aus, um mit dem Risikopotential und der rasanten Entwicklungsgeschwindigkeit Schritt zu halten. Diese doppelte Herausforderung verlangt nach einem strengeren Steuerungsansatz, damit Unternehmen Künstliche Intelligenz heute und in der Zukunft nutzbringend einsetzen können.

In unserem kontinuierlichen Dialog mit Klienten, Aufsichtsbehörden und und der Wissenschaft, aber auch durch unsere Erfahrung bei der Entwicklung von Anwendungs- und Risikoeinschätzungen für KI-Pionierprojekte, haben wir drei Kernprinzipen identifiziert, durch die das Vertrauen in KI gefördert werden kann:

  1. Zweckdienliches Design: Entwickeln und gestalten Sie Systeme, die Robotik, intelligente und automatisierte Verfahren sinnvoll ausbalancieren, um präzise definierte Geschäftsziele zu erreichen. Behalten Sie dabei das Umfeld, Beschränkungen, Verfügbarkeit und und Risiken im Blick.
  2. Agile Steuerung: Achten Sie auf neue soziale, regulatorische, imagerelevante und ethische Fragestellungen und nutzen Sie dieses Wissen bei der Gestaltung aller Prozesse, welche die Integrität eines Systems, seine Anwendungen, seine Architektur, seine eingebetteten Komponenten, seine Datenbeschaffung und sein Datenmanagement und sowie sein Modelltraining und Monitoring überwachen.
  3. Wachsame Supervision: Beaufsichtigen, überwachen und justieren Sie die Systeme kontinuierlich nach, um eine zuverlässige Leistung zu erreichen, Verzerrungen zu identifizieren bzw. zu beseitigen sowie Transparenz und Inklusion zu fördern.

Warum gelten diese Prinzipien speziell für KI? Das erklärt sich aus den Merkmalen: zweckdienlich, agil und wachsam.Diese Eigenschaften beziehen sich auf diejenigen Facetten von KI, welche zur größten Herausforderung werden können. 

So stellt beispielsweise der Einsatz von KI in bisher „rein menschlichen“ Umgebungen den konventionellen Designprozess in Frage. Schließlich ist es der Sinn von KI, die menschliche Entscheidungsfindung aufzunehmen und dann nachzuahmen, inklusive aller Gesetze, ethischen Maßstäbe, sozialen Normen und unternehmerischen Werte, die der Mensch dabei ständig anwendet (oder abwägt). Diesen speziellen Anforderungen werden Unternehmen nur gerecht, wenn sie einen zweckdienlichen Designansatz wählen, der sowohl die Autonomie der KI nutzt als auch ihre Risiken minimiert.

Gleichzeitig muss die Überwachung angesichts der halsbrecherischen Geschwindigkeit, mit der sich KI-Technologien und Anwendungen weiterentwickeln, agil genug sein, um mit den wachsenden Fähigkeiten und Auswirkungen Schritt zu halten. Innovationen profitieren immer von Monitoring und Supervision. Angesichts der hohen Risiken und der dynamischen, kontinuierlich lernenden Natur der KI, die sich stetig verändert, sobald sie installiert ist, benötigen KI-Projekte aber mehr Wachsamkeit als Unternehmen normalerweise aufbringen.

Mit diesen Kernprinzipien im Blick kann das Unternehmen jedes KI-Projekt anhand einer Reihe von Kriterien oder Bedingungen zielführend prüfen. Dieser Abgleich, der weit über die Vorgehensweise bei althergebrachten Technologien hinausgeht, bettet die notwendige Disziplin in einen Prozess ein, der die umfassenderen Zusammenhänge und Auswirkungen von KI berücksichtigt.

KI-Risiken prüfen:

Schauen wir uns vier Bereiche an, die bei der Risikoeinschätzung für eine KI-Initiative hilfreich sind:

  1. Ethik – Das KI-System muss ethische und soziale Normen einschließlich der Unternehmenswerte erfüllen. Dies umfasst das menschliche Verhalten beim Design, der Entwicklung und dem Betrieb der KI sowie das Verhalten der KI als virtueller Akteur. Diese Bedingung setzt Überlegungen voraus, die bei traditionellen Technologien kaum angestellt werden mussten, beispielsweise zu moralischem Verhalten, Respekt, Fairness, verzerrter Darstellung und und Transparenz.
  2. Soziale Verantwortung – Die möglichen sozialen Auswirkungen von KI-Systemen sollten sorgfältig analysiert werden, insbesondere mit Blick auf das finanzielle, physische und mentale Wohlergehen von Menschen sowie auf die Umwelt. Zu diesen Auswirkungen gehören beispielsweise Entlassungen, Umschulungsbedarf, Diskriminierung und Umweltschädigungen.
  3. Rechenschaftspflicht und „Erklärbarkeit“ – Die Rechenschaftspflicht für das KI-System sollte klar bei einem Individuum liegen. Darüber hinaus muss der KI-Betreiber in der Lage sein, den Entscheidungsrahmen des KI-Systems erklären und dessen Arbeitsweise darlegen zu können. Dabei geht es um mehr als bloße Transparenz; es geht um ein klares Verständnis davon, wie man die KI Daten nutzt und interpretiert, welche Entscheidungen man daraus ableitet, wie es sich möglicherweise weiterentwickelt und wie konsistent ihre Entscheidungen innerhalb von Fallgruppen sind. Dies unterstützt nicht nur die Einhaltung von Gesetzen, Regulierungen und sozialen Normen, es zeigt auch mögliche Lücken in den zentralen Sicherungsmaßnahmen auf.
  4. Zuverlässigkeit – Selbstverständlich sollte ein KI-System zuverlässig sein und wie geplant funktionieren. Dafür müssen die Funktionalität und der Entscheidungsrahmen des Systems getestet werden, um unerwünschte Ergebnisse, Systemverluste oder operative Veränderungen zu erkennen – nicht nur in der initialen Trainings- oder Modellierungsphase, sondern während der gesamten folgenden Lern- und Evolutionsphase.

Nimmt man sich schon vor dem eigentlichen Projektstart die Zeit, diese Kriterien zu untersuchen, können mögliche Defizite identifiziert und Risiken minimiert werden, bevor sie auftreten.

Ein ganzheitlicher Blick auf KI-Risiken
(Chapter breaker)
2

Kapitel 2

Ein ganzheitlicher Blick auf KI-Risiken

Risiken verstehen, um die Merkmale einer vertrauenswürdigen KI zu entschlüsseln

Sind die oben beschriebenen Bedingungen für das KI-Vertrauen erfüllt, können Unternehmen auf der nächsten Ebene der Kontrollmechanismen aktiv werden.

Um wirklich Vertrauen in KI aufzubauen und zu erhalten, muss ein Unternehmen sämtliche Komponenten innerhalb und im Umfeld eines KI-Systems verstehen, steuern, justieren und absichern. Zu diesen Komponenten gehören Datenquellen, Sensoren, Firmware, Software, Hardware, Benutzeroberflächen, Netzwerke ebenso wie menschliche Betreiber und Nutzer.

Dieser ganzheitliche Blick verlangt nach einem umfassenden Verständnis der spezifischen Risiken in der gesamten KI-Kette. Wir haben einen Rahmenplan entwickelt, der Unternehmen bei der Einschätzung von Risiken unterstützt, die weit über die zugrundeliegende Mathematik und die Algorithmen von KI hinausreichen. Gleichzeitig umfasst der Rahmenplan auch die Systeme, in welche die KI eingebettet ist.

Unsere besondere „System-Ansicht“ versetzt Unternehmen in die Lage, fünf entscheidende Voraussetzungen für ein vertrauenswürdiges KI-Ökosystem zu schaffen:

  1. Transparenz: Endanwender müssen von Anfang an wissen und verstehen, wann sie mit einer KI interagieren. Sie müssen entsprechend informiert werden und die Möglichkeit erhalten, (a) den Grad der Interaktion festzulegen und (b) ihr Einverständnis zur (oder ihre Ablehnung gegenüber) der Datensammlung und -nutzung zu geben.
  2. „Erklärbarkeit“: Erklärbarkeit wird in der KI-Sphäre immer wichtiger und einflussreicher. Vereinfacht gesagt, sollten Unternehmen in der Lage sein, ihr KI-System verständlich zu erklären. Das System sollte also nicht die Fähigkeiten der Menschen übertreffen, die Schulungs- und Lernmethoden sowie die genutzten Entscheidungskriterien des Systems zu erklären. Diese Kriterien sollten dokumentiert werden und für die menschlichen Betreiber einsehbar sein, um das KI-System überprüfen, hinterfragen und validieren zu können, während es immer weiter „lernt“.
  3. Voreingenommenheit: Zwar mag eine inhärente Voreingenommenheit im KI-System unvermeidlich sein, allerdings kann sie dennoch sowohl ihre Ergebnisse als auch das Vertrauen in das System erheblich schädigen. Voreingenommenheit entsteht zum Beispiel durch die Zusammensetzung des Entwicklerteams, durch die Daten und Trainingsmethoden oder an weiteren Stellen im Design- und Implementierungsprozess. Diese Voreingenommenheit muss in der gesamten KI-Designkette identifiziert und bearbeitet werden.
  4. Resilienz: Alle Daten, die von KI-Systemkomponenten und den Algorithmen genutzt werden, müssen gegen Bedrohungen durch unbefugten Zugriff, Datenverfälschung und Angriffe abgesichert werden.
  5. Performance: Die KI-Ergebnisse sollten auf die Stakeholder-Erwartungen abgestimmt sein und den geforderten Grad an Präzision und Einheitlichkeit erreichen.

Unternehmen, die ihre KI-Strategie und ihre Systeme an diesen Leitprinzipen und Kernattributen orientieren, erhöhen die Wahrscheinlichkeit, dass sich ihre Investitionen in KI auszahlen. Um dieses Niveau einer vertrauenswürdigen KI zu erreichen, braucht es nicht nur ein neues Denken beim Aufbau von zweckdienlichem KI-Design und -Governance, sondern auch spezifische Taktiken, die darauf ausgerichtet sind, dieses Vertrauen aufzubauen.

Führende Taktiken für Risikomanagement und Vertrauensaufbau
(Chapter breaker)
3

Kapitel 3

Führende Taktiken für Risikomanagement und Vertrauensaufbau

Neue Verfahren der KI-Governance

Aufgrund des zunehmenden Einflusses von KI auf Geschäftsprozesse, müssen Vorstände verstehen, wie sich KI-Technologien auf ihre Unternehmensstrategie und -kultur, das Geschäftsmodell und ihre Branche auswirken. Sie müssen berücksichtigen, wie sich ihre Kennzahlen verändern und wie sie die Wirksamkeit ihrer KI-Governance evaluieren können – inklusive aller ethischen, sozialen und funktionalen Folgen.
Jeanne Boillet
EY Global Assurance Innovation Leader

Für eine echte Umsetzung aller Prinzipien einer vertrauenswürdigen KI benötigen Unternehmen die richtige Governance.

Richten wir den Blick einmal auf die führenden Taktiken zum Aufbau vertrauenswürdiger KI-Ökosysteme, die wir in der Arbeit mit unseren Klienten kennengelernt haben:

KI-Ethikbeirat – Ein multidisziplinärer Beirat, der an den Vorstand berichtet und/oder von diesem gesteuert wird. Dieser kann unabhängige Leitlinien zu ethischen Überlegungen bei der KI-Entwicklung festsetzen und Perspektiven abdecken, die über rein technische Aspekte hinausgehen. Der Ausschuss sollte sich aus Spezialisten der Bereiche Ethik, Recht, Philosophie, Privatsphäre, Regulierungen und Wissenschaften zusammensetzen. Dadurch kann er vielfältige Blickwinkel und Erkenntnisse zu Problemen und Folgen beisteuern, die möglicherweise vom Entwicklerteam übersehen wurden.

KI-Designstandards – Designrichtlinien und Standards für die Entwicklung von KI einschließlich Verhaltenskodex und Designprinzipien helfen dabei, die Governance- und Verantwortlichkeits-Mechanismen der KI zu definieren. Sie helfen dem Management darüber hinaus auch bei der Frage, was bei der KI-Implementierung akzeptabel ist und was nicht. Die Standards können zum Beispiel bei der Entscheidung helfen, ob ein Unternehmen autonome KI-Akteure entwickeln will, die Menschen physischen Schaden zufügen könnten.

KI-Inventur und Folgenabschätzung – Die regelmäßige Inventur aller KI-Algorithmen hilft bei der Identifizierung sogenannter „verwaister“ KI-Technologien, die ohne angemessene Aufsicht und Governance entwickelt werden. Darüber hinaus sollte jeder Algorithmus routinemäßig auf mögliche Risiken und Folgen für unterschiedliche Stakeholder untersucht werden.

Validierungsinstrumente –Validierungsinstrumente und -methoden können sicherstellen, dass die Algorithmen wie geplant funktionieren und exakte, faire und unvoreingenommene Ergebnisse produzieren. Diese Tools lassen sich auch einsetzen, um Veränderungen im Entscheidungsrahmen des Algorithmus nachzuverfolgen und sollten daher immer weiterentwickelt werden, wenn neue Datentechnologien zur Verfügung stehen. 

Sensibilisierungstraining – Für den Aufbau von Vertrauen in KI ist es wichtig, Führungskräfte und KI-Entwickler in juristischen und ethischen Fragen rund um das Thema KI zu schulen und sie für ihre Rolle als Hüter von Rechten, Freiheiten und Interessen der Nutzer zu sensibilisieren.

Unabhängige Wirtschaftsprüfungen – Regelmäßige, unabhängige KI-Design- und Ethik-Wirtschaftsprüfungen durch Dritte haben einen hohen Stellenwert beim Testen und Validieren von KI-Systemen. Mit einer ganzen Reihe von Assessmentplänen und Testmethoden gleichen diese Wirtschaftsprüfungen das untersuchte System mit aktuellen Technologierichtlinien und Standards ab. Sie untersuchen dabei das Governance-Modell und seine Kontrollmechanismen im gesamten Lebenszyklus der KI. Da sich KI immer noch in den Kinderschuhen befindet, ist ein rigoroser Testansatz unverzichtbar, um sich gegen unerwünschte Folgen abzusichern.

Basis für eine vertrauensvolle Zukunft

KI und KI-Technologien entwickeln sich mit atemberaubendem Tempo. Während wir ständig neue und innovative Nutzungsmöglichkeiten entdecken, ist es wichtiger denn je, dass Unternehmen von Anfang an Vertrauensprinzipien und Vertrauensmerkmale in ihren KI-Ökosystemen verankern.

Wer sich für die führende Methoden des ethischen Designs und der Steuerung entscheidet, ist wesentlich besser in der Lage, Risiken zu minimieren, sich gegen nachteilige Folgen abzusichern und insbesondere das Vertrauen aufrechtzuerhalten, dass ihre Stakeholder erwarten. Mit einer vertrauenswürdigen KI sind diese Unternehmen gut dafür aufgestellt, am Ende die Lorbeeren der Reise in ein spannendes, aber immer noch weitgehend unerforschtes Neuland zu ernten.

Welche Fragen sollten sich Verantwortliche stellen?

  • Wie kann mein Unternehmen Risiken in der KI-Entwicklung minimieren und gleichzeitig das volle Potenzial dieser spannenden neuen Technologien ausschöpfen? 
  • Wie kann mein Unternehmen diese Technologien nutzen, um menschliche Intelligenz zu unterstützen und Innovationen zu schaffen? 
  • Was können wir tun, um Vertrauen und Verantwortung zur Basis unserer KI-Strategie und Systeme zu machen? 

Fazit

Das Veränderungspotenzial durch KI ist enorm, doch auch die Risiken sind groß, komplex und dynamisch. Wer von Anfang an auf Vertrauen als Prinzip der KI setzt, stellt die Weichen dafür, die Vorteile der Technologie voll auszuschöpfen.

Über diesen Artikel

Autoren
Cathy Cobey

EY Global Trusted AI Advisory Leader

Thought leader in digital trust. Advocate of women in technology. Lover of good food. Film festival enthusiast. Avid learner. Parent.

Keith Strier

EY Global and EY Americas Advisory Leader for AI

Tech visionary, business strategist, experience designer, AI evangelist. Incurably focused on what’s next.

Jeanne Boillet

EY Global Assurance Innovation Leader

Innovation driver in audit services. Client-centric. Strong advocate for diversity and the advancement of women in business.