Vier Fahnen der Europaeischen Union wehen im Wind

Welche Anforderungen die EU-KI-Verordnung an Hochrisiko-KI-Systeme stellt

Eine Brüsseler Verordnung beschreibt das Pflichtenheft für KI-Anwendungen entlang der Wertschöpfungskette.

Überblick

  • Die EU-Verordnung über künstliche Intelligenz (KI-VO) legt strenge Anforderungen für Hochrisiko-KI-Systeme fest, um Gesundheit, Leben sowie Grund- und Freiheitsrechte zu schützen.
  • Anbieter von Hochrisiko-KI-Systemen müssen ein umfassendes Qualitätsmanagement und ein Risikomanagementsystem implementieren, um die Konformität mit der Verordnung sicherzustellen.
  • Betreiber und Händler von KI-Systemen sind verpflichtet, Transparenz- und Informationspflichten zu erfüllen und technische sowie organisatorische Maßnahmen zur sicheren Nutzung und Überwachung der Systeme zu ergreifen.

Die Verordnung über künstliche Intelligenz (KI-VO) ist im August 2024 in Kraft getreten. Sie beinhaltet ein Dickicht komplexer Anforderungen entlang der gesamten Wertschöpfungskette von KI-Systemen. Diese hängen von der Risikoklasse ab, und zwar im Kontext zu den Risiken für Gesundheit, Leben sowie Grund- und Freiheitsrechte. Zu den sogenannten Hochrisiko-KI-Systemen zählen insbesondere Systeme im Kontext von HR, kritischer Infrastruktur, Bonitätsprüfung, Strafverfolgung oder Rechtspflege. Ferner geht es um KI-Systeme in sicherheitsrelevanten, bereits EU-harmonisierten Feldern wie Kraftfahrzeuge, Luftfahrt und Medizinprodukte. Ein KI-basiertes, automatisch aussortierendes Bewerbungsportal macht das Risiko von Diskriminierung, KI-automatisierte Diagnosen nach MRT-Bildern die Anforderungen an Zuverlässigkeit augenfällig. Wichtige Instrumente werden Standards, Verhaltenskodizes und Leitlinien sein, um die Anforderungen der KI-VO zu spezifizieren. Hierzu wird das AI Office bald eine entsprechende Guidance veröffentlichen.

Einordnung

Die KI-VO verfolgt einen risikobasierten Ansatz. Anwendungen, die ein unannehmbares Risiko beinhalten, sind generell verboten (Art. 5 KI-VO), zum Beispiel Social Scoring oder biometrische Echtzeiterkennung. Für andere KI-Systeme gelten definierte Anforderungen für Anbieter, Betreiber, Einführer oder Händler. Sie sollen das Vertrauen in die neue Technologie stärken und den sicheren und verantwortungsvollen Einsatz von KI sicherstellen. Das Herzstück der Verordnung sind die Anforderungen hinsichtlich Hochrisiko-KI-Systemen oder KI-Modellen.

Anbieter („Provider“)

Betroffen sind insbesondere Anbieter. Das sind natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System entwickeln oder entwickeln lassen und es in Verkehr bringen oder selbst in Betrieb nehmen. Dabei können auch Betreiber, Händler oder Einführer als Anbieter gelten. Der Pflichtenkatalog ergibt sich insbesondere aus Art. 16 KI-VO.

Drei grundlegende Anforderungen

Zu den wesentlichen Anforderungen zählt zunächst, dass das Hochrisiko-KI-System die in Art. 9 bis 15 KI-VO definierten Anforderungen einhält. Zweitens muss der Anbieter über ein Qualitätsmanagement nach Art. 17 KI-VO verfügen. Drittens muss er das Hochrisiko-KI-System dem betreffenden Konformitätsbewertungsverfahren nach Art. 43 KI-VO unterziehen, die Konformitätserklärung ausstellen und die damit verbundene CE-Kennzeichnung anbringen. Die Pflichten erstrecken sich über den gesamten KI-Lebenszyklus, von der Entwicklung über das Inverkehrbringen bis hin zur Nutzung und schließlich zur Stilllegung des KI-Systems.

Grafik: Die meisten Unternehmen und Organisationen sind Betreiber

Vor dem Inverkehrbringen

Die Pflichten setzen bei der Entwicklung des jeweiligen KI-Systems an. Dazu zählen:

  • Einrichtung, Anwendung, Dokumentation und Aufrechterhaltung eines Risikomanagementsystems als kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus, inklusive einer regelmäßigen systematischen Überprüfung und Aktualisierung (Art. 9 KI-VO)
  • Verwendung von Datensätzen für das Training von KI-Modellen, die den in der Verordnung aufgestellten Datenqualitätskriterien entsprechen, und Etablierung geeigneter Daten-Governance- und entsprechender Verwaltungssysteme (Art. 10 KI-VO)
  • Erstellung einer technischen Dokumentation, aus der hervorgeht, wie die Anforderungen aus der Verordnung erfüllt werden (Art. 11 KI-VO)
  • Entwicklung des Hochrisiko-KI-Systems mit der Fähigkeit zur automatischen Protokollierung von Ereignissen, um das einwandfreie Funktionieren zurückverfolgen zu können (Art. 12 KI-VO)
  • Berücksichtigung, dass der Betrieb hinreichend transparent umgesetzt werden kann, damit die Betreiber das KI-System angemessen interpretieren und verwenden können (Art. 13 Abs. 1 KI-VO)
  • Bereitstellung einer Bedienungsanleitung (Art. 13 Abs. 2 KI-VO)
  • Einbau einer Mensch-Maschine-Schnittstelle (Art. 14 KI-VO), um eine wirksame menschliche Aufsicht zu gewährleisten
  • Konzeptionierung und Entwicklung des Hochrisiko-KI-Systems dahin gehend, dass es ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht und in dieser Hinsicht während des gesamten Lebenszyklus beständig funktioniert (Art. 15 KI-VO)

Aus organisatorischer Sicht muss der Anbieter ein Qualitätsmanagement nach Art. 17 KI-VO etablieren. Dieses System ist systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen zu dokumentieren. Daneben hat der Anbieter oder gegebenenfalls sein Bevollmächtigter vor dem Inverkehrbringen oder der Inbetriebnahme sich und sein System in einer EU-Datenbank für Hochrisiko-KI-Systeme zu registrieren.

Nach dem Inverkehrbringen

Anbieter von Hochrisiko-KI müssen ein System zur Beobachtung einrichten und schwerwiegende Vorfälle während des Betriebs den zuständigen Behörden melden, damit rechtzeitig etwaige Korrekturmaßnahmen ergriffen werden können. Außerdem bestehen Aufbewahrungspflichten. Sollte sich nach dem Inverkehrbringen herausstellen, dass die Konformität mit den Pflichten nicht mehr gegeben ist, müssen die Anbieter diese unverzüglich wiederherstellen oder das System andernfalls zurückrufen oder deaktivieren. Auf begründete Anfrage der zuständigen Behörde müssen sämtliche Informationen und Dokumentationen übermittelt werden, um die Rechtskonformität nachzuweisen.

Grafik: KI-Verordnung – Kernprozess fuer einen Governance-Rahmen

Pflichten für Betreiber („Deployers“)

Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht einer beruflichen Tätigkeit verwendet. Betreiber von Hochrisiko-KI-Systemen müssen technische und organisatorische Maßnahmen treffen, um die korrekte Verwendung und Überwachung zu gewährleisten. Sofern die Eingabedaten ihrer Kontrolle unterliegen, haben sie dafür zu sorgen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen. Die Aufsicht muss fachkundigen Menschen übertragen werden. Darüber hinaus haben Betreiber eine Reihe von Informationspflichten gegenüber Betroffenen und Behörden und müssen unter Umständen für Hochrisiko-KI-Systeme eine Grundrechte-Folgenabschätzung durchführen. Dies gilt etwa für Einrichtungen des öffentlichen Rechts. Sofern sie dazu aufgrund Art. 35 DSGVO verpflichtet sind, führen Betreiber eine Datenschutz-Folgenabschätzung durch.

Händler („Distributors“) und Einführer („Importers“)

Händler und Importeure müssen zunächst die Konformität der Hochrisiko-KI-Systeme mit den erforderlichen Anwendungspflichten überprüfen. Sie kommen ihren Pflichten dadurch nach, dass sie überprüfen, ob ein Konformitätsverfahren durchgeführt wurde und die entsprechende Dokumentation vorhanden ist.

Transparenzpflichten

Für Anbieter und Betreiber bestimmter KI-Systeme gelten spezifische Transparenzpflichten. So müssen sie bei KI-Systemen, die für die direkte Interaktion mit Menschen bestimmt sind, die betreffenden Personen über den Einsatz des KI-Systems informieren. Wenn das KI-System synthetische Audio-, Bild-, Video- oder Textinhalte erzeugt, müssen sie ebenfalls die Nutzer darauf hinweisen. Eine Informationspflicht besteht zudem für Betreiber eines Emotionserkennungssystems.

GPAI

KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI, kurz: GPAI) werden danach unterschieden, ob sie ein systemisches Risiko beinhalten oder nicht. Zu den GPAI zählen beispielsweise die in OpenAI genutzten Sprachmodelle. Anbieter von GPAI ohne systemisches Risiko müssen eine technische Dokumentation erstellen und fortlaufend aktualisieren, um sie dem neu eingerichteten Büro für Künstliche Intelligenz zur Verfügung zu stellen. Sie müssen ferner anderen Anbietern, die ihr KI-Modell hinein integrieren wollen, Informationen zu dem Modell bereitstellen. Darüber hinaus muss bei generativen GPAI-Modellen eine Strategie zur Einhaltung des Urheberrechts erstellt werden. Zuletzt muss auch eine detaillierte Zusammenfassung der Inhalte, die für das Training verwendet werden, erstellt und veröffentlicht werden. Eine Sonderregelung gilt für Anbieter von GPAI mit systemischem Risiko. Das wird vermutet, wenn die kumulierte Menge der für das Training des Modells verwendeten Berechnungen, gemessen in Gleitkommaoperationen, höher als 1025 ist. Sie müssen zusätzlich eine Modellbewertung durchführen, um Anwendungsrisiken zu bewerten und zu mindern. Zudem müssen sie schwerwiegende Vorfälle dokumentieren und an die EU-Kommission berichten sowie ein angemessenes Maß an Cybersicherheit gewährleisten.

Autoren: Peter Katko & Eric Meyer

Mehr Details finden Sie in unserem Law-News-Artikel Deep Dive zur EU-KI-VO – die einzelnen Anforderungen im Überblick.

Fazit

Es gibt bereits Normen wie IDW PS 861 oder die ISO 42001 für „AI management systems“. Sie stellen aber nur Standards und Methoden für einzelne Anforderungen der KI-VO wie beispielsweise das Risikomanagement (ISO 23894) dar und sind kein Nachweis für eine ganzheitliche KI-Compliance von Unternehmen oder einzelnen KI-Systemen. Unternehmen und Organisationen, die KI-Systeme entwickeln oder einsetzen, benötigen einen ganzheitlichen Ansatz, um sämtlichen Anforderungen gerecht zu werden. Insbesondere bei Hochrisiko-KI-Systemen sollten sie neben einem Bußgeld nicht auch riskieren, dass die Marktaufsichtsbehörden sie vom Markt verbannen.

Generative AI für die Steuerfunktion

Wie gelingt die Integration von AI in der Steuerfunktion? Unter welchen Umständen schafft AI einen Mehrwert? Wie können Steuerfachleute effizient mit den neuen Technologien arbeiten? Vielen von uns dürften diese Fragen durch den Kopf gehen.

ey-service-radar-gen-ai-frau-vor-binaercode-dunkel

Mehr zum Thema

Wie KI die Steuerabteilungen effizienter macht

So ein bisschen fremdelt die Steuer-Community noch mit dem Einsatz künstlicher Intelligenz. Dabei spielen Daten und automatisierte Systeme eine immer wichtigere Rolle. Inzwischen gibt es einen großen Steckschlüsselsatz für einen passgenauen Einsatz. Wir geben eine Einführung und räumen mit Mythen auf.

Wie Effi dem TOM auf die Sprünge hilft

Künstliche Intelligenz steigert die Leistung der Steuerabteilung immens. Ein Fallbeispiel der Tüftelfleißig AG.

Welches Potenzial GenAI Unternehmen bietet

Gestern in den Schlagzeilen, heute in den Unternehmen: Generative künstliche Intelligenz hat die Wirtschaftswelt längst erreicht. Wenngleich sie in den meisten Unternehmen noch zurückhaltend angewandt wird, wächst ihr Einsatzfeld täglich. Eine EY-Studie zeigt, dass es erste Berührungspunkte und Ideen zum Einsatz von GenAI gibt, aber die Versiertheit im Umgang mit ihr fehlt. Dabei hätte GenAI immenses Potenzial, wichtige Unternehmensfunktionen zu entlasten.

    Über diesen Artikel