EU AI Act: 10 Punkte, die bei Hochrisiko-KI relevant sind

Die EU hat den EU AI Act (dt. KI Verordnung) verabschiedet, um eine vertrauenswürdige und verantwortungsvolle Nutzung von Künstlicher Intelligenz in ganz Europa sicherzustellen. Die Verordnung führt eine Reihe von Anforderungen und Pflichten für Unternehmen ein, die KI-Systeme bereitstellen oder einsetzen – insbesondere in sogenannten Hochrisikobereichen. Fällt Ihr System in diesen Bereich? Finden Sie heraus, ob Ihr KI-System als Hochrisiko gilt – und was das für Sie bedeutet!

In aller Kürze:

• Unternehmen, die gegen den EU AI Act verstoßen, müssen mit erheblichen Geldbußen rechnen – bis zu 7 % des weltweiten Jahresumsatzes oder 35 Millionen Euro (bei Verstößen gegen Verbote), je nachdem, welcher Betrag höher ist.
• Wenn Ihr KI-System als Hochrisiko eingestuft wird, müssen Sie bereits in der Entwicklung und weiter nach dem Inverkehrbringen zahlreiche Anforderungen erfüllen.
• Zu den zentralen Pflichten für Anbieter von Hochrisiko-KI zählen unter anderem:
  • Einrichtung eines umfassenden Qualitätsmanagementsystems
  • Protokollierungspflichten und technische Dokumentation
  • Erstellung detaillierter technischer Unterlagen als Grundlage für Audits
  • Durchführung einer Konformitätsbewertung
  • Implementierung von menschlicher Aufsicht

‍

Was ist der EU AI Act?

Der EU AI Act ist ein Gesetz der Europäischen Kommission, der Anfang 2024 von den EU-Mitgesetzgebern sowie den Mitgliedstaaten verabschiedet wurde. Ziel ist es, KI europaweit rechtssicher, vertrauenswürdig und ethisch nutzbar zu machen.

Die Verordnung verfolgt einen risikobasierten Ansatz und unterscheidet vier Risikostufen:

• Unvertretbares Risiko
• Hohes Risiko
• Begrenztes Risiko
• Minimales Risiko

Die Anforderungen variieren je nach Risikokategorie, wobei Hochrisiko-Systeme den höchsten regulatorischen Pflichten unterliegen. Auch sogenannte General Purpose AI (GPAI) – also KI-Systeme mit einem weiten Anwendungsbereich – werden vom Gesetz erfasst und folgen Auflagen, je nachdem, wie viel Rechenleistung in das Training der Modelle geflossen ist.

‍

Gilt mein KI-System als hochriskant?

Die EU stuft KI-Systeme als hochriskant ein, wenn diese potenziell erhebliche Schäden für Bürger*innen oder die Umwelt verursachen können. Beispiele sind:

• KI-Systeme im Bereich der kritischen Infrastruktur, des Verkehrs oder der Gesundheitsversorgung
• Systeme, die rechtlich relevante Entscheidungen treffen – z. B. zur Kreditwürdigkeit oder in Bewerbungsverfahren

Mehr Informationen finden Sie in diesem Artikel oder im Anhang II und III des EU AI Acts, die eine umfangreiche Liste von Hochrisiko-Systemen enthalten.

Vorsicht: Verstöße können Millionen kosten!

Unternehmen, die die Anforderungen des EU AI Acts – insbesondere bei Hochrisiko-KI – nicht einhalten, riskieren hohe Geldstrafen:

• Bis zu 7 % des weltweiten Jahresumsatzes oder 35 Millionen Euro bei Verstößen gegen Verbote
• Bis zu 3 % oder 15 Millionen Euro bei sonstigen Verstößen

Zusätzlich drohen Reputationsschäden und rechtliche Schritte durch betroffene Personen.

Das kommt auf Sie zu: Die 10 Anforderungen und Pflichten für Hochrisiko-KI-Systeme

Titel III des EU AI Acts legt die Anforderungen und Pflichten für Anbieter von Hochrisiko-Systemen fest. Wir haben diese im Folgenden zusammengefasst, um einen klaren Überblick darüber zu geben, was auf Unternehmen in Hochrisikobereichen zukommt.

Derzeit wird der AI Act dafür kritisiert, dass er nicht genau vorgibt, wie diese Anforderungen konkret umzusetzen sind – was noch Spielraum für Interpretationen lässt.

1. Einrichtung eines Qualitätsmanagementsystems, das folgende Elemente umfasst:

• Ein Risikomanagementsystem als kontinuierlicher und iterativer Prozess über den gesamten Lebenszyklus hinweg, um alle potenziellen Risiken zu bewerten und zu mindern sowie eine angemessene Gestaltung und Entwicklung des KI-Systems sicherzustellen.
• Ein Datenmanagementsystem zur Ermöglichung effektiver Data Governance. Daten müssen in Trainings-, Test- und Validierungsdatensätze unterteilt und entsprechend dokumentiert werden. Vor der Analyse sind Annahmen zu formulieren und Qualität, Verteilung sowie mögliche Verzerrungen (Bias) zu dokumentieren.
• Prozesse zur Marktüberwachung nach Inverkehrbringen sowie ein Meldesystem für Vorfälle.
• Testprozesse während der Entwicklung und vor Markteinführung. Geeignete Testmetriken und Schwellenwerte sind bereits vor Beginn der Entwicklung festzulegen.
• Ein Verantwortlichkeitsrahmen, der Rollen und Zuständigkeiten definiert.
• Berichtspflichten, die proportional zur Größe der Organisation ausgestaltet sind.

2. Durchführung einer Grundrechtsverträglichkeitsprüfung (Fundamental Rights Impact Assessment), bei der unter anderem mögliche negative Auswirkungen auf marginalisierte Gruppen und die Umwelt berücksichtigt werden.

3. Bereitstellung von Kontaktinformationen für Nutzer*innen und andere relevante Stakeholder.

4. Protokollierungspflichten über den gesamten Lebenszyklus hinweg zur Sicherstellung von Rückverfolgbarkeit und Überwachung. Die Logs müssen u. a. den Nutzungszeitraum, Eingabedaten und beteiligte Personen zur Ergebnisverifizierung enthalten.

5. Umsetzung von Transparenzmaßnahmen wie:

• Bereitstellung einer Bedienungsanleitung
• Informationen zu Eigenschaften, Fähigkeiten und Leistungsgrenzen des Systems
• Hilfsmittel zur Interpretation der Ausgabe
• Beschreibung der im System enthaltenen Entscheidungsmechanismen

6. Aufbewahrung relevanter Dokumentationen für zehn Jahre, darunter

• Detaillierte technische Dokumentation (= Audit-Unterlagen, gemäß Anhang IV; für Start-ups und KMU ist eine Entlastung geplant)
• Dokumentation zum Qualitätsmanagementsystem
• Nachweise über gesetzliche Interaktionen
• EU-Konformitätserklärung (→ siehe Anhang V)

7. Registrierung des KI-Systems und Durchführung einer Konformitätsbewertung, um die EU-Konformitätserklärung und die entsprechende CE-Kennzeichnung zu erhalten. Dies gilt auch für außereuropäische Anbieter, die KI auf dem EU-Markt bereitstellen – einschließlich der vollständigen Einhaltung aller Anforderungen. Bei Abweichungen sind geeignete Korrekturmaßnahmen zu treffen und die zuständige Behörde zu informieren.

8. Nachweispflicht bei Audits – auf Anforderung müssen Unternehmen die Konformität belegen können, einschließlich aktueller technischer Dokumentation und der neuesten Protokolle zur Systemleistung.

9. Menschliche Aufsicht während der Nutzung des Systems, um dessen Fähigkeiten und Grenzen zu verstehen, Ausgaben korrekt zu interpretieren und ggf. eingreifen zu können.

10. Cybersicherheitsmaßnahmen zum Schutz vor Angriffen, zur Sicherstellung der Systemrobustheit und zur Vermeidung von Systemausfällen. Die Genauigkeit der Modelle ist zu wahren. Systeme mit kontinuierlichem Lernen müssen so gestaltet sein, dass sie Verzerrungen in den Ausgaben vermeiden, die zukünftige Operationen beeinflussen könnten.

Wenn Sie nach einem KI-Governance-Framework suchen, das auf die EU AI Act Anforderungen abgestimmt ist, fragen Sie eines hier an.

Wie kann ich mich schon heute vorbereiten?

Die Einhaltung des EU AI Act kann für Unternehmen mit Hochrisiko-Anwendungen herausfordernd sein. Unser Rat: Beginnen Sie frühzeitig mit dem Aufbau von Governance-Strukturen.

Bis spätestens 2026 müssen Organisationen mit Hochrisiko-Systemen die Vorgaben der KI-Verordnung einhalten. Frühzeitig eingeführte Prozesse wie Risikomanagement, Logging und Dokumentation sorgen dafür, dass bereits heute entwickelte Systeme auch in Zukunft weiterverwendet werden können. Zudem erhöhen sie die Transparenz und Effizienz im Unternehmen.

Minimieren Sie technische, organisationsspezifische und gesellschaftliche Risiken und fördern Sie das Verständnis für verantwortungsvolle KI-Entwicklung sowohl innerhalb Ihrer Organisation als auch bei Ihren Kund*innen.

Erfahren Sie in diesem Artikel, wie Sie die ersten Schritte in der KI-Governance umsetzen können.

Gerne beraten wir Sie auch persönlich und unterstützen Sie beim Aufbau der richtigen Tools und Prozesse zur Steigerung von Transparenz und Qualität beim Einsatz von KI in Ihrem Unternehmen. Kontaktieren Sie uns hier.