Anforderungen an Hochrisiko-KI-Systeme

Ein KI-System gilt als hochriskant, wenn es in einem der in Anhang III des EU AI Act definierten Bereiche eingesetzt wird und dort wesentliche Entscheidungen beeinflusst. Typische Bereiche: • Personalmanagement: Bewerbungsscreening, Leistungsbewertung • Finanzwesen: Kreditwürdigkeit, Versicherungsrisiken • Bildung: Zulassung, Prüfungsbewertung, Lernunterstützung • Kritische Infrastruktur: Energie, Wasser, Verkehr • Strafverfolgung: Risikoeinschätzung, Beweisbewertung

Anbieter müssen eine umfassende technische Dokumentation erstellen und pflegen. Diese muss enthalten: • Allgemeine Beschreibung des KI-Systems • Detaillierte Beschreibung der Entwicklungsprozesse • Informationen zu Trainingsdaten und -methoden • Design- und Architekturspezifikationen • Leistungsmetriken und Testverfahren • Risikomanagement-Dokumentation Die Dokumentation muss vor dem Inverkehrbringen erstellt und fortlaufend aktualisiert werden.

Ein kontinuierliches Risikomanagementsystem muss implementiert werden: 1. Identifizierung bekannter und vorhersehbarer Risiken 2. Schätzung und Bewertung der Risiken 3. Bewertung aufgrund von Marktüberwachungsdaten 4. Angemessene Risikominderungsmaßnahmen Das System muss den gesamten Lebenszyklus des KI-Systems abdecken – von der Entwicklung über den Einsatz bis zur Außerbetriebnahme.

Vor dem Inverkehrbringen muss eine Konformitätsbewertung durchgeführt werden. Für die meisten Hochrisiko-Systeme ist eine Selbstbewertung ausreichend – bei biometrischen Systemen ist eine externe Stelle erforderlich. Die Bewertung umfasst: • Prüfung des Qualitätsmanagementsystems • Prüfung der technischen Dokumentation • Überprüfung des Risikomanagements • Test der Genauigkeit und Robustheit • Vergabe der CE-Kennzeichnung

Die Strafen sind erheblich: • Bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes für verbotene Praktiken • Bis zu 15 Mio. € oder 3 % für Verstöße gegen Hochrisiko-Anforderungen • Bis zu 7,5 Mio. € oder 1,5 % für fehlerhafte Informationen KMU und Start-ups erhalten verhältnismäßigere Bußgelder – die niedrigere der beiden Optionen gilt.