Hochrisiko-KI nach AI Act — fällt mein System darunter?

Die ehrliche Kurzantwort

Hochrisiko-KI im Sinne des EU AI Act sind Systeme, die unter Anhang I (KI als Sicherheitskomponente in produktsicherheitsregulierten Bereichen) oder Anhang III (acht Anwendungsbereiche mit erhöhtem Grundrechtsrisiko) fallen.

Im Mittelstand sind drei Bereiche von Anhang III besonders relevant:

• Nr. 4 (Beschäftigung, Personalmanagement): Tools, die Bewerber-Auswahl, Bewerber-Vorqualifizierung, Beförderungs- oder Kündigungsentscheidungen unterstützen oder treffen
• Nr. 5 (Zugang zu wesentlichen Dienstleistungen): KI für Kreditwürdigkeit, Bonitätsprüfung, Versicherungspreisberechnung, Notfallpriorisierung
• Nr. 3 (Bildung): KI für Zulassungs-, Bewertungs- oder Prüfungs-Entscheidungen

Wenn dein System eines dieser Felder berührt, gilt der volle Pflichtenkatalog nach Art. 9–15. Ab 2. August 2026 wird das durchgesetzt.

Die acht Pflichten für Hochrisiko-KI

1. Risikomanagementsystem (Art. 9). Iterativer Prozess: Risiken identifizieren, bewerten, mindern, restrisiko dokumentieren. Während der gesamten Lebensdauer des Systems.

2. Daten-Governance (Art. 10). Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ, fehlerfrei und vollständig sein. Bias-Checks dokumentieren. Bei besonders sensiblen Anwendungsbereichen (z. B. medizinisch): nachvollziehbare Daten-Provenienz.

3. Technische Dokumentation (Art. 11 + Anhang IV). Beschreibung des Systems, Trainings-Daten-Quellen, Architektur, Performance-Metriken, bekannte Einschränkungen, durchgeführte Tests, Risiko-Management-Maßnahmen. Anhang IV listet 9 detaillierte Punkte.

4. Aufzeichnungspflichten (Art. 12). Automatisches Logging während des Betriebs — Eingaben, Ausgaben, Modellversion, Zeitstempel. Aufbewahrung mindestens 6 Monate, in regulierten Branchen meist länger.

5. Transparenz gegenüber Anwendern (Art. 13). Klar dokumentierte Anleitung, was das System tut, was es nicht tut, wie es betrieben werden muss, welche Genauigkeit erwartet werden kann, welche Fehlermodi typisch sind.

6. Menschliche Aufsicht (Art. 14). Konkrete Personen mit Befugnis, das System anzuhalten, Entscheidungen zu überschreiben, in den Loop einzugreifen. Bei vollautomatisierten Entscheidungen nach Art. 22 DSGVO besonders streng.

7. Genauigkeit, Robustheit, Cybersicherheit (Art. 15). Performance-Schwellen festlegen, regelmäßige Re-Tests, Verteidigung gegen adversariale Angriffe (Prompt Injection, Daten-Vergiftung, Model-Inversion).

8. Konformitätsbewertung (Art. 43). Vor dem Inverkehrbringen: entweder interne Konformitätsbewertung oder Drittprüfung (notifizierte Stelle), je nach Risikoklasse. CE-Kennzeichnung auf dem System anbringen. Eintragung in die EU-weite Hochrisiko-KI-Datenbank.

Die Mittelstands-Klassiker

Recruiting-Software. Wenn ihr ein Tool nutzt, das Lebensläufe scannt, Bewerber nach Kriterien sortiert, Vorqualifizierungs-Interviews per Chatbot führt oder Tests automatisch auswertet, ist das mit hoher Wahrscheinlichkeit Hochrisiko-KI nach Anhang III Nr. 4. Auch wenn das Tool als “Workflow-Automatisierung” verkauft wird — die Funktion zählt, nicht das Label.

Bonitätsprüfungs-Tools. KI-Scoring für Mietverträge, Kredite, Leasing-Verträge fällt unter Anhang III Nr. 5b. Schufa-Scoring (sofern KI-basiert) ist seit dem EuGH-Urteil vom Dezember 2023 ohnehin in juristischer Bewegung.

Personalisiertes Pricing in Versicherungen. Wenn KI individuelle Risiken einschätzt und daraus Tarife errechnet, fällt das unter Anhang III Nr. 5c.

Bildungsbewertung. EdTech-Plattformen mit KI-Bewertungs-Funktion für Prüfungen oder Zulassungen sind Hochrisiko nach Anhang III Nr. 3.

Was nicht automatisch Hochrisiko ist

Viele AI-Anwendungen, die wir im Mittelstand sehen, sind nicht Hochrisiko:

• Customer-Support-Chatbots (außer sie treffen automatische Entscheidungen mit rechtlicher Wirkung)
• Marketing-Automatisierung ohne Profiling-Komponente
• Code-Assistenten für Entwickler
• Dokumenten-Zusammenfassung für interne Recherche
• ERP-Workflow-Automatisierung ohne HR-Komponente

Sie fallen unter “begrenztes Risiko” (Art. 50) oder “minimales Risiko” — mit weit weniger Pflichten.

Der Klassifizierungs-Workflow

Wir prüfen pro System in drei Schritten:

Schritt 1: Anhang-I-Check. Fällt das System unter eines der EU-Produktsicherheitsregelwerke (Medizinprodukte, Maschinen, Spielzeug, etc.) und wirkt es als Sicherheitskomponente? Wenn ja: Hochrisiko, fertig.

Schritt 2: Anhang-III-Check. Trifft eine der acht Kategorien (Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, wesentliche Dienste, Strafverfolgung, Migration, Justiz) zu? Wenn ja: prüfen, ob die Ausnahme nach Art. 6 Abs. 3 greift (rein vorbereitende Aufgaben, Mustererkennung ohne Entscheidungsrelevanz). Wenn keine Ausnahme: Hochrisiko.

Schritt 3: Restklasse. Wenn das System weder Anhang I noch Anhang III trifft, prüfen wir Art. 50 (Transparenzpflichten für Chatbots, Deepfakes, biometrische Klassifizierung) und Art. 4 (KI-Kompetenz-Pflicht für alle Anwender).

Was Hochrisiko-KI in den Mittelstandskostenrahmen einordnet

Wenn ein System Hochrisiko ist, plant ab 30.000 € einmaligen Compliance-Aufwand plus 5.000–15.000 € laufende jährliche Wartung (Re-Tests, Dokumentations-Updates, Audit-Vorbereitung). Bei einer Drittprüfung durch notifizierte Stelle kommen weitere fünfstellige Kosten dazu.

Für Mittelständler bedeutet das oft: das Hochrisiko-KI-Projekt wird nicht selbst gebaut, sondern von einem Anbieter eingekauft, der die Konformitätsbewertung bereits durchgeführt hat. Wer trotzdem Inhouse-Entwicklung plant, sollte das mit klarem Auge auf Time-to-Market und Budget tun.

Was du heute nicht tun solltest

Kein Recruiting-Tool blind weiter nutzen ohne AI-Act-Klassifizierung. Keine Bonitätsprüfungs-KI live schalten ohne CE-Konformitätsprozess. Und keine “das ist doch keine KI”-Selbsteinschätzung — die Definition in Art. 3 Nr. 1 AI Act ist bewusst breit gefasst und schließt klassische Machine-Learning-Modelle ausdrücklich ein.

Wenn ihr nicht sicher seid: 60-Minuten-Klassifizierungs-Audit klärt die Risikoklasse pro System und liefert die Argumentationsgrundlage für ein mögliches Aufsichtsverfahren.