Verbote, Hochrisiko, Transparenz: wie der AI Act KI ordnet

Kurz gesagt

Der EU AI Act ordnet KI-Anwendungen in getrennten Kapiteln: Artikel 5 verbietet bestimmte Praktiken, Artikel 6 bestimmt, wann ein System als hochriskant gilt, und Artikel 50 verlangt Transparenz in festgelegten Fällen. Die Anknüpfungen sind verschieden: Anhang III fragt nach der Zweckbestimmung eines Systems, Artikel 6 Absatz 1 nach Produkt und Konformitätsbewertung, Artikel 50 nach Art des Systems und des Inhalts. Für Ihr Unternehmen heißt das: Welches Kapitel eine Anwendung berührt, lässt sich nicht am Produktnamen ablesen, sondern nur an diesen Merkmalen.

Kapitel, nicht Stufen

Das Gesetz ist nach Kapiteln gegliedert, die jeweils eine Art von Anwendung oder Modell regeln. Eine Einteilung in „Risikostufen" steht so nicht darin. Für diesen Baustein zählen vier Kapitel:

Die Kapitel gelten zu verschiedenen Zeitpunkten, und die Omnibus-Verordnung vom Juli 2026 hat mehrere davon verschoben. Alle Zeitpunkte und Übergangsregeln stehen an einem Ort: EU AI Act: Fristen und Änderungen im Überblick.

Eine Anwendung kann unter mehrere Kapitel fallen oder unter keines davon. Unabhängig davon steht Artikel 4 zur KI-Kompetenz in Kapitel I; er ist in KI-Kompetenz nach Artikel 4: Wortlaut und Stand wiedergegeben. Wer Anbieter und wer Betreiber ist und was die Verordnung nicht erfasst, steht in Anbieter, Betreiber, KI-System: die Begriffe des AI Act.

Verbotene Praktiken

Artikel 5 Absatz 1 verbietet bestimmte Praktiken. In verkürzter Wiedergabe, und mit weiteren Bedingungen im Wortlaut jeder Ziffer:

• a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems mit unterschwelliger Beeinflussung außerhalb des Bewusstseins oder absichtlich manipulativen oder täuschenden Techniken, die das Verhalten einer Person oder Gruppe wesentlich verändern, sodass dieser Person, einer anderen Person oder einer Gruppe erheblicher Schaden zugefügt wird oder mit hinreichender Wahrscheinlichkeit zugefügt werden wird;
• b) ebenso bei der Ausnutzung einer Schutzbedürftigkeit aufgrund von Alter, Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation;
• c) Bewertung oder Einstufung von Personen nach sozialem Verhalten oder persönlichen Eigenschaften, wenn sie zu einer im Wortlaut beschriebenen Schlechterstellung führt;
• d) Risikobewertung, ob eine Person eine Straftat begehen wird, ausschließlich auf der Grundlage von Profiling oder persönlichen Merkmalen;
• e) Aufbau oder Erweiterung von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen;
• f) Ableitung von Emotionen einer Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, das System soll aus medizinischen Gründen oder Sicherheitsgründen eingesetzt werden;
• g) biometrische Kategorisierung, um Merkmale wie Rasse, politische Einstellung, Gewerkschaftszugehörigkeit, religiöse Überzeugung oder sexuelle Ausrichtung abzuleiten;
• h) die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer in eng umschriebenen Fällen.

Die Buchstaben a bis g nennen Inverkehrbringen, Inbetriebnahme und Verwendung, Buchstabe h nur die Verwendung.

Die Omnibus-Verordnung hat zwei Verbote hinzugefügt: für KI-Systeme, die realistische intime oder sexuelle Darstellungen einer bestimmbaren Person ohne deren ausdrückliche Zustimmung erzeugen oder manipulieren (Buchstabe ba), und für KI-Systeme, die Material über sexuellen Kindesmissbrauch erzeugen oder manipulieren, es sei denn, das Verhalten gilt nach nationalem Recht als gerechtfertigt (Buchstabe bb). Absatz 1a grenzt ein, wann Inverkehrbringen, Inbetriebnahme und Verwendung solcher Systeme verboten sind; Absatz 1b bestimmt, welche Bearbeitung nicht als Manipulation gilt.

Zu den Verboten gibt es Leitlinien der Kommission, die sich selbst als nicht verbindlich bezeichnen; sie sind in der Fristenübersicht mit Datum aufgeführt.

Hochrisiko-KI-Systeme

Artikel 6 kennt zwei Wege, auf denen ein KI-System als hochriskant gilt.

Erster Weg, Artikel 6 Absatz 1: KI in regulierten Produkten. Ein KI-System gilt als hochriskant, wenn beide Bedingungen erfüllt sind: Es soll als Sicherheitsbauteil eines Produkts verwendet werden, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt, oder ist selbst ein solches Produkt; und dieses Produkt muss nach diesen Vorschriften einer Konformitätsbewertung durch Dritte unterzogen werden.

Die Omnibus-Verordnung hat diesen Weg an drei Stellen verändert:

• Sicherheitsbauteil. Die Begriffsbestimmung in Artikel 3 Nummer 14 ist neu gefasst: Ein Bauteil erfüllt eine Sicherheitsfunktion, wenn seine Zweckbestimmung darin besteht, Risiken für die Gesundheit und Sicherheit von Personen oder Eigentum abzuwenden oder zu mindern. Nach den neuen Absätzen 1a und 1b gelten KI-Systeme, die ausschließlich für nicht sicherheitsrelevante Aspekte der Nutzerunterstützung, Leistungsoptimierung, Leistungseffizienz, Automatisierung, Benutzerfreundlichkeit oder Qualitätskontrolle verwendet werden, nicht als Sicherheitsbauteile; KI-Systeme, deren Ausfall oder Fehlfunktion Gesundheit und Sicherheit gefährden würde, gelten als solche.
• Konformitätsbewertung. Nach dem neuen Absatz 1c erfüllt ein Produkt, das ausschließlich wegen anderer Risiken als für Gesundheit und Sicherheit durch Dritte bewertet werden muss, die zweite Bedingung nicht.
• Maschinen. Die Maschinenverordnung (EU) 2023/1230 steht jetzt in Anhang I Abschnitt B. Für Hochrisiko-KI-Systeme nach Artikel 6 Absatz 1, die mit Produkten nach Abschnitt B zusammenhängen, gelten nach Artikel 2 Absatz 2 nur Artikel 6 Absatz 1, Artikel 60a und Artikel 102 bis 112 der KI-Verordnung. Die Maschinenverordnung selbst wurde um eine Befugnis für delegierte Rechtsakte mit Anforderungen an solche KI-Systeme ergänzt.

Zweiter Weg, Artikel 6 Absatz 2: die Bereiche in Anhang III. Zusätzlich gelten die in Anhang III genannten KI-Systeme als hochriskant. Anhang III nennt acht Bereiche:

1. Biometrie
2. kritische Infrastruktur
3. allgemeine und berufliche Bildung
4. Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
5. Zugang zu grundlegenden privaten und öffentlichen Diensten und Leistungen
6. Strafverfolgung
7. Migration, Asyl und Grenzkontrolle
8. Rechtspflege und demokratische Prozesse

Innerhalb jedes Bereichs nennt der Anhang KI-Systeme, die bestimmungsgemäß für bestimmte Zwecke verwendet werden sollen, nicht den Bereich als Ganzes. Unter Nummer 4 stehen etwa Systeme für die Einstellung oder Auswahl von Personen und für Entscheidungen über Arbeitsbedingungen, Beförderungen und Kündigungen.

Die Ausnahme, Artikel 6 Absatz 3. Ein in Anhang III genanntes System gilt nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt und eine von vier Bedingungen erfüllt ist: Es ist für eine eng gefasste Verfahrensaufgabe bestimmt; es soll das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessern; es soll Entscheidungsmuster oder Abweichungen davon erkennen, ohne die menschliche Bewertung ohne angemessene Überprüfung zu ersetzen oder zu beeinflussen; oder es soll eine vorbereitende Aufgabe für eine Bewertung durchführen. Ein in Anhang III aufgeführtes System, das ein Profiling natürlicher Personen vornimmt, gilt nach demselben Absatz immer als hochriskant. Ein Anbieter, der ein Anhang-III-System für nicht hochriskant hält, dokumentiert nach Absatz 4 seine Bewertung, bevor er es in Verkehr bringt oder in Betrieb nimmt, unterliegt der Registrierungspflicht nach Artikel 49 Absatz 2 und legt die Dokumentation den zuständigen Behörden auf Verlangen vor.

Was das Gesetz an Betreiber solcher Systeme richtet. Artikel 26 enthält einen eigenen Pflichtenkatalog. Unter anderem verwenden Betreiber Hochrisiko-KI-Systeme gemäß der Betriebsanleitung, übertragen die menschliche Aufsicht Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis, überwachen den Betrieb, bewahren automatisch erzeugte Protokolle, soweit sie ihrer Kontrolle unterliegen, für einen angemessenen Zeitraum von mindestens sechs Monaten auf, sofern im Unionsrecht, insbesondere im Datenschutzrecht, oder im nationalen Recht nichts anderes bestimmt ist, und informieren als Arbeitgeber vor dem Einsatz am Arbeitsplatz die Arbeitnehmervertreter und die betroffenen Arbeitnehmer.

Für Hochrisiko-KI-Systeme, die schon vor dem Beginn der Anwendung von Kapitel III in Verkehr gebracht oder in Betrieb genommen wurden, enthält Artikel 111 Absatz 2 eine eigene Regel. Sie steht mit den Zeitpunkten in der Fristenübersicht, ebenso der Stand der Leitlinien der Kommission zur Einstufung, die bisher als Entwurf vorliegen.

Transparenzpflichten

Artikel 50 verlangt Transparenz in festgelegten Fällen, verteilt auf Anbieter und Betreiber:

Jede Zeile hat im Wortlaut weitere Ausnahmen, etwa für gesetzlich zugelassene Strafverfolgung. Für ältere Systeme, die synthetische Inhalte erzeugen, gibt es eine Übergangsfrist; sie steht in der Fristenübersicht.

Was die Einordnung verlangt

Die Kapitel knüpfen an verschiedene Merkmale an: Anhang III an die Zweckbestimmung, die nach Artikel 3 Nummer 12 der Anbieter festlegt, Artikel 6 Absatz 1 an Produkt, Sicherheitsbauteil und Konformitätsbewertung, Artikel 50 an Art des Systems und Art und Veröffentlichung eines Inhalts, Artikel 5 an Praktiken mit bestimmtem Ziel oder bestimmter Wirkung. Welche Merkmale für eine Anwendung zutreffen, ist eine Frage des Sachverhalts; welche Angaben dafür gesammelt werden, steht in Die KI-Bestandsaufnahme: Unterlagen für die rechtliche Klärung. Den Überblick gibt der Leitfaden EU AI Act: was gilt, ab wann, und was Sie klären müssen.

Häufige Fragen

Fällt jeder Chatbot unter die Transparenzpflicht?

Artikel 50 Absatz 1 richtet sich an Anbieter von KI-Systemen, die für die direkte Interaktion mit Personen bestimmt sind: Sie gestalten das System so, dass die Personen erfahren, dass sie mit einem KI-System interagieren, es sei denn, das ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen Person aufgrund der Umstände offensichtlich. Die Pflicht liegt nach dem Wortlaut beim Anbieter. Welche Rolle ein Unternehmen bei einem bestimmten Chatbot hat und ob die Ausnahme greift, klärt die rechtliche Prüfung des Einzelfalls.