Verbotene Praktiken

Allgemeines

Art. 5 AI Act enthält einen Katalog besonders schädlicher KI-Praktiken, die in der Europäischen Union verboten sind. Dazu zählen insbesondere manipulative und ausbeuterische Anwendungen sowie bestimmte Formen der Überwachung und biometrischen Analyse. Die KI-Verordnung stuft diese Praktiken als unvereinbar mit den Werten der Europäischen Union und den in der Charta der Grundrechte der Europäischen Union verankerten Grundrechten ein.

Zu den nach Art. 5 AI Act verbotenen KI-Praktiken zählen:

• schädliche Manipulation und Täuschung, 
• schädliche Ausnutzung von Vulnerabilitäten, 
• soziale Bewertung (Social Scoring), 
• KI-Systeme zur Bewertung oder Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht, 
• ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungssystemen zur Erstellung oder Erweiterung von Gesichtserkennungsdatenbanken, 
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, 
• biometrische Kategorisierung in den verbotenen Anwendungsfällen, 
• biometrische Echtzeit-Fernidentifizierung (Real-Time Remote Biometric Identification – RBI) im öffentlichen Raum zu Strafverfolgungszwecken, soweit keine gesetzlich geregelte Ausnahme greift, 
• die Erzeugung oder Manipulation nicht einvernehmlicher sexualisierter Inhalte (eingeführt durch den Digital Omnibus on AI).
• die Erzeugung oder Manipulation von kinderpornografischem Material (eingeführt durch den Digital Omnibus on AI).

Die Verbote nach Art. 5 AI Act gelten grundsätzlich seit dem 2. Februar 2025. Das jüngste Verbot betreffend die Erzeugung oder Manipulation nicht einvernehmlicher sexualisierter Inhalte wurde durch den Digital Omnibus on AI in den Katalog der verbotenen KI-Praktiken aufgenommen und gilt ab dem 2. Dezember 2026.

Der AI Act sieht bei Verstößen gegen die Verbote des Artikel 5 auch monetäre Sanktionen vor: Bis zu 15 Mio EUR oder – bei Unternehmen – 3 % des gesamten weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.

Um die Rechtssicherheit zu erhöhen und eine kohärente, wirksame und einheitliche Anwendung der Verbote nach Art. 5 AI Act sicherzustellen, hat die Europäische Kommission Leitlinien zur Auslegung und praktischen Anwendung der Verbote verabschiedet.

Schädliche Manipulation und Täuschung

Verboten sind nach Art. 5 Abs. 1 lit. a AI Act KI-Systeme, die unterschwellige Techniken außerhalb des Bewusstseins einer Person sowie absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten einer Person wesentlich zu verändern. Erfasst sind sowohl KI-Systeme, die eine solche Verhaltensänderung bezwecken, als auch solche, bei denen diese Wirkung tatsächlich eintritt.

Das Verbot greift nur, wenn die eingesetzten Techniken die Fähigkeit der betroffenen Person, eine informierte und freie Entscheidung zu treffen, erheblich beeinträchtigen. Dadurch muss die Person eine Entscheidung treffen oder ein Verhalten zeigen, das sie andernfalls nicht gewählt hätte. Zudem muss hierdurch ein erheblicher physischer, psychischer oder finanzieller Schaden verursacht werden oder mit hinreichender Wahrscheinlichkeit verursacht werden können. Zwischen der KI-Praxis, der Verhaltensänderung und dem Schaden muss ein kausaler Zusammenhang bestehen.

Nicht jede Form von Überzeugungsarbeit oder jeder fehlerhafte KI-Output fällt daher unter das Verbot. Vielmehr ist stets eine Einzelfallprüfung unter Berücksichtigung von Schwere, Wahrscheinlichkeit und Kontext des Schadens erforderlich.

Beispiel: Ein KI-System erkennt anhand des Online-Verhaltens und persönlicher Daten, dass sich eine Person in einer psychisch belastenden Situation befindet. Es nutzt diese Erkenntnisse, um ihr gezielt kostenintensive Angebote oder Verträge vorzuschlagen, die sie unter normalen Umständen nicht abgeschlossen hätte.

Schädliche Ausnutzung von Vulnerabilitäten

Verboten sind nach Art. 5 Abs. 1 lit. b AI Act KI-Systeme, die Vulnerabilitäten oder die Schutzbedürftigkeit natürlicher Personen oder bestimmter Personengruppen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen.

Das Verbot greift, wenn die Ausnutzung der Vulnerabilität oder der Schutzbedürftigkeit das Verhalten der betroffenen Person wesentlich verändert und dadurch ein erheblicher physischer, psychischer oder finanzieller Schaden verursacht wird oder mit hinreichender Wahrscheinlichkeit verursacht werden kann.

Beispiel: Ein KI-gestütztes Spiel analysiert das Verhalten von Kindern und setzt personalisierte, suchtfördernde Belohnungsmechanismen ein, um exzessives Spielen zu fördern. Führt dies zu erheblichen psychischen oder physischen Schäden oder ist mit hinreichender Wahrscheinlichkeit mit solchen Schäden zu rechnen, greift das Verbot.

Soziale Bewertung (Social Scoring)

Das Verbot nach Art. 5 Abs. 1 lit. c AI Act betrifft KI-Systeme, die natürliche Personen oder Personengruppen über einen bestimmten Zeitraum anhand ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale bewerten oder einstufen (Social Scoring). Das Verbot gilt unabhängig davon, ob das KI-System von öffentlichen oder privaten Stellen eingesetzt wird.

Eine verbotene soziale Bewertung liegt nur vor, wenn die KI-gestützte Bewertung eine wesentliche Grundlage für die Schlechterstellung oder Benachteiligung der betroffenen Person bildet. Diese muss entweder in einem sozialen Kontext erfolgen, der mit dem Kontext der Datenerhebung oder -erzeugung nicht zusammenhängt, oder im Hinblick auf das soziale Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig sein. Zwischen der KI-gestützten Bewertung und der Schlechterstellung oder Benachteiligung muss ein ursächlicher Zusammenhang bestehen.

Nicht unter das Verbot fallen KI-Systeme, deren Bewertung einem legitimen Zweck dient, auf hierfür relevanten Daten beruht und bei denen eine etwaige Schlechterstellung oder Benachteiligung gerechtfertigt und verhältnismäßig ist. Für die Anwendung des Verbots ist daher stets eine Einzelfallprüfung erforderlich.

Beispiel: Ein Versicherungsunternehmen erstellt mithilfe eines KI-Systems einen "Vertrauensscore" für Kundinnen und Kunden. Hierfür werden neben vertragsbezogenen Informationen auch Daten aus sozialen Medien, dem Online-Einkaufsverhalten und anderen nicht zusammenhängenden Lebensbereichen herangezogen. Personen mit einer niedrigen Bewertung erhalten schlechtere Vertragsbedingungen oder werden vom Abschluss bestimmter Versicherungen ausgeschlossen.

KI-Systeme zur Bewertung oder Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht

Verboten sind nach Art. 5 Abs. 1 lit. d AI Act KI-Systeme, die das Risiko bewerten oder vorhersagen, dass eine natürliche Person künftig eine Straftat begeht, wenn diese Bewertung ausschließlich auf dem Profiling der betroffenen Person oder auf der Bewertung ihrer persönlichen Merkmale und Eigenschaften beruht. Das Verbot soll verhindern, dass Personen allein aufgrund statistischer Wahrscheinlichkeiten oder persönlicher Merkmale als potenzielle Straftäter eingestuft werden.

Profiling bezeichnet die automatisierte Auswertung personenbezogener Daten, um persönliche Aspekte einer Person – etwa ihr Verhalten, ihre Zuverlässigkeit oder ihre Interessen – zu bewerten oder vorherzusagen. Zu den persönlichen Merkmalen und Eigenschaften zählen beispielsweise Staatsangehörigkeit, Geburtsort, Wohnort, Familienstand oder die Art des genutzten Fahrzeugs. Das Verbot greift jedoch nur, wenn sich die Risikobewertung ausschließlich auf solche Informationen stützt. Werden dagegen objektive und überprüfbare Tatsachen berücksichtigt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, findet das Verbot grundsätzlich keine Anwendung. Ob dies der Fall ist, ist stets anhand der Umstände des Einzelfalls zu beurteilen.

Nicht unter das Verbot fallen insbesondere KI-Systeme, die eine menschliche Bewertung unterstützen, sofern diese bereits auf objektiven und überprüfbaren Tatsachen beruht, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen. Solche Systeme können jedoch als Hochrisiko-KI-Systeme eingestuft werden und unterliegen dann den entsprechenden Anforderungen der KI-Verordnung.

Beispiel: Eine Strafverfolgungsbehörde setzt ein KI-System ein, das allein auf Grundlage des Alters, der Staatsangehörigkeit, des Wohnorts, des Fahrzeugtyps und des Familienstands vorhersagt, mit welcher Wahrscheinlichkeit eine Person künftig eine Straftat begehen wird. Da die Bewertung ausschließlich auf persönlichen Merkmalen beruht, fällt ein solcher Einsatz grundsätzlich unter das Verbot.

Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungssystemen zur Erstellung oder Erweiterung von Gesichtserkennungsdatenbanken

Dieses Verbot in Art. 5 Abs. 1 lit. e AI Act soll verhindern, dass durch das massenhafte und wahllose Sammeln von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen umfassende Datenbanken zur biometrischen Identifizierung aufgebaut oder erweitert werden, wodurch insbesondere das Recht auf Privatsphäre und den Schutz personenbezogener Daten beeinträchtigt werden können.

Nicht unter das Verbot fallen gezielte Suchvorgänge, bei denen ausschließlich Bilder bestimmter Personen oder einer klar abgegrenzten Personengruppe erfasst werden. Ebenfalls nicht unter das Verbot fallen KI-Systeme, die Gesichtsbilder aus umfangreichen Datensätzen verarbeiten, sofern diese nicht zum Aufbau oder zur Erweiterung von Datenbanken für die Gesichtserkennung verwendet werden. Dies kann beispielsweise beim Training generativer KI-Modelle der Fall sein.

Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen

 Dieses Verbot in Art. 5 Abs. 1 lit. f AI Act betrifft KI-Systeme, die Emotionen oder Absichten natürlicher Personen anhand biometrischer Daten identifizieren oder ableiten. Es gilt für den Einsatz solcher Systeme am Arbeitsplatz und in Bildungseinrichtungen. Das Verbot beruht auf der Annahme, dass der wissenschaftliche Erkenntnisstand zur zuverlässigen Emotionserkennung begrenzt ist und solche Systeme insbesondere in Arbeits- und Bildungskontexten aufgrund des bestehenden Machtungleichgewichts erhebliche Risiken für die Grundrechte der betroffenen Personen mit sich bringen können.

Das Verbot erfasst sowohl die Emotionserkennung von Arbeitnehmer:innen als auch jene von Bewerber:innen im Einstellungsverfahren sowie Schülerinnen, Schüler und Studierende. Erfasst werden insbesondere Systeme, die aus Gesichtsausdrücken, Stimme, Körperhaltung oder anderen biometrischen Daten auf Emotionen wie Freude, Angst, Wut oder Stress schließen. Nicht erfasst sind hingegen Systeme, die lediglich offensichtliche Gesten oder körperliche bzw. physiologische Zustände wie Müdigkeit oder Schmerzen erkennen, ohne daraus Emotionen oder Absichten abzuleiten.

Nicht unter das Verbot fallen KI-Systeme, deren Einsatz aus medizinischen Gründen oder aus Sicherheitsgründen für den Schutz von Leben und Gesundheit erforderlich ist. Diese Ausnahmen sind eng auszulegen und auf das erforderliche sowie verhältnismäßige Maß zu beschränken. Allgemeine Anwendungen zur Überwachung des Wohlbefindens oder des Stressniveaus von Beschäftigten oder Lernenden fallen grundsätzlich nicht unter diese Ausnahmen.

Beispiel: Ein Unternehmen setzt ein KI-System ein, das anhand von Gesichtsausdrücken und Stimmmerkmalen während Videokonferenzen erkennt, ob Beschäftigte gestresst, gelangweilt oder verärgert sind, und verwendet diese Ergebnisse für Leistungsbeurteilungen. Ein solcher Einsatz fällt grundsätzlich unter das Verbot.

Biometrische Kategorisierung

Verboten sind nach Art. 5 Abs. 1 lit. g AI Act KI-Systeme, die natürliche Personen auf Grundlage ihrer biometrischen Daten kategorisieren, um ihre ethnische Herkunft, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten. Das Verbot soll verhindern, dass aus biometrischen Merkmalen besonders sensible Eigenschaften abgeleitet werden, wodurch erhebliche Risiken für die Menschenwürde, die Privatsphäre und das Diskriminierungsverbot entstehen können.

Erfasst werden ausschließlich Systeme zur biometrischen Kategorisierung. Diese ordnen Personen anhand biometrischer Daten bestimmten Kategorien zu. Biometrische Daten beruhen dabei auf physischen oder verhaltensbezogenen Merkmalen einer Person, etwa Gesichtszügen, Fingerabdrücken, Irismustern, Stimme, Gang, Tastenanschlägen, Augenbewegungen oder Herzschlag. Nicht erfasst sind hingegen Systeme, die Personen anhand nicht-biometrischer Merkmale wie Kleidung, Accessoires oder Aktivitäten in sozialen Medien kategorisieren. Ebenso fallen Systeme, die Personen lediglich anhand objektiv feststellbarer körperlicher Merkmale wie Haar- oder Augenfarbe kategorisieren, grundsätzlich nicht unter dieses Verbot, sofern hieraus keine der ausdrücklich verbotenen sensiblen Eigenschaften abgeleitet werden. 

Nicht unter das Verbot fallen die Kennzeichnung oder Filterung rechtmäßig erhobener biometrischer Datensätze, insbesondere wenn dies der Sicherung oder Verbesserung der Datenqualität, der Verringerung von Verzerrungen (Bias) oder wenn die Kategorisierung biometrischer Daten zulässigen Zwecken der Strafverfolgung dient.

Beispiel: Ein KI-System analysiert das Gesicht von Bewerber:innen, um deren mutmaßliche ethnische Herkunft zu bestimmen und die Vielfalt im Unternehmen statistisch auszuwerten. Bereits die biometrische Kategorisierung nach dieser sensiblen Eigenschaft fällt grundsätzlich unter das Verbot.

Biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum zu Strafverfolgungszwecken (soweit keine gesetzlich geregelte Ausnahme greift)

Grundsätzlich verboten ist nach Art. 5 Abs. 1 lit. h AI Act die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, wobei "Strafverfolgungszwecke" nach Art 3 Z 46 auch die Abwehr von Gefahren für die öffentliche Sicherheit umfasst. Hintergrund sind die erheblichen Eingriffe in Grundrechte, insbesondere in die Privatsphäre, sowie das Risiko einer flächendeckenden oder massenhaften Überwachung und diskriminierender Fehlidentifizierungen.

Die KI-Verordnung sieht nur eng begrenzte Ausnahmen vor. Diese betreffen ausschließlich:

• die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie nach vermissten Personen;
• die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit von Personen oder einer tatsächlichen und bestehenden bzw. tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;
• das Aufspüren oder Identifizieren von Verdächtigen bestimmter, in Anhang II taxativ aufgezählter schwerer Straftaten im Rahmen strafrechtlicher Ermittlungen, Strafverfahren oder der Strafvollstreckung.

Diese Ausnahmen gelten nur, wenn sie durch nationales Recht zugelassen sind und sämtliche Voraussetzungen sowie Schutzvorkehrungen der KI-Verordnung eingehalten werden. Die Verarbeitung biometrischer Daten zu anderen Zwecken als der Strafverfolgung richtet sich nach den jeweils einschlägigen datenschutzrechtlichen Vorschriften.

Nicht unter das Verbot fallen außerdem biometrische Verifizierungssysteme, bei denen sich Personen bewusst identifizieren, etwa zur Zugangskontrolle oder zum Entsperren eines Geräts. Ebenfalls nicht erfasst ist die nachträgliche biometrische Fernidentifizierung zu Strafverfolgungszwecken, für die gesonderte Vorschriften der KI-Verordnung gelten.

Nicht einvernehmliche Erzeugung oder Manipulation sexualisierter Inhalte identifizierbarer Personen

Dieses Verbot wurde durch den Digital Omnibus on AI in den Katalog der nach Art. 5 AI Act verbotenen KI-Praktiken aufgenommen und gilt ab dem 2. Dezember 2026.

Verboten sind das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die realistische Bild-, Video-, Audio- oder vergleichbare Inhalte erzeugen oder manipulieren, welche die intimen Körperteile einer bestimmbaren natürlichen Person oder eine bestimmbare natürliche Person bei sexuell expliziten Handlungen darstellen, sofern hierfür keine freiwillig, spezifisch, informiert, unmissverständlich und ausdrücklich erteilte Einwilligung der betroffenen Person vorliegt.

Nach dem Digital Omnibus soll das Verbot nicht die Entwicklung generativer KI-Systeme als solche verhindern. Erfasst werden vielmehr KI-Systeme, die gezielt für die Erstellung solcher Inhalte bestimmt sind oder bei denen die Erstellung entsprechender Inhalte eine vernünftigerweise vorhersehbare Folge der bestimmungsgemäßen Verwendung ist und keine angemessenen technischen Sicherheitsmaßnahmen oder sonstigen Schutzvorkehrungen vorgesehen sind.

Der Begriff der "intimen Körperteile" sowie die Anforderungen an die Realitätsnähe der Darstellung werden in den Erwägungsgründen des Digital Omnibus näher konkretisiert.

Nicht vom Verbot erfasst sind insbesondere:

• Anwendungen, bei denen eine wirksame Einwilligung der betroffenen Person vorliegt;
• Anwendungen zu medizinischen oder diagnostischen Zwecken;
• KI-Systeme, die zwar zur Bild-, Video- oder Audiogenerierung bzw. -bearbeitung eingesetzt werden können, jedoch über angemessene technische Sicherheitsmaßnahmen und sonstige Schutzvorkehrungen verfügen, um die Erstellung entsprechender Inhalte zuverlässig zu verhindern oder zumindest erheblich zu erschweren. Als geeignete Schutzvorkehrungen kommen je nach System insbesondere Maßnahmen wie Data Cleaning, Refusal Training, sichere Prompt-Gestaltung, Output-Kontrollen, Prompt-Guardrails zur Laufzeit, Inhaltsklassifizierung und -filterung, Nutzungsbeschränkungen, Mechanismen zur Missbrauchserkennung sowie Notice-and-Action-Verfahren in Betracht;
• cartoonartige, stilisierte oder sonstige offensichtlich unrealistische Darstellungen.

Für die Beurteilung der Realitätsnähe ist maßgeblich, ob Gesicht, Stimme oder Körper einer Person für Dritte glaubwürdig und realitätsnah erscheinen. Der Hintergrund oder sonstige Umstände der Darstellung sind hierfür regelmäßig nicht ausschlaggebend.

Erzeugung oder Manipulation von kinderpornografischem Material

Ebenfalls durch den Digital Omnibus on AI wurde ein Verbot für KI-Systeme aufgenommen, die kinderpornografisches Material oder pornografische Darbietungen im Sinne der Richtlinie 2011/93/EU erzeugen oder manipulieren.

Weitere Informationen

• Leitlinien der Europäischen Kommission