Themenbild Services der RTR

Risikostufen von KI-Systemen

KI-Systeme und die vier Risikostufen

Der AI Act verfolgt einen risikobasierten Ansatz, um ein verhältnismäßiges, wirksames und verbindliches Regelwerk für KI-Systeme einzuführen. KI-Systeme werden entsprechend ihrem Risikopotential nach inakzeptablem, hohem, geringem und minimalem Risiko kategorisiert. Risiko definiert der AI Act als „die Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und der Schwere dieses Eintritts“ (Art. 3) und bewertet insb mögliche Schäden an individuellen und/oder öffentlichen Interessen (Gesundheit, Sicherheit, Grundrechte, einschließlich Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes). Schäden können materieller oder immaterieller Natur sein. Erfasst sind physische, psychische, gesellschaftliche oder wirtschaftliche Schäden.

Eine Sonderstellung nehmen in dieser Kategorisierung die KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI Models) ein. 

Die Infografik fasst den Fließtext zusammen und beschreibt die vier Risikostufen von KI-Systemen
KI-Systeme werden entsprechend ihrem Risikopotential nach inakzeptablem, hohem, begrenztem und minimalem/keinem Risiko kategorisiert © RTR (CC BY 4.0)

Praktiken mit inakzeptablem Risiko

Manche Praktiken in Zusammenhang mit KI-Systeme bergen ein zu hohes Risiko im Hinblick auf die Wahrscheinlichkeit eines Schadenseintritts und auch des Schadensausmaßes an individuellen oder öffentlichen Interessen, weshalb sie verboten sind.

Dazu zählen gemäß Artikel 5 AI Act:

  • KI-Systeme, die das menschliche Verhalten manipulieren, um den freien Willen des Menschen zu umgehen;
  • KI-Systeme, die eingesetzt werden, um die Schwächen von Menschen (aufgrund ihres Alters, einer Behinderung, ihrer sozialen oder wirtschaftlichen Lage) auszunutzen;
  • KI-Systeme, die auf der Grundlage von Sozialverhalten oder persönlichen Merkmalen von natürlichen Bewertungen vornehmen, die zu einer Schlechterstellung führen können (Social Scoring);
  • Risikobewertungssysteme, die auf der Grundlage von Profiling das Risiko bewerten oder vorhersagen, ob eine natürliche Person eine Straftat begeht (Predictive Policing; zu Deutsch „vorhersagende Polizeiarbeit“);
  • Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen zur Erstellung von Gesichtserkennungsdatenbanken;
  • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (ausgenommen sind KI-Systeme zu medizinischen [z. B. therapeutischen Nutzung] oder sicherheitstechnischen Zwecken);
  • Biometrische Kategorisierungssysteme um Rückschlüsse auf sensible Informationen (z. B. politische, religiöse oder philosophische Überzeugungen, sexuelle Orientierung, Rasse) zu ziehen oder zu bestimmen;
  • Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (mit einigen Ausnahmen wie z. B. bestimmten Opfern oder vermissten Kindern, Täter bestimmter Straftaten etc.). 

Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme stellen – wie bereits der Name sagt – ein hohes Risiko dar im Hinblick auf die Wahrscheinlichkeit eines Schadenseintritts und auch des Schadensausmaßes an individuellen oder öffentlichen Interessen. Hochrisiko-KI-Systeme gemäß Artikel 6 AI Act sind allerdings nicht per se verboten. Das Inverkehrbringen oder die Inbetriebnahme ist nur unter Einhaltung bestimmter Anforderungen erlaubt. Derartige KI-Systeme sind unter anderem im Anhang I und III des AI Act aufgelistet:

Anhang I – Das KI-System soll als Sicherheitskomponente eines unter den unten angeführten EU-Vorschriften fallenden Produkts verwendet werden oder ist selbst ein unter diese Vorschriften fallendes Produkt.

Zusätzlich gelten auch noch die in Anhang III abschließend genannten KI-Systeme als hochriskant im Sinne des AIA:

  • Biometrik, soweit ihr Einsatznach dem einschlägigen Unionsrecht oder dem nationalen Recht zugelassen ist;
  • Kritische Infrastruktur;
  • Bestimmte Systeme im Rahmen von beruflicher Aus- und Weiterbildung, insbesondere wenn diese über den Zugang zu dieser entscheiden können;
  • Bestimmte Systeme in Zusammenhang mit Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, insbesondere wenn diese für Entscheidungen eingesetzt werden;
  • Zugänglichkeit und Inanspruchnahme grundregelnder privater und öffentlicher Dienste  und Leistungen;
  • Bestimmte Systeme, die zur Strafverfolgung verwendet werden;
  • Bestimmte Systeme zur Migrations-, Asyl- und Grenzkontrolle;
  • Bestimmte Systeme innerhalb der Justiz und der demokratischen Prozesse.

KI-Systeme mit „begrenztem“ Risiko

Als KI-Systeme mit „begrenztem“ Risiko werden KI-Systeme bezeichnet, deren Risiko durch Transparenz minimiert werden kann. Derartige KI-Systeme sind nicht verboten. Den Anbieter:innen und Betreiber:innen werden überwiegend Transparenzpflichten auferlegt, etwa dass Personen darüber informiert werden, dass sie mit einem KI-System interagieren oder Inhalte künstlich erzeugt wurden. Unter KI-Systeme mit „begrenztem“ Risiko fallen gemäß Artikel 50 AI Act folgende Systeme:

  • KI-Systeme, welche mit natürlichen Personen direkt interagieren (z. B. Chatbots);
  • KI-Systeme, die Bild-, Audio-, Text- oder Videoinhalte erzeugen oder manipulieren (z. B. Deepfakes – davon zu unterscheiden sind Deepfakes zur Manipulation menschlichen Verhaltens, welche verboten sind!);
  • Biometrische Kategorisierungs- und Emotionserkennungssysteme (davon zu unterscheiden sind KI-Systeme, welche verboten sind!).

KI-Systeme mit „minimalem“ oder keinem Risiko

Alle sonstigen KI-Systeme werden als solche mit „minimalem“ oder keinem Risiko klassifiziert. Darunter fallen z. B. Videospiele oder Spam-Filter. Sie unterliegen keinen spezifischen Pflichten im Sinne des AI Act. Das Einhalten von Verhaltenskodizes (Code of Practices) wird gefördert, sie sind aber freiwillig (Erwägungsgründe 165 iVm. Artikel 95 Ai Act).