EU Kommission veröffentlicht Vorschlag des ‚Artificial Intelligence Act‘ – Die Kernpunkte des Game Changers zur Regulierung von Künstlicher Intelligenz im Überblick

Von France Vehar und Jan Pohle

Die Europäische Kommission hat heute den von Unternehmen und Vertreten der Zivilgesellschaft mit Spannung erwarteten Entwurf einer Verordnung zur Regulierung von Künstlicher Intelligenz (KI), den ‚Artificial Intelligence Act‘‚ verabschiedet.

Der Entwurf folgt auf das ‚Weißbuch zur Künstlichen Intelligenz‘ der Kommission aus dem vergangenen Jahr und führt dessen risikobasierten Ansatz fort. Er bildet den Ausgangspunkt für die Regulierung von KI in der EU. Während bislang viele Regulierungsansätze von Soft Law bis zu einer Verordnung diskutiert wurden, ist der Entwurf dieser Verordnung der Anker für Regulierung, wie ihn sich die Kommission vorstellt. Der Gesetzentwurf wird nun zur weiteren Diskussion und Abstimmung durch das Europäische Parlament gestellt.

Während der Entwurf hehre Ziele verfolgt, stellt er Unternehmen vor gewaltige Herausforderungen, unter anderem durch neue Anforderungen beim Einsatz von KI-Systemen, insbesondere von sogenannter ‚Hochrisiko-KI‘, die Möglichkeit der Untersagung des Einsatzes von KI-Systemen in bestimmten Fällen und das Risiko von Bußgeldern von in bestimmten Fällen bis zu 30.000.000 EUR bzw. 6% des weltweiten Jahresumsatzes. Er verbietet zudem einige Fallgruppen von KI vollständig bzw. grundsätzlich. Da KI-Systeme die Lebensbereiche aller Bürger erreichen, ist der Entwurf auch gesamtgesellschaftlich von hoher Relevanz.

Dieser Beitrag zeigt die Kernpunkte des Entwurfs auf und gibt einen Ausblick auf den weiteren legislativen Prozess.

English Abstract:

Today the European Commission published a proposal for an ‘Artificial Intelligence Act ‘, a draft bill on the regulation of artificial intelligence (AI). The proposal has been eagerly awaited by businesses and representatives of civil society alike.

The proposal follows the Commission’s ‘White Paper on Artificial Intelligence’ published last year and continues its risk-based approach. It is the starting point for the regulation of AI in the EU. While many regulatory approaches from soft law to a regulation have been discussed thus far, the draft regulation forms the anchor for regulation as envisioned by the Commission. As a next step of the legislative process, the draft bill will now be put to further discussion and vote by the European Parliament.

While the proposal pursues noble goals, it poses huge challenges for companies, including new requirements for the use of AI systems, especially so-called ‘high-risk AI’, the possibility of prohibiting the use of AI systems in certain cases and the risk of fines up to e.g. 30 million euros or 6% of annual global turnover in certain cases. It also bans some use cases of AI completely or in principle. Since AI systems reach the spheres of life of all citizens, the draft is also highly relevant for society as a whole.

This article outlines the key points of the draft regulation and provides an outlook on the further legislative process.

 

A. Kernpunkte des Entwurfs

Das Ziel der Verordnung ist es, das Funktionieren des Binnenmarkts durch die Schaffung eines einheitlichen Rechtsrahmens insbesondere für die Entwicklung, Vermarktung und Nutzung von KI im Einklang mit den Werten der EU zu verbessern. Der freie grenzüberschreitende Verkehr von KI-basierten Waren und Dienstleistungen soll gewährleistet und Mitgliedstaaten daran gehindert werden, die Entwicklung, Vermarktung und Nutzung von KI-Systemen in nicht in der Verordnung vorgesehen Weise zu beschränken. Die Verordnung verfolgt insbesondere ein hohes Maß an Schutz von Allgemeininteressen wie Gesundheit, Sicherheit und Grundrechte. Bürger sollen im Mittelpunkt der Verordnung stehen, damit diese darauf vertrauen können, dass die Technologie sicher und gesetzeskonform genutzt wird (‚human centric AI‘) und der Einsatz von KI in der EU und letztlich die Marktposition der EU bezüglich KI gefördert wird.

Die Kernpunkte der dazu im Entwurf des Artificial Intelligence Act vorgenommenen Bestimmungen sind wie folgt:

1. Weiter Anwendungsbereich der Verordnung (Artikel 2, 3)

Die Verordnung ist sachlich anwendbar auf „KI-Systeme“, deren Begriff sehr weit definiert ist. Danach bezeichnet ein KI-System „Software, die mit einem oder mehreren der in einem Annex I zur Verordnung aufgeführten Techniken und Ansätze entwickelt wurde und für einen durch den Menschen vorgegebenen Satz an vordefinierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die Umgebungen beeinflussen, mit denen sie interagieren“. Der Kommission wird die Befugnis eingeräumt, die Liste in Annex I zukünftig zu ändern, um sie auf der Grundlage von Merkmalen, die den darin aufgeführten Techniken und Ansätzen ähnlich sind, an Markt- und Technologieentwicklungen anzupassen (Artikel 4).

Auch der persönlich-territoriale Anwendungsbereich der Verordnung ist gleichfalls weit gefasst. So gilt die Verordnung für

  • Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland ansässig sind;
  • Nutzer von KI-Systemen mit Sitz in der Union;
  • Anbieter und Nutzer von KI-Systemen, die in einem Drittland ansässig sind, wenn der von dem System erzeugte Output in der Union verwendet wird;

Wer unter den Begriff der einzelnen gerade genannten Akteure fällt, ist den Definitionen in Artikel 3 zu entnehmen.

Die Verordnung gilt weder für Behörden in einem Drittland noch für internationale Organisationen, die hiernach in den Anwendungsbereich dieser Verordnung fallen, wenn diese Behörden oder Organisationen KI-Systeme im Rahmen von internationalen Abkommen über die Strafverfolgung und die justizielle Zusammenarbeit mit der EU oder mit einem oder mehreren Mitgliedstaaten nutzen (Artikel 2 Abs. 4)

Für Hochrisiko-KI, die Sicherheitsbauteile von Produkten oder Systemen sind oder die selbst Produkte oder Systeme sind, die in den Anwendungsbereich der in Artikel 2 Abs. 2 genannten Rechtsakte fallen gilt nur Artikel 84 dieser Verordnung (Artikel 2 Abs. 2). Die Verordnung ist nicht anwendbar auf KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder genutzt werden (Artikel 2 Abs. 3).

Artikel 2 Abs. 5 stellt klar, dass die Verordnung die Anwendung der Bestimmungen über die Haftung von Vermittlungsdienstleistern (‚intermediary service providers‘) gemäß Kapitel II Abschnitt IV der E-Commerce-Richtlinie (Richtlinie 2000/31/EG) unberührt lässt.

2. Liste verbotener KI-Praktiken (Artikel 5)

Artikel 5 enthält eine Liste absolut bzw. grundsätzlich verbotener KI-Praktiken.

Artikel 5 Abs. 1 (a) bis (c) enthält ein absolutes Verbot der nachfolgenden KI-Praktiken. Für Unternehmen bzw. Behörden, die Praktiken einsetzen, die hierzu zählen könnten, wäre wichtig zu prüfen, ob ihre Praktiken konkret hierunter fallen.

  • Unterschwellige Praktiken“: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann.
  • Ausnutzende Praktiken“: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Schwachstelle einer bestimmten Personengruppe aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzt, um das Verhalten einer Person, die zu dieser Gruppe gehört, in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann.
  • Social Scoring“: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen durch Behörden oder in deren Auftrag zur Bewertung oder Einstufung der Vertrauenswürdigkeit natürlicher Personen über einen bestimmten Zeitraum auf der Grundlage ihres Sozialverhaltens oder bekannter oder vorhergesagter persönlicher oder persönlichkeitsbezogener Merkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Punkte führt: (i) nachteilige oder ungünstige Behandlung bestimmter natürlicher Personen oder ganzer Gruppen davon in sozialen Kontexten, die nichts mit den Kontexten zu tun haben, in denen die Daten ursprünglich erzeugt oder gesammelt wurden; ii) nachteilige oder ungünstige Behandlung bestimmter natürlicher Personen oder ganzer Gruppen davon, die ungerechtfertigt ist oder in keinem Verhältnis zu ihrem sozialen Verhalten oder dessen Schwere steht.

Gemäß Artikel 5 Abs. 1 (d) ist auch die Verwendung von “Echtzeit”-Systemen zur biometrischen Fernidentifizierung in öffentlich zugänglichen Räumen zum Zweck der Strafverfolgung verboten, es sei denn, dass und insoweit eine solche Verwendung für eines der in Artikel 5 Abs. 1 (d) (i) bis (iii) genannten Ziele unbedingt erforderlich ist, z.B. zur Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder eines terroristischen Anschlags. Artikel 5 Abs. 2 benennt Kriterien die bei der Benutzung dieser Systeme zu beachten sind. Jede Nutzung solcher Systeme ist grundsätzlich von einer vorherigen Genehmigung der in diesem Absatz genannten Behörden abhängig, in einer hinreichend begründeten dringenden Situation kann jedoch mit der Verwendung des Systems ohne Genehmigung begonnen werden, und die Genehmigung kann erst während oder nach der Verwendung beantragt werden (Artikel 5 Abs. 3). Ein Mitgliedstaat kann beschließen, die Möglichkeit vorzusehen, ganz oder teilweise die Verwendung solcher Systeme innerhalb der in diesem Artikel genannten Grenzen ganz oder teilweise zuzulassen (Artikel 5 Abs. 4 ).

3. Umfassende Pflichten beim Einsatz von Hochrisiko-KI (Artikel 6-51)

Bei Einsatz von sogenannter Hochrisiko-KI“ bestehen umfassende Pflichten. Daher wird für Unternehmen wegweisend sein, ob ihr KI-System als „Hochrisiko-KI“ gilt.

„Hochrisiko-KI“ ist definiert in Artikel 6. Hierzu zählen:

  • KI-Systeme gemäß Annex III (Hochrisiko-KI gemäß Artikel 6 Abs. 2). Annex III benennt z.B. KI-Systeme im Bereich der biometrischen Fernidentifikation und Kategorisierung von Personen; Verwaltung und Betrieb kritischer Infrastrukturen; Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung, Recruitment, Zugang zu wesentlichen privaten und öffentlichen Diensten (Kreditwürdigkeit, öffentliche Daseinsvorsorge, Festlegung von Prioritäten bei Notfalleinsatzkräften) sowie bestimmter Einsatzgebiete durch Strafverfolgungsbehörden und Richterschaft. Die Kommission kann gemäß Artikel 7 die Liste in Annex III unter den in Artikel 7 genannten Voraussetzungen ergänzen.
  • Ein KI-System, dass a) dazu bestimmt ist, als Sicherheitsbauteil eines Produkts verwendet zu werden, oder selbst ein Produkt ist, das unter die in Annex II (Liste der Harmonisierungsrechtsvorschriften der Union) aufgeführten Harmonisierungsrechtsvorschriften der Union fällt und b) im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts einer Konformitätsbewertung durch einen Dritten gemäß den in Annex aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen wird. Dies gilt unabhängig davon, ob solch ein KI-System unabhängig von den gerade genannten Produkten in Verkehr gebracht oder in Betrieb genommen wird. Auf der Liste stehen z.B. Verordnungen bzw. Richtlinien im Automobilbereich, der Luftfahrt und Medizingeräten.

Die umfassenden Anforderungen bzw. Pflichten bezüglich Hochrisiko-KI und dies begleitenden Regeln sind in Artikel 8 bis 51 näher ausgeführt.

Artikel 8 legt fest, dass Hochrisiko-KI den Anforderungen in Artikel 8 bis 15 entsprechen soll. Hierzu gehören:

  • Ein in Artikel 9 beschriebenes Risikomanagementsystem, das aus einem kontinuierlichen, iterativen Prozess bestehen muss, der während des gesamten Lebenszyklus einer Hochrisiko-KI abläuft und regelmäßige systematische Aktualisierungen erfährt;
  • Dass KI-Systeme, die Techniken verwenden, die das Trainieren von Modellen mit Daten beinhalten, auf der Grundlage von Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die den in Artikel 8 Abs. 2 bis 5 genannten Qualitätskriterien entsprechen;
  • Anforderungen an Technische Dokumentation und Aufzeichnung von Ereignissen (‚Logs‘) (Artikel 11, 12);
  • Anforderungen an Transparenz und Bereitstellung von Informationen für Nutzer (Artikel 13);
  • Anforderungen an Konzeption und Entwicklung, die es ermöglichen, dass KI-Systeme von natürlichen Personen wirksam überwacht werden können (Artikel 14), sog. Human Oversight;
  • Anforderungen an Genauigkeit, Robustheit und Cybersecurity (Artikel 15)

Artikel 16 bis 29 spezifizieren im Detail diesbezüglich und darüber hinaus Pflichten pro Akteur, d.h. für Anbieter, Importeure, Händler und weitere Dritte. So sind z.B. insbesondere Artikel 16 bis 23 an den Anbieter, Artikel 25 bis 26 an Importeure, Artikel 27 an Händler und Artikel 29 an Anwender der Hochrisiko-KI adressiert. Artikel 28 betrifft mehrere Akteure. Je nach Branche, Akteur bzw. Fall können spezifische Anforderungen an Hochrisiko-KI gelten.

Artikel 30 bis 39 legen die Kompetenzen und Arbeitsweise sogenannter ‚Notifying Authorities‘ („Notifizierende Behörde“) und ‚Notified Bodies‘ („Benannte Stellen“) fest. So benennt bzw. errichtet z.B. jeder Mitgliedstaat eine Notifizierende Behörde, die für die Einrichtung und Durchführung der erforderlichen Verfahren für die Begutachtung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig ist (Artikel 30 Abs. 1). Benannte Stellen verifizieren z.B. die Konformität von Hochrisiko-KI gemäß den in Artikel 43 genannten Konformitätsbewertungsverfahren.

Artikel 40 bis 51 bestimmen in welchen Fällen, die Verpflichtung besteht Konformitätsbewertungen und entsprechender Zertifizierung (‚CE Label‘) vorzunehmen und legen den entsprechenden Prozess fest. Sie enthalten zudem Pflichten des Anbieters wie eine Aufbewahrungspflicht bestimmter Dokumente und die Verpflichtung zur Registrierung von Hochrisiko-KI vor deren Inverkehrbringen oder Inbetriebnahme in der in Artikel 60 genannten EU-Datenbank für Hochrisiko-KI.

4. Transparenzpflichten für bestimmte andere KI-Systeme (Artikel 52)

Artikel 52 benennt bestimmte KI-Systeme für die – zusätzlich zu den Anforderungen für Hochrisiko-KI – die nachstehenden weiteren Anforderungen gelten. Für viele Unternehmen dürften insbesondere die folgenden Fallgruppen interessant sein:

  • KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind: Anbieter müssen sicherstellen, dass diese so konzipiert und entwickelt werden, dass natürliche Personen darüber informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ergibt sich aus den Umständen und dem Kontext der Nutzung. Diese Verpflichtung könnte z.B. Chatbots betreffen. Die Verpflichtung gilt nicht für KI-Systeme, die gesetzlich zur Aufdeckung, Verhütung, Untersuchung und Verfolgung von Straftaten befugt sind, es sei denn, diese Systeme stehen der Öffentlichkeit zur Verfügung, um eine Straftat zu melden.
  • Emotionserkennungssysteme bzw. Systeme zur biometrischen Kategorisierung: Nutzer müssen die natürlichen Personen, die dem System ausgesetzt sind, über den Betrieb des Systems informieren. Diese Verpflichtung gilt nicht für KI-Systeme, die zur biometrischen Kategorisierung verwendet werden und die gesetzlich zur Aufdeckung, Verhütung und Untersuchung von Straftaten zugelassen sind.

Desweiteren regelt Artikel 52 Anforderungen beim Einsatz sog. „Deep Fakes“ (d.h. ein System, das Bild-, Audio- oder Videoinhalte erzeugt oder manipuliert, die bestehenden Personen, Gegenständen, Orten oder anderen Einheiten oder Ereignissen erkennbar ähneln und einer Person fälschlicherweise als authentisch oder wahrheitsgemäß erscheinen würden) und Ausnahmen von diesen Anforderungen.

5. AI Regulatory Sandboxes‘ und Maßnahmen zur Unterstützung von Kleinanbietern (Artikel 53 – 55)

Neben den oben genannten Pflichten enthält die Verordnung zwei Arten von „Maßnahmen zur Unterstützung von Innovationen“.

Sogenannte ‚AI Regulatory Sandboxes‘, die von einer oder mehreren zuständigen Behörden der Mitgliedstaaten oder dem Europäischen Datenschutzbeauftragten eingerichtet werden, sollen eine kontrollierte Umgebung bieten, welche die Entwicklung, Erprobung und Validierung innovativer KI-Systeme für einen begrenzten Zeitraum erleichtert, bevor sie auf den Markt gebracht oder nach einem bestimmten Plan in Betrieb genommen werden. Nähere Bestimmungen zu diesem Verfahren enthalten Artikel 53 und 54.

Artikel 55 sieht zudem Maßnahmen der Mitgliedsstaaten für sog. ‚small-scale‘ Anbieter und Nutzer vor. „small-scale Anbieter“ bezeichnet hierbei gemäß Artikel 3 Abs. 3 Kleinst- oder Kleinunternehmen im Sinne der Empfehlung 2003/361 /EG der Kommission (nachfolgende „Kleinanbieter“). Gemäß Artikel 55 sollen die Mitgliedstaaten zum Beispiel Kleinanbietern und Start-ups einen vorrangigen Zugang zu den AI Regulatory Sandboxes gewähren, sofern sie die Förderbedingungen erfüllen. Mitgliedsstaaten sollen auch gegebenenfalls einen speziellen Kanal für die Kommunikation mit Kleinanbietern und Nutzern und anderen Innovatoren einrichten, um Orientierungshilfen zu geben und Fragen zur Durchführung der Verordnung zu beantworten. Die Bedürfnisse von Kleinanbietern sollen bei der Festsetzung der Gebühren für die Konformitätsbewertung gemäß Artikel 43 berücksichtigt werden.

6. Einrichtung eines ‚European Artificial Intelligence Board‘ und nationaler Behörden (Artikel 56-59)

Die Verordnung sieht die Einrichtung eines ‚European Artificial Intelligence Board‘ (Europäischer Ausschuss für Künstliche Intelligenz) vor, das sich aus den nationalen Aufsichtsbehörden (die durch den Leiter oder einen gleichwertigen hochrangigen Beamten der jeweiligen Behörde vertreten werden) und dem Europäischen Datenschutzbeauftragten zusammensetzt. Das Board berät und unterstützt die Kommission. Es soll zur Zusammenarbeit zwischen den nationalen Aufsichtsbehörden und der Kommission beitragen, die Leitlinien und Analysen der Kommission, der nationalen Aufsichtsbehörden und anderer zuständiger Behörden zu neu auftretenden Fragen in Bezug auf die unter die Verordnung fallenden Angelegenheiten koordinieren und zu deren Lösung beitragen und nationalen Aufsichtsbehörden und die Kommission unterstützen, die einheitlichen Anwendung der Verordnung sicherzustellen.

Die Mitgliedssaaten sind zudem verpflichtet, die zuständigen nationalen Behörden einzurichten oder zu benennen, um die Anwendung und Durchführung der Verordnung sicherzustellen. Jeder Mitgliedstaat benennt hierbei eine nationale Aufsichtsbehörde unter den nationalen zuständigen Behörden. Grundsätzlich fungiert die nationale Aufsichtsbehörde als Notifizierende Behörde und Marktüberwachungsbehörde.

7. Aufbau einer EU-Datenbank für eigenständige Hochrisiko-KI (Artikel 60)

Die Kommission errichtet und unterhält zusammen mit den Mitgliedstaaten eine EU-Datenbank, welche die in Artikel 60 Abs. 2 genannten Informationen über die in Artikel 6 Abs. 2 genannte Hochrisiko-KI, die gemäß Artikel 51 registriert sind, enthält.

Die in Annex VIII (Konformität basierend auf der Bewertung des Qualitätsmanagementsystems und der Bewertung der technischen Dokumentation) aufgeführten Daten sind von den Anbietern in die EU-Datenbank einzugeben. Die Kommission leistet dabei technische und administrative Unterstützung. Artikel 60 legt weiter fest, in welchem Umfang dies auch personenbezogene Daten umfasst.

Die in der EU-Datenbank enthaltenen Informationen sind der Öffentlichkeit zugänglich.

8. Verpflichtungen zur Überwachung von KI-Systemen nach deren Inverkehrbringen sowie zur Information über schwerwiegende Ereignisse (Artikel 61 bis 62)

Anbieter müssen ein System zur Überwachung von KI-Systemen nach dem Inverkehrbringen in einer Weise einrichten und dokumentieren, die der Art der Technologien der KI und den Risiken von Hochrisiko-KI angemessen ist. Die näheren Anforderungen regelt Artikel 61.

Die Anbieter von auf dem Unionsmarkt in Verkehr gebrachten Hochrisiko-KI haben den Marktüberwachungsbehörden des Mitgliedstaats, in dem ein Vorfall oder eine Verletzung aufgetreten ist, jeden schwerwiegenden Vorfall oder jede Funktionsstörung dieser Systeme, die einen Verstoß gegen die Verpflichtungen aus dem Unionsrecht zum Schutz der Grundrechte darstellt, zu melden.

9. Marktüberwachung durch Behörden und Maßnahmen im Falle der Nichteinhaltung der Verordnung inkl. Untersagung (Artikel 63 bis 68)

Artikel 63 bis 68 bestimmen, welche Behörde jeweils für die Marktüberwachung zuständig ist und regeln deren weitreichende Kompetenzen sowie entsprechende Maßnahmen im Fall von Non-Compliance. Die Befugnisse der Marktüberwachung umfassen z.B.:

  • Zugang zu Daten und Dokumentation gemäß Artikel 64. Sofern es zur Bewertung der Konformität einer Hochrisiko-KI mit den Anforderungen gemäß Artikel 6 bis 51 erforderlich ist, wird den Marktüberwachungsbehörden auf begründeten Antrag auch Zugang zum Quellcode des KI-Systems gewährt. In bestimmten in Artikel 64 genannten Fällen, kann es auch zur Prüfung einer Hochrisiko-KI mit technischen Mitteln kommen.
  • Hat die Marktüberwachungsbehörde eines Mitgliedstaats hinreichende Gründe für die Annahme, dass ein KI-System ein Produkt ist, das eine Gefahr im Sinne von Artikel 3 Nummer 19 der Verordnung (EU) 2019/1020 darstellt (und soweit es sich um Gefahren für die Gesundheit oder Sicherheit oder den Schutz der Grundrechte von Personen handelt), prüft sie gemäß Artikel 65, ob das KI-System alle Anforderungen und Pflichten der Verordnung erfüllt. Ist dies aus ihrer Sicht nicht der Fall, fordert sie den betreffenden Betreiber unverzüglich auf, innerhalb einer von ihr vorgeschriebenen, der Art des Risikos angemessenen Frist alle geeigneten Korrekturmaßnahmen zu ergreifen, um die Konformität des KI-Systems herzustellen, es vom Markt zu nehmen oder zurückzurufen. Kommt der Betreiber dem nicht nach, trifft die Behörde alle geeigneten vorläufigen Maßnahmen, um die Bereitstellung des KI-Systems auf ihrem nationalen Markt zu untersagen oder einzuschränken, das Produkt vom Markt zu nehmen oder zurückzurufen.
  • Artikel 67 sieht Maßnahmen durch die Marktüberwachungsbehörde eines Mitgliedstaats auch in den Fällen vor, in denen diese nach einer Bewertung gemäß Artikel 65 feststellt, dass ein KI-System zwar dieser Verordnung entspricht, aber ein Risiko für die Gesundheit oder Sicherheit von Personen, für die Einhaltung von Verpflichtungen aus dem Unionsrecht oder dem nationalen Recht zum Schutz der Grundrechte oder für andere Aspekte des Schutzes öffentlicher Interessen darstellt.
  • Artikel 68 Abs. 1 enthält eine Liste von Fällen der Non-Compliance mit dieser Verordnung in denen die Marktüberwachungsbehörde bei Feststellung eines solchen Falls, den betreffenden Anbieter aufzufordern hat, die betreffende Nichtkonformität abzustellen. Besteht die Nichtkonformität gleichwohl weiter, hat der Mitgliedstaat alle geeigneten Maßnahmen zu treffen, um die Bereitstellung der Hochrisiko-KI auf dem Markt zu beschränken oder zu untersagen oder um sicherzustellen, dass es zurückgerufen oder vom Markt genommen wird. 

10. Förderung der Erstellung von Codes of Conduct (Artikel 69)

Die Kommission wird gemäß Artikel 69 unterstützen, dass Verhaltenskodizes (‘Code of Conduct’) erarbeitet werden, mit denen die freiwillige Anwendung der für Hochrisiko-KI geltenden Anforderungen der Artikel 8 bis 15 auch auf andere KI-Systeme sowie weiterer als in der Verordnung enthaltener Anforderungen an KI-Systeme (wie z.B. ökologische Nachhaltigkeit) gefördert werden soll. Verhaltenskodizes können von einzelnen Anbietern von KI-Systemen oder auch von Organisationen, die diese vertreten, oder von beiden erstellt werden. Hierbei sollen die Interessen der Kleinanbieter und Start-ups berücksichtigt werden.

11. Sanktionen bei Verstößen gegen die Verordnung, insbesondere Bußgelder (Artikel 71)

Die Mitgliedstaaten legen unter Einhaltung der in der Verordnung festgelegten Bedingungen die Regeln für Sanktionen, einschließlich Bußgeldern, fest, die bei Verstößen gegen die Verordnung verhängt werden, und treffen alle erforderlichen Maßnahmen, um sicherzustellen, dass sie ordnungsgemäß und wirksam durchgeführt werden. Die Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein. Sie sollen insbesondere den Interessen der Kleinanbieter und Start-Ups sowie deren wirtschaftlicher Leistungsfähigkeit Rechnung tragen.

Nach dem in der Verordnung enthaltenen Bußgeldkatalog besteht das Risiko hoher Bußgelder. So wird:

  • Die Nichteinhaltung des Verbots der in Artikel 5 genannten KI-Praktiken oder der in Artikel 10 (Datensätze und Datenverwaltung) genannten Anforderungen an das KI-System mit Bußgeldern von bis zu 30 000 000 EUR oder, wenn es sich bei dem Verletzer um ein Unternehmen handelt, bis zu 6 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr, je nachdem, welcher Betrag höher ist, geahndet.
  • Die Nichteinhaltung von anderen Anforderungen oder Verpflichtungen aus der Verordnung durch das KI-System mit einem Bußgeld von bis zu 20 000 000 EUR oder, wenn es sich bei dem Verletzer um ein Unternehmen handelt, von bis zu 4 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr belegt, je nachdem, welcher Betrag höher ist.
  • Die Erteilung unrichtiger, unvollständiger oder irreführender Auskünfte an benannte Stellen und zuständige nationale Behörden in Beantwortung eines Ersuchens mit Bußgeldern bis zu 10 000 000 EUR oder, wenn es sich bei dem Verletzer um ein Unternehmen handelt, mit bis zu 2 % seines gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr belegt, je nachdem, welcher Betrag höher ist.

Bei der Entscheidung über die Höhe des Bußgeldes in jedem Einzelfall sind alle relevanten Umstände der konkreten Situation zu berücksichtigen und gebührend zu beachten, d.h. die Art, Schwere und Dauer des Verstoßes und seiner Folgen, ob gegen denselben Betreiber wegen desselben Verstoßes bereits von anderen Marktüberwachungsbehörden Geldbußen verhängt wurden sowie Größe und Marktanteil des Betreibers, der den Verstoß begeht. ‚Betreiber‘ bezeichnet gemäß Artikel 3 Abs. 8 Anbieter, Nutzer, autorisierter Vertreter, Importeur und Händler.

Jeder Mitgliedstaat legt fest, ob und in welchem Umfang Bußgelder gegen Behörden und Einrichtungen mit Sitz in diesem Mitgliedstaat verhängt werden können.

B. Fazit und Ausblick auf den weiteren legislativen Prozess

Die Kommission verfolgt mit dem Gesetzentwurf die wichtigen Ziele der Durchsetzung von Grundrechten von EU Bürgern beim Einsatz von KI-Systemen sowie der Förderung von KI in der EU. Der Gesetzentwurf ähnelt vom Ansatz und der Struktur in mancher Hinsicht der DSGVO, ihren Regelungsansätzen und -konzepten. Er reiht sich ein in die Tendenz der EU, mehr Informationen über verwendete Algorithmen zu erfahren, eine Anforderung, die sich auch im Entwurf des Digital Services Act findet.

In der endgültigen Version der Verordnung sollte beachtet werden, dass bürokratische Hürden so weit wie möglich begrenzt, Anforderungen im Bereich des technisch Machbaren liegen und Innovation nicht erstickt wird. Der Gesetzesentwurf kommt zu einer Zeit, in der die Europäischen Union versucht, mit den USA und China bei der Förderung von KI Schritt zu halten. Die neuen Anforderungen stellen Unternehmen vor gewaltige Herausforderungen. Sie beinhalten auch das Risiko, zu höheren Kosten und Verzögerungen bei Produkten zu führen und europäische Innovatoren dazu zu ermutigen, anderswo auf den Markt zu gehen. Es ist zu erwarten, dass in den nächsten Jahren heftig diskutiert wird, welche KI-Systeme insbesondere als Hochrisiko-KI zählen sollen und welche Anforderungen technisch abgebildet werden können.

Der Gesetzentwurf ist nur ein Teil eines geplanten Regelungspakets der EU zu KI. So ist auch das von der Kommission im Weissbuch und im ‚Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung‘ vom 19. Februar 2020 ebenfalls angeregte Thema einer Überarbeitung der Vorschriften zu Produktsicherheit (insbesondere der Produktsicherheitsrichtlinie) und Produkthaftung (insbesondere der Produkthaftungsrichtlinie) in diesem Gesetzentwurf nicht abgebildet. Das Weissbuch und der Bericht hatten ausgeführt, die EU verfüge in den Bereichen Sicherheit und Produkthaftung über einen robusten Rechtsrahmen, der durch nicht harmonisierte nationale Haftungsvorschriften ergänzt werde, aber verbessert werden könnte, um Risiken zu begegnen, die spezifisch bezüglich KI bestehen. Parallel zu den Arbeiten der Kommission am Gesetzentwurf zu dieser Verordnung hat sich die EU allerdings bereits in einem Inception Impact Assessment zu der Initiative ‚Revision of Directive 2001/95/EC of the European Parliament and of the Council on general product safety  mit der Thematik der Überarbeitung der Produktsicherheitsrichtlinie befasst. Dieses Assessment sollte das Weißbuch durch eine weitere Analyse der politischen Optionen ergänzen, um einen Gesetzentwurf vorzubereiten. Es wird erwartet, dass die Kommission im zweiten Quartal 2021 einen Gesetzentwurf verabschiedet, der sich jedenfalls mit der Überarbeitung der Produktsicherheitsrichtlinie befasst.

Der Gesetzentwurf wird nun zur weiteren Diskussion und Abstimmung durch das Europäische Parlament gestellt. Die Kommission betont in der Begründung des Verodnungsentwurfs, in dem Verordnungsentwurf auch auf ausdrückliche Forderungen des Europäischen Parlaments eingegangen zu sein. Mit Spannung ist zu erwarten, wie sich das Europäische Parlament letztlich zu dem Gesetzentwurf der Verordnung positioniert und welche Regulierung bezüglich KI ein etwaiger weiterer Gesetzesentwurf der Kommission zu Produktsicherheit enthält.

Unternehmen, die KI anbieten bzw. einsetzen, sollten die Regulierung in diesem Bereich im Auge behalten, da sie weitreichende Umstrukturierungen von Geschäftsmodellen erforderlich machen kann.