Titel der Rechtssache: Künstliche Intelligenz und die EU-Verwaltung

Datum: Donnerstag, 10. März 2022

Sitzung per Videokonferenz, Brüssel

Anwesend:

Europäischer Datenschutzbeauftragter

- Stellvertretender Referatsleiter, Technologie und Datenschutz

- Technik- und Sicherheitsbeauftragter, Technik und Datenschutz

- Technik- und Sicherheitsbeauftragter, Technik und Datenschutz

- Technik- und Sicherheitsbeauftragter, Technik und Datenschutz

- Politik und Beratung

- Referatsleiter, Aufsicht und Durchsetzung

- Überwachung und Durchsetzung, Raum der Freiheit, der Sicherheit und des Rechts

Europäischer Bürgerbeauftragter

- Peter Dyrberg, Anfragen und Prozessexperte

- Valentina Stoeva, Untersuchungsbeauftragte

- Nicholas Hernanz, Untersuchungsbeauftragter

- Jennifer King, Rechtsexpertin

- Olatz Fínez Marañón, Praktikant bei Anfragen

EINLEITUNG

Das Team der Europäischen Bürgerbeauftragten erklärte, dass der Einsatz künstlicher Intelligenz (KI) in der öffentlichen Verwaltung im Rahmen des Europäischen Verbindungsnetzes der Bürgerbeauftragten (ENO) erörtert wurde. Die ENO-Mitglieder haben sich bereits mit Beschwerden über den Einsatz von KI durch die nationalen Behörden befasst und Berichte und Leitlinien veröffentlicht. Die ENO-Jahreskonferenz im April 2022 in Straßburg ^[1] wird sich auf die Digitalisierung und die Bürgerrechte konzentrieren.

Vor diesem Hintergrund wollte der Europäische Bürgerbeauftragte (EO) mit dem Europäischen Datenschutzbeauftragten (EDSB) über die laufenden Arbeiten des EDSB im Zusammenhang mit KI und die neue Rolle des EDSB, die im Vorschlag für ein KI-Gesetz ^{vorgesehen ist [2],} diskutieren. Das EO-Team erklärte, dass es daran interessiert sei, diese Informationen mit den ENO-Mitgliedern zu teilen. Das EO-Team erwähnte, dass im September 2021 ein ähnliches Treffen mit der Kommission stattgefunden habe, bei dem die Kommission den Vorschlag für ein KI-Gesetz vorgelegt und Fragen beantwortet habe.

ANGABEN DES EDSB

Laufende Arbeiten im Zusammenhang mit KI

Der EDSB erklärte, dass er derzeit Aufsichtstätigkeiten in Bezug auf eine Reihe von EU-Organen wie Europol und eu-LISA durchführt, da einige Organe mit der Entwicklung von Systemen für maschinelles Lernen begonnen haben. Der EDSB führt Prüfungen durch und bittet um Informationen darüber, wie die EU-Organe Modelle für maschinelles Lernen entwickeln, bei denen personenbezogene Daten verwendet werden.

Der EDSB erhält auch Konsultationen von Einrichtungen, die KI-Systeme entwickeln oder beschaffen, um ihnen zu helfen, den Datenschutz bereits in der Konzeptionsphase angemessen zu berücksichtigen, mögliche Risiken für die Rechte und Freiheiten betroffener Personen zu ermitteln und sie angemessen zu mindern.

Der EDSB nimmt auch an Aktivitäten auf Ebene des Europäischen Datenschutzausschusses (EDSA)^[3] teil, die sich mit KI und Gesichtserkennung befassen. So nimmt der EDSB beispielsweise an der Sachverständigengruppe des EDSA für Grenzen, Reisen und Strafverfolgung teil, die an Leitlinien für den Einsatz von Gesichtserkennungstechnologien durch Strafverfolgungsbehörden arbeitet.

Der EDSB leitet zusammen mit der Commission Nationale de l’Informatique et des Libertés (CNIL) auch die KI-Arbeitsgruppe der Global Privacy Assembly (GPA)^[4], einer Organisation von Datenschutz- und Datenschutzbehörden aus der ganzen Welt. In diesem Jahr arbeitet die Gruppe an einem Bericht über den Einsatz von KI am Arbeitsplatz, der auf der Sitzung des GPA im Oktober 2022 vorgestellt wird. Auf der Grundlage von Umfragen bei Datenschutzbehörden und externen Interessenträgern wird erwartet, dass die Arbeitsgruppe einen Bericht erstellt, in dem der Einsatz von KI während des gesamten Beschäftigungszyklus (Prüfung von Bewerbern, Überwachung der Mitarbeiter, Entlassungen usw.) behandelt wird. Es wird auch ein Vorschlag für einen allgemeinen Rahmen für das Risikomanagement ausgearbeitet, der sich ebenfalls auf eine Umfrage unter den GPA-Mitgliedern stützt. Ein drittes laufendes Ergebnis ist ein Bericht, in dem die Kapazitäten und das Fachwissen der GPA-Mitglieder in Bezug auf Datenschutzfragen in Bezug auf KI-Systeme analysiert werden, um potenzielle Mängel zu ermitteln.

Im Rahmen des GPA ist der EDSB derzeit auch Mitverfasser eines Dokuments über Grundsätze für den Einsatz von Gesichtserkennungstechnologien. Das endgültige Dokument wird voraussichtlich auf der Sitzung des GPA im Oktober 2022 veröffentlicht. Diese Dokumente stammen aus der 2020 angenommenen GPA-Entschließung ^{zu diesem Thema [5],} in der das GPA aufgefordert wird, ein Dokument auszuarbeiten, das Grundsätze für den Einsatz von Gesichtserkennungstechnologien und die Einhaltung des Rechtsrahmens für den Datenschutz enthält.

Der EDSB nahm im Rahmen der EU-Delegation zusammen mit der Europäischen Kommission und der Agentur der Europäischen Union für Grundrechte auch am CAHAI (Ad-hoc-Ausschuss für künstliche Intelligenz) des Europarats ^[6] teil. Sie trugen hauptsächlich zur Arbeit in der Gruppe für Politikentwicklung und der Gruppe für den Rechtsrahmen bei. Die CAHAI war eine Initiative des Europarats, die die Aufgabe hatte, Dokumente auszuarbeiten, die später zur Ausarbeitung eines „KI-Vertrags“ beitragen sollten. Der EDSB wird sich auch am CAI (Ausschuss für künstliche Intelligenz) beteiligen, dem Nachfolger des CAHAI, dessen Aufgabe es ist, mit der Ausarbeitung des Vertrags zu beginnen. Die Beratungen darüber sollen im April 2022 beginnen.

Die im Vorschlag für ein KI-Gesetz vorgesehenen Aufgaben des EDSB

Auf der Grundlage des derzeitigen Wortlauts des Vorschlags für einen KI-Rechtsakt würde der EDSB drei Hauptaufgaben wahrnehmen:

1. Zuständige Aufsichtsbehörde: Der EDSB wird dafür sorgen, dass die EU-Organe das KI-Gesetz einhalten, das die Überwachung, Durchsetzung des Gesetzes sowie die Organisation von Reallaboren umfasst ^[7]. Der Umfang der Rolle und Aufgaben des EDSB sollte weiter präzisiert werden.

2. Notifizierende Stelle: zumindest in einigen Fällen wird der EDSB Konformitätsbewertungen für EU-Organe durchführen, die Hochrisiko-KI-Systeme entwickeln werden.

3. Marktüberwachungsbehörde: Es ist noch nicht klar, was dies mit sich bringen wird. Der EDSB hat seine Zweifel in seiner gemeinsamen Stellungnahme des EDSA und des EDSB zum KI-Gesetz zum Ausdruck gebracht und die Kommission um Klarstellungen gebeten, was der KI-Markt für EU-Organe, -Einrichtungen und -Agenturen , umfassen wird und ob seine Überwachung ausschließlich EU-Organe oder auch Dritte und private Unternehmen, die KI-Systeme und -Dienste anbieten, betreffen wird.

Der EDSB wird auch Teil des neuen Europäischen KI-Ausschusses sein, der Stellungnahmen und Empfehlungen zu KI-Angelegenheiten abgeben wird. Im Großen und Ganzen erfordert dies Vorbereitungsarbeiten, um mit den neuesten Aktualisierungen der KI-Technologie Schritt zu halten und die Normungsprozesse zu verfolgen.

Der EDSB wird daher eine Strategie zur Überwachung der EU-Organe und sogar externer Dritter und zur Entwicklung von Verfahren zur Durchführung von Konformitätsbewertungen usw. entwickeln müssen.

Der EDSB ist der Auffassung, dass weitere Klarstellungen in Bezug auf die KI-Rechtsvorschriften erforderlich sind, um den Umfang ihrer neuen Aufgaben zu präzisieren und zu sehen, wie sich das KI-Gesetz auf die bestehenden Datenschutzvorschriften auswirken und mit ihnen interagieren wird.^[8] Der EDSB erwähnte, dass die beiden gesetzgebenden Organe der EU nach wie vor wesentliche Änderungen des Vorschlags erörtern, auch in Bezug auf die wichtige Frage, wer ein KI-„Anbieter“ ist.

SONSTIGE FRAGEN

Frage zu anderen Herausforderungen, die der EDSB für sie oder andere nationale Behörden, die eine ähnliche Rolle spielen, vorsieht

Es ist klar, dass es eine regulatorische Herausforderung gibt, aber noch mehr ist es eine Herausforderung der Ressourcen. Da KI weithin diskutiert und genutzt wird, haben sowohl der öffentliche als auch der private Sektor begonnen, nach Experten auf dem Gebiet der KI zu suchen, und ein Mangel an erfahrenen Fachkräften könnte zu einer Herausforderung für eine ordnungsgemäße Entwicklung der künftigen Funktionen des EDSB werden.

Auf der Durchsetzungsseite wird es wichtig sein zu prüfen, wie die nationalen Behörden auf diese neue Rolle reagieren werden. Dies war bereits zu einem Problem der Datenschutzrichtlinie für elektronische Kommunikation geworden, in der nationale Behörden sehr unterschiedlicher Art und Fachkenntnisse (z. B. Telekommunikationsregulierungsbehörden und Datenschutzbehörden) die gleichen Zuständigkeiten haben. So sieht beispielsweise Artikel 63 (Marktüberwachung und Kontrolle von KI-Systemen auf dem Unionsmarkt) des Gesetzes vor, dass für KI-Systeme, die für die Strafverfolgung und das Migrations-, Asyl- und Grenzkontrollmanagement verwendet werden (Liste der Hochrisiko-KI-Systeme in Anhang 3), die Marktüberwachungsbehörde die zuständige Datenschutzbehörde (DSB) ist. Wenn jedoch die Empfehlung des EDSA und des EDSB, die Datenschutzbehörden zu zuständigen Behörden zu machen, nicht befolgt wird, könnten die Zuständigkeiten in einigen Fällen auf verschiedene nationale Behörden aufgeteilt werden. Wenn Spanien beispielsweise beschließen würde, eine andere Stelle als die AEPD (die spanische Datenschutzbehörde) als für KI zuständige Behörde zu benennen, wäre die KI-Kompetenzbehörde die Marktbehörde, die sich mit den meisten KI-Angelegenheiten und Hochrisiko-KI-Systemen befasst, gleichzeitig jedoch die spanische Datenschutzbehörde die Marktüberwachungsbehörde für KI-Systeme in den Bereichen Strafverfolgung und Migration, Asyl und Grenzkontrollmanagement. Daher müssten sich diese beiden Behörden effizient artikulieren, um eine konsequente Durchsetzung ihrer jeweiligen Zuständigkeiten zu gewährleisten.

Frage zur Transparenz: Wie wirkt sich dies auf den Einzelnen aus und welche Schutzvorkehrungen sollten getroffen werden?

Der EDSB stellte fest, dass Transparenzpflichten gegenüber dem Nutzer, d. h. die Unterrichtung der Öffentlichkeit darüber, wann und wie KI-Systeme eingesetzt werden, im aktuellen Legislativvorschlag nicht vorgesehen sind. Dies liegt daran, dass der Vorschlag anscheinend aus Produkt- oder Branchensicht und nicht aus Sicht der betroffenen Person konzipiert wurde. Infolgedessen scheinen einige Grundrechtsfragen wie Transparenz von Anfang an überlagert und nicht integriert worden zu sein. Der EDSB wies darauf hin, dass die Datenschutz-Grundverordnung (DSGVO)^[9] den für die Verarbeitung Verantwortlichen, die personenbezogene Daten über KI-Systeme verarbeiten, bestimmte Transparenzpflichten auferlegt. Die DSGVO ist jedoch technologieneutral, während das KI-Gesetz dies nicht ist. Der EDSB ist der Auffassung, dass das KI-Gesetz KI-spezifische Transparenzverpflichtungen zum Nutzen der betroffenen Personen vorschreiben sollte (z. B. Leistungsinformationen von KI-Systemen).

Frage zu Beispielen für mögliche Beschwerden über Missstände in der Verwaltungstätigkeit aufgrund von KI

Das Team des Europäischen Bürgerbeauftragten stellte die Frage zur Diskussion darüber, was in Bezug auf Beschwerden erwartet werden könnte, die den Europäischen Bürgerbeauftragten oder die nationalen Bürgerbeauftragten im Zusammenhang mit der Verwendung von KI-Systemen erreichen könnten. Das Team der Europäischen Bürgerbeauftragten erwähnte, dass es sich bewusst ist, dass KI in einigen EU-Organen (z. B. EPSO, Frontex, EASO) eingesetzt, entwickelt oder in Betracht gezogen wird. Der EDSB bestätigte, dass er sich der vom EO-Team genannten Projekte bewusst ist, und verwies auf das gemeinsame System für den Abgleich biometrischer Daten, das eu-LISA für viele ihrer Systeme wie das Visa-Informationssystem, das Einreise-/Ausreisesystem oder Eurodac . einrichtet. Was mögliche Überschneidungen zwischen den Zuständigkeiten EO und EDSB betrifft, so wäre ein vernünftiger Ausgangspunkt die Vereinbarung, die die Art und Weise widerspiegelt, wie die beiden Organe derzeit zusammenarbeiten und relevante Fragen angehen.

SCHLUSSFOLGERUNG

Die Vertreter der Bürgerbeauftragten dankten den Vertretern des EDSB für ihre Verfügbarkeit und die ausgetauschten Informationen. Die Vertreter des EDSB dankten auch dem EO-Team für die Sitzung und teilten Informationen über die bevorstehende Konferenz des EDSB zur wirksamen Durchsetzung des Datenschutzes in der digitalen Welt ^[10], die im Juni 2022 stattfinden wird.

Brüssel, den 10. März 2022

Peter Dyrberg und Valentina Stoeva

Anfragen und Prozessexperte Anfragen Beauftragter

[1] Konferenz des Europäischen Verbindungsnetzes der Bürgerbeauftragten (ENO) 2022 – Digitalisierung der öffentlichen Verwaltungen: Gewährleistung eines gleichberechtigten Zugangs nach der Pandemie (17. April 2022): https://www.ombudsman.europa.eu/en/event/en/1438

[2] Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

[3] https://edpb.europa.eu/edpb_en

[4] www.globalprivacyassembly.org (englisch)

[5] https://edps.europa.eu/sites/edp/files/publication/final_gpa_resolution_on_facial_recognition_technology_en.pdf

[6] https://www.coe.int/de/web/artificial-intelligence/cahai

[7] Der Vorschlag für ein KI-Gesetz enthält keine Definition für einen KI-Sandkasten, aber in Artikel 53 heißt es, dass KI-Reallabore: „... stellt ein kontrolliertes Umfeld bereit, das die Entwicklung, Erprobung und Validierung innovativer KI-Systeme für einen begrenzten Zeitraum vor ihrem Inverkehrbringen oder ihrer Inbetriebnahme gemäß einem spezifischen Plan erleichtert. Dies erfolgt unter der direkten Aufsicht und Anleitung der zuständigen Behörden, um die Einhaltung der Anforderungen dieser Verordnung und gegebenenfalls anderer Rechtsvorschriften der Union und der Mitgliedstaaten, die im Rahmen des Reallabors beaufsichtigt werden, sicherzustellen.“

[8] Siehe Gemeinsame Stellungnahme des EDSB und der EDSBP zu dem Vorschlag für ein Gesetz über künstliche Intelligenz: https://edps.europa.eu/node/7140_en

[9] Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) https://eur-lex.europa.eu/eli/reg/2016/679/oj

[10] https://www.edpsconference2022.eu/de