Achtergrond

1. In de afgelopen jaren heeft kunstmatige intelligentie (AI) elk aspect van ons leven doordrongen, van het triviale tot het zeer consequente, zoals besluitvorming met betrekking tot medische diagnoses of socialezekerheidsuitkeringen.

2. De Europese Ombudsman volgt dit onderwerp op de voet en organiseerde in maart 2021 een webinar over AI en e-overheid in het openbaar bestuur voor het Europees netwerk van ombudsmannen (ENO). Veel van de vragen die AI oproept, hebben betrekking op kerngebieden van het werk van een ombudsman, zoals transparantie, verantwoordingsplicht van besluitvorming, ethiek en grondrechten. Sommige ombudsbureaus op nationaal niveau hebben reeds klachten over en richtsnoeren ^[1] met betrekking tot het gebruik van AI behandeld.

3. In 2021 heeft de Europese Commissie een voorstel ingediend voor een nieuwe EU-verordening inzake AI: het ontwerp van “AI-verordening”.^[2] Het voorstel is van direct belang voor de Europese Ombudsman en de ENO-leden. Het is de bedoeling dat op nationaal niveau autoriteiten worden aangewezen of opgericht om de uitvoering van de verordening te waarborgen. Wanneer EU-instellingen, -bureaus, -organen en -agentschappen binnen het toepassingsgebied van de verordening vallen, is het de bedoeling dat de Europese Toezichthouder voor gegevensbescherming (EDPS) optreedt als de relevante toezichthoudende autoriteit. Het voorstel heeft tot doel een hoog niveau van bescherming van de grondrechten, met inbegrip van het recht op behoorlijk bestuur, en de naleving van de beginselen van behoorlijk bestuur te waarborgen ^[3]. 

4. In dit verband heeft de Ombudsman in juni 2021 de Commissie en de EDPS schriftelijk verzocht om vergaderingen om meer te weten te komen over het voorstel en om te bespreken hoe de toekomstige regels zouden werken met betrekking tot het EU-bestuur en overheidsdiensten in het algemeen. Het doel van dit strategische initiatief was de ENO-leden op de hoogte te houden van deze belangrijke ontwikkelingen op EU-niveau en het Bureau van de Europese Ombudsman voor te bereiden op mogelijke toekomstige werkzaamheden op dit gebied, met name wat betreft de behandeling van mogelijke klachten over wanbeheer door EU-instellingen ^[4].

De voorgestelde AI-verordening en normen met betrekking tot transparantie, grondrechten en beginselen van behoorlijk bestuur

5. Het voorstel voor een AI-verordening heeft tot doel uniforme regels vast te stellen voor AI-systemen op de EU-markt. Er worden regels voorgesteld die van toepassing zijn op de gehele levenscyclus van AI, met inbegrip van het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen.

6. Het voorstel voor de AI-verordening maakt gebruik van een risicogebaseerde aanpak, wat betekent dat regelgevingsinterventie alleen nodig is wanneer dat nodig is, afhankelijk van het risiconiveau voor de veiligheid en de grondrechten dat een AI-systeem waarschijnlijk zal opleveren. In het voorstel worden AI-systemen in vier categorieën ingedeeld:

• onaanvaardbaar risico (er zijn vier verboden AI-praktijken, waaronder uitbuiting van kwetsbaarheden van bepaalde mensen);
• AI-systemen met een hoog risico (toegestaan, maar onder voorbehoud van naleving van de vereisten);
• AI die bepaalde transparantiegerelateerde risico’s met zich meebrengt (toegestaan onder voorbehoud van informatieverplichtingen), en
• AI met een minimaal of geen risico (toegestaan zonder aanvullende beperkingen, maar mogelijke naleving van vrijwillige gedragscodes).

7. Krachtens de voorgestelde AI-verordening omvatten de verplichtingen van aanbieders onder meer het registreren van op zichzelf staande AI-systemen in een openbare EU-databank en het melden aan markttoezichtautoriteiten van ernstige incidenten en storingen die risico’s voor de grondrechten kunnen inhouden.

8. Gebruikersverplichtingen omvatten het waarborgen van menselijk toezicht bij het gebruik van AI-systemen (essentieel voor overheidsinstanties) en het informeren van de aanbieder of distributeur over elk ernstig incident of elke storing.

9. Het ontwerp van AI-verordening bevat verschillende transparantiebepalingen, met name de verplichting om gebruikers proactief te informeren over hun interactie met een AI-systeem. Deze transparantieverplichtingen zijn bedoeld als aanvulling op de bestaande wetgeving, zoals de wetgeving inzake consumentenbescherming of gegevensbescherming op EU- en nationaal niveau.

10. Om met name de ondoorzichtigheid aan te pakken en transparantie ten aanzien van het bredere publiek te waarborgen, bevat de voorgestelde AI-verordening bepalingen over:

1. transparantie en traceerbaarheid van AI-systemen met een hoog risico

2. toegangsrechten voor bevoegde toezichthoudende autoriteiten

3. transparantie ten aanzien van getroffen personen (mensen moeten worden geïnformeerd wanneer zij bepaalde AI-systemen gebruiken, ook wanneer deze niet als systemen met een hoog risico zijn geclassificeerd);

4. publiek toezicht: EU-brede openbaar toegankelijke databank van op zichzelf staande AI met een hoog risico.

11. Wanneer personen van mening zijn dat hun rechten door een AI-systeem zijn geschonden, is het de bedoeling dat zij verhaal kunnen halen bij de markttoezichtautoriteiten en/of andere bestaande autoriteiten, zoals ombudsmaninstellingen, gegevensbeschermingsautoriteiten, consumentenbeschermingsautoriteiten, antidiscriminatieautoriteiten, enzovoort. Deze autoriteiten zouden dan de bevoegdheid hebben om toegang te vragen tot alle relevante informatie over het AI-systeem in kwestie. In staat zijn om contact op te nemen met bestaande instellingen betekent dat het publiek geen nieuwe en onbekende autoriteiten hoeft aan te spreken en dat er een consistente aanpak is om problemen aan te pakken. Waar nodig zullen de relevante autoriteiten de bevoegdheid hebben om het AI-systeem in kwestie te analyseren, zelfs met inbegrip van de broncode.

12. De governancestructuur van de wet is gebaseerd op een systeem op nationaal en EU-niveau. Het nationale niveau zou een sleutelrol spelen bij de handhaving via de nationale markttoezichtautoriteiten. Het EU-niveau zou de uitvoering coördineren en informatie uitwisselen via een AI-raad van de EU. Er zou ook een deskundigengroep van de Commissie voor technisch en wetenschappelijk advies zijn, waarin alle relevante belanghebbenden (maatschappelijk middenveld, academische wereld, bedrijven enz.) vertegenwoordigd zijn.

13. Op grond van het ontwerp van AI-verordening zouden de lidstaten ombudsmannen kunnen aanwijzen als het relevante nationale orgaan voor het waarborgen van de bescherming van de grondrechten. Deze instanties hebben recht op toegang tot essentiële documenten en informatie en kunnen gebruikmaken van nieuwe mechanismen voor samenwerking met markttoezichtautoriteiten.

14. Wat handhaving betreft, zal het belangrijk zijn om na te gaan hoe nationale autoriteiten zullen reageren op hun nieuwe rollen in het kader van de ontwerpverordening artificiële intelligentie, wat ertoe kan leiden dat verschillende soorten nationale autoriteiten overlappende of onderling verbonden bevoegdheden en mandaten hebben. Zo bevat de ontwerpwet een voorstel (in artikel 63) dat voor AI-systemen die worden gebruikt voor rechtshandhaving en migratie, asiel en grenscontrolebeheer, de markttoezichtautoriteit de relevante autoriteit zal zijn voor het toezicht op gegevensbescherming. Als er gevallen zijn waarin verschillende nationale autoriteiten overlappende of onderling samenhangende bevoegdheden hebben, moeten deze autoriteiten nauw samenwerken om een consistente handhaving te waarborgen.

15. Over het voorstel wordt momenteel onderhandeld door de Raad en het Europees Parlement. Zodra de AI-verordening is vastgesteld, zou er een overgangsperiode van twee jaar komen, waarna de AI-verordening in haar geheel rechtstreeks toepasselijk en verplicht moet worden voor exploitanten.

AI en het EU-bestuur

16. De instellingen, organen en instanties van de EU vallen onder de voorgestelde AI-verordening wanneer zij optreden als aanbieders of gebruikers van AI-systemen.

17. Wanneer de EU-instellingen, -organen, -bureaus en -agentschappen de systemen intern ontwikkelen (en ze niet “van de plank kopen als een afgerond product” van de markt), zullen zij als “aanbieder” worden beschouwd wanneer zij die systemen voor eigen gebruik in gebruik nemen. Dienovereenkomstig zouden zij moeten voldoen aan de relevante vereisten, waaronder gegevenskwaliteit, transparantie en menselijk toezicht.

18. Als een overheidsinstantie het systeem niet intern ontwikkelt, maar het “van de plank” koopt, wordt het beschouwd als een gebruiker en moet het voldoen aan alle daaruit voortvloeiende verplichtingen, met inbegrip van transparantieverplichtingen ten aanzien van getroffen personen.

19. AI wordt al door de EU-administratie gebruikt op verschillende gebieden, bijvoorbeeld vertaling: het platform van de Conferentie over de toekomst van Europa bevat een vertaalinstrument ^[5]. Andere voorbeelden zijn het systeem voor vroegtijdige waarschuwing en paraatheid van het Asielagentschap van de Europese Unie en de instrumenten die het Europees Grens- en kustwachtagentschap (Frontex) gebruikt voor risicoprofilering, bijvoorbeeld van vaartuigen.

20. Enkele voorbeelden van AI-toepassingen die door de EU-administratie worden gepland, zijn:

• Een project van het directoraat-generaal Communicatie van de Commissie (DG COMM) om de interactie met burgers op sociale media te verbeteren.
• Een project van DG COMM en Europe Direct om een kennisregister op te zetten van de informatie die personeelsleden nodig hebben om vragen van burgers over hun rechten te beantwoorden, met name het koppelen en opvragen van informatie die relevant kan zijn. AI kan ook worden gebruikt voor de classificatie van vragen.
• Eurostat overweegt virtuele assistenten (chatbots) te gebruiken voor zijn communicatie over statistische informatie.
• Het Agentschap van de Europese Unie voor het operationeel beheer van grootschalige IT-systemen op het gebied van vrijheid, veiligheid en recht (eu-LISA) is van plan de prestaties van zijn databanken, met name het Schengeninformatiesysteem, door middel van AI te verbeteren, onder meer door de nauwkeurigheid van biometrische gegevens te verbeteren.
• Het Europees Bureau voor personeelsselectie onderzoekt de mogelijkheid om AI te gebruiken voor wervingsactiviteiten.

21. In overeenstemming met haar toekomstige verplichtingen uit hoofde van de voorgestelde AI-verordening is de Commissie al begonnen met de ontwikkeling van een gedragscode en richtsnoeren voor de ontwikkeling en het gebruik van AI.

De EDPS en de voorgestelde AI-verordening

22. Op basis van de huidige tekst van het voorstel voor een AI-verordening zou de EDPS drie hoofdrollen vervullen:

1.  Bevoegde toezichthoudende autoriteit: de EDPS ziet erop toe dat de EU-instellingen de AI-verordening naleven, waaronder het toezicht op en de handhaving van de verordening.

2. Aanmeldende instantie: in ieder geval voor sommige gevallen zal de EDPS conformiteitsbeoordelingen uitvoeren voor EU-instellingen die AI-systemen met een hoog risico zullen ontwikkelen.

3. Markttoezichtautoriteit: het is nog niet duidelijk wat dit inhoudt. De EDPS heeft in zijn gezamenlijk advies van het EDPB en het EDPS over de AI-verordening zijn twijfels geuit en de Commissie om verduidelijking gevraagd over wat de AI-markt voor EU-instellingen, -organen en -agentschappen zal omvatten, en of het toezicht uitsluitend betrekking zal hebben op EU-instellingen of ook op derden en particuliere bedrijven die AI-systemen en -diensten aanbieden.

23. De EDPS zal ook deel uitmaken van het nieuwe Europees Comité voor AI, dat adviezen en aanbevelingen over AI-aangelegenheden zal uitbrengen. In grote lijnen zal dit voorbereidende werkzaamheden vergen om gelijke tred te houden met de meest recente updates over AI-technologie en om normalisatieprocessen te volgen.

24. De EDPS is van mening dat verdere verduidelijkingen met betrekking tot de AI-wetgeving nodig zijn om de omvang van de nieuwe rollen ervan te specificeren en om te zien hoe de AI-verordening van invloed zal zijn op en in wisselwerking zal staan met de bestaande wetgeving inzake gegevensbescherming ^[6].

25. Volgens de EDPS is er ruimte voor verbetering in de voorgestelde AI-verordening wat betreft de transparantieverplichtingen ten aanzien van de gebruiker, namelijk het informeren van het publiek over wanneer en hoe AI-systemen worden gebruikt.

26. De EDPS voert reeds toezichtactiviteiten uit, aangezien sommige EU-instellingen zijn begonnen met de ontwikkeling van systemen voor machinaal leren. De EDPS voert audits uit en vraagt om informatie over de wijze waarop de EU-instellingen modellen voor machinaal leren ontwikkelen op basis van persoonsgegevens. De EDPS wordt ook geraadpleegd door instellingen die AI-systemen ontwikkelen of aanschaffen, om hen te helpen reeds in de ontwerpfase naar behoren rekening te houden met gegevensbescherming, mogelijke risico’s voor de rechten en vrijheden van betrokkenen in kaart te brengen en deze op passende wijze te beperken.

Conclusie

27. De beginselen van goed bestuur omvatten servicegerichte interactie met personen, redelijkheid en evenredigheid. Ze impliceren dat beslissingen op een duidelijke manier worden uitgelegd en empathisch zijn met degenen die door dergelijke beslissingen worden beïnvloed. Met andere woorden, goed bestuur houdt in dat je humaan en menselijk bent. Wanneer mensen worden verwijderd uit de vergelijking van dienstverlening, is het duidelijk dat er uitdagingen kunnen zijn. De steeds toenemende verschuiving naar e-overheid en het gebruik van artificiële intelligentie door overheidsdiensten zullen een enorme impact hebben op het werk van ombudsinstellingen, die in de frontlinie zullen staan bij het aanpakken van de gevolgen van deze verschuiving.

28. Uit onderzoek van het Bureau van de Europese Unie voor de grondrechten (FRA) blijkt dat AI in de meeste gevallen voor efficiëntiedoeleinden wordt gebruikt.^[7] Dit mag natuurlijk niet het enige aandachtspunt zijn. AI heeft niet alleen gevolgen voor de grondrechten op privacy en gegevensbescherming, maar ook voor het grondrecht op gelijkheid en non-discriminatie (met de rechten van speciale of kwetsbare groepen die vaak niet in de discussie worden behandeld) en het grondrecht op toegang tot doeltreffende rechtsmiddelen (met inbegrip van het besef dat mensen het recht hebben om een klacht in te dienen). Besluiten moeten eerlijk en transparant zijn en wegen om besluiten aan te vechten moeten beschikbaar en toegankelijk zijn.

29. Het FRA heeft een checklist opgesteld met belangrijke overwegingen om bedrijven en overheden te helpen de grondrechten te eerbiedigen bij het gebruik van AI.^[8] Dit is een nuttig hulpmiddel voor ombudsbureaus. De conclusies van de ENO-conferentie van 2022 ^[9] bevatten het voorstel om een lijst van goede praktijken op te stellen voor overheidsdiensten die AI gebruiken. Een dergelijke lijst kan waardevol zijn, met name gezien het feit dat het nog enkele jaren zal duren voordat de in het ontwerp van AI-verordening voorgestelde normen en waarborgen in werking treden, terwijl overheidsdiensten ondertussen al AI gebruiken en op handen zijnde plannen hebben om meer AI uit te rollen om hun functies te ondersteunen.^[10]  De Europese Ombudsman zal nadenken over de wijze waarop een dergelijke lijst kan worden opgesteld, in samenwerking met ENO-leden.

30. De opkomst van AI vormt ook een uitdaging op het gebied van human resources. Zowel de publieke als de private sector zijn op zoek gegaan naar deskundigen op het gebied van AI, en een tekort aan ervaren professionals kan een uitdaging worden voor met name de publieke sector. Deze uitdaging zal ook gelden voor ombudsbureaus, en de Europese Ombudsman zal nadenken over hoe dit kan worden aangepakt, ook binnen het ENO.

31. Ervan uitgaande dat de AI-verordening wordt aangenomen, zal er voldoende ruimte zijn voor verdere samenwerking in de ENO. De governancestructuur voor handhaving, uitvoering en uitwisseling van informatie, zoals voorgesteld in het ontwerp van AI-verordening, is gebaseerd op een systeem van interactie tussen nationale en EU-organen. De ombudsbureaus kunnen ook door de lidstaten worden aangewezen als nationale organen die toezicht houden op de bescherming van de grondrechten. De Europese Ombudsman zal blijven beoordelen welke praktische stappen op dit gebied binnen het ENO kunnen worden ondernomen.

32. Dit strategische initiatief heeft aangetoond dat er in de toekomst waarschijnlijk open vragen zullen zijn over transparantie ten aanzien van het publiek (bijvoorbeeld over het voorgestelde openbare EU-brede register van op zichzelf staande AI-systemen). Het is ook te verwachten dat er problemen zullen zijn met betrekking tot de verantwoordingsplicht: voldoen aan de vereisten voor menselijk toezicht; transparantie van de maatstaven die worden gebruikt in AI-test- en valideringsprocessen; hoe traceerbaarheid zal worden gewaarborgd; en naleving van de verplichting om logboeken en documentatie bij te houden.

33. Dit strategische initiatief heeft de Europese Ombudsman en het ENO in staat gesteld een goed inzicht te krijgen in het toekomstige regelgevingslandschap van de EU voor AI, in de toepassing ervan door de EU-administratie en in de overheidssector in het algemeen. Naast het blijven delen van relevante informatie met het ENO, waarvoor de digitalisering van overheidsdiensten een prioriteit is, zal de Europese Ombudsman dit strategische initiatief gebruiken om mogelijke toekomstige werkzaamheden op dit gebied te onderbouwen en zich voor te bereiden op mogelijke toekomstige klachten.

 

 

 

[1] Een voorbeeld van een dergelijke leidraad is het verslag van de Nederlandse Ombudsman, “The citizen is not a dataset”: https://www.nationaleombudsman.nl/nieuws/onderzoeken/the-citizen-is-not-a-dataset

[2] Voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels inzake artificiële intelligentie (AI-verordening) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

[3] Voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels inzake artificiële intelligentie (wet op de artificiële intelligentie) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

Zie ook https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence

[4] De volledige tekst van de verslagen van de vergaderingen kan hier worden geraadpleegd:

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/149338

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/154290

[5] Meer informatie op het platform: https://ec.europa.eu/commission/presscorner/api/files/attachment/868811/Future%20of%20Europe%20Conference%20Introducing%20platform.pdf.pdf  

[6] Zie het gezamenlijk advies van de EDPS en het EDBP over het voorstel voor een verordening artificiële intelligentie: https://edps.europa.eu/node/7140_en

[7] Zie FRA´s 2020-verslag “Getting the Future Right: Artificial Intelligence and Fundamental Rights.”, beschikbaar op: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2020-artificial-intelligence_en.pdf

[8] https://fra.europa.eu/nl/publications-and-resources/infographics/fundamental-rights-ai-what-consider

[9] https://www.ombudsman.europa.eu/en/event/en/1438

[10] Tijdens de ENO-conferentie van 2022 stelde de Deense parlementaire ombudsman voor dat ombudsmannen al konden proberen contact op te nemen met overheidsinstanties tijdens de ontwikkelingsfase van nieuwe digitale systemen die gebruikmaken van AI, om ontwerpers te helpen rekening te houden met wettelijke verplichtingen en de beginselen van behoorlijk bestuur.