Kontekst

1. Posljednjih godina umjetna inteligencija prožima sve aspekte naših života, od trivijalnih do vrlo posljedičnih, kao što je donošenje odluka povezanih s medicinskim dijagnozama ili davanjima iz sustava socijalne sigurnosti.

2. Europski ombudsman pomno prati tu temu te je u ožujku 2021. bio domaćin internetskog seminara o umjetnoj inteligenciji i e-upravi u javnoj upravi za Europsku mrežu pučkih pravobranitelja (ENO). Mnoga pitanja koja umjetna inteligencija postavlja odnose se na ključna područja rada ombudsmana, kao što su transparentnost, odgovornost pri donošenju odluka, etika i temeljna prava. Neki uredi pučkih pravobranitelja na nacionalnoj razini već su obradili pritužbe i izdali smjernice^[1] povezane s upotrebom umjetne inteligencije.

3. Europska komisijapredstavila je 2021. prijedlog nove uredbe EU-a o umjetnoj inteligenciji: Nacrt „Akta o umjetnoj inteligenciji”^[2] Prijedlog je od neposrednog interesa za Europskog ombudsmana i članove Europske mreže pučkih pravobranitelja. Njime se predviđa da će se tijela imenovati ili uspostaviti na nacionalnoj razini kako bi se osigurala provedba Uredbe. Ako su institucije, uredi, tijela i agencije EU-a obuhvaćeni područjem primjene Uredbe, predviđeno je da će Europski nadzornik za zaštitu podataka djelovati kao relevantno nadzorno tijelo. Prijedlogom se nastoji osigurati visoka razina zaštite temeljnih prava, uključujući pravo na dobru upravu, kao i usklađenost s načelima dobre uprave [3]. 

4. U tom je kontekstu ombudsmanica u lipnju 2021. pisala Komisiji i Europskom nadzorniku za zaštitu podataka i zatražila sastanke kako bi saznala više o prijedlogu i raspravila o tome kako će buduća pravila funkcionirati s obzirom na upravu EU-a i javne uprave općenito. Svrha te strateške inicijative bila je informirati članove Europske mreže pučkih pravobranitelja o tim važnim događajima na razini EU-a i pomoći u pripremi Ureda Europskog ombudsmana za mogući budući rad u tom području, posebno u pogledu rješavanja mogućih pritužbi o navodnim nepravilnostima u postupanju institucija EU-a^[4].

Predloženi Akt o umjetnoj inteligenciji i standardi povezani s transparentnošću, temeljnim pravima i načelima dobre uprave

5. Prijedlogom akta oumjetnoj inteligenciji nastoje se utvrditi jedinstvena pravila za UI sustave na tržištu EU-a. Predlažu se pravila koja se primjenjuju na cijeli životni ciklus umjetne inteligencije, uključujući stavljanje na tržište, stavljanje u uporabu i upotrebu UI sustava.

6. U prijedlogu Akta o umjetnoj inteligenciji primjenjuje se pristup koji se temelji na riziku, što znači da je regulatorna intervencija potrebna samo kada je potrebna, ovisno o razini rizika za sigurnost i temeljna prava koju će UI sustav vjerojatno predstavljati. U prijedlogu se sustavi umjetne inteligencije razvrstavaju u četiri kategorije:

• neprihvatljiv rizik (postoje četiri zabranjene prakse umjetne inteligencije, uključujući iskorištavanje ranjivosti određenih osoba),
• visokorizični UI sustavi (dopušteni, ali podliježu ispunjavanju zahtjeva),
• umjetna inteligencija koja predstavlja određene rizike povezane s transparentnošću (dopuštena na temelju obveze informiranja) i
• umjetna inteligencija koja predstavlja minimalan ili nikakav rizik (dopuštena bez dodatnih ograničenja, ali moguća usklađenost s dobrovoljnim kodeksima ponašanja).

7. U skladu s predloženim Aktom o umjetnoj inteligenciji obveze dobavljača uključuju registraciju samostalnih UI sustava u javnoj bazi podataka EU-a i izvješćivanje tijela za nadzor tržišta o ozbiljnim incidentima i neispravnostima koji mogu predstavljati rizik za temeljna prava.

8. Obvezekorisnika uključivat će osiguravanje ljudskog nadzora pri upotrebi UI sustava (koji su ključni za javna tijela) i obavješćivanje dobavljača ili distributera o svakom ozbiljnom incidentu ili neispravnosti.

9. Nacrt Akta o umjetnoj inteligenciji uključuje različite odredbe o transparentnosti, posebno obvezu proaktivnog obavješćivanja korisnika da su u interakciji s UI sustavom. Te su obveze transparentnosti zamišljene kao dopuna onima u postojećem zakonodavstvu, kao što je zakonodavstvo o zaštiti potrošača ili zaštiti podataka na razini EU-a i na nacionalnoj razini.

10. Kako bi se prije svega riješio problem netransparentnosti i osigurala transparentnost prema široj javnosti, predloženi Akt o umjetnoj inteligenciji sadržava odredbe o:

1. transparentnost i sljedivost visokorizičnih UI sustava

2. prava pristupa za nadležna nadzorna tijela

3. transparentnost prema pogođenim osobama (osobe moraju biti obaviještene kada koriste određene UI sustave, uključujući kada nisu klasificirani kao visokorizični)

4. javni nadzor: javno dostupna baza podataka samostalne visokorizične umjetne inteligencije na razini EU-a.

11. Ako pojedinci smatraju da je UI sustav prekršio njihova prava, predviđa se da će moći zatražiti pravnu zaštitu od tijela za nadzor tržišta i/ili drugih postojećih tijela, kao što su institucije pučkog pravobranitelja, tijela za zaštitu podataka, tijela za zaštitu potrošača, tijela za borbu protiv diskriminacije itd. Ta bi tijela tada imala ovlast zatražiti pristup svim relevantnim informacijama koje se odnose na predmetni UI sustav. Mogućnost kontaktiranja s postojećim institucijama znači da se javnost neće morati obraćati novim i nepoznatim tijelima te da postoji dosljedan pristup rješavanju problema. Relevantna tijela prema potrebi će imati ovlasti za analizu predmetnog UI sustava, čak i uključujući izvorni kod.

12. Kad je riječ o upravljačkoj strukturi Zakona, ona se temelji na sustavu koji obuhvaća nacionalnu razinu i razinu EU-a. Nacionalna razina imala bi ključnu ulogu u provedbi putem nacionalnih tijela za nadzor tržišta. Na razini EU-a koordinirala bi se provedba i razmjena informacija putem Odbora EU-a za umjetnu inteligenciju. Uspostavila bi se i stručna skupina Komisije za tehničke i znanstvene savjete u kojoj bi bili zastupljeni svi relevantni dionici (civilno društvo, akademska zajednica, poduzeća itd.).

13. U skladu s nacrtom Akta o umjetnoj inteligenciji države članice mogle bi odrediti urede pučkih pravobranitelja kao relevantno nacionalno tijelo za jamčenje zaštite temeljnih prava. Ta će tijela imati pravo pristupa bitnim dokumentima i informacijama te će moći iskoristiti nove mehanizme za suradnju s tijelima za nadzor tržišta.

14. Kad je riječ o provedbi, bit će važno razmotriti kako će nacionalna tijela odgovoriti na svoje nove uloge na temelju nacrta Akta o umjetnoj inteligenciji, što može dovesti do preklapanja ili međusobne povezanosti ovlasti i mandata različitih vrsta nacionalnih tijela. Na primjer, nacrt akta uključuje prijedlog (u članku 63.) da će za UI sustave koji se upotrebljavaju za izvršavanje zakonodavstva i upravljanje migracijama, azilom i nadzorom granica tijelo za nadzor tržišta biti relevantno tijelo za nadzor zaštite podataka. Ako postoje slučajevi u kojima različita nacionalna tijela imaju ovlasti koje se preklapaju ili su međusobno povezane, ta bi tijela trebala blisko surađivati kako bi se osigurala dosljedna provedba.

15. Vijeće i Europski parlament trenutačno pregovaraju o tom prijedlogu. Nakon donošenja, postojalo bi dvogodišnje prijelazno razdoblje, nakon čega bi Akt o umjetnoj inteligenciji trebao postati izravno primjenjiv u cijelosti i obvezan za operatere.

Umjetna inteligencija i administracija EU-a

16. Institucije, tijela, uredi i agencijeEU-a bit će obuhvaćeni predloženim Aktom o umjetnoj inteligenciji kada djeluju kao dobavljači ili korisnici UI sustava.

17. Kada institucije, tijela, uredi i agencije EU-a razvijaju interne sustave (ne „kupuju ih s polica kao gotov proizvod” na tržištu), smatrat će se „pružateljem” pri stavljanju tih sustava u uporabu za vlastite potrebe. U skladu s tim morali bi ispunjavati relevantne zahtjeve, uključujući kvalitetu podataka, transparentnost i ljudski nadzor.

18. Ako javno tijelo ne razvija interni sustav, nego ga kupuje „na polici”, smatralo bi se korisnikom i moralo bi poštovati sve obveze koje iz toga proizlaze, uključujući obveze transparentnosti prema pogođenim osobama.

19. Uprava EU-a već se koristiumjetnom inteligencijom u različitim područjima, na primjer u prevođenju: platforma Konferencije o budućnosti Europe uključuje alat za prevođenje^[5]. Drugi primjeri uključuju sustav ranog upozoravanja i pripravnosti Agencije Europske unije za azil i alate koje Agencija za europsku graničnu i obalnu stražu (Frontex) upotrebljava za profiliranje rizika, na primjer plovila.

20. Neki primjeri primjena umjetne inteligencije koje planira uprava EU-a uključuju:

• Projekt Glavne uprave Komisije za komunikaciju (GU COMM) za poboljšanje interakcije s građanima na društvenim mrežama.
• projekt glavnih uprava COMM i Europe Direct za uspostavu baze znanja s informacijama koje su članovima osoblja potrebne kako bi odgovorili na pitanja građana o njihovim pravima, posebno povezivanje i prikupljanje informacija koje bi mogle biti relevantne. Umjetna inteligencija može se upotrebljavati i za klasifikaciju pitanja.
• Eurostat razmatra upotrebu virtualnih asistenata (chat botova) u svojoj komunikaciji o statističkim informacijama.
• Agencija EU-a za operativno upravljanje opsežnim informacijskim sustavima u području slobode, sigurnosti i pravde (eu-LISA) namjerava povećati učinkovitost svojih baza podataka, posebno Schengenskog informacijskog sustava, s pomoću umjetne inteligencije, uključujući poboljšanje točnosti biometrijskih podataka.
• Europski ured za odabir osoblja razmatra mogućnost upotrebe umjetne inteligencije za aktivnosti zapošljavanja.

21. U skladu sa svojim predstojećim obvezama na temelju predloženog Akta o umjetnoj inteligenciji Komisija je već počela raditi na izradi kodeksa ponašanja i smjernica za razvoj i upotrebu umjetne inteligencije.

Europski nadzornik za zaštitu podataka i predloženi Akt o umjetnoj inteligenciji

22. Na temelju trenutačnog teksta prijedloga akta o umjetnoj inteligenciji Europski nadzornik za zaštitu podataka imao bi tri glavne uloge:

1.  Nadležno nadzorno tijelo: Europski nadzornik za zaštitu podataka osigurat će da institucije EU-a poštuju Akt o umjetnoj inteligenciji, što uključuje praćenje i provedbu Akta.

2. Tijelo koje provodi prijavljivanje: barem će u nekim slučajevima Europski nadzornik za zaštitu podataka provoditi ocjenjivanja sukladnosti za institucije EU-a koje će razviti visokorizične UI sustave.

3. Tijelo za nadzortržišta: Jošnije jasno što će to podrazumijevati. Europski nadzornik za zaštitu podataka izrazio je sumnje u svojem zajedničkom mišljenju Europskog odbora za zaštitu podataka i Europskog nadzornika za zaštitu podataka o Aktu o umjetnoj inteligenciji te je od Komisije zatražio pojašnjenja o tome što će činiti tržište umjetne inteligencije za institucije, tijela, urede i agencije EU-a i hoće li se njegov nadzor odnositi samo na institucije EU-a ili i na treće strane i privatna poduzeća koja pružaju sustave i usluge umjetne inteligencije.

23. Europski nadzornik za zaštitu podataka također će biti dio novog Europskog odbora za umjetnu inteligenciju, koji će izdavati mišljenja i preporuke o pitanjima povezanima s umjetnom inteligencijom. To će u širem smislu uključivati pripremni rad kako bi se pratila najnovija ažuriranja tehnologije umjetne inteligencije i postupci normizacije.

24. Europski nadzornik za zaštitu podataka smatra da su potrebna dodatna pojašnjenja zakonodavstva o umjetnoj inteligenciji kako bi se utvrdio opseg njegovih novih uloga i vidjelo kako će Akt o umjetnoj inteligenciji utjecati na postojeće zakonodavstvo o zaštiti podataka i međudjelovati s njim.^[6]

25. Europski nadzornik za zaštitu podatakasmatra da postoji prostor za poboljšanje predloženog Akta o umjetnoj inteligenciji u pogledu obveza transparentnosti prema korisniku, odnosno informiranja javnosti o tome kada se i kako upotrebljavaju sustavi umjetne inteligencije.

26. Europski nadzornik za zaštitu podataka već provodi aktivnosti nadzora jer su neke institucije EU-a počele razvijati sustave strojnog učenja. Europski nadzornik za zaštitu podataka provodi revizije i traži informacije o tome kako institucije EU-a razvijaju modele strojnog učenja s pomoću osobnih podataka. S Europskim nadzornikom za zaštitu podataka savjetuju se i institucije koje razvijaju ili nabavljaju UI sustave kako bi im se pomoglo da na odgovarajući način razmotre zaštitu podataka već u fazi projektiranja, utvrde moguće rizike za prava i slobode ispitanika te ih na odgovarajući način ublaže.

Zaključak

27. Načela dobre uprave uključuju interakciju s pojedincima usmjerenu na pružanje usluga, razumnost i proporcionalnost. Oni podrazumijevaju objašnjenje odluka na jasan način i suosjećanje s onima na koje takve odluke utječu. Drugim riječima, dobra administracija podrazumijeva humanost i ljudskost. Kada su ljudi uklonjeni iz jednadžbe pružanja usluga, jasno je da mogu postojati izazovi. Sve veći prelazak na e-upravu i upotreba umjetne inteligencije u javnim upravama imat će golem utjecaj na rad institucija pučkih pravobranitelja, koji će biti na prvoj liniji suočavanja s posljedicama te promjene.

28. Istraživanje koje je provela Agencija EU-a za temeljna prava (FRA) upućuje na to da se u većini slučajeva umjetna inteligencija upotrebljava u svrhu učinkovitosti.^[7] To, naravno, ne bi trebao biti jedini fokus. Umjetna inteligencija ne utječe samo na temeljna prava na privatnost i zaštitu podataka, nego i na temeljno pravo na jednakost i nediskriminaciju (pri čemu prava posebnih ili ranjivih skupina često nisu uključena u raspravu) i temeljno pravo na pristup učinkovitim pravnim lijekovima (uključujući svijest o tome da ljudi imaju pravo na pritužbu). Odluke moraju biti poštene i transparentne, a načini osporavanja odluka moraju biti dostupni i pristupačni.

29. FRA je izradila kontrolni popis ključnih pitanja kako bi pomogla poduzećima i upravama da poštuju temeljna prava pri upotrebi umjetne inteligencije.^[8] To je koristan resurs za urede pučkih pravobranitelja. Zaključci konferencije Europske mreže pučkih pravobranitelja 2022.^[9] uključivali su prijedlog za sastavljanje popisa dobrih praksi za javne uprave koje upotrebljavaju umjetnu inteligenciju. Takav bi popis mogao biti koristan, posebno s obzirom na to da će i dalje biti potrebno nekoliko godina prije nego što standardi i zaštitne mjere predloženi u nacrtu Akta o umjetnoj inteligenciji stupe na snagu, dok se u međuvremenu javne uprave već koriste umjetnom inteligencijom i uskoro planiraju uvesti više umjetne inteligencije kako bi poduprle svoje funkcije.^[10]  Europski ombudsman razmotrit će kako izraditi takav popis u suradnji s članovima Europske mreže pučkih pravobranitelja.

30. Pojava umjetne inteligencije također predstavlja izazov za ljudske resurse. I javni i privatni sektor počeli su tražiti stručnjake u području umjetne inteligencije, a nedostatak iskusnih stručnjaka mogao bi postati izazov, posebno za javni sektor. Taj će se izazov odnositi i na urede pučkih pravobranitelja, a Europski ombudsman razmotrit će kako to riješiti, među ostalim u okviru Europske mreže pučkih pravobranitelja.

31. Pod pretpostavkom da se Akt o umjetnoj inteligenciji donese, bit će dovoljno prostora za daljnju suradnju u okviru Europske mreže pučkih pravobranitelja. Upravljačka struktura provedbe, primjene i razmjene informacija, predložena u nacrtu Akta o umjetnoj inteligenciji, temelji se na sustavu interakcije između nacionalnih tijela i tijela EU-a. Države članice također bi mogle odrediti urede pučkog pravobranitelja kao nacionalna tijela koja nadziru zaštitu temeljnih prava. Europski ombudsman nastavit će procjenjivati koji bi se praktični koraci mogli poduzeti u okviru Europske mreže pučkih pravobranitelja u tom području.

32. Ta strateška inicijativa pokazala je da će u budućnosti vjerojatno biti otvorenih pitanja u pogledu transparentnosti prema javnosti (na primjer, u vezi s predloženim javnim registrom samostalnih UI sustava na razini EU-a). Također se može očekivati da će biti poteškoća u pogledu odgovornosti: ispunjavanje zahtjeva za ljudski nadzor; transparentnost parametara koji se upotrebljavaju u postupcima testiranja i validacije umjetne inteligencije; kako će se osigurati sljedivost; te poštovanje obveze vođenja evidencije i dokumentacije.

33. Ta strateška inicijativa omogućila je Europskom ombudsmanu i Europskoj mreži pučkih pravobranitelja da steknu dobar uvid u buduće regulatorno okruženje EU-a za umjetnu inteligenciju, u njegovu primjenu u upravi EU-a i u javnom sektoru općenito. Osim što će nastaviti razmjenjivati relevantne informacije s Europskom mrežom pučkih pravobranitelja, za koju je digitalizacija javnih uprava prioritet, Europski ombudsman iskoristit će tu stratešku inicijativu kako bi informirao o mogućem budućem radu u tom području i pripremio se za moguće buduće pritužbe.

 

 

 

[1] Primjer takvih smjernica izvješće je nizozemskog pučkog pravobranitelja naslovljeno „Građanin nije skup podataka”: https://www.nationaleombudsman.nl/nieuws/onderzoeken/the-citizen-is-not-a-dataset

[2] Prijedlog uredbe Europskog parlamenta i Vijeća o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (Akt o umjetnoj inteligenciji) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

[3] Prijedlog uredbe Europskog parlamenta i Vijeća o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (Akt o umjetnoj inteligenciji) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

Vidjeti i https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence

[4] Cjeloviti tekst izvješća sa sastanka dostupan je ovdje:

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/149338

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/154290

[5] Više informacija na platformi: https://ec.europa.eu/commission/presscorner/api/files/attachment/868811/Future%20of%20Europe%20Conference%20Introducing%20platform.pdf.pdf  

[6] Vidjeti Zajedničko mišljenje Europskog nadzornika za zaštitu podataka i Europskog nadzornika za zaštitu podataka o Prijedlogu akta o umjetnoj inteligenciji: https://edps.europa.eu/node/7140_en

[7] Vidjeti izvješće FRA-e iz 2020. „Getting the Future Right: Umjetna inteligencija i temeljna prava”, dostupno na: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2020-artificial-intelligence_en.pdf

[8] https://fra.europa.eu/en/publications-and-resources/infographics/fundamental-rights-ai-what-consider

[9] https://www.ombudsman.europa.eu/en/event/en/1438

[10] Na konferenciji ENO-a 2022. danski parlamentarni ombudsman predložio je da bi pučki pravobranitelji već mogli pokušati surađivati s javnim tijelima tijekom faze razvoja novih digitalnih sustava u kojima se upotrebljava umjetna inteligencija kako bi se dizajnerima pomoglo da uzmu u obzir pravne obveze i načela dobre uprave.