Poštovani predsjedniče,

Brzi razvoj događaja koji proizlazi iz umjetne inteligencije imat će goleme posljedice za javne uprave. UI sustavi već se razvijaju ili uvode kako bi se javnim upravama pomoglo da poboljšaju kvalitetu i učinkovitost usluga koje pružaju. Osim zadaća kao što su razvrstavanje i klasifikacija, prevođenje i uređivanje te istraživanje, umjetna inteligencija imat će ulogu i u složenijem donošenju odluka analizom podataka ili čak predlaganjem rješenja ili opcija politike.

Umjetna inteligencija predstavlja i velike izazove kad je riječ o točnosti rezultata, mogućoj pristranosti, objašnjivosti i ljudskom nadzoru, među ostalim kad se upotrebljava ili će se upotrebljavati u postupcima donošenja odluka koji izravno utječu na javnost.

Način na koji uprava EU-a uvodi umjetnu inteligenciju trebao bi stoga biti transparentan i omogućiti dostatan nadzor. Javnost bi trebala moći provjeriti je li uprava provela odgovarajuću dužnu pažnju, jesu li odluke o uvođenju umjetne inteligencije uključivale sve relevantne aktere i jesu li uspostavljeni postupci za preispitivanje upotrebe tih UI sustava na temelju iskustva. Ključno je i da institucije EU-a osiguraju da umjetna inteligencija podupire njihove zadaće, ali da ih ne zamjenjuje u donošenju odluka koje utječu na građane. To su dosad vrste pitanja s kojima su se članovi Europske mreže pučkih pravobranitelja susreli pri ispitivanju upotrebe umjetne inteligencije na nacionalnoj razini.

U tom kontekstu odlučio sam pokrenuti stratešku inicijativu za prikupljanje informacija o tome kako Europska komisija, kao najveća institucija EU-a, u svojem radu odlučuje o umjetnoj inteligenciji i sličnim naprednim informacijskim tehnologijama te kako ih primjenjuje. Inicijativom se također nastoji podići svijest o potrebi da se osigura odgovornost pri donošenju odluka o uvođenju te tehnologije te njihovoj naknadnoj provedbi i praćenju.

Europska komisija nedavno je objavila komunikaciju „Umjetna inteligencija u Europskoj komisiji”.[1] Komisija je u njoj podijelila važne informacije o UI sustavima koje već primjenjuje. Razmijenila je i informacije o sustavima umjetne inteligencije u razvoju i testiranju. Pozdravljam ovaj prvi korak prema povećanju informacija dostupnih javnosti.

Prema mojem mišljenju, tri sustava koja je Komisija općenito opisala od posebne su važnosti za pravo na dobru upravu:

– Analiza povratnih informacija javnosti [2]: Čini se da bi taj alat građanima EU-a mogao omogućiti da Komisiji učinkovitije prenesu svoja stajališta o predviđenim prijedlozima politika, što pozdravljam. Istodobno bih želio saznati više o tome kako Komisija procjenjuje i planira ukloniti potencijalne rizike koji proizlaze iz uvođenja takvih alata, kao što je mogućnost da neki akteri manipuliraju percepcijom potpore u EU-u za određene opcije politike.

- Upravljanje predmetima tržišnog natjecanja [3]: Taj je alat usmjeren na poboljšanje sposobnosti Komisije da otkrije kršenja pravila tržišnog natjecanja koja imaju najveći učinak na unutarnje tržište EU-a. Komisija će istodobno morati zaštititi svoje istrage od svih pogrešaka, pristranosti i postupovnih prava predmetnih osoba.

- rješavanje pritužbi [4]: Kao što znate, moj ured rješava pritužbe koje se odnose na način na koji sama Komisija postupa s povredama i drugim vrstama pritužbi. Želio bih znati kako Komisija namjerava osigurati zaštitu od „automatske pristranosti”, zbog čega bi njezini voditelji pritužbi mogli nerazmjerno vjerovati rješenjima koja predlaže umjetna inteligencija. Ljudski donositelji odluka trebali bi sa svakom pritužbom postupati s dovoljnom pažnjom, a moguće pogreške u prošlosti ne bi se smjele umnožavati zbog automatizacije.

Komisija već ima znatno iskustvo u automatizaciji i planira znatno proširiti upotrebu alata umjetne inteligencije u svojem radu. Molim Vas da u odgovoru na ovaj dopis detaljnije opišete funkcionalnost alata za analizu povratnih informacija od javnosti, upravljanje predmetima tržišnog natjecanja i rješavanje pritužbi, kako je trenutačno predviđeno. Također bi bilo korisno dobiti informacije o tome kako Komisija namjerava osigurati transparentnost i odgovornost postupaka za uvođenje i praćenje upotrebe tih zahtjeva. Konkretnija pitanja navedena su u Prilogu.

Bio bih Vam zahvalan na odgovoru Komisije na moja pitanja do 14. lipnja 2024. Željela bih organizirati i sastanak svojeg istražnog tima i predstavnika Komisije kako bi se razmotrila dodatna pitanja u vezi s navedenim pitanjima. Želio bih da se ovaj sastanak održi u lipnju ili srpnju 2024.

Moj je Ured bio u kontaktu s Europskim nadzornikom za zaštitu podataka prije pokretanja ove strateške inicijative, s obzirom na njihovu posebnu ulogu u tom području, kako bi se izbjeglo preklapanje.

Napominjemo i da, s obzirom na to da je jedan od ciljeva ove strateške inicijative povećati transparentnost načina na koji uprava EU-a upotrebljava ili planira upotrebljavati umjetnu inteligenciju u svojem radu i donošenju odluka, namjeravam objaviti vaš odgovor. Međutim, ako neke informacije smatrate povjerljivima, jasno ih označite kao takve i, ako je moguće, uključite ih u zaseban prilog.^[5]

Ako su vam potrebne dodatne informacije ili pojašnjenja o ovoj inicijativi, obratite se nadležnom službeniku za istrage, g. Michału Krajewskom.

Tvoje iskreno,

Emily O'Reilly
Europska ombudsmanica

Strasbourg, 15. ožujka 2024.

Aneks

Tehničke funkcionalnosti i automatizacija zadataka

1) Koje će biti posebne funkcije alata koje je Komisija predvidjela za analizu povratnih informacija od javnosti, upravljanje predmetima tržišnog natjecanja i potporu rješavanju pritužbi? Koje će konkretne zadaće ti alati obavljati i kako će poduprijeti donošenje odluka od strane ljudi?

2) Koji opći rizici mogu proizaći iz korištenja ovih alata na pravo na dobru upravu i kako se ti rizici mogu riješiti?[6]

Donošenje odluka o upotrebi umjetne inteligencije

3) Kako će Komisija odlučiti o upotrebi tih alata? Koje će unutarnje tijelo donositi odluke (na primjer, hoće li uključivati Kolegij povjerenika)? Kako će Komisija odlučiti o postupku odobravanja upotrebe tih alata?

Transparentnost načina donošenja odluka o upotrebi umjetne inteligencije

4) Koje su informacije o tim alatima već dostupne? Namjerava li Komisija objaviti dodatne informacije?

5) Je li se Komisija savjetovala ili će se savjetovati s drugim institucijama ili tijelima EU-a ili dionicima izvan uprave EU-a (na primjer, interesnim skupinama, civilnim društvom, širim javnim savjetovanjem) o uvođenju ili daljnjem razvoju tih alata?

Odgovornost u pogledu upotrebe alata umjetne inteligencije

6) Koliko će biti transparentna i objašnjiva upotreba tih alata općenito i u pojedinačnim slučajevima?

7) Kako točno ljudski donositelji odluka provjeravaju rezultate tih alata?

8) Hoće li Komisija redovito pratiti praktičnu primjenu tih alata i koji će subjekti unutar Komisije to nadzirati?

[1] Umjetna inteligencija u Europskoj komisiji (AI@EC): Strateška vizija za poticanje razvoja i upotrebe zakonitih, sigurnih i pouzdanih sustava umjetne inteligencije u Europskoj komisiji: https://commission.europa.eu/system/files/2024-01/EN%20Artificial%20Intelligence%20in%20the%20European%20Commission.PDF

[2] Stranica 8.: „Analiza povratnih informacija javnosti: Komisija se sustavno savjetuje s javnošću o novim zakonodavnim prijedlozima (javno savjetovanje putem portala „Iznesite svoje mišljenje”). Komisija analizira povratne informacije javnosti kako bi pomogla u izradi zakonodavnih prijedloga.”

[3] Stranica 8.: „Ispitivanja tržišnog natjecanja u velikoj se mjeri oslanjaju na analizu velikih količina dokumenata i drugih podataka kako bi izvukla vrijedne uvide i prikupila dokaze. Umjetna inteligencija olakšava njihovo učinkovito pretraživanje i analizu, čime se poboljšava istražni postupak. Osim toga, to je posebno važno za istrage po službenoj dužnosti, a uskoro i za provedbu Akta o digitalnim tržištima.”

[4] Stranica 9.: „Rješavanje pritužbi s umjetnom inteligencijom (CHAI): Komisija istražuje tehnologije generativnog UI-ja i velikih jezičnih modela (LLM) kako bi pomogla voditeljima predmeta koji se bave pritužbama u kraćim razdobljima pružanjem mogućnosti „pametnog pretraživanja” za semantičko pretraživanje i „pametnog sastavljanja”, čime se omogućuje ponovna uporaba prethodnih odgovora iz sličnih mogućnosti za podnošenje pritužbi.”

[5] Šifrirane poruke e-pošte mogu se poslati u naš namjenski poštanski sandučić.Informacije i dokumenti te vrste brišu se iz spisa Europskog ombudsmana ubrzo nakon završetka strateške inicijative.

[6] Ovo se pitanje ne odnosi na rizike povezane s obradom osobnih podataka. To se pitanje odnosi na elemente dobre uprave, kao što su obveza pažljivog i nepristranog ispitivanja svih relevantnih informacija u svakom pojedinom slučaju i obveza obrazlaganja svih odluka.