Ozadje

Hiter razvoj, ki je posledica umetne inteligence, bo imel ogromne posledice za javne uprave. Umetnointeligenčni sistemi se že razvijajo ali uvajajo, da bi javnim upravam pomagali izboljšati kakovost in učinkovitost storitev, ki jih zagotavljajo. Poleg nalog, kot so razvrščanje in klasifikacija, prevajanje in urejanje ter raziskave, bo imela umetna inteligenca vlogo tudi pri bolj zapletenem odločanju, saj bo analizirala podatke ali celo predlagala rešitve ali možnosti politike. Umetna inteligenca prinaša tudi velike izzive v zvezi s točnostjo rezultatov, morebitno pristranskostjo, pojasnjevanjem rezultatov („razložljivost“) in človeškim nadzorom, tudi kadar se uporablja ali se bo uporabljala v postopkih odločanja, ki neposredno vplivajo na javnost.

Člani evropske mreže varuhov človekovih pravic so že raziskali vprašanja, ki izhajajo iz uporabe umetne inteligence v javnih upravah, kot so odsotnost jasnih pravil, ki bi urejala uporabo umetne inteligence v javnem sektorju [1], pomembne algoritemske napake in pristranskost [2], razložljivost in učinkovit človeški nadzor nad prispevkom umetne inteligence k odločitvam, sprejetim v zvezi s posamezniki [3]. Evropski varuh človekovih pravic se je v okviru te pobude oprl na to pomembno delo.

Strateška pobuda

Varuhinja človekovih pravic je to strateško pobudo začela marca 2024, da bi pridobila več informacij o praksi Komisije in načrtih za uporabo umetne inteligence pri odločanju [4].

Tik pred tem je Komisija objavila sporočilo „Umetna inteligenca v Evropski komisiji (AI@EC)“ [5], v katerem je opredelila svoj pristop k uporabi umetne inteligence. Komisija trenutno opredeljuje področja za uporabo umetne inteligence, ki bi lahko najbolj pozitivno vplivala na vsakodnevno delo njenega osebja, kot je zmanjšanje ponavljajočih se in zamudnih nalog, pa tudi opremljanje osebja z orodji za izboljšanje zasnove politik in olajšanje izvajanja politik. [6] Komisija je potrdila tudi svojo zavezo, da bo uporabljala samo zakonite, varne in zaupanja vredne umetnointeligenčne sisteme [7]. Poleg tega je izmenjala informacije o umetnointeligenčnih sistemih, ki jih že uporablja, razvija ali namerava razviti ali pridobiti v prihodnosti.

Varuhinja človekovih pravic je zahtevala podrobnejše informacije o treh sistemih, navedenih v sporočilu, ki lahko po njenem mnenju neposredno vplivajo na pravico do dobrega upravljanja, saj vplivajo na to, kako Komisija sodeluje s posamezniki, podjetji in organizacijami ter sprejema odločitve v zvezi z njimi. Ti sistemi so se nanašali na:

• analizo povratnih informacij javnosti,
• vodenje zadev v zvezi s konkurenco in
• obravnavanje pritožb zaradi kršitev.

Varuhinja človekovih pravic je vprašala o posebnih funkcijah teh orodij in splošnih tveganjih za dobro upravljanje, ki lahko izhajajo iz njihove uporabe. Vprašala je tudi o postopku Komisije za odločanje o uporabi teh orodij, preglednosti tega postopka, sodelovanju deležnikov zunaj uprave EU ter razložljivosti teh orodij in človeškem nadzoru nad njimi [8].

Medtem ko je pobuda varuhinje človekovih pravic še potekala, sta Evropski parlament in Svet sprejela akt o umetni inteligenci [9], ki ureja razvoj in uporabo umetnointeligenčnih sistemov v EU.[10] Varuhinja človekovih pravic je Komisijo zaprosila tudi za informacije o tem, kako bo to vplivalo na njen lastni razvoj in uporabo umetne inteligence.

Komisija je 24. julija 2024 predložila pisni odgovor na vprašanja varuhinje človekovih pravic [11] Predstavniki varuhinje človekovih pravic so se 24. septembra 2024 sestali s predstavniki Komisije, da bi razpravljali o pisnem odgovoru in zastavili nadaljnja vprašanja [12].

Informacije, ki jih je predložila Komisija

Komisija je ponovno poudarila svojo zavezanost zagotavljanju „varne, pregledne in na človeka osredotočene uporabe umetne inteligence pri svojem delu“. Komisija se notranje pripravlja na izvajanje akta o umetni inteligenci.

Kar zadeva preglednost orodij umetne inteligence, ki jih je razvila in jih uporablja Komisija, je ta navedla več načinov, na katere lahko informacije o takih orodjih da na voljo javnosti. Vendar se Komisija odloči za objavo teh informacij na podlagi „statusa zrelosti“sistemov.

Čeprav je Komisija priznala, da bi lahko javno posvetovanje zagotovilo dragocen vpogled v njene načrte za razvoj ali uporabo posebnih orodij umetne inteligence, je poudarila, da ji pri sprejemanju odločitev o uporabi tehnologije za izboljšanje njenega delovanja ni treba izvesti nobenega zunanjega posvetovanja.

Kar zadeva pravila, ki se uporabljajo za orodja umetne inteligence, ki jih je razvila in jih uporablja Komisija, so predstavniki Komisije na srečanju s predstavniki varuhinje človekovih pravic dejali, da je glavni okvir sporočilo o umetni inteligenci @ EK. To sporočilo se sklicuje na „operativne smernice za razvoj in uporabo zakonite, varne in zaupanja vredne umetne inteligence“, ki jih je treba vzpostaviti, ter na „etične smernice za zaupanja vredno umetno inteligenco“, ki jih je razvila strokovna skupina na visoki ravni za umetno inteligenco [13]. Predstavniki Komisije so dejali, da umetnointeligenčnim sistemom, ki se ne štejejo za sisteme velikega tveganja, ne bo treba nujno izpolnjevati zahtev iz akta o umetni inteligenci za sisteme velikega tveganja. Hkrati Komisija pripravlja notranje smernice za lažjo skladnost z aktom o umetni inteligenci.

Trije umetnointeligenčni sistemi, o katerih je varuhinja človekovih pravic zahtevala več informacij, so še vedno v fazi razvoja ali javnega naročanja. Komisija se bo o njihovi uporabi odločila šele po tem, ko bodo izvedeni vsi tehnični elementi in bo izbrano osebje opravilo obdobje preskušanja.

• Sistem za analizo povratnih informacij javnosti naj bi Komisiji pomagal pri analizi več sto tisoč prispevkov javnosti na portalu „Boljše pravno urejanje – povejte svoje mnenje“. Orodje bo povzelo prispevke, poiskalo po temah ali ključnih stavkih in omogočilo „analizo čutenja“ (kako prispevajoči menijo o predlogih Komisije).
• Komisija namerava pri zunanjem ponudniku naročiti sistem „upravljanja zadev v zvezi s konkurenco“, da bi svojim vodjem zadev pomagala pri analizi obsežnih spisov v zadevah v zvezi s konkurenco. Komisija je dejala, da so taka orodja že široko uporabljali drugi organi, pristojni za konkurenco, po vsem svetu, ki se vsi soočajo z izzivom temeljite analize na stotine dokumentov, pridobljenih od podjetij, v zelo omejenem času.
• „Pritožbe, ki se obravnavajo z umetno inteligenco“(CHAI) naj bi Komisiji pomagale pri obravnavi več tisoč pritožb na leto, ki jih vložijo državljani in podjetja v zvezi s kršitvami prava EU s strani nacionalnih organov. Orodje naj bi pomagalo pri iskanju ustreznih virov in informacij ter pripravi odgovorov z generativno umetno inteligenco. Komisija je poudarila, da bodo osebe, ki obravnavajo zadeve, ohranile popoln nadzor nad osnutki odgovorov pritožnikom.

Predstavniki Komisije so poudarili, da naj bi sistemi umetne inteligence Komisije podpirali nosilce odločanja, ne pa jih nadomeščali.

Čeprav Komisija še vedno razmišlja o tveganjih, ki jih predstavljajo umetnointeligenčni sistemi, vključno s tveganji za temeljno pravico do dobrega upravljanja, se je zavezala, da bo ta tveganja preprečila z:

• upoštevanje ustreznih zakonov in pravil, vključno z aktom o umetni inteligenci in zakoni o varstvu podatkov, ter oblikovanje novih notranjih smernic;
• izvajanje tehničnih rešitev za zagotovitev enake obravnave in nediskriminacije pri uporabi umetne inteligence;
• opredelitev standardnih postopkov za nadzor umetne inteligence;
• oblikovanje orodij umetne inteligence v podporo objektivnemu in nepristranskemu odločanju;
• vzpostavitev mehanizmov, ki zagotavljajo preglednost in razložljivost umetne inteligence, vključno z mehanizmom za obravnavanje poizvedb in povratnih informacij v zvezi z orodji umetne inteligence;
• usposabljanje osebja o uporabi teh orodij ter ozaveščanje o njihovih zmogljivostih in omejitvah.

Dobra upravna praksa pri uporabi umetne inteligence

Preglednost in sodelovanje javnosti pri odločitvah Komisije o razvoju in uvajanju umetnointeligenčnih sistemov

Preglednost je ključna za spodbujanje zaupanja javnosti, da bo uprava EU odgovorno uporabljala umetno inteligenco in bo še naprej odgovorna za svoje odločitve, sprejete na podlagi prispevka umetne inteligence. V zvezi s tem pozdravlja dejstvo, da je Komisija proaktivno objavila sporočilo „AI@EC“, v katerem je opredelila svoj pristop k razvoju in uporabi umetne inteligence. Zlasti je pohvalno, da je Komisija navedla umetnointeligenčne sisteme, ki jih že uporablja, sisteme, ki jih razvija in jih namerava razviti, ter da je objavila podrobnejše informacije o teh sistemih. Varuhinja človekovih pravic spodbuja Komisijo, naj redno posodablja to sporočilo, da bi ohranila visoko raven proaktivne preglednosti na tem področju. Komisija bi lahko razmislila tudi o tem, da bi dala na voljo register svojih umetnointeligenčnih sistemov [14].

Komisija je navedla, da ji ni treba izvesti „zunanjih posvetovanj“ v zvezi s svojim odločanjem o tem, kako uporablja umetno inteligenco. Varuhinja človekovih pravic to stališče razume v sedanjih razmerah, v katerih orodja umetne inteligence, ki jih je predvidela Komisija, ne vodijo do „popolne avtomatizacije“ ali morda celo „pomembne avtomatizacije“ njenih postopkov odločanja. Komisija je poudarila, da bodo orodja, ki jih predvideva, podpirala le njeno osebje.

Vendar lahko orodja umetne inteligence, obravnavana v okviru te strateške pobude, kot sta upravljanje zadev v zvezi s konkurenco ali CHAI, glede na svoje funkcije dejansko „polavtomatizirajo“odločanje Komisije na področju konkurenčnega prava ali obravnavanja pritožb zaradi kršitev, kar pomeni, da lahko vplivajo na odločitve, ki jih sprejmejo osebe, ki obravnavajo zadeve, ali nosilci odločanja. Akt o umetni inteligenci priznava, da lahko nekateri umetnointeligenčni sistemi „bistveno vplivajo“ na izid odločanja.[15] Ker je umetna inteligenca tehnologija, ki se hitro razvija, je mogoče, da si bo Komisija v prihodnosti prizadevala uvesti druga močna orodja umetne inteligence, ki bodo vplivala na druge postopke odločanja. Možno je, da vpliva umetne inteligence ni mogoče v celoti obravnavati s človeškim nadzorom, saj ni gotovo, ali bo človeški nadzor v teh razmerah sploh kdaj celovit. Od ljudi, odgovornih za spremljanje sistemov, ni mogoče pričakovati, da bodo v celoti ponovili postopek sklepanja, ki ga je umetna inteligenca že izvedla, in zagotovili njegovo pravilnost, saj bi izgubili kakršno koli povečanje učinkovitosti.

V zvezi s tem varuhinja človekovih pravic spodbuja Komisijo, naj nadalje razmisli o tem, kako zagotoviti preglednost močne umetne inteligence, ki jo bo morda nameravala uporabiti v prihodnosti, vključno s tem, katere informacije daje na voljo javnosti. Varuhinja človekovih pravic meni, da Komisija tudi ne bi smela izključiti možnosti, da bo v prihodnosti morda treba izvesti neko obliko javnega posvetovanja o njenem odločanju, preden projekti Komisije dosežejo polno zrelost. Javnost bi morala imeti besedo pri tem, ali uprava EU lahko uvede in bi morala uvesti močna orodja umetne inteligence, ki bodo vplivala na posebne postopke odločanja. Javna razprava o teh zadevah je lahko tudi ključna za opredelitev in reševanje morebitnih vprašanj.

Komisija bi morala upoštevati tudi omejitve svoje notranje avtonomije pri uporabi umetne inteligence pri odločanju, obravnavi pritožb ali drugih oblikah interakcije z javnostjo. Uvedba močnejših umetnointeligenčnih sistemov, ki lahko „bistveno vplivajo“na rezultate odločanja, lahko pomeni prenos pooblastil na avtonomne umetnointeligenčne sisteme. V skladu s sodno prakso EU lahko institucije EU na druge subjekte prenesejo le tehnične ocene ali, kot je navedlo Sodišče, „jasno opredeljena izvršilna pooblastila, katerih izvajanje je lahko [...] predmet strogega nadzora glede na objektivna merila, ki jih določi organ, ki prenese pooblastila“. „Pooblastila za odločanje po prostem preudarku, ki vključuje široko diskrecijsko pravico“, kar pomeni sprejemanje političnih odločitev, ni mogoče prenesti.[16] Tehnična pooblastila, ki jih institucije EU prenesejo na druge subjekte, morajo biti natančno opredeljena v zakonodajnih določbah in biti predmet učinkovitega nadzora.[17] Komisija ter druge institucije in organi EU bi morali preučiti, kako lahko te omejitve in sprejemljive oblike prenosa pooblastil vplivajo na njihovo uporabo močnejših umetnointeligenčnih sistemov, ki podpirajo njihovo odločanje ali oblikovanje politik, glede na avtonomnost, tj. ne povsem predvidljivo in razložljivo delovanje takih sistemov.[18] Zlasti bi morali preučiti, ali so naloge, prenesene na umetno inteligenco, dejansko tehnične, „jasno opredeljene“in „podvržene strogemu pregledu glede na objektivna merila“.

Poleg tega morajo v skladu z aktom o umetni inteligenci javni organi in nekateri drugi organi, ki izvajajo javne naloge, pred začetkom uporabe umetnointeligenčnih sistemov velikega tveganja izvesti „oceno učinka na temeljne pravice“. Urad za umetno inteligenco, ki je del Komisije, naj bi pripravil predlogo ali vprašalnik za to oceno učinka.[19] Ta ocena mora zajemati tudi temeljno pravico do dobrega upravljanja.[20] Čeprav se ta zahteva uporablja le za sisteme velikega tveganja, bi morala Komisija razmisliti o njeni širši uporabi za vse sisteme umetne inteligence, ki jih bo v prihodnosti uvedla v podporo obravnavanju pritožb ali odločanju, ki vpliva na javnost.[21] Postopek ocene učinka bi moral biti pregleden, Komisija pa bi morala razmisliti tudi o posvetovanju z deležniki ali javnem posvetovanju, kar bi lahko pomagalo zagotoviti zaupanje javnosti, da bo umetno inteligenco uporabljala pregledno in ob polnem spoštovanju temeljnih pravic.[22]

Akt o umetni inteligenci in načela dobrega upravljanja

Varuhinja človekovih pravic pozdravlja ukrepe, ki jih je Komisija sprejela za zagotovitev, da je njena uporaba umetne inteligence skladna z aktom o umetni inteligenci, zlasti z uvedbo notranjih smernic o prepovedanih praksah umetne inteligence, vključno z vprašalnikom, razdeljenim med službe Komisije, in notranjimi smernicami za opredelitev sistemov z visokim tveganjem, ki jih Komisija še pripravlja. Varuhinja človekovih pravic meni, da bodo zlasti slednje smernice ključne za izvajanje akta o umetni inteligenci v Komisiji, saj se večina vsebinskih zahtev iz akta o umetni inteligenci uporablja za „sisteme z visokim tveganjem“[23].

Hkrati ugotavlja, da zahteve akta o umetni inteligenci v zvezi z razvojem in uvajanjem umetnointeligenčnih sistemov velikega tveganja večinoma ustrezajo splošnim načelom dobrega upravljanja, ki jih mora uprava EU spoštovati pri uporabi vseh umetnointeligenčnih sistemov, ne le tistih, ki se v skladu z aktom o umetni inteligenci štejejo za sisteme velikega tveganja, in uveljavljajo ta načela.

Zahteve iz akta o umetni inteligenci (za sisteme velikega tveganja)[24]	Načela dobrega upravljanja
vzdrževati rešitve za obvladovanje tveganja za umetnointeligenčne sisteme velikega tveganja priprava in posodabljanje tehnične dokumentacije v zvezi s temi sistemi - omogočiti beleženje pomembnih dogodkov med delovanjem sistemov (prek dnevnikov) zagotavljanje kibernetske varnosti	- skrbna, skrbna in previdna [25]
– učenje umetnointeligenčnih sistemov velikega tveganja na ustreznih, reprezentativnih, brez napak in predsodkov – zagotoviti, da so izhodni podatki umetnointeligenčnih sistemov točni in zanesljivi	sprejemanje odločitev na podlagi popolnih, točnih, zanesljivih in doslednih dokazov [26]
- zagotoviti, da lahko ljudje razlagajo izhodne podatke umetnointeligenčnih sistemov	- navesti razloge za vse odločitve [27]
– zagotoviti, da so izhodni podatki umetnointeligenčnih sistemov pod človeškim nadzorom	- prevzeti polno odgovornost za odločitve (brez enostranskega in neomejenega prenosa odločanja na tretje osebe [28])

Navedene zahteve in splošna načela ustrezajo tudi splošnim načelom etične umetne inteligence, kot jih je razvila strokovna skupina na visoki ravni za umetno inteligenco, na katero se je Komisija v svojem sporočilu „AI@EC“ sklicevala kot na podlago za svoje prihodnje operativne smernice. Ta etična načela vključujejo odgovornost, tehnično trdnost, preglednost in človeški nadzor.[29] Poleg tega ustrezajo tudi zahtevam iz Okvirne konvencije Sveta Evrope o umetni inteligenci in človekovih pravicah, demokraciji in pravni državi [30], ki jo je Komisija že podpisala.[31]

Komisija ter druge institucije in organi EU bi morali vedno upoštevati ta splošna načela dobrega upravljanja, saj pojem umetnointeligenčnih sistemov velikega tveganja v aktu o umetni inteligenci zajema le izbrane umetnointeligenčne sisteme, ki jih je razvila in uvedla uprava EU, ne pa privzeto vseh njenih umetnointeligenčnih sistemov. V skladu z aktom o umetni inteligenci se lahko umetnointeligenčni sistemi, ki jih uporabljajo javne uprave, štejejo za sisteme velikega tveganja, če njihova uporaba ustreza izčrpnemu seznamu iz Priloge III k aktu o umetni inteligenci.[32] V Prilogi III so navedeni sistemi, ki se med drugim uporabljajo na področjih izobraževanja, zaposlovanja, bistvenih zasebnih in javnih storitev in koristi, preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, migracij in azila, pravosodja (sodni organi) in demokratičnih procesov (volilni organi).[33] V te kategorije lahko spadajo samo nekateri umetnointeligenčni sistemi, ki jih uporablja uprava EU. V vsakem primeru se sistem, ki „ne predstavlja znatnega tveganja škode za zdravje, varnost ali temeljne pravice fizičnih oseb, vključno s tem, da ne vpliva bistveno na izid odločanja“, ne šteje za sistem z visokim tveganjem. To zlasti velja, če je sistem „namenjen izvajanju ozke postopkovne naloge“ali „pripravljalne naloge“.[34] Samoocena razvijalca sistema in subjekta, ki uvaja sistem, je zato v praksi ključnega pomena.

Kar zadeva uporabo umetne inteligence v upravi EU, se lahko izkaže, da je uporaba številnih [35] konkretnih zahtev akta o umetni inteligenci omejena tudi na druge načine:

· številne zahteve se nanašajo le na razvoj sistemov in ne na njihovo uporabo;

· zahteve se bodo načeloma uporabljale šele od leta 2030;[36] in

· posebni sistemi, ki se uporabljajo v postopkih odločanja, morda ne spadajo v opredelitev umetne inteligence iz akta o umetni inteligenci [37].

Komisija še ni ocenila, kateri umetnointeligenčni sistemi, ki jih uporablja (vključno s tistimi, obravnavanimi v okviru te strateške pobude), spadajo v kategorijo velikega tveganja in ali bodo zato morali izpolnjevati večino zgoraj navedenih zahtev iz akta o umetni inteligenci, razen zahteve po preglednosti (ozaveščanje ljudi, ko komunicirajo z umetno inteligenco), za katero se zdi, da se uporablja široko [38].

Varuhinja človekovih pravic meni, da mora Komisija pri uporabi umetnointeligenčnih sistemov za podporo – zlasti – odločanju, postopkom obravnavanja pritožb in drugim interakcijam z javnostjo spoštovati načela dobrega upravljanja, ne glede na to, ali se zahteve akta o umetni inteligenci uporabljajo za te sisteme. Varuhinja človekovih pravic nadalje spodbuja Komisijo, naj razmisli o tem, kako zagotoviti praktičen učinek načel dobrega upravljanja pri razvoju in uporabi umetnointeligenčnih sistemov. Komisija ter druge institucije in organi EU bi morali upoštevati, da lahko konkretne zahteve akta o umetni inteligenci uveljavljajo splošna načela dobrega upravljanja in jih je zato morda treba uporabljati ne glede na to, ali se umetnointeligenčni sistem v skladu z aktom o umetni inteligenci šteje za sistem velikega tveganja.

Kako zagotoviti dobro upravno prakso pri uporabi umetne inteligence – ugotovitve varuha človekovih pravic

1. „Preverjanje skladnosti“ umetnointeligenčnih sistemov v zvezi z načeli dobrega upravljanja

Komisija je navedla, da njeni postopki za razvoj ali nakup vseh informacijskih sistemov, vključno z umetnointeligenčnimi sistemi, vključujejo „preverjanje skladnosti“ z vsemi pravnimi zahtevami, vključno z aktom o umetni inteligenci. Varuhinja človekovih pravic meni, da mora to preverjanje zajemati tudi načela dobrega upravljanja, zlasti če se konkretne zahteve akta o umetni inteligenci ne uporabljajo. Uprava EU mora zagotoviti, da vsi umetnointeligenčni sistemi, ki podpirajo njeno delo in odločanje, dajejo točne in poštene rezultate, da je njihova uporaba sledljiva in da jih javnost lahko pojasni ali vsaj razume ter da upravi omogočajo, da navede razloge za odločitve, izvaja učinkovit človeški nadzor in prevzame polno odgovornost za vse odločitve.

2. Zagotavljanje učinkovitega nadzora nad umetno inteligenco

Uprava EU bi morala zagotoviti, da se odločanje ne prenese na umetnointeligenčne sisteme, temveč da se ti sistemi uporabljajo kot orodja za podporo postopkom odločanja. Umetnointeligenčni sistemi imajo lahko pomembno vlogo pri raziskovanju in pripravi osnutkov, vendar morajo nosilci odločanja ostati v celoti odgovorni za končne odločitve. To pomeni, da nosilci odločanja ne morejo zgolj potrditi predlogov umetnointeligenčnih sistemov, temveč jih morajo smiselno preveriti.

Komisija je v okviru te strateške pobude poudarila, da nobeden od umetnointeligenčnih sistemov, ki jih uporablja ali jih namerava uporabljati, ne bo nadomestil človeških nosilcev odločanja. Osebje Komisije bo na koncu odgovorno za točnost vseh rezultatov, na primer v primeru orodja umetne inteligence, ki se uporablja za obravnavo pritožb zaradi kršitev.

Vendar zgolj omogočanje nosilcem odločanja, kot so posamezni vodje primerov, da odstopajo od predlogov umetnointeligenčnih sistemov, morda ne bo zadostovalo za zagotovitev učinkovitega človeškega nadzora. V skladu z aktom o umetni inteligenci bi morali subjekti, ki uporabljajo sisteme velikega tveganja, „človeški nadzor dodeliti fizičnim osebam, ki imajo potrebne kompetence, usposabljanje in pooblastila ter potrebno podporo“.[39] Zato je treba javne uslužbence EU, odgovorne za človeški nadzor nad umetno inteligenco, proaktivno omogočiti in spodbujati k izvajanju tega nadzora. Ustrezni člani osebja morajo biti deležni ustreznega usposabljanja o tveganjih in napakah, ki jih povzročajo umetnointeligenčni sistemi, ter o tem, kako kritično preučiti in preveriti izhodne podatke takih sistemov. Poleg tega bi bilo treba v notranjih delovnih postopkih pojasniti, da se osebje, odgovorno za nadzor umetnointeligenčnih sistemov, spodbuja, naj svojo pobudo uporabi za odstopanje od predlogov umetnointeligenčnega sistema v posebnih primerih. Takšen učinkovit človeški nadzor je ključnega pomena ne le za odkrivanje napak, temveč tudi za zagotovitev, da se upravna praksa lahko spremeni in izboljša.

3. Popolna preglednost za javnost

Popolna preglednost je ključna za spodbujanje zaupanja javnosti, da bo uprava EU odgovorno uporabljala umetno inteligenco. Za sisteme, ki se uporabljajo za pripravo odločitev in odgovorov javnosti, kot je CHAI, bi morala Komisija preučiti, ali bi morala naslovnike proaktivno obvestiti, da so bili odgovori pripravljeni s pomočjo umetne inteligence, in jih obvestiti o naravi te pomoči (npr. ali je bila povezana z raziskavami in/ali pripravo osnutkov). Ta praksa bi ustrezala zahtevam iz akta o umetni inteligenci za sisteme velikega tveganja, ki določajo „pravico, da se od uvajalca pridobijo jasna in smiselna pojasnila o vlogi umetnointeligenčnega sistema v postopku odločanja“[40], in obveznost subjektov, ki uvajajo umetnointeligenčne sisteme, da „obvestijo fizične osebe, da zanje velja uporaba umetnointeligenčnega sistema velikega tveganja“[41].

4. Prostovoljni kodeks ravnanja za uporabo umetnointeligenčnih sistemov

Komisija bi morala razmisliti o sprejetju „kodeksa ravnanja za prostovoljno uporabo posebnih zahtev“, kot je navedeno v aktu o umetni inteligenci, za svoje umetnointeligenčne sisteme, ki se ne štejejo za sisteme velikega tveganja. Tak kodeks bi lahko bil tudi del „operativnih smernic za razvoj in uporabo zakonitih, varnih in zaupanja vrednih umetnointeligenčnih sistemov“, ki jih namerava sprejeti Komisija [42].

V skladu z aktom o umetni inteligenci mora Urad za umetno inteligenco, ki je del Komisije, spodbujati in olajšati pripravo takih kodeksov ravnanja, namenjenih spodbujanju prostovoljne uporabe nekaterih ali vseh zahtev iz akta o umetni inteligenci za sisteme velikega tveganja za umetnointeligenčne sisteme, ki se ne štejejo za sisteme velikega tveganja [43]. Take kodekse ravnanja lahko pripravijo subjekti, ki uvajajo umetnointeligenčne sisteme, kot je Komisija sama, v sodelovanju z zainteresiranimi deležniki, civilno družbo in akademskimi krogi. Zajemajo lahko kategorijo umetnointeligenčnih sistemov, pri čemer se upošteva podobnost njihovega predvidenega namena.

V zvezi s tem bi lahko Komisija proučila, ali bi morali umetnointeligenčni sistemi, ki jih uporablja za pomoč pri interakciji z javnostjo, postopkih odločanja ali obravnavi pritožb, upoštevati nekatere ali vse zahteve iz akta o umetni inteligenci, kot so: imajo sisteme za obvladovanje tveganja, tehnično dokumentacijo in dnevnike; usposabljanje sistemov o ustreznih podatkih in zagotavljanje, da v posameznih primerih upoštevajo vse ustrezne informacije; zagotavljanje, da lahko uporabniki pojasnijo in/ali razložijo rezultate sistemov ter da so ti pod človeškim nadzorom. Kot je bilo že omenjeno, kadar umetnointeligenčne sisteme uporabljajo javne uprave, se zdi, da te zahteve ustrezajo načelom dobrega upravljanja in jih uveljavljajo.

Sklepna ugotovitev

Ta pobuda je varuhinji človekovih pravic omogočila vpogled v uporabo umetne inteligence s strani Komisije in njeno skladnost z načeli dobrega upravljanja. Prepričana je, da bodo ugotovitve iz tega obvestila pomagale zagotoviti, da bo Komisija pri razvoju in uporabi umetne inteligence spoštovala načela dobrega upravljanja [44].

Na tej podlagi varuhinja človekovih pravic zaključuje to strateško pobudo. Komisiji se zahvaljuje za posredovane informacije in jo poziva, naj upošteva zgoraj navedene pripombe. Veseli se prihodnje izmenjave mnenj s Komisijo o teh zadevah.

Emily O'Reilly
evropska varuhinja človekovih pravic

Strasbourg, 6. decembra 2024

 

[1] Glej primer finskega pravosodnega kanclerja, https://oikeuskansleri.fi/en/-/automated-decision-in-kela.

[2] Glej primer nizozemskega nacionalnega varuha človekovih pravic, https://www.nationaleombudsman.nl/affaire-kinderopvangtoeslagen-overzicht-nationale-ombudsman.

[3] Glej pripombe estonskega pravosodnega kanclerja na konferenci evropske mreže varuhov človekovih pravic leta 2023, https://www.ombudsman.europa.eu/en/multimedia/videos/en/4413.

[4] https://www.ombudsman.europa.eu/en/opening-summary/en/183503.

[5] Sporočilo o umetni inteligenci v Evropski komisiji (AI@EC), https://commission.europa.eu/publications/artificial-intelligence-european-commission-aiec-communication_sl.

[6] Sporočilo Evropske komisije o umetni inteligenci (AI@EC), str. 2.

[7] Prav tam, str. 4.

[8] Glej prilogo k uvodnemu dopisu, https://www.ombudsman.europa.eu/en/opening-summary/en/183503.

[9] Uredba 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci (UL L 2024/1689, https://eur-lex.europa.eu/eli/reg/2024/1689/oj).

[10] Uredba 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci (UL L 2024/1689, https://eur-lex.europa.eu/eli/reg/2024/1689/oj).

[11] https://www.ombudsman.europa.eu/en/doc/correspondence/en/191562.

[12] https://www.ombudsman.europa.eu/en/doc/inspection-report/en/195011.

[13] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[14] Register je naveden v sporočilu „AI@EC“ na str. 5. Podatkovna zbirka EU o umetnointeligenčnih sistemih, ki jo zahteva akt o umetni inteligenci, bo vključevala predvsem sisteme velikega tveganja. Glej člen 49(3) akta o umetni inteligenci.

[15] Člen 6(3) akta o umetni inteligenci.

[16] Sodba Sodišča v zadevi C-270/12, Združeno kraljestvo proti Parlamentu in Svetu, https://curia.europa.eu/juris/document/document.jsf?text=&docid=146621&pageIndex=0&doclang=en&mode=lst&dir=&occ=first&part=1&cid=7732888, točke 41–42.

[17] Prav tam, točka 53.

[18] Izkušnje drugih članov evropske mreže varuhov človekovih pravic, zlasti finskega pravosodnega kanclerja, kažejo, da bo zakonodajalec morda moral določiti pogoje, pod katerimi se lahko postopki odločanja v upravi avtomatizirajo z uporabo umetne inteligence, https://oikeuskansleri.fi/en/-/automated-decision-in-kela. Glej člen 298 PDEU.

[19] Metodologijo ocene učinka je razvil tudi Svet Evrope. Glej https://rm.coe.int/cai-bu-2022-03-outline-of-huderia-risk-and-impact-assessment-methodolo/1680a81e14.

[20] Uvodna izjava 48 akta o umetni inteligenci.

[21] Takšno oceno učinka priporočajo tudi akademiki. Glej https://www.europeanlawinstitute.eu/fileadmin/user_upload/p_eli/Publications/ELI_Model_Rules_on_Impact_Assessment_of_ADMSs_Used_by_Public_Administration.pdf.

[22] Glej zahtevo po javnem posvetovanju v členu 19 Konvencije Sveta Evrope o umetni inteligenci, https://rm.coe.int/1680afae3c.

[23] Poglavje III akta o umetni inteligenci.

[24] Členi 9–15 akta o umetni inteligenci.

[25] Sodba Sodišča z dne 16. decembra 2008 v zadevi C-47/07 P, Masdar proti Komisiji, https://curia.europa.eu/juris/document/document.jsf?text=&docid=76076&pageIndex=0&doclang=en&mode=lst&dir=&occ=first&part=1&cid=7730313, točki 92 in 93.

[26] Sodba z dne 15. februarja 2005, zadeva C-12/03 P, Komisija proti Tetra Laval, https://curia.europa.eu/juris/document/document.jsf?text=%2522dejansko%2Baccurate%252C%2Breliable%2522&docid=49926&pageIndex=0&doclang=en&mode=req&dir=&occ=first&part=1&cid=7731828#ctx1, točka 39.

[27] Člen 41(2), tretja alinea, Listine o temeljnih pravicah.

[28] Zadeva C-270/12, Združeno kraljestvo proti Parlamentu in Svetu, točki 41 in 42.

[29] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai, str. 14.

[30] Glej zlasti člen 8 – Preglednost in nadzor, člen 9 – Odgovornost in odgovornost ter člen 12 – Zanesljivost, https://www.coe.int/en/web/artificial-intelligence/the-frame-convention-on-artificial-intelligence.

[31] https://www.eeas.europa.eu/delegations/council-europe/european-commission-signs-historic-council-europe-frame-convention-artificial-intelligence-and_en?s=51.

[32] Glej tudi člen 6(1) akta o umetni inteligenci.

[33] Člen 6(2) akta o umetni inteligenci.

[34] Člen 6(3) akta o umetni inteligenci.

[35] V skladu s členom 50 akta o umetni inteligenci se zahteva po preglednosti, ki se razume kot obveščanje fizičnih oseb, kadar komunicirajo z umetno inteligenco, uporablja za vse umetnointeligenčne sisteme.

[36] Člen 111 akta o umetni inteligenci.

[37] Opredelitev umetne inteligence ne zajema sistemov,„ki temeljijo na pravilih, ki jih za samodejno izvajanje operacij opredelijo izključno fizične osebe“. Uvodna izjava 12 akta o umetni inteligenci.

[38] Člen 51 akta o umetni inteligenci.

[39] Člen 26(2) akta o umetni inteligenci.

[40] Člen 86(1) akta o umetni inteligenci.

[41] Člen 26(11) akta o umetni inteligenci.

[42] Kot je navedeno v njenem sporočilu „AI@EC“ na str. 4.

[43] Člen 95 akta o umetni inteligenci.

[44] Glede na nadzorne naloge in naloge zagotavljanja skladnosti ENVP v skladu z aktom o umetni inteligenci se ugotovitve varuhinje človekovih pravic, predstavljene v tem dopisu, osredotočajo na to, kako lahko institucije in organi EU zagotovijo spoštovanje načel dobrega upravljanja pri uporabi umetne inteligence.