Zadeva: SI/3/2021/VS

Naslov zadeve: Umetna inteligenca in uprava EU

Datum: Sreda, 29. september 2021

Seja na daljavo v Bruslju

Navzoči:

Evropska komisija

vodja enote, GD CNECT A2

vodja sektorja za politiko umetne inteligence, GD CNECT, A2

Uradnik za pravne zadeve in politiko, GD CNECT A2

pravni in politični pomočnik, GD CNECT A2

pravnik, GD CNECT

vodja enote, DIGIT

vodja ekipe – znanstvenik za podatke, DIGIT

vodja programa – politike EU, DIGIT

predstavnik GD JUST

predstavnik GD za migracije in notranje zadeve

– Načrtovanje in usmerjanje politik, GD HR

višji strokovnjak – koordinator za medinstitucionalne odnose – odnosi z evropskim varuhom človekovih pravic, generalni sekretar

– referentka za pravne zadeve in politiko, generalni sekretar

upravni uslužbenec, SG.DPO

svetovalec/svetovalka, generalni sekretar/generalna sekretarka

Evropski varuh človekovih pravic

Rosita Hickey, direktorica za preiskave

Peter Dyrberg, strokovnjak za poizvedbe in postopke

Valentina Stoeva, preiskovalka

Nicholas Hernanz, uradnik za preiskave

Olatz Fínez Marañón, pripravnik za poizvedbe

UVOD

Direktorica za preiskave pri evropski varuhinji človekovih pravic Rosita Hickey je srečanje začela tako, da je pozdravila udeležence in se zahvalila Evropski komisiji, da je sprejela povabilo na srečanje. Cilj sestanka je bil razpravljati o tem, kako Komisija predvideva, da bi lahko nedavno predlagana harmonizirana pravila o umetni inteligenci delovala, zlasti v zvezi z upravo EU in javnimi upravami na splošno. Omenila je pomen in zanimanje te teme za evropskega varuha človekovih pravic in Evropsko mrežo varuhov človekovih pravic, zlasti glede na to, da so nacionalni varuhi človekovih pravic obravnavali pritožbe na tem področju. Dodala je, da je uporaba umetne inteligence v javnih upravah vprašanje, ki vzbuja pomisleke glede preglednosti in varstva temeljnih pravic.

Sestanka so se udeležili predstavniki različnih generalnih direktoratov Evropske komisije, vključno z generalnimi direktorati CNECT, DIGIT, JUST, HOME, SG in HR.

Ga. Hickey je predala besedo Komisiji, ki je predstavila svoj predlog akta o umetni inteligenci.

PREDSTAVITEV PREDLOGA ZA Akt o umetni inteligenci (AIA)

Evropska komisija je aprila 2021 sprejela predlog za prvo celovito uredbo o umetni inteligenci. To je bil rezultat večletnih pripravljalnih pobud: Komisija je aprila 2018 predstavila evropsko strategijo za umetno inteligenco, decembra 2018 predstavila usklajeni načrt za umetno inteligenco (pripravljen z državami članicami) in kmalu zatem imenovala strokovno skupino na visoki ravni za umetno inteligenco, ki je pripravila etične smernice za zaupanja vredno umetno inteligenco. Objavi bele knjige o umetni inteligenci februarja 2020 je sledilo javno posvetovanje, v katerem so različni deležniki predložili več kot 1 200 odgovorov.

Cilj predloga akta o umetni inteligenci je določiti enotna pravila za umetnointeligenčne sisteme na trgu EU. Določa pravila, ki se uporabljajo za celoten življenjski cikel umetne inteligence, vključno z dajanjem na trg, v uporabo in uporabo umetnointeligenčnih sistemov v Uniji. Ima dva glavna cilja:

1. obravnavati tveganja za varnost in temeljne pravice

2. vzpostaviti enotni trg za zaupanja vredno umetno inteligenco v EU

Cilj predloga akta o umetni inteligenci je zagotoviti inovacijam prijazen in sorazmeren okvir, ki temelji na tveganju, s katerim naj bi se izognili pretiranemu urejanju, hkrati pa zagotovili pravno varnost za ponudnike in uporabnike ter spodbudili zaupanje v trg. Ustvaril bi tudi enake konkurenčne pogoje za ključne akterje v vrednostni verigi umetne inteligence ne glede na njihov izvor (iz EU ali tretjih držav).

Kar zadeva področje uporabe, bi se uredba uporabljala za:

• javni in zasebni ponudniki, ne glede na njihov izvor, ki dajejo na trg ali v uporabo umetnointeligenčne sisteme v Uniji;
• uporabniki umetnointeligenčnih sistemov, ki se nahajajo v Uniji;
• drugi ponudniki in uporabniki, kadar se izhodni podatki, ki jih ustvari umetnointeligenčni sistem, uporabljajo v Uniji.

Uredba zajema tudi institucije, organe, urade in agencije EU, kadar delujejo kot ponudniki ali uporabniki umetnointeligenčnih sistemov. Vendar se uredba ne bi uporabljala za nacionalno varnost (ki je načeloma izključena s področja uporabe prava EU), umetno inteligenco za izključno vojaške namene (za umetnointeligenčne sisteme z dvojno rabo bi se uporabljala uredba) ter javne organe in mednarodne organizacije v tretjih državah, ki delujejo na podlagi sporazumov o sodelovanju na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali pravosodnem sodelovanju z EU ali državo članico.

Predlog opredeljuje umetnointeligenčne sisteme na podlagi opredelitve iz priporočila Sveta OECD o umetni inteligenci ^[1] in upošteva dva kumulativna elementa:

• Funkcionalna opredelitev: umetna inteligenca je programska oprema, pri kateri človek zagotavlja sklop ciljev (ne pa izrecno pravil za doseganje teh ciljev), ki ustvarja izhodne podatke, kot so vsebina, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim je v stiku; seznam tehnik in pristopov za razvoj programske opreme (Priloga I), razvrščenih po pristopih učenja, sklepanja in modeliranja.  Komisija lahko ta seznam sčasoma posodobi, da bi upoštevala tehnološki in tržni razvoj.

Predlog akta o umetni inteligenci uporablja pristop, ki temelji na tveganju, kar pomeni, da je regulativno posredovanje potrebno le, kadar je to potrebno glede na stopnjo tveganja za varnost in temeljne pravice, ki ga bo verjetno predstavljal umetnointeligenčni sistem. V predlogu so umetnointeligenčni sistemi razvrščeni v štiri kategorije:

• nesprejemljivo tveganje (štiri prepovedane prakse umetne inteligence: škodljiva subliminalna manipulacija; izkoriščanje ranljivosti nekaterih ljudi; socialno točkovanje s strani javnih organov; in biometrična identifikacija na daljavo v realnem času za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj v javno dostopnih prostorih ob upoštevanju nekaterih strogo opredeljenih izjem),
• umetnointeligenčni sistemi velikega tveganja (dovoljeni, vendar morajo izpolnjevati zahteve),
• umetna inteligenca, ki predstavlja nekatera tveganja, povezana s preglednostjo (dovoljena v skladu z obveznostmi obveščanja), in
• Umetna inteligenca predstavlja minimalno tveganje ali ga sploh ne predstavlja (dovoljena je brez dodatnih omejitev, vendar je možna skladnost s prostovoljnimi kodeksi ravnanja).

Kategorija velikega tveganja, ki zajema osrednji del zakonodajnega predloga, vključuje dve glavni kategoriji umetnointeligenčnih sistemov:

1. Umetnointeligenčni sistemi, namenjeni uporabi kot varnostne komponente nekaterih reguliranih proizvodov (Priloga 2)

2. Nekateri samostojni umetnointeligenčni sistemi, namenjeni uporabi na vnaprej določenih področjih (primeri posebne uporabe iz Priloge 3), vključno z nekaterimi sistemi, med drugim na naslednjih področjih (ki so najpomembnejša za varuhe človekovih pravic):

• biometrična identifikacija in kategorizacija na daljavo;
• zaposlovanje in upravljanje delavcev, dostop do samozaposlitve;
• dostop do osnovnih zasebnih storitev ter javnih storitev in ugodnosti ter njihovo uživanje;
• kazenski pregon;
• upravljanje migracij, azila in nadzora meja;
• delovanje pravosodja in demokratičnih procesov.

Predlog akta o umetni inteligenci podrobno določa zahteve za umetnointeligenčne sisteme velikega tveganja, in sicer:

• uporaba visokokakovostnih učnih, validacijskih in testnih podatkov ter postopkov upravljanja podatkov,
• pripravo dokumentacije za sistemske in projektne funkcije beleženja,
• zagotavljanje ustrezne stopnje preglednosti in obveščanje uporabnikov,
• omogočanje človeškega nadzora,
• zagotavljanje robustnosti, natančnosti in kibernetske varnosti.

Za zagotovitev skladnosti s temi zahtevami je večina obveznosti naložena ponudniku, pri čemer so manjše obveznosti uporabnikov namenjene zagotavljanju, da so umetnointeligenčni sistemi varni in skladni s temeljnimi pravicami v celotnem življenjskem ciklu.  

1. Obveznosti ponudnika:

• opravijo predhodno ugotavljanje skladnosti, da dokažejo skladnost z zahtevami glede umetne inteligence, preden se sistem lahko da na trg/v uporabo v EU (samoocena za umetnointeligenčne sisteme iz Priloge III k predlogu Komisije, razen za sisteme za biometrično identifikacijo na daljavo), in morebitno ponovno oceno sistema (v primeru bistvenih sprememb);
• vzpostavi in izvaja sistem vodenja kakovosti v svoji organizaciji;
• pripravo in posodabljanje tehnične dokumentacije;
• vodi dnevnike za spremljanje delovanja umetnointeligenčnega sistema velikega tveganja (če je za to pooblaščen z zakonom ali uporabnik);
• registrira samostojne umetnointeligenčne sisteme v javni podatkovni zbirki EU;
• namesti oznako CE in podpiše izjavo o skladnosti;
• izvaja spremljanje po dajanju na trg in sprejme korektivne ukrepe;
• poroča organom za nadzor trga o resnih incidentih in motnjah v delovanju, ki lahko pomenijo tveganje za temeljne pravice;
• sodeluje z organi za nadzor trga.

2. Obveznosti uporabnikov:

• upravlja umetnointeligenčne sisteme v skladu z navodili za uporabo;
• zagotoviti človeški nadzor pri uporabi umetnointeligenčnih sistemov (ki so bistveni za javne organe);
• spremljanje delovanja za morebitna tveganja;
• obvesti ponudnika ali distributerja o vsakem resnem incidentu ali okvari;
• uporabi informacije, ki jih je ponudnik navedel za oceno učinka v zvezi z varstvom podatkov (če je ustrezno);
• še naprej veljajo obstoječe pravne obveznosti za uporabnike.

Da bi se obravnavala zlasti nepreglednost in zagotovila preglednost za širšo javnost, predlagani akt o umetni inteligenci vključuje določbe o:

1. preglednost in sledljivost umetnointeligenčnih sistemov velikega tveganja (členi 11-13)

2. pravice dostopa za pristojne nadzorne organe (člen 64)

3. preglednost za prizadete ljudi (ljudi je treba obvestiti, kadar uporabljajo nekatere umetnointeligenčne sisteme, tudi kadar niso razvrščeni kot sistemi velikega tveganja) (člen 52)

4. javni nadzor: Vseevropska javno dostopna podatkovna zbirka samostojne umetne inteligence velikega tveganja (člen 60).

V zvezi s tem, kako predlog obravnava tveganja diskriminacije in tveganja za druge temeljne pravice, je Komisija pojasnila, da bi predlog akta o umetni inteligenci olajšal izvajanje obstoječe zakonodaje EU in nacionalne zakonodaje o enakosti ter tako zmanjšal tveganje v primerih, ko bi lahko bili vključeni „umetnointeligenčni sistemi velikega tveganja“. V ta namen določa zahteve in ustrezne obveznosti za zagotovitev:  

1. izvajanje sistemov obvladovanja tveganj

2. visoka kakovost podatkovnih nizov

3. človeški nadzor

4. natančnost in robustnost

5. ukrepe, ki omogočajo sledenje in dokazovanje kršitev temeljnih pravic.

Struktura upravljanja akta temelji na sistemu, ki zajema nacionalno raven in raven EU. Nacionalna raven bi imela ključno vlogo pri izvrševanju prek nacionalnih organov za nadzor trga. Na ravni EU bi se izvajanje usklajevalo in informacije izmenjevale prek odbora EU za umetno inteligenco (Komisija bi delovala kot sekretariat odbora). Evropski nadzornik za varstvo podatkov (ENVP) bi bil organ za nadzor trga za institucije, urade, organe in agencije EU. Obstajala bi tudi strokovna skupina Komisije za tehnično in znanstveno svetovanje, v kateri bi bili zastopani vsi ustrezni deležniki (civilna družba, akademiki, podjetja itd.).

Naloge evropskega odbora za umetno inteligenco bi bile:

• olajšati dosledno uporabo pravnega okvira v državah članicah;
• prispeva k spremljanju trga;
• zbira in izmenjuje najboljše prakse;
• prispevanje k standardom/politiki umetne inteligence;
• svetovanje o vprašanjih umetne inteligence.

Predlog akta o umetni inteligenci vključuje nove mehanizme za sodelovanje in pooblastila javnih organov, odgovornih za nadzor temeljnih pravic (npr. organov za enakost, organov za varstvo podatkov, uradov varuhov človekovih pravic itd.):

• zahtevajo dostop do vse dokumentacije, ki se hrani v skladu s to uredbo, kadar je to potrebno za opravljanje njihovih nalog v okviru njihovega mandata;
• zahtevati skupno testiranje umetnointeligenčnih sistemov velikega tveganja, ki ga organizirajo organi za nadzor trga;
• da so obveščeni, kadar organi za nadzor trga sumijo, da umetnointeligenčni sistem predstavlja tveganje za temeljne pravice;
• da jih organi za nadzor trga obvestijo o prijavljenem nepravilnem delovanju umetnointeligenčnih sistemov velikega tveganja, ki pomeni kršitev obveznosti na področju temeljnih pravic v skladu z zakonodajo Unije ali nacionalno zakonodajo.

Komisija je predstavila pregled naslednjih korakov. O predlogu se zdaj pogajata Svet in Evropski parlament. Ko bo akt o umetni inteligenci sprejet, bo veljalo dveletno prehodno obdobje, po katerem bi se moral v celoti neposredno uporabljati in biti obvezen za gospodarske subjekte po dveletnem prehodnem obdobju po začetku njegove veljavnosti. Hkrati bi morali biti usklajeni standardi, ki so jih razvile evropske organizacije za standardizacijo (CEN/CENELEC, ETSI), pripravljeni in podpirati operaterje pri praktičnem izvajanju novih zahtev in postopkov ugotavljanja skladnosti.

VPRAŠANJA IN ODGOVORNOSTI

Skupina evropskega varuha človekovih pravic je zastavila vprašanje v zvezi z nalogami javnih organov pri nadzoru temeljnih pravic. Predstavniki Komisije so odgovorili, da lahko države članice imenujejo ustrezne organe za nadzor trga, ki so lahko tudi organi, ki izvajajo nadzor nad temeljnimi pravicami (Komisija je izrecno omenila organe za varstvo podatkov). Poleg tega bi lahko nacionalni javni organi ali telesa, ki nadzorujejo ali izvršujejo spoštovanje obveznosti na podlagi prava Unije o varstvu temeljnih pravic, zahtevali dostop do katere koli dokumentacije, pripravljene ali hranjene na podlagi akta o umetni inteligenci, ki bi jim omogočila, da v celoti izvajajo svoje naloge. Pojavile bi se tudi nove priložnosti za skupno testiranje umetnointeligenčnih sistemov in izmenjavo informacij z organi za nadzor trga.

Vsaka država članica bi morala določiti nadzorne organe za temeljne pravice in javno objaviti seznam organov. Prav tako bi jih bilo treba priglasiti Komisiji in vsem drugim državam članicam.

I. Delo institucij varuhov človekovih pravic in drugih nadzornih organov

1. V skupnosti institucij varuhov človekovih pravic lahko vprašanja, povezana z uporabo umetne inteligence, pomenijo izziv za njihovo preiskovalno zmogljivost in negativno vplivajo na zmožnost državljanov, da se pritožijo (npr. državljani se ne zavedajo, da se umetna inteligenca uporablja, zato tega vidika ne morejo opisati v svoji pritožbi). Šteje se tudi, da bi morali biti glede na izzive, ki jih prinaša uporaba umetne inteligence, različni nadzorni organi pripravljeni sodelovati in da bi bilo treba revidirati pravila, da bi olajšali to skupno delo.^[2] Ali so te izkušnje/ti izzivi na kakršen koli način prispevali k dosedanjemu razmišljanju Komisije?

Predstavniki Komisije so se strinjali, da obstajajo utemeljeni pomisleki glede uporabe umetne inteligence in njenega morebitnega negativnega vpliva na zmožnost državljanov, da se pritožijo. Komisija je navedla, da je to eden od temeljnih razlogov za ta zakon. Uredba bi morala v celoti opolnomočiti državljane, da uveljavljajo svoje pravice.

V skladu z aktom o umetni inteligenci bi lahko države članice urade varuha človekovih pravic opredelile kot nacionalne organe, ki nadzorujejo varstvo temeljnih pravic, in tako izkoristile pravice dostopa do dokumentacije ter nove mehanizme za sodelovanje z organi za nadzor trga. Komisija pozdravlja vse nadaljnje predloge glede izvajanja uredbe. Uredba vključuje različne vrste določb o preglednosti, npr. v zvezi z ljudmi, ki se soočajo z nekaterimi umetnointeligenčnimi sistemi, da bodo vedeli, kdaj komunicirajo z umetnointeligenčnim sistemom. Te obveznosti glede preglednosti dopolnjujejo obveznosti iz obstoječe zakonodaje, npr. zakonodaje o varstvu potrošnikov ali varstvu podatkov na ravni EU in nacionalni ravni.

2. Ali lahko Komisija navede nekaj primerov orodij, ki temeljijo na umetni inteligenci in jih nacionalne javne uprave trenutno uporabljajo ali načrtujejo ter bodo vplivala na državljane in bi lahko privedla do povečanja števila prejetih pritožb?

Nekatere nacionalne uprave uporabljajo umetno inteligenco, vključno s tehnikami, ki so bolj izpopolnjene. Zaradi splošne občutljivosti zadevnih primerov uporabe pogosto postanejo javno znani po preteku nekaj časa od začetka izvajanja. Glede na pomanjkanje javno dostopnih informacij tudi ni vedno popolnoma gotovo, ali je algoritem resnično umetnointeligenčni sistem ali tradicionalna programska oprema, pri čemer so ustvarjeni rezultati neposredna posledica pravil, ki jih je izrecno vnaprej določil človek.

Komisija je s tema dvema pridržkoma navedla tri ponazoritvene primere uporabe orodij, ki temeljijo na umetni inteligenci, v javnih upravah.  

Nizozemska

Nizozemsko ministrstvo za socialne zadeve in zaposlovanje je leta 2014 razvilo model izračuna tveganja, imenovan Systeem Risico Indicatie (SyRI), da bi napovedalo verjetnost, da bo posameznik sodeloval pri prejemkih in davčnih goljufijah ter kršitvah delovne zakonodaje. SyRI je uporabljal umetno inteligenco za iskanje v različnih vladnih podatkovnih zbirkah, ki vsebujejo osebne podatke. Organizacije za človekove pravice so izrazile zaskrbljenost, da je sistem nesorazmerno usmerjen v soseske z nizkimi dohodki. Nizozemsko sodišče je februarja 2020 prepovedalo sistem, ker vlada ni bila dovolj pregledna glede delovanja algoritmov ^[3].

Španija

Leta 2017 je špansko ministrstvo za prehod na zeleno energijo upravljalo programsko opremo, ki jo je poganjala umetna inteligenca, imenovano BOSCO, ki pregleduje vloge za socialni bonus, ki ga španska vlada dodeli revnim gospodinjstvom za njihove račune za električno energijo. Zaradi okvare podjetja BOSCO je bila več kot pol milijona prosilcem zavrnjena prošnja za socialni dodatek, čeprav so izpolnjevali pogoje za prejemanje finančne pomoči. Španska uprava je zavrnila izmenjavo izvorne kode programske opreme, pri čemer je trdila, da bi to pomenilo kršitev pravic intelektualne lastnine, tudi če bi bila v javni uporabi. Posledično napak ni bilo mogoče najti. Na koncu je špansko sodišče odločilo, da je treba kodeks objaviti.^[4]

Belgija

Leta 2018 je v Flandriji več mest začelo organizirati registracijo šole prek centralnega spletnega sistema, ki uporablja algoritem za odločanje o tem, v katero šolo se lahko registrira otrok. Da bi se izognili socialni segregaciji v različnih šolah, je mesto Leuven v algoritem uvedlo niz spremenljivk: na podlagi odgovorov staršev na vrsto vprašanj, ki se nanašajo na stopnjo izobrazbe matere in na to, ali študent prejema štipendijo ali ne, so bili učenci razdeljeni na „študente, ki so kazalci“ (opredeljeni kot študenti z manj življenjskimi priložnostmi) in „študente, ki niso kazalci“. Druga razlika je bila razdalja od doma do šole. Sistem je izpustil veliko število učencev in algoritem je pokazal pomanjkljivosti, saj je naključno postavljal učence v šole daleč od njihovih domov.

II. Preglednost

1. Kakšne so predvidene obveznosti glede preglednosti v skladu s predlaganim aktom o umetni inteligenci in kako bi se uporabljale za institucije EU, kadar delujejo kot ponudniki ali uporabniki umetnointeligenčnega sistema? Kakšna je razlika med obveznostmi glede preglednosti iz predloga in obveznostjo iz splošne uredbe o varstvu podatkov, da se uporabnike obvesti o logiki, povezani z orodji za avtomatizirano sprejemanje odločitev (oblikovanje profilov)?

Eden od glavnih ciljev akta o umetni inteligenci je obravnavati nepreglednost umetnointeligenčnih sistemov v njihovem notranjem delovanju ter pri uporabnikih in ljudeh, na katere ti sistemi vplivajo, ter pristojnih nadzornih organih. Za več podrobnosti glej zgoraj v predstavitvi ustrezne zahteve glede preglednosti.

V zvezi z interakcijo s splošno uredbo o varstvu podatkov predlagani akt o umetni inteligenci ne omejuje pravic iz člena 22 splošne uredbe o varstvu podatkov, ki se v celoti uporabljajo. Ljudje bi morali biti obveščeni, kadar se uporabljajo samo avtomatizirani sistemi odločanja s pravnimi in podobno pomembnimi učinki. Te pravice bo olajšal predlagani akt o umetni inteligenci. Z zagotavljanjem, da je delovanje umetnointeligenčnih sistemov sledljivo in pregledno že v zasnovi, bi akt o umetni inteligenci olajšal izpolnjevanje obveznosti glede varstva podatkov za razlago, človekovo posredovanje in pravice prizadetih ljudi do pravnega varstva v skladu z obstoječimi mehanizmi, vključno s pravom o varstvu podatkov.

2. Ali je mogoče navesti vrste postopkov in dejavnosti, za katere Komisija kot uprava trenutno uporablja umetno inteligenco, in načrte Komisije v zvezi s tem?

Komisija je pojasnila, da je v zvezi z notranjo uporabo umetne inteligence še vedno v raziskovalni fazi. Komisija proučuje umetno inteligenco, ki bi lahko pomagala pri postopkih oblikovanja politik ali splošnem delovanju Komisije. E-prevajanje je eno od področij zanimanja in uporabe. Na platformi Konference o prihodnosti Evrope je na primer na voljo prevajalsko orodje ^[5]. Uporabniki so obveščeni o tem, da uporabljajo umetno inteligenco. Virtualni pomočniki (chat boti) se lahko v prihodnosti uporabljajo tudi za notranje in zunanje interakcije. Eurostat na primer to obravnava v zvezi s statističnimi informacijami. Drugo področje, ki se proučuje, je napredna analitika, ki jo podpira umetna inteligenca, npr. analiza povratnih informacij o politikah, ki jih državljani zagotavljajo na portalu Povejte svoje mnenje (Komisija je na primer navedla, da je prejela 4 milijone odgovorov na javno posvetovanje o „poletnem času“). Komisija je v skladu s svojimi prihodnjimi obveznostmi iz predlaganega akta o umetni inteligenci že začela pripravljati kodeks ravnanja in smernice za razvoj in uporabo umetne inteligence v Komisiji.

Drugi načrti vključujejo orodje za spletno razrezovanje, ki bi Komisiji omogočilo, da na spletu zbere informacije o tem, kako se izvajajo politike EU. Tudi spletno zapiranje spletnih tržnic in uporaba programske opreme za prepoznavanje kamer bi lahko v prihodnosti pripomogla k odkrivanju in preprečevanju vstopa nevarnih proizvodov v EU.

Komisija razmišlja tudi o umetni inteligenci na področju upravljanja človeških virov. To je še vedno v zelo zgodnjih fazah. Zanima ga uporaba umetne inteligence v postopkih zaposlovanja (umetna inteligenca bi na primer omogočila usklajevanje opisov delovnih mest z življenjepisi kandidatov). Projekt je še vedno v raziskovalni fazi. Obstaja ozaveščenost o pristranskosti, ki bi lahko nastala zaradi uporabe umetne inteligence v teh vrstah scenarijev. Evropski urad za izbor osebja (EPSO) proučuje tudi, kako bi se lahko umetna inteligenca uporabljala pri njegovem delu in postopkih.

3. Kako sta v aktu o umetni inteligenci zagotovljena vidik in udeležba državljanov?

Glavno jamstvo v zvezi s tem je, da morajo ponudniki v skladu s predlaganim aktom o umetni inteligenci državljane obvestiti, ko se ukvarjajo z umetno inteligenco (člen 52 akta o umetni inteligenci), državljani pa lahko dostopajo tudi do javno dostopnih informacij za vse umetnointeligenčne sisteme velikega tveganja, dane na trg ali v uporabo na trgu EU (člen 60 akta o umetni inteligenci). Če in kadar so državljani uporabniki umetnointeligenčnih sistemov velikega tveganja, jim mora ponudnik zagotoviti tudi podrobnejše informacije o zmogljivostih in omejitvah sistema, vključno z informacijami o vseh možnih tveganjih.

Kadar državljani menijo, da je umetnointeligenčni sistem kršil njihove pravice, se lahko pritožijo pri organih za nadzor trga in/ali organih, ki jih že poznajo, kot so organi za varstvo podatkov, organi za varstvo potrošnikov, protidiskriminacijski organi, varuhi človekovih pravic itd. Ti organi lahko nato zahtevajo dostop do vseh ustreznih informacij za umetnointeligenčni sistem velikega tveganja. Prednost za državljane je, da jim ni treba naslavljati novih in neznanih organov ter da obstaja celosten pristop k njihovim pomislekom, medtem ko lahko pristojni organi analizirajo umetno inteligenco, po potrebi tudi z vključitvijo izvorne kode.

Komisija v okviru sistema upravljanja na ravni EU načrtuje tudi ustanovitev strokovne skupine, ki bi med drugim vključevala organizacije civilne družbe, ki zastopajo državljane in njihove interese.

III. Dobro upravljanje

1. Uprava EU kot uporabnica umetne inteligence. Ali je mogoče navesti vrste obveznosti, ki so predvidene za uporabnike, in njihovo povezavo z načeli dobrega upravljanja?

Točnost, sledljivost, odgovornost, učinkovit človeški nadzor, varstvo podatkov itd. so načela, ki zavezujejo upravo EU in katerih izvajanje naj bi predlagani akt o umetni inteligenci olajšal v praksi.

Uprava EU je lahko ponudnik in uporabnik umetnointeligenčnih sistemov.

Če institucije, organi, uradi in agencije EU sisteme razvijajo interno (in jih ne „odkupujejo na polici kot končni izdelek“ na trgu), se bo uprava EU štela za „ponudnika“, ko bo te sisteme dala v uporabo za lastno uporabo. Skladno s tem bi moral izpolnjevati zahteve iz poglavja II naslova III (obvladovanje tveganja, kakovost podatkov, sledljivost, preglednost, človeški nadzor itd.) in opraviti postopke ugotavljanja skladnosti na podlagi notranjih pregledov (brez sodelovanja tretjih strani, razen biometričnih podatkov). Uporabljajo se tudi ustrezne postopkovne obveznosti, kot so obveznosti vzpostavitve sistema vodenja kakovosti in sistema za spremljanje po dajanju na trg, vodenja dokumentacije in dnevnikov, poročanja o nepravilnem delovanju, ki vodi do kršitev obveznosti na področju temeljnih pravic, itd.

Če javni organ sistema ne razvija interno, temveč ga kupi „zunaj police“, bi bil le uporabnik, ki izvršuje pristojnost nad uporabo umetnointeligenčnega sistema, in bi moral izpolnjevati vse s tem povezane obveznosti (npr. v zvezi s prepovedanimi praksami iz člena 5 predloga, obveznostmi glede preglednosti do prizadetih oseb iz člena 52). Za umetnointeligenčne sisteme velikega tveganja obstajajo tudi nove horizontalne obveznosti za uporabnike:

• upoštevati navodila za uporabo in izvajati učinkovit človeški nadzor (zlasti pomembno za javne organe, da zagotovijo odgovornost in zakonitost svojih dejanj);
• zagotoviti, da so vhodni podatki pomembni glede na predvideni namen umetnointeligenčnega sistema velikega tveganja
• spremlja delovanje in, kadar bi uporaba lahko povzročila, da umetnointeligenčni sistem predstavlja tveganje za temeljne pravice, obvesti ponudnika ali distributerja in začasno prekine uporabo sistema;
• voditi dnevnike, ki jih samodejno ustvari ta umetnointeligenčni sistem velikega tveganja
• po potrebi uporabijo informacije, ki jih zagotovi ponudnik, da izpolnijo svojo obveznost izvedbe ocene učinka v zvezi z varstvom podatkov v skladu s splošno uredbo o varstvu podatkov/direktivo o varstvu podatkov pri preprečevanju, odkrivanju in preiskovanju kaznivih dejanj.

Vse te obveznosti bodo javnim organom pomagale (ne glede na to, ali sistem razvijajo sami ali ga kupujejo na trgu), da izpolnijo svoje obstoječe obveznosti v skladu z javnim upravnim pravom in načeli dobrega upravljanja. Obveznosti bi morale pomagati zagotoviti odgovornost za to, kako uporabljajo umetnointeligenčne sisteme velikega tveganja, utemeljiti svoje upravne odločitve, ki temeljijo na umetni inteligenci, s preglednejšimi in razložljivimi sistemi ter uporabljati le preizkušene in potrjene sisteme za pristranskost, točnost in varnost, ki so predmet smiselnega človeškega nadzora in stalnega spremljanja tveganj za temeljne pravice. Te obveznosti in zahteve bi nadzornim organom pomagale tudi pri odkrivanju, preiskovanju in kaznovanju kršitev obveznosti glede temeljnih pravic, kadar javni organi in drugi uporabniki uporabljajo umetnointeligenčne sisteme velikega tveganja.

2. Ali je Komisija seznanjena s kakršnimi koli orodji, ki temeljijo na umetni inteligenci in jih uporabljajo Komisija ali druge agencije ali organi EU, na primer na področju človeških virov/osebja, urada EPSO/zaposlovanja ali spremljanja meja (Frontex, EASO, eu-LISA), ki bi lahko v prihodnosti privedla do več pritožb?

Umetna inteligenca se trenutno ne uporablja v kadrovskih službah Komisije. Trenutno so v raziskovalni/raziskovalni fazi. Vendar poteka nekaj predhodnih neformalnih razprav o morebitni uporabi umetne inteligence v postopkih zaposlovanja. Urad EPSO proučuje tudi, kako bi lahko umetno inteligenco uporabili v okviru izbirnih postopkov.

Za umetno inteligenco, ki jo uporabljajo agencije EU na področju notranjih zadev, glej odgovor v nadaljevanju.

3. Ali obstaja načrt za uporabo klepetalnih botov, ki temeljijo na umetni inteligenci, ali avtomatiziranih glasovno vodenih pomočnikov na ravni institucij, organov ali agencij EU, da bi se povečala učinkovitost obravnavanja zahtev državljanov (npr. Europe Direct)?

V teku sta dva projekta, ki vključujeta Generalni direktorat Komisije za komunikacije (GD COMM). Prvi se nanaša na interakcijo z državljani na družbenih medijih. Umetna inteligenca bo osebju družbenih medijev zagotavljala podporo v zakulisju. Drugi projekt, pri katerem sodeluje Europe Direct, je namenjen vzpostavitvi odložišča znanja za informacijami, ki jih uslužbenci potrebujejo za odgovarjanje državljanom, zlasti za povezovanje in pridobivanje informacij, ki bi lahko bile pomembne. Umetna inteligenca bi se lahko uporabila pri zadevni razvrstitvi.

Komisija je tudi navedla, da agencije Frontex, EASO in eu-LISA delujejo v skladu s svojimi predpisi in lahko uporabljajo nekatera orodja umetne inteligence, ki jih dovoljuje njihov mandat. Za agencije veljajo strogi nadzorni sistemi v zvezi z varstvom podatkov. Urad EASO na primer uporablja sistem zgodnjega opozarjanja in pripravljenosti. Agencija Frontex izvaja profiliranje tveganj, na primer plovil. Agencija eu-LISA je odgovorna za podatkovne zbirke na področju notranjih zadev. Z umetno inteligenco namerava povečati učinkovitost podatkovnih zbirk, zlasti za potnike, ki uporabljajo schengenski informacijski sistem, in sicer z večjo natančnostjo biometričnih podatkov. Agencija eu-LISA je strogo omejena na vzdrževanje podatkovnih zbirk in nima neposredne interakcije s posamezniki, za razliko od organov držav članic na mejah. Komisija je pojasnila, da pametna mejna vrata uporabljajo umetno inteligenco za preverjanje identitete osebe. Obstajajo načrti za uporabo zmogljivosti globokega učenja o biometričnih podatkih za mejne kontrole. To ni nič novega; uporablja se od začetka veljavnosti vizumskega informacijskega sistema leta 2011. Komisija je navedla, da ni prejela nobenih pritožb glede uporabe sistema. Tehnologije umetne inteligence znatno prispevajo k izboljšanju točnosti podatkov v sistemih. Komisija je ugotovila, da orodja umetne inteligence prispevajo k izboljšanju temeljnih pravic v teh razmerah.

IV. Temeljne pravice

1. Pravica do dobrega upravljanja je temeljna pravica. Katere predhodne in naknadne kontrole spoštovanja temeljnih pravic so predvidene v aktu o umetni inteligenci?  Kakšno je razmerje med predhodno in naknadno kontrolo?

Akt o umetni inteligenci predvideva kombinacijo predhodnega (preden je umetnointeligenčni sistem velikega tveganja dan na trg/v uporabo) in naknadnega izvrševanja.

Postopki predhodnega ugotavljanja skladnosti so obvezni za umetnointeligenčne sisteme velikega tveganja v skladu s postopki, ki so že vzpostavljeni v okviru obstoječe zakonodaje o varnosti proizvodov novega zakonodajnega okvira. Ponudnik bi moral dokazati skladnost z zahtevami za umetno inteligenco velikega tveganja iz členov 9 do 16 akta o umetni inteligenci. Predhodna ocena (z notranjimi pregledi ali v sodelovanju s tretjo osebo) je razdeljena glede na vrsto tveganj in stopnjo medsebojnega delovanja z obstoječo zakonodajo EU o varnosti proizvodov – Priloga II je predmet ugotavljanja skladnosti s strani tretje osebe, Priloga III pa je predmet samoocenjevanja (razen sistemov za biometrično identifikacijo na daljavo). Za sisteme iz Priloge III bi moral ponudnik registrirati tudi samostojne umetnointeligenčne sisteme velikega tveganja v podatkovni zbirki EU, ki bi jo upravljala Komisija, kar bo povečalo preglednost. Poleg tega bi bilo v vsakem od teh primerov potrebno ponavljajoče se ponovno ocenjevanje skladnosti v primeru bistvenih sprememb umetnointeligenčnih sistemov.

Pristojni nacionalni organi, ki jih imenujejo države članice, bodo vzpostavili naknadni sistem za nadzor trga. Njihova naloga bi bila naknadni nadzor trga ter preiskovanje skladnosti z obveznostmi in zahtevami za vse umetnointeligenčne sisteme velikega tveganja, ki so že bili dani na trg. Prepovedi iz člena 5 in obveznosti glede preglednosti iz člena 52 se bodo izvrševale tudi naknadno. Organi za nadzor trga bi imeli vsa pooblastila v skladu z Uredbo (EU) 2019/1020 o nadzoru trga ^[6], med drugim tudi pooblastila za: nadaljnje ukrepanje na podlagi pritožb v zvezi s tveganji in neskladnostjo; izvajajo inšpekcijske preglede in revizije umetnointeligenčnih sistemov na kraju samem in na daljavo; od vseh subjektov v vrednostni verigi zahteva dokumentacijo, tehnične specifikacije in druge ustrezne informacije; od vseh zadevnih izvajalcev dejavnosti zahteva popravne ukrepe za odpravo tveganj ali, kadar se neskladnost ali tveganje nadaljuje, prepove ali odredi njegov umik/odpoklic s trga/takojšnjo začasno prekinitev uporabe; naloži sankcije za neizpolnjevanje obveznosti.

2. Kako predlog zagotavlja, da ne bo diskriminacije zaradi pristranskosti ali algoritemske diskriminacije, zlasti na podlagi spola in etnične pripadnosti?

 Predlagani akt o umetni inteligenci vključuje različne zahteve za umetnointeligenčne sisteme velikega tveganja v zvezi s kakovostjo podatkov in postopki upravljanja podatkov (izbire in predpostavke glede zasnove, označevanje, ocena vrzeli v podatkih, preverjanje pristranskosti itd.). Podatkovni nizi, s katerimi se sistem razvija in preskuša, bi morali biti reprezentativni, ustrezni, popolni in točni ter vključevati ustrezne statistične lastnosti oseb, na katerih naj bi se sistem uporabljal (člen 10 zakona). Ponudnik bi moral vzpostaviti tudi sistem za obvladovanje tveganja, vključno z obveznim predhodnim testiranjem za obravnavanje tveganja diskriminacije glede na predvideni namen sistema. To bo preprečilo pristranskost in diskriminacijo. Določeni bodo standardi za preverjanje naborov podatkov za podporo ponudnikom pri dokazovanju skladnosti s temi novimi zahtevami.

Poleg tega bi bili za sledenje rezultatom umetnointeligenčnih sistemov potrebni sledljivost in dokumentacija. Zahteve glede točnosti bodo zahtevale preskušanje in potrjevanje sistema, ki ga zanesljivo izvaja v različnih demografskih skupinah, ter preglednost uporabljenih metrik. Nazadnje, zahteve za preglednost in človeški nadzor uporabnikom umetnointeligenčnih sistemov velikega tveganja pomagajo prepoznati tveganje diskriminacije in sprejeti ustrezne ukrepe za njihovo obravnavo. Ta človeški nadzor bi moral obravnavati vse omejitve sistema in tudi preprečiti „avtomatizacijo pristranskosti“, kadar se oseba samodejno zanaša na izhodne podatke sistema.  Uporabniki bodo morali tudi stalno spremljati sistem in poročati o vseh motnjah v delovanju, ki bi lahko povzročile kršitve obveznosti na področju temeljnih pravic, vključno z diskriminacijo.

Te zahteve bodo ocenjene v celotnem življenjskem ciklu umetnointeligenčnih sistemov velikega tveganja.

V. Evropski odbor za umetno inteligenco

Sedanji predlog je ustanovitev odbora, ki bi ga sestavljali predstavniki držav članic in Evropskega nadzornika za varstvo podatkov, predsedovala pa bi mu Komisija, da bi:

- olajšati usklajeno izvajanje uredbe;

zagotavljanje smernic Komisiji;

- prispevati k učinkovitemu sodelovanju nacionalnih nadzornih organov

Ali lahko Komisija zagotovi več podrobnosti o ustanovitvi, ciljih in predvidenem delovanju tega novega organa?

Cilj Evropskega odbora za umetno inteligenco je dopolniti izvajanje na nacionalni ravni, tako da deluje kot svetovalni organ EU in platforma za izmenjavo med državami članicami. V ta namen bi bil odgovoren za številne naloge, vključno z zbiranjem in izmenjavo dobrih praks med državami članicami ter prispevanjem mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem Uredbe.

Komisija bi delovala kot predsednik in sekretariat Odbora, bila bi odgovorna za sklicevanje sestankov in pripravo dnevnega reda ter zagotavljala upravno in analitično podporo. Kar zadeva sestavo odbora, bi ga sestavljali visoki predstavniki vsakega nacionalnega nadzornega organa držav članic, ENVP in predstavnik Komisije kot predsednik.

Sestava Odbora bi morala omogočati smiselne izmenjave med nacionalnimi organi in z njimi, ki opazujejo delovanje in posledice uporabe umetnointeligenčnih sistemov pri svojem vsakodnevnem delu. Člani odbora bodo zagotovili vpogled v to, kako lahko umetna inteligenca vpliva na državljane in kako se odzvati na regulativni ravni. Državljani bi morali imeti koristi od izmenjave najboljših praks, smernic in priporočil. To bi zagotovilo uporabo najboljšega možnega in usklajenega pristopa v Evropi.

O notranjem delovanju bi odločal odbor sam, saj bi pripravil in sprejel svoj poslovnik. Ti bi vključevali tudi operativne vidike, povezane z izvajanjem njegovih nalog. Odbor lahko prosto oblikuje svojo notranjo strukturo in lahko ustanovi tudi podskupine za posebne teme in vprašanja.

Kot dopolnilni ukrep (ki trenutno ni predviden v Uredbi) namerava Komisija v postopek izvajanja uvesti neodvisno strokovno skupino. Strokovno skupino bi sestavljali strokovnjaki, ki jih zaposli in plača Komisija, da bi odboru in Komisiji po potrebi zagotovili dodatno strokovno znanje.

SKLEPNA UGOTOVITEV

Predstavniki izvršnega direktorja so se zahvalili predstavnikom Komisije za izmenjane informacije, vključno s predstavitvijo točke napajanja, ki bo na voljo mreži ENO.

Bruselj, 29. september 2021

Rosita Hickey Valentina Stoeva

Direktor za poizvedbe Uradnik za poizvedbe

 

[1] https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449

[2] Poročila varuhov človekovih pravic:

https://www.nationaleombudsman.nl/nieuws/onderzoeken/the-citizen-is-not-a-dataset

https://www.defenseurdesdroits.fr/sites/default/files/atoms/files/synth-algos-en-num-16.07.20.pdf

https://bcombudsperson.ca/guide/getting-ahead-of-the-curve/

[3] https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules (pravila o dobrem počutju-nadzoru-sistem-kršitve-človekovih pravic-dutch-sodišče)

Celotno besedilo sodbe v angleščini: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878

[4] Primer je omenjen v naslednjem članku (v španščini): https://derecholocal.es/opinion/control-judicial-de-los-algoritmos-robots-administracion-y-estado-de-derecho. Glej tudi ta članek: "Biti vladan s skrivno izvorno kodo ali algoritmi ne bi smelo biti nikoli dovoljeno v demokratični državi pod vladavino prava." - | Civio

Pred predložitvijo zadeve sodiščem je bila zadeva predložena Consejo de Transparencia y Buen Gobierno- CTBG (svet za preglednost in dobro upravljanje). Odločitev o tej zadevi je bila objavljena februarja 2019: https://www.consejodetransparencia.es/ct_Home/Actividad/recursos_jurisprudencia/Recursos_AGE/2019/128_particular_35.html

[5] https://futureu.europa.eu/?locale=en

[6] Uredba (EU) 2019/1020 Evropskega parlamenta in Sveta z dne 20. junija 2019 o nadzoru trga in skladnosti proizvodov ter spremembi Direktive 2004/42/ES in uredb (ES) št. 765/2008 in (EU) št. 305/2011.