EUROPSKA KOMISIJA Bruxelles, 21.4.2021. COM(2021) 206 final 2021/0106(COD) Prijedlog UREDBE EUROPSKOG PARLAMENTA I VIJEĆA O UTVRĐIVANJU USKLAĐENIH PRAVILA O UMJETNOJ INTELIGENCIJI (AKT O UMJETNOJ INTELIGENCIJI) I IZMJENI ODREĐENIH ZAKONODAVNIH AKATA UNIJE {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}



OBRAZLOŽENJE 1.KONTEKST PRIJEDLOGA 1.1.Razlozi i ciljevi prijedloga Ovo obrazloženje priloženo je Prijedlogu uredbe o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (Akt o umjetnoj inteligenciji). Umjetna inteligencija (UI) skup je tehnologija koja se brzo razvija i može donijeti niz gospodarskih i društvenih koristi u cijelom spektru industrijskih grana i društvenih aktivnosti. Budući da umjetna inteligencija poboljšava predviđanje, optimizaciju operacija i raspodjelu resursa te personalizira pružanje usluga, njezino korištenje može pridonijeti ostvarenju rezultata koji pogoduju društvu i okolišu, a poduzećima i europskom gospodarstvu donijeti ključne konkurentske prednosti. Takvo je djelovanje prije svega potrebno u sektorima s velikim utjecajem, uključujući klimatske promjene, okoliš i zdravlje, javni sektor, financije, mobilnost, unutarnje poslove i poljoprivredu. Međutim, isti elementi i tehnike koji pokreću socioekonomske koristi UI-ja mogu prouzročiti nove rizike ili negativne posljedice za pojedince ili društvo. S obzirom na brzinu tehnoloških promjena i moguće poteškoće, EU se obvezuje da će nastojati postići uravnotežen pristup. U najboljem je interesu Unije da zadrži tehnološko vodstvo i pobrine se da Europljani ostvaruju koristi od novih tehnologija koje se razvijaju i funkcioniraju u skladu s vrijednostima, temeljnim pravima i načelima Unije. Ovim se prijedlogom ostvaruje politička obveza predsjednice von der Leyen, koja je u političkim smjernicama za Komisiju od 2019. do 2024. naslovljenima „Ambicioznija Unija” najavila da će Komisija predstaviti propise za koordinirani europski pristup ljudskim i etičkim implikacijama UI-ja. Nakon te najave Komisija je 19. veljače 2020. objavila Bijelu knjigu o UI-ju – Europski pristup izvrsnosti i izgradnji povjerenja. U Bijeloj knjizi utvrđuju se opcije politike o načinima postizanja dvostrukog cilja promicanja prihvaćanja UI-ja i suzbijanja rizika povezanih s određenim uporabama te tehnologije. Ovim se prijedlogom pravnog okvira za pouzdani UI želi ostvariti drugi cilj, koji se odnosi na razvoj ekosustava povjerenja. Prijedlog se temelji na vrijednostima i temeljnim pravima EU-a te se njime nastoji uliti povjerenje građanima i drugim korisnicima da prihvaćaju rješenja koja se temelje na UI-ju, a poduzeća potaknuti da ta rješenja razvijaju. UI bi trebao biti alat u službi čovjeka i pozitivna snaga u društvu koja će s vremenom poboljšati dobrobit građana. Stoga bi pravila za UI koji je dostupan na tržištu Unije ili na neki drugi način utječe na njezine stanovnike trebala biti antropocentrična kako bi se građani mogli pouzdati u to da se ta tehnologija upotrebljava sigurno i u skladu s pravom, uključujući poštovanje temeljnih prava. Nakon što je objavila Bijelu knjigu Komisija je pokrenula opsežno savjetovanje s dionicima, koji su se odazvali u velikom broju i uglavnom podržali regulatorne intervencije za rješavanje problema i nedoumica izazvanih sve većom uporabom UI-ja. Prijedlog je i odgovor na izričite zahtjeve Europskog parlamenta i Europskog vijeća, koji su više puta pozivali na zakonodavne mjere kojima se osigurava funkcionalno unutarnje tržište za sustave umjetne inteligencije („UI sustavi”) te kojima se na razini Unije adekvatno odgovara na koristi i rizike UI-ja. Njime se pridonosi Unijinu cilju globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije, koji je odredilo Europsko vijeće, te se štite etička načela u skladu s izričitim zahtjevom Europskog parlamenta. Europsko vijeće upozorilo je 2017. na „svijest o hitnosti suočavanja s novim trendovima”, uključujući „pitanja kao što su umjetna inteligencija […], uz istodobno osiguravanje visoke razine zaštite podataka, digitalnih prava i etičkih standarda”. Vijeće je u zaključcima iz 2019. o koordiniranom planu za razvoj i upotrebu umjetne inteligencije europskog podrijetla dodatno naglasilo da je važno osigurati potpuno poštovanje prava europskih građana i pozvalo da se postojeće relevantno zakonodavstvo preispita kako bi bilo prikladno za nove mogućnosti i probleme koje donosi UI. Europsko vijeće ujedno je pozvalo na jasno utvrđivanje primjena UI-ja koje bi se trebale smatrati visokorizičnima. U najnovijim zaključcima od 21. listopada 2020. ponovno je pozvalo na rješavanje problema netransparentnosti, složenosti, pristranosti, određenog stupnja nepredvidivosti i djelomično autonomnog ponašanja određenih UI sustava kako bi se osigurala njihova usklađenost s temeljnim pravima i olakšalo provođenje pravnih propisa. Europski parlament isto je tako bio iznimno aktivan u području UI-ja. U listopadu 2020. donio je nekoliko rezolucija povezanih s UI-jem, među ostalim o etičnosti, odgovornosti i autorskom pravu. Zatim je 2021. donio rezolucije o UI-ju u kaznenim stvarima te u obrazovnom, kulturnom i audiovizualnom sektoru. U Rezoluciji o okviru etičkih aspekata umjetne inteligencije, robotike i s njima povezanih tehnologija Europski parlament posebno je Komisiji preporučio da predloži zakonodavne mjere kojima bi se iskoristile mogućnosti i koristi UI-ja te osigurala zaštita etičkih načela. Rezolucija sadržava tekst zakonodavnog prijedloga uredbe o etičkim načelima za razvoj, primjenu i uporabu UI-ja, robotike i s njima povezanih tehnologija. U skladu s političkom obvezom koju je predsjednica von der Leyen preuzela u političkim smjernicama u pogledu rezolucija koje je donio Europski parlament na temelju članka 225. UFEU-a, u ovom se prijedlogu uzima u obzir prethodno navedena rezolucija Europskog parlamenta uz potpuno poštovanje načela proporcionalnosti, supsidijarnosti i bolje izrade zakonodavstva. U tom političkom kontekstu Komisija predstavlja predloženi regulatorni okvir o umjetnoj inteligenciji sa sljedećim posebnim ciljevima: ·da su UI sustavi koji se stavljaju na tržište Unije i upotrebljavaju sigurni i usklađeni s postojećim pravom o temeljnim pravima i vrijednostima Unije, ·pravna sigurnost kako bi se olakšala ulaganja i inovacije u području UI-ja, ·poboljšanje upravljanja i djelotvorne provedbe postojećih propisa o temeljnim pravima i sigurnosnim zahtjevima primjenjivima na UI sustave, ·olakšavanje razvoja jedinstvenog tržišta za zakonite, sigurne i pouzdane primjene UI-ja te sprečavanje fragmentacije tržišta. Kako bi se ti ciljevi ostvarili, u ovom se prijedlogu iznosi uravnotežen i proporcionalan horizontalni pristup UI-ju koji je ograničen na minimalne zahtjeve potrebne za rješavanje rizika i problema povezanih s UI-jem, bez nepotrebnog ograničavanja ili ometanja tehnološkog razvoja ili nerazmjernog povećanja troškova stavljanja UI rješenja na tržište na neki drugi način. Prijedlogom se uspostavlja otporan i fleksibilan pravni okvir. S jedne je strane, s obzirom na temeljne regulatorne odabire, sveobuhvatan i otporan na buduće promjene, što uključuje i na načelima temeljene zahtjeve koje bi UI sustavi trebali ispunjavati. S druge se strane njime uvodi proporcionalan regulatorni sustav čija je okosnica dobro definiran regulatorni pristup koji se temelji na riziku i ne stvara nepotrebna ograničenja za trgovinu, dok je pravna intervencija prilagođena konkretnim situacijama u kojima postoji opravdan razlog za zabrinutost ili u kojima se razumno može očekivati da će se u bliskoj budućnosti pojaviti takva zabrinutost. Pravni okvir istodobno uključuje fleksibilne mehanizme koji omogućuju da ga se dinamično prilagođava razvoju novih tehnologija i pojavi novih problematičnih okolnosti. Prijedlogom se utvrđuju usklađena pravila za razvoj, stavljanje na tržište i uporabu UI sustava u Uniji, i to na temelju proporcionalnog pristupa koji se temelji na riziku. U njemu se predlaže jedinstvena i dugoročno održiva definicija UI-ja. Zabranjuju se određene iznimno štetne prakse UI-ja jer su protivne vrijednostima Unije te se predlažu specifična ograničenja i zaštitne mjere u pogledu određenih primjena sustavâ za daljinsku biometrijsku identifikaciju za potrebe kaznenog progona. U prijedlogu se utvrđuje temeljita metodologija procjene rizika za definiranje „visokorizičnih” UI sustava koji predstavljaju značajne rizike za zdravlje i sigurnost ili temeljna prava osoba. Ti UI sustavi morat će ispunjavati skup horizontalnih obveznih zahtjeva za pouzdani UI i zadovoljiti na ocjenjivanjima sukladnosti prije nego što se budu mogli staviti na tržište Unije. Ujedno se uvode predvidljive, proporcionalne i jasne obveze za dobavljače i korisnike tih sustava kako bi UI sustavi tijekom cijelog životnog vijeka bili sigurni i u skladu s postojećim propisima o zaštiti temeljnih prava. Za određene UI sustave predlažu se samo minimalne obveze u pogledu transparentnosti, posebno kad je riječ o uporabi chatbotova ili uvjerljivog krivotvorenog sadržaja („deep fake”). Predložena pravila provodit će se u okviru sustava upravljanja država članica na temelju već postojećih struktura, ali i mehanizma suradnje na razini Unije uspostavom Europskog odbora za umjetnu inteligenciju. Predlažu se i dodatne mjere za potporu inovacijama, posebno u obliku regulatornih izoliranih okruženja i drugih mjera za smanjenje regulatornog opterećenja i potporu malim i srednjim poduzećima („MSP-ovi”) te novoosnovanim (start-up) poduzećima. 1.2.Dosljednost s postojećim odredbama politike u tom području Horizontalna priroda prijedloga zahtijeva potpunu dosljednost s postojećim zakonodavstvom Unije koje se primjenjuje na sektore u kojima se već upotrebljavaju visokorizični UI sustavi ili u kojima će se vjerojatno upotrebljavati u bliskoj budućnosti.

Prijedlog je dosljedan i s Poveljom Europske unije o temeljnim pravima i postojećim sekundarnim zakonodavstvom Unije o zaštiti podataka, zaštiti potrošača, nediskriminaciji i rodnoj ravnopravnosti. Prijedlogom se ne dovode u pitanje Opća uredba o zaštiti podataka (Uredba (EU) 2016/679) ni Direktiva o zaštiti podataka pri izvršavanju zakonodavstva (Direktiva (EU) 2016/680), već se dopunjuju usklađenim pravilima primjenjivima na projektiranje, razvoj i uporabu određenih visokorizičnih UI sustava te ograničenjima za određene uporabe sustava za daljinsku biometrijsku identifikaciju. Nadalje, prijedlogom se dopunjuje postojeće pravo Unije o nediskriminaciji posebnim zahtjevima kojima se nastoji što više smanjiti rizik od algoritamske diskriminacije, posebno u pogledu organizacije i kvalitete skupova podataka za razvoj UI sustava, te obvezama koje se odnose na testiranje, upravljanje rizikom, vođenje dokumentacije i ljudski nadzor tijekom cijelog životnog vijeka UI sustava. Prijedlogom se ne dovodi u pitanje primjena prava Unije u području tržišnog natjecanja. Kad je riječ o visokorizičnim UI sustavima koji su sigurnosni sastavni dijelovi proizvoda, ovaj će se prijedlog integrirati u postojeće sektorsko propise o sigurnosti kako bi se osigurala dosljednost, spriječilo udvostručavanje i što više smanjila dodatna opterećenja. Točnije, za visokorizične UI sustave povezane s proizvodima koji su obuhvaćeni propisima novog zakonodavnog okvira (npr. strojevi, medicinski proizvodi, igračke) zahtjevi za UI sustave utvrđeni u ovom prijedlogu provjeravat će se u okviru postojećih postupaka ocjenjivanja sukladnosti na temelju relevantnih propisa novog zakonodavnog okvira. Kad je riječ o interakciji zahtjeva, iako bi sigurnosni rizici specifični za UI sustave trebali biti obuhvaćeni zahtjevima iz ovog prijedloga, propisima novog zakonodavnog okvira nastoji se osigurati općenita sigurnost konačnog proizvoda, pa mogu sadržavati posebne zahtjeve o sigurnoj integraciji UI sustava u konačan proizvod. Prijedlog uredbe o strojevima, koji se donosi istog dana kao i ovaj prijedlog, u potpunosti je u skladu s tim pristupom. Ovaj se prijedlog ne bi izravno primjenjivao na visokorizične UI sustave povezane s proizvodima obuhvaćenima relevantnim zakonodavnim propisima starog pristupa (npr. zrakoplovstvo, automobili). Međutim, pri donošenju relevantnog provedbenog ili delegiranog zakonodavnog propisa na temelju tih akata morat će se uzeti u obzir ex ante temeljni zahtjevi za visokorizične UI sustave koji su utvrđeni u ovom prijedlogu. Kad je riječ o UI sustavima koje pružaju ili upotrebljavaju regulirane kreditne institucije, tijela nadležna za nadziranje propisa Unije o financijskim uslugama trebala bi biti određena kao nadležna tijela za nadzor nad zahtjevima ovog prijedloga kako bi se osigurala usklađena provedba obveza iz ovog prijedloga i propisa o financijskim uslugama u kojima su UI sustavi u određenoj mjeri implicitno regulirani s obzirom na sustav internog upravljanja kreditnih institucija. Kako bi se dosljednost dodatno povećala, postupak ocjenjivanja sukladnosti i neke od postupovnih obveza dobavljača iz ovog prijedloga integrirani su u postupke koji se temelje na Direktivi 2013/36/EU o pristupanju djelatnosti kreditnih institucija i bonitetnom nadzoru. Ovaj je prijedlog dosljedan i s primjenjivim propisima Unije o uslugama, među ostalim o uslugama posredovanja koje su regulirane Direktivom 2000/31/EZ o elektroničkoj trgovini i s nedavnim prijedlogom Komisije o Aktu o digitalnim uslugama. Kad je riječ o UI sustavima koji su sastavni dijelovi opsežnih informacijskih sustava u području slobode, sigurnosti i pravde kojima upravlja Agencija Europske unije za operativno upravljanje opsežnim informacijskim sustavima (eu-LISA), prijedlog se neće primjenjivati na UI sustave koji su stavljeni na tržište ili u uporabu prije isteka jedne godine od datuma primjene ove Uredbe, osim ako zamjena ili izmjena tih pravnih akata dovede do znatne promjene u konceptu ili namjeni tih UI sustava. 1.3.Dosljednost u odnosu na druge politike Unije Ovaj je prijedlog dio šireg sveobuhvatnog paketa mjera za rješavanje problema koji proizlaze iz razvoja i uporabe UI-ja, kako je razmotreno u Bijeloj knjizi o UI-ju. Stoga je osigurana dosljednost i komplementarnost s drugim tekućim ili planiranim inicijativama Komisije kojima se također nastoje riješiti ti problemi, među ostalim s revizijom sektorskog zakonodavstva o proizvodima (npr. Direktiva o strojevima, Direktiva o općoj sigurnosti proizvoda) i inicijativama kojima se rješavaju pitanja odgovornosti povezana s novim tehnologijama, uključujući UI sustave. Tim će se inicijativama nadograditi i dopuniti ovaj prijedlog kako bi se postigla pravna jasnoća i poticao razvoj ekosustava povjerenja u UI u Europi. Prijedlog je usklađen i s općom digitalnom strategijom Komisije u pogledu doprinosa promicanju tehnologije u interesu građana, jednog od triju glavnih stupova smjernica i ciljeva politike najavljenih u Komunikaciji „Izgradnja digitalne budućnosti Europe”. Njime se utvrđuje usklađen, djelotvoran i proporcionalan okvir s ciljem da se UI razvija tako da se poštuju prava ljudi i stječe njihovo povjerenje te time Europu pripremi za digitalno doba i sljedećih deset godina pretvori u digitalno desetljeće. Nadalje, promicanje inovacija koje se temelje na umjetnoj inteligenciji blisko je povezano s Aktom o upravljanju podacima, Direktivom o otvorenim podacima i drugim inicijativama u okviru strategije EU-a za podatke, kojima će se uspostaviti pouzdani mehanizmi i usluge za ponovnu uporabu, razmjenu i objedinjavanje podataka koji su neophodni za razvoj visokokvalitetnih UI modela koji se temelje na podacima. Prijedlogom se znatno jača i uloga Unije u oblikovanju globalnih normi i standarda te promicanju pouzdanog UI-ja koji je dosljedan vrijednostima i interesima Unije. Njime se Uniji daje snažan temelj za daljnju suradnju s vanjskim partnerima, uključujući treće zemlje, i u međunarodnim forumima o pitanjima koja se odnose na UI. 2.PRAVNA OSNOVA, SUPSIDIJARNOST I PROPORCIONALNOST 2.1.Pravna osnova Pravna je osnova prijedloga prvenstveno članak 114. Ugovora o funkcioniranju Europske unije (UFEU), kojim se predviđa donošenje mjera za osiguravanje uspostave i funkcioniranja unutarnjeg tržišta. Ovaj je prijedlog ključan dio EU-ove strategije jedinstvenog digitalnog tržišta. Njime se prvenstveno želi osigurati pravilno funkcioniranje unutarnjeg tržišta uspostavljanjem usklađenih pravila, ponajprije o razvoju, stavljanju na tržište Unije te uporabi proizvoda i usluga u kojima se koriste tehnologije UI-ja ili koji se nude kao samostalni UI sustavi. Neke države članice već razmatraju nacionalna pravila kojima bi osigurale sigurnost UI-ja te njegov razvoj i uporabu u skladu s obvezama u području temeljnih prava. To će vjerojatno izazvati dva glavna problema: i. fragmentaciju unutarnjeg tržišta s obzirom na osnovne elemente, posebno u pogledu zahtjevâ za proizvode i usluge s UI-jem, njihovo stavljanje na tržište, uporabu, odgovornost i nadzor koji provode tijela javne vlasti te ii. znatno slabljenje pravne sigurnosti za dobavljače i korisnike UI sustava u vezi s primjenom postojećih i novih pravila na te sustave u Uniji. S obzirom na znatan prekogranični promet proizvoda i usluga ta se dva problema najbolje mogu riješiti usklađivanjem zakonodavstva EU-a. Naime, u prijedlogu se utvrđuju zajednički obvezni zahtjevi koji se primjenjuju na projektiranje i razvoj određenih UI sustava prije nego što se stave na tržište, a koji će se dodatno operacionalizirati s pomoću usklađenih tehničkih standarda. U prijedlogu se rješava i situacija nakon stavljanja UI sustava na tržište tako što se usklađuje način provođenja ex post kontrola. Osim toga, budući da ovaj prijedlog sadržava određena posebna pravila o zaštiti pojedinaca u pogledu obrade osobnih podataka, prije svega ograničenja uporabe UI sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona, dio ove Uredbe koji se odnosi na ta posebna pravila primjereno je temeljiti na članku 16. UFEU-a. 2.2.Supsidijarnost (za neisključivu nadležnost) Zbog prirode UI-ja, koji se često oslanja na velike i raznolike skupove podataka i može biti ugrađen u bilo kakve proizvode ili usluge u slobodnom prometu na unutarnjem tržištu, države članice ne mogu same djelotvorno ostvariti ciljeve ovog prijedloga. Nadalje, mnoštvo novih potencijalno neujednačenih nacionalnih pravila otežat će neometani promet proizvoda i usluga povezanih s UI sustavima u cijelom EU-u i neće djelotvorno jamčiti sigurnost i zaštitu temeljnih prava i vrijednosti Unije u različitim državama članicama. Nacionalni pristupi rješavanju tih problema samo će prouzročiti dodatnu pravnu nesigurnost i zapreke te usporiti prihvaćanje UI-ja na tržištu. Ciljevi ovog prijedloga mogu se bolje ostvariti na razini Unije kako bi se spriječila daljnja fragmentacija jedinstvenog tržišta na potencijalno proturječne nacionalne okvire koji onemogućavaju slobodan promet robe i usluga u koje je ugrađen UI. Čvrst europski regulatorni okvir za pouzdan UI osigurat će i ravnopravne uvjete i zaštititi sve građane te pritom ojačati konkurentnost Europe i industrijske temelje u području UI-ja. Samo zajedničko djelovanje na razini Unije omogućuje zaštitu digitalne suverenosti Unije te iskorištavanje njezinih alata i regulatornih ovlasti za oblikovanje globalnih pravila i standarda. 2.3.Proporcionalnost

Prijedlog se temelji na postojećim pravnim okvirima te je proporcionalan i potreban za postizanje svojih ciljeva jer slijedi pristup koji se temelji na riziku i nameće regulatorna opterećenja samo u slučajevima u kojima bi UI mogao ozbiljno ugroziti temeljna prava i sigurnost. Za UI sustave koji nisu visokorizični nameću se samo vrlo ograničene obveze u pogledu transparentnosti, koje se, primjerice, odnose na davanje upozorenja kad se UI sustav kad koristi u interakciji s ljudima. Za visokorizične UI sustave nužni su zahtjevi u pogledu visokokvalitetnih podataka, dokumentacije i sljedivosti, transparentnosti, ljudskog nadzora, točnosti i otpornosti kako bi se smanjili rizici za temeljna prava i sigurnost koji proizlaze iz UI-ja i koji nisu obuhvaćeni drugim postojećim pravnim okvirima. Usklađene norme te prateće smjernice i alati za postizanje usklađenosti pomoći će dobavljačima i korisnicima da ispune zahtjeve iz prijedloga i minimiziraju troškove. Troškovi koje snose operateri proporcionalni su ostvarenim ciljevima te ekonomskim i reputacijskim koristima koje operateri mogu očekivati od ovog prijedloga. 2.4.Odabir instrumenta Izbor uredbe kao pravnog instrumenta opravdan je potrebom za ujednačenom primjenom novih pravila, kao što su definicija UI-ja, zabrana određenih štetnih praksi koje su omogućene UI-jem i klasifikacija određenih UI sustava. Izravna primjenjivost Uredbe u skladu s člankom 288. UFEU-a smanjit će pravnu rascjepkanost i olakšati razvoj jedinstvenog tržišta za zakonite, sigurne i pouzdane UI sustave. To će se prije svega postići uvođenjem usklađenog skupa temeljnih zahtjeva koji se odnose na UI sustave klasificirane kao visokorizične i obveza za dobavljače i korisnike tih sustava, čime će se poboljšati zaštita temeljnih prava te osigurati pravna sigurnost i za operatere i za potrošače. Odredbe uredbe pritom nisu pretjerano preskriptivne i ostavljaju prostora za različite razine djelovanja država članica u pogledu elemenata kojima se ne ugrožavaju ciljevi inicijative, osobito unutarnje organizacije sustava nadzora tržišta i primjene mjera za poticanje inovacija. 3.REZULTATI EX POST EVALUACIJA, SAVJETOVANJA S DIONICIMA I PROCJENA UČINKA 3.1.Savjetovanje s dionicima Ovaj je prijedlog rezultat opsežnog savjetovanja sa svim važnim dionicima, u kojem su primijenjena opća načela i minimalni standardi za savjetovanje Komisije sa zainteresiranim stranama. Internetsko javno savjetovanje pokrenuto je 19. veljače 2020., kad je objavljena i Bijela knjiga o umjetnoj inteligenciji, a trajalo je do 14. lipnja 2020. Cilj savjetovanja bilo je prikupljanje stajališta i mišljenja o Bijeloj knjizi. Bilo je namijenjeno svim zainteresiranim dionicima iz javnog i privatnog sektora, uključujući vlade, lokalna tijela, komercijalne i nekomercijalne organizacije, socijalne partnere, stručnjake, članove akademske zajednice i građane. Nakon što je analizirala sve primljene odgovore Komisija je na svojim internetskim stranicama objavila sažetak rezultata i pojedinačne odgovore. Primljeno je ukupno 1 215 odgovora, od kojih su 352 pristigla iz poduzeća ili poslovnih organizacija/udruženja, 406 od pojedinaca (92 % pojedinaca bilo je iz EU-a), 152 iz akademskih/istraživačkih ustanova i 73 iz tijela javne vlasti. Sudjelovalo je 160 predstavnika civilnog društva (među kojima je bilo devet organizacija potrošača, 129 nevladinih organizacija i 22 sindikata), a 72 ispitanika označena su kao „ostali”. Od 352 predstavnika poslovnog i industrijskog sektora njih 222 bila su poduzeća i predstavnici poslovnog sektora, od toga su 41,5 % bila mikropoduzeća te mala i srednja poduzeća. Ostali su bili poslovna udruženja. Ukupno je 84 % odgovora poslovnog i industrijskog sektora pristiglo iz EU-27. Ovisno o pitanju, između 81 i 598 ispitanika iskoristilo je mogućnost slobodnog unošenja teksta za pisanje komentara. Na internetskom portalu EUSurvey dostavljeno je više od 450 dokumenata o stajalištu, ili kao dodatak odgovorima iz upitnika (više od 400) ili u obliku samostalnih doprinosa (više od 50). Dionici se općenito slažu da je potrebno djelovati. Velika većina dionika slaže se da postoje zakonodavne praznine ili da je potrebno novo zakonodavstvo. Međutim, više je dionika upozorilo Komisiju da je potrebno spriječiti udvostručavanje, proturječne obveze i prekomjerne propise. U mnogo je komentara istaknuta važnost tehnološki neutralnog i proporcionalnog regulatornog okvira. Dionici su uglavnom zatražili usku, jasnu i preciznu definiciju UI-ja. Dionici su naglasili i da je osim pojašnjenja pojma UI-ja važno definirati „rizik”, „visoki rizik”, „niski rizik”, „daljinsku biometrijsku identifikaciju” i „štetu”. Većina ispitanika izričito podržava pristup koji se temelji na riziku. Smatralo se da je okvir koji se temelji na riziku bolja opcija od opće regulacije svih UI sustava. Vrste rizika i prijetnji trebale bi se temeljiti na sektorskom pristupu u kojem se svaki slučaj razmatra zasebno. Pri izračunu rizika trebao bi se uzeti u obzir i utjecaj na prava i sigurnost. Regulatorna izolirana okruženja mogla bi biti vrlo korisna za promicanje UI-ja i pojedini ih dionici podupiru, posebno poslovna udruženja. Više od 50 % ispitanika koji su izrazili mišljenje o modelima provedbe, a posebno oni iz poslovnih udruženja, podržalo je kombinaciju ex ante samoprocjene rizika i ex post provedbe za visokorizične UI sustave. 3.2.Prikupljanje i primjena stručnog znanja Prijedlog se temelji na dvogodišnjoj analizi i bliskoj suradnji dionika, uključujući članove akademske zajednice, poduzeća, socijalne partnere, nevladine organizacije, države članice i građane. Pripremni rad počeo je 2018. osnivanjem stručne skupine na visokoj razini za UI, koja je imala uključiv i širok sastav od 52 poznata stručnjaka zadužena za savjetovanje Komisije o provedbi strategije Komisije za umjetnu inteligenciju. Komisija je u travnju 2019. podržala glavne zahtjeve utvrđene u etičkim smjernicama stručne skupine na visokoj razini za pouzdani UI, koje su revidirane kako bi se uzelo u obzir više od 500 podnesaka dionika. Glavni zahtjevi u skladu su s raširenim i zajedničkim pristupom primijenjenim u mnoštvu etičkih kodeksa i načela koje su razvile brojne privatne i javne organizacije u Europi i drugdje, prema kojem bi razvoj i uporabu UI-ja trebala usmjeravati određena osnovna načela koja se temelje na vrijednostima. Zahvaljujući popisu za procjenu pouzdane umjetne inteligencije ti su zahtjevi primijenjeni u pokusnom postupku s više od 350 organizacija. Osim toga, osnovan je Savez za UI kao platforma na kojoj približno 4 000 dionika može raspravljati o tehnološkim i društvenim implikacijama UI-ja, a jednom godišnje održava se i skup o UI-ju. Taj uključivi pristup dodatno je razrađen u Bijeloj knjizi o UI-ju i o njemu su pristigli komentari više od 1 250 dionika, uključujući više od 450 dodatnih dokumenata o stajalištu. Komisija je kao rezultat toga objavila početnu procjenu učinka, koja je pak privukla više od 130 komentara. Organizirani su i dodatne radionice i događanja za dionike, čiji rezultati podupiru analizu u procjeni učinka i opcije politike izložene u ovom prijedlogu. Naručena je i vanjska studija kojom su prikupljeni podaci za procjenu učinka. 3.3.Procjena učinka Komisija je u skladu sa svojom politikom „bolje regulative” provela procjenu učinka ovog prijedloga, koju je ispitao Komisijin Odbor za nadzor regulative. Odbora za nadzor regulative sastao se 16. prosinca 2020. i izdao negativno mišljenje. Nakon što je provedena znatna revizija procjene učinka radi uvažavanja komentara i njezina ponovnog podnošenja, Odbor za nadzor regulative izdao je 21. ožujka 2021. pozitivno mišljenje. Mišljenja Odbora za nadzor regulative, preporuke i objašnjenje toga kako su uzeti u obzir prikazani su u Prilogu 1. procjeni učinka.

Komisija je razmotrila različite opcije politike kako bi postigla opći cilj prijedloga: osiguravanje pravilnog funkcioniranja jedinstvenog tržišta stvaranjem uvjeta za razvoj i uporabu pouzdanog UI-ja u Uniji. Procijenjene su četiri opcije politike različitog stupnja regulatorne intervencije: ·opcija 1: zakonodavni instrument EU-a kojim se uspostavlja program dobrovoljnog označivanja, ·opcija 2: sektorski, ad-hoc pristup, ·opcija 3: horizontalni zakonodavni instrument EU-a primjenom proporcionalnog pristupa koji se temelji na riziku, ·opcija 3+: horizontalni zakonodavni instrument EU-a primjenom proporcionalnog pristupa koji se temelji na riziku + kodeksi ponašanja za UI sustave koji nisu visokorizični, ·opcija 4: horizontalni zakonodavni instrument EU-a kojim se utvrđuju obvezni zahtjevi za sve UI sustave, bez obzira na rizik koji predstavljaju. U skladu s utvrđenom metodologijom Komisije svaka je opcija politike evaluirana u odnosu na gospodarske i društvene učinke, s posebnim naglaskom na temeljnim pravima. Najpoželjnija je opcija 3+, regulatorni okvir namijenjen isključivo visokorizičnim UI sustavima, uz mogućnost da se svi dobavljači UI sustava koji nisu visokorizični pridržavaju kodeksa ponašanja. Zahtjevi će se odnositi na podatke, dokumentaciju i sljedivost, pružanje informacija i transparentnost, ljudski nadzor, otpornost i točnost te bi bili obvezni za visokorizične UI sustave. Poduzeća koja bi uvela kodekse ponašanja za druge UI sustave učinila bi to dobrovoljno. Smatralo se da je najpoželjnija opcija prikladna za ispunjavanje ciljeva prijedloga na najdjelotvorniji način. Najpoželjnijom opcijom zahtijeva se ograničen, ali i djelotvoran skup mjera od proizvođača i korisnika UI-ja, čime se smanjuju rizici od kršenja temeljnih prava i sigurnosti ljudi te se potiču djelotvoran nadzor i provedba jer se zahtjevi odnose samo na sustave s visokim rizikom od takvih kršenja. Stoga ta opcija omogućuje najniže troškove usklađivanja, pa se izbjegava nepotrebno usporavanje primjene zbog viših cijena i troškova usklađivanja. Kako bi se uklonili mogući nedostaci za MSP-ove, ta opcija uključuje nekoliko odredaba za potporu njihovoj usklađenosti i smanjenju troškova, uključujući stvaranje regulatornih izoliranih okruženja i obveze da se pri određivanju naknada za ocjenjivanje sukladnosti uzmu u obzir interesi MSP-ova. Najpoželjnija opcija povećat će povjerenje građana u UI, poduzeća će dobiti pravnu sigurnost, a države članice neće imati razloga za jednostrano djelovanje koje bi fragmentiralo jedinstveno tržište. Zahvaljujući većoj potražnji zbog većeg povjerenja, većem broju dostupnih ponuda zbog pravne sigurnosti i nepostojanju zapreka prekograničnom kretanju UI sustava, jedinstveno tržište UI-ja vjerojatno će procvasti. Europska unija nastavit će razvijati brzorastući UI ekosustav inovativnih usluga i proizvoda koji uključuju UI tehnologiju ili samostalnih UI sustava, što će dovesti do veće digitalne autonomije. Poduzeća ili tijela javne vlasti koja razvijaju ili upotrebljavaju aplikacije UI-ja koje su vrlo rizične za sigurnost ili temeljna prava građana morala bi ispunjavati posebne zahtjeve i obveze. Ispunjavanje tih zahtjeva podrazumijevalo bi troškove od približno 6 000 EUR do 7 000 EUR za nabavu prosječno visokorizičnog UI sustava od približno 170 000 EUR do 2025. Korisnici UI-ja snosili bi i godišnje troškove za vrijeme posvećeno ljudskom nadzoru ondje gdje je on potreban, ovisno o slučaju primjene. Ti su troškovi procijenjeni na približno 5 000 EUR do 8 000 EUR na godinu. Troškovi provjere za dobavljače visokorizičnog UI-ja mogli bi iznositi dodatnih 3 000 EUR do 7 500 EUR. Poduzeća ili tijela javne vlasti koja razvijaju ili upotrebljavaju aplikacije UI-ja koje nisu klasificirane kao visokorizične imala bi tek minimalne obveze obavješćivanja. Međutim, mogla bi se odlučiti pridružiti drugima i zajedno s njima donijeti kodeks ponašanja kako bi ispunila odgovarajuće zahtjeve i osigurala pouzdanost svojih UI sustava. U tom bi slučaju troškovi iznosili najviše onoliko koliko iznose za visokorizične UI sustave, ali najvjerojatnije bi bili niži. Učinci opcija politike na različite kategorije dionika (gospodarski subjekti/poslovni sektor, tijela za ocjenjivanje sukladnosti, tijela za normizaciju i druga javna tijela, pojedinci/građani, istraživači) detaljno su objašnjeni u Prilogu 3. procjeni učinka koja je priložena ovom prijedlogu. 3.4.Primjerenost i pojednostavnjenje propisa U prijedlogu se utvrđuje obveza koja će se primjenjivati na dobavljače i korisnike visokorizičnih UI sustava. Dobavljačima koji razvijaju i stavljaju takve sustave na tržište Unije stvorit će pravnu sigurnost i spriječiti zapreke prekograničnom pružanju usluga i proizvoda povezanih s UI-jem. Poduzećima koja koriste UI podići će povjerenje među klijentima. Kad je riječ o nacionalnim javnim upravama, povećat će se javno povjerenje u uporabu UI-ja i ojačati mehanizmi provedbe (uvođenjem europskog koordinacijskog mehanizma, osiguravanjem odgovarajućih kapaciteta i olakšavanjem revizija UI sustava uvođenjem novih zahtjeva u pogledu dokumentacije, sljedivosti i transparentnosti). Nadalje, tim će se okvirom predvidjeti posebne mjere za potporu inovacijama, uključujući regulatorna izolirana okruženja i posebne mjere kojima se malim korisnicima i dobavljačima visokorizičnih UI sustava pruža potpora u ispunjavanju novih pravila. Prijedlog je posebno usmjeren i na jačanje konkurentnosti Europe i industrijskih temelja u području UI-ja. Osigurava se potpuna usklađenost s postojećim sektorskim zakonodavstvom Unije koje se primjenjuje na UI sustave (npr. na proizvode i usluge), čime će se omogućiti veća jasnoća i pojednostavniti provedba novih pravila. 3.5.Temeljna prava Uporaba UI-ja s njegovim specifičnim karakteristikama (npr. netransparentnost, složenost, ovisnost o podacima, autonomno ponašanje) može nepovoljno utjecati na brojna temeljna prava utvrđena u Povelji Europske unije o temeljnim pravima („Povelja”). Ovim se prijedlogom želi osigurati visoka razina zaštite tih temeljnih prava i nastoje se riješiti različiti izvori rizika s pomoću jasno definiranog pristupa koji se temelji na riziku. Zahvaljujući skupu zahtjeva za pouzdani UI i proporcionalnim obvezama za sve sudionike lanca vrijednosti, prijedlogom će se poboljšati i promicati zaštita prava zaštićenih Poveljom: pravo na ljudsko dostojanstvo (članak 1.), poštovanje privatnog života i zaštita osobnih podataka (članci 7. i 8.), nediskriminacija (članak 21.) te ravnopravnost žena i muškaraca (članak 23.). Njime se nastoji spriječiti odvraćajući učinak na prava na slobodu izražavanja (članak 11.) i slobodu okupljanja (članak 12.) te osigurati zaštitu prava na djelotvoran pravni lijek i na pošteno suđenje, prava na obranu i pretpostavku nedužnosti (članci 47. i 48.) i opće načelo dobre uprave. Nadalje, kako je primjenjivo u određenim područjima, prijedlog će pozitivno utjecati na prava brojnih posebnih skupina, kao što su prava radnika na poštene i pravične radne uvjete (članak 31.), visoka razina zaštite potrošača (članak 38.), prava djeteta (članak 24.) i integracija osoba s invaliditetom (članak 26.). Relevantno je i pravo na visoku razinu zaštite okoliša i poboljšavanje kvalitete okoliša (članak 37.), među ostalim u pogledu zdravlja i sigurnosti ljudi. Obveze koje se odnose na ex ante ispitivanje, upravljanje rizikom i ljudski nadzor isto će tako olakšati poštovanje drugih temeljnih prava jer će se rizik od pogrešnih ili pristranih odluka potpomognutih UI-jem u važnim područjima kao što su obrazovanje i osposobljavanje, zapošljavanje, važne usluge, kazneni progon i sudstvo svesti na najmanju moguću mjeru. Ako i dalje bude kršenja temeljnih prava, omogućit će se djelotvorna pravna zaštita za pogođene osobe tako što će se osigurati transparentnost i sljedivost UI sustava u kombinaciji sa snažnim ex post kontrolama. Prijedlogom se uvode određena ograničenja slobode poduzetništva (članak 16.) i slobode umjetnosti i znanosti (članak 13.) radi usklađenosti s prevladavajućim razlozima od javnog interesa kao što su zdravlje, sigurnost, zaštita potrošača i zaštita drugih temeljnih prava („odgovorne inovacije”) pri razvoju i uporabi visokorizične UI tehnologije. Ta su ograničenja proporcionalna i ograničena na najmanju moguću razinu potrebnu za sprečavanje i smanjenje ozbiljnih sigurnosnih rizika i mogućih kršenja temeljnih prava. Veće obveze u pogledu transparentnosti neće nerazmjerno utjecati ni na pravo na zaštitu intelektualnog vlasništva (članak 17. stavak 2.) jer će biti ograničene samo na minimalne informacije koje su nužne da bi pojedinci ostvarili pravo na djelotvoran pravni lijek i na potrebnu razinu transparentnosti nadzornih tijela i tijela kaznenog progona u skladu s njihovim ovlastima. Svako otkrivanje informacija provodit će se u skladu s relevantnim propisima u tom području, među ostalim s Direktivom 2016/943 o zaštiti neotkrivenih znanja i iskustva te poslovnih informacija (poslovne tajne) od nezakonitog pribavljanja, korištenja i otkrivanja. Ako se tijelima javne vlasti i prijavljenim tijelima mora dati pristup povjerljivim informacijama ili izvornom kodu kako bi ispitala usklađenost s bitnim obvezama, ona se obvezuju na zaštitu povjerljivosti. 4.UTJECAJ NA PRORAČUN

Države članice morat će imenovati nadzorna tijela koja će biti zadužena za provedbu zakonodavnih zahtjeva. Njihova nadzorna funkcija mogla bi se temeljiti na postojećim aranžmanima, koji primjerice vrijede za tijela za ocjenjivanje sukladnosti ili nadzor tržišta, ali zahtijevala bi odgovarajuće stručno tehnološko znanje i financijska sredstva. Ovisno o već postojećoj strukturi u svakoj državi članici, to bi moglo podrazumijevati od 1 do 25 ekvivalenata punog radnog vremena po državi članici. Detaljan pregled uključenih troškova nalazi se u „financijskom izvještaju” povezanom s ovim prijedlogom. 5.DRUGI ELEMENTI 5.1.Planovi provedbe i mehanizmi praćenja, evaluacije i izvješćivanja Neophodno je predvidjeti robustan mehanizam praćenja i evaluacije kako bi se osiguralo uspješno ostvarenje ciljeva prijedloga. Komisija će biti zadužena za praćenje učinaka prijedloga. Uspostavit će sustav za registraciju samostalnih visokorizičnih aplikacija UI-ja u javnoj bazi podataka na razini EU-a. Ta će registracija nadležnim tijelima, korisnicima i drugim zainteresiranim osobama omogućiti i da provjere je li visokorizični UI sustav u skladu sa zahtjevima utvrđenima u prijedlogu i da provode pojačani nadzor nad UI sustavima koji su rizičniji za temeljna prava. Kako bi se prikupili podaci za tu bazu podataka, dobavljači UI-ja morat će dostavljati smislene informacije o svojim sustavima i ocjenjivanju sukladnosti koje je provedeno na tim sustavima. Usto, dobavljači UI-ja bit će dužni nacionalnim nadležnim tijelima prijavljivati ozbiljne incidente ili neispravnosti kojima se krše obveze u području temeljnih prava čim saznaju za njih te o svim provedenim povratima ili povlačenjima UI sustava s tržišta. Nacionalna nadležna tijela zatim će istražiti te incidente ili neispravnosti, prikupiti sve potrebne informacije i redovito ih prenositi Komisiji uz odgovarajuće metapodatke. Komisija će dopuniti te informacije o incidentima opsežnom analizom cjelokupnog tržišta UI-ja. Komisija će objaviti izvješće u kojem se evaluira i preispituje predloženi okvir za UI pet godina od datuma početka njegove primjene. 5.2.Detaljno obrazloženje posebnih odredaba prijedloga 5.2.1.PODRUČJE PRIMJENE I DEFINICIJE (GLAVA I.) U glavi I. definiraju se predmet uredbe i područje primjene novih pravila koja obuhvaćaju stavljanje na tržište, stavljanje u uporabu i korištenje UI sustava. Utvrđuju se i definicije koje se upotrebljavaju u cijelom instrumentu. Nastoji se da definicija UI sustava u pravnom okviru bude što tehnološki neutralnija i otpornija na buduće promjene, uzimajući pritom u obzir brz tehnološke i tržišne promjene povezane s UI-jem. Kako bi se osigurala potrebna pravna sigurnost, glava I. dopunjena je Prilogom I. s detaljnim popisom pristupa i tehnika za razvoj UI-ja, koji će Komisija prilagođavati u skladu s novim tehnološkim kretanjima. Jasno su definirani i važni sudionici u cijelom lancu vrijednosti UI-ja, kao što su dobavljači i korisnici UI sustava koji obuhvaćaju i javne i privatne operatere kako bi se osigurali jednaki uvjeti. 5.2.2.ZABRANJENE PRAKSE U PODRUČJU UMJETNE INTELIGENCIJE (GLAVA II.) U glavi II. utvrđuje se popis zabranjenog UI-ja. Uredba se temelji na pristupu temeljenom na riziku, pri čemu se razlikuju uporabe UI-ja kojima se stvara i. neprihvatljiv rizik, ii. visoki rizik i iii. nizak ili minimalan rizik. Popis zabranjenih praksi u glavi II. obuhvaća sve UI sustave čija se uporaba smatra neprihvatljivom jer je protivna vrijednostima Unije, na primjer zbog kršenja temeljnih prava. Zabrane se odnose na prakse koje imaju znatan potencijal za manipuliranje osobama primjenom subliminalnih tehnika koje djeluju na nesvjesnoj razini ili iskorištavanje slabosti specifičnih ranjivih skupina kao što su djeca ili osobe s invaliditetom kako bi se bitno promijenilo njihovo ponašanje na način koji će njima ili drugim osobama vjerojatno prouzročiti psihološku ili tjelesnu štetu. Druge manipulativne ili izrabljivačke prakse koje utječu na odrasle i koje bi UI sustavi mogli olakšati mogle bi se obuhvatiti postojećim propisima o zaštiti podataka, zaštiti potrošača i digitalnim uslugama kojima se osigurava pravilno informiranje pojedinaca i slobodno odlučivanje o podvrgavanju izradi profila ili drugim praksama koje bi mogle utjecati na njihovo ponašanje. Prijedlogom se zabranjuje i društveno vrednovanje u opće svrhe koje se temelji na UI-ju i provode ga tijela javne vlasti. Naposljetku, zabranjuje se i primjena sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona, osim ako se primjenjuju određene ograničene iznimke. 5.2.3.VISOKORIZIČNI UI SUSTAVI (GLAVA III.) Glava III. sadržava posebna pravila za UI sustave koji stvaraju visok rizik za zdravlje i sigurnost ili temeljna prava pojedinaca. U skladu s pristupom temeljenom na riziku ti visokorizični UI sustavi dopušteni su na europskom tržištu ako su u skladu s određenim obveznim zahtjevima i ex ante ocjenjivanjem sukladnosti. UI sustavi klasificiraju se kao visokorizični na temelju njihove namjene, u skladu s postojećim zakonodavstvom u području sigurnosti proizvoda. Stoga klasifikacija UI sustava kao visokorizičnog ne ovisi samo o njegovoj funkciji, nego i o njegovoj konkretnoj namjeni i načinima uporabe. U poglavlju 1. glave III. navode se pravila klasifikacije i utvrđuju dvije glavne kategorije visokorizičnih UI sustava: ·UI sustavi koji su namijenjeni za uporabu kao sigurnosni sastavni dijelovi proizvoda koji podliježu ex ante ocjenjivanju sukladnosti koje provode treće strane, ·ostali samostalni UI sustavi koji ponajprije imaju posljedice na temeljna prava i koji su izričito navedeni u Prilogu III. Popis visokorizičnih UI sustava u Prilogu III. sadržava ograničen broj UI sustava čiji su se rizici već ostvarili ili će se vjerojatno ostvariti u bliskoj budućnosti. Kako bi se osiguralo da se Uredba može prilagoditi novim primjenama i aplikacijama UI-ja, Komisija može proširiti popis visokorizičnih UI sustava koji se upotrebljavaju unutar određenih unaprijed utvrđenih područja tako da primijeni skup kriterija i metodologiju procjene rizika. U poglavlju 2. utvrđuju se pravni zahtjevi za visokorizične UI sustave u pogledu podataka i upravljanja podacima, dokumentacije i vođenja evidencije, transparentnosti i informiranja korisnika, ljudskog nadzora, otpornosti, točnosti i sigurnosti. Predloženi minimalni zahtjevi već su razina prema kojoj djeluju mnogi revni operateri te su rezultat dviju godina pripremnog rada provedenog na temelju etičkih smjernica stručne skupine na visokoj razini, a probno ih je primijenilo više od 350 organizacija. Uvelike su usklađeni i s drugim međunarodnim preporukama i načelima, čime se osigurava da je predloženi okvir za UI spojiv s onima koje su donijeli međunarodni trgovinski partneri EU-a. Točna tehnička rješenja za postizanje usklađenosti s tim zahtjevima mogu se osigurati standardima ili drugim tehničkim specifikacijama ili se mogu razviti na neki drugi način u skladu s općim inženjerskim ili znanstvenim spoznajama i prema slobodnoj odluci dobavljača UI sustava. Ta je fleksibilnost posebno važna jer dobavljačima UI sustava omogućuje da odaberu način na koji će ispuniti zahtjeve, uzimajući u obzir najnovija dostignuća te tehnološki i znanstveni napredak u tom području. U poglavlju 3. utvrđuje se jasan skup horizontalnih obveza za dobavljače visokorizičnih UI sustava. Utvrđuju se i proporcionalne obveze za korisnike i druge sudionike u lancu vrijednosti UI-ja (npr. uvoznici, distributeri, ovlašteni zastupnici).

U poglavlju 4. utvrđuje se okvir za prijavljena tijela koja će sudjelovati kao neovisne treće strane u postupcima ocjenjivanja sukladnosti, dok se u poglavlju 5. detaljno opisuju postupci ocjenjivanja sukladnosti za svaku vrstu visokorizičnog UI sustava. Pristupom koji uključuje ocjenjivanje sukladnosti nastoji se što više smanjiti opterećenje za gospodarske subjekte, ali i za prijavljena tijela, čiji će se kapacitet s vremenom morati postupno povećavati. UI sustavi namijenjeni za uporabu kao sigurnosni sastavni dijelovi proizvoda koji su regulirani propisima novog zakonodavnog okvira (npr. strojevi, igračke, medicinski proizvodi itd.) podlijegat će istim ex ante i ex post mehanizmima sukladnosti i provedbe kao i proizvodi čiji su sastavni dijelovi. Ključna je razlika u tome što će se ex ante i ex post mehanizmima osigurati usklađenost ne samo sa zahtjevima utvrđenima u sektorskom zakonodavstvu nego i sa zahtjevima utvrđenima u ovoj Uredbi. Za samostalne visokorizične UI sustave iz Priloga III. uspostavit će se novi sustav sukladnosti i provedbe. To je u skladu s modelom propisa novog zakonodavnog okvira, odnosno primjenom unutarnjih kontrolnih provjera koje obavljaju dobavljači, uz iznimku sustava za daljinsku biometrijsku identifikaciju koji bi podlijegali ocjenjivanjima sukladnosti koje provode treće strane. Opsežno ex ante ocjenjivanje sukladnosti s pomoću unutarnjih provjera, u kombinaciji s dosljednom ex post provedbom, moglo bi biti djelotvorno i razumno rješenje za te sustave s obzirom na ranu fazu regulatorne intervencije i činjenicu da je sektor UI-ja vrlo inovativan i da se stručno znanje za revizije tek počelo gomilati. Ocjenjivanje primjenom unutarnjih provjera za „samostalne” visokorizične UI sustave zahtijevalo bi potpunu, djelotvornu i pravilno dokumentiranu ex ante usklađenost sa svim zahtjevima iz Uredbe i usklađenost s pouzdanim sustavima upravljanja kvalitetom i rizikom te praćenjem nakon stavljanja na tržište. Nakon što dobavljač provede odgovarajuće ocjenjivanje sukladnosti, trebao bi registrirati te samostalne visokorizične UI sustave u bazi podataka EU-a, koju će voditi Komisija, kako bi se poboljšali javna transparentnost i nadzor te ojačao ex post nadzor koji provode nadležna tijela. S druge strane, kako bi se osigurala dosljednost s postojećim propisima o sigurnosti proizvoda, ocjenjivanje sukladnosti UI sustava koji su sigurnosni sastavni dijelovi proizvoda slijedit će sustav s postupcima ocjenjivanja sukladnosti koje provode treće strane, a koji je već uspostavljen relevantnim propisima o sigurnosti proizvoda. Bit će potrebna nova ex ante ponovna ocjenjivanja sukladnosti u slučaju bitnih izmjena UI sustava (osobito promjena koje prelaze ono što je dobavljač unaprijed odredio u svojoj tehničkoj dokumentaciji i što je provjereno u trenutku ex ante ocjenjivanja sukladnosti). 5.2.4.OBVEZE U POGLEDU TRANSPARENTNOSTI ZA ODREĐENE UI SUSTAVE (GLAVA IV.) Glava IV. odnosi se na određene UI sustave kako bi se uzeli u obzir posebni rizici od manipulacije koje predstavljaju. Obveze u pogledu transparentnosti primjenjuju se za sustave koji: i. komuniciraju s ljudima, ii. služe za otkrivanje emocija ili određivanje povezanosti sa (socijalnim) kategorijama na temelju biometrijskih podataka ili iii. stvaraju sadržaj ili manipuliraju njime („deep fakes”). Ako su osobe u interakciji s UI sustavom ili se izvodi automatizirano prepoznavanje njihovih emocija ili karakteristika, mora ih se o tome obavijestiti. Ako se UI sustav upotrebljava za stvaranje ili manipuliranje slikovnim sadržajem, audiosadržajem ili videosadržajem u kojem postoji znatna sličnost s autentičnim sadržajem, trebala bi postojati obveza navođenja da je taj sadržaj stvoren automatiziranim sredstvima, uz iznimke u zakonite svrhe (kazneni progon, sloboda izražavanja). To pojedincima omogućuje da donose utemeljene odluke ili odustanu od sudjelovanja u određenim situacijama. 5.2.5.MJERE ZA POTPORU INOVACIJAMA (GLAVA V.) U glavi V. pridonosi se cilju stvaranja pravnog okvira koji je prilagođen inovacijama, spreman na buduće promjene i otporan na poremećaje. U tu se svrhu nacionalna nadležna tijela potiču na uspostavu regulatornih izoliranih okruženja i utvrđuje se osnovni okvir za upravljanje, nadzor i odgovornost. Regulatornim izoliranim okruženjima za UI uspostavlja se kontrolirano okruženje za testiranje inovativnih tehnologija u ograničenom vremenu na temelju plana testiranja dogovorenog s nadležnim tijelima. Glava V. sadržava i mjere za smanjenje regulatornog opterećenja za MSP-ove i novoosnovana (start-up) poduzeća. 5.2.6.UPRAVLJANJE I PROVEDBA (GLAVE VI., VII. I VIII.) U glavi VI. utvrđuju se sustavi upravljanja na razini Unije i nacionalnoj razini. Na razini unije na temelju prijedloga osniva se Europski odbor za umjetnu inteligenciju („Odbor”), koji čine predstavnici država članica i Komisije. Odbor će olakšati neometanu, djelotvornu i usklađenu provedbu ove Uredbe tako što će doprinositi djelotvornoj suradnji nacionalnih nadzornih tijela i Komisije te će Komisiji pružati savjete i stručno znanje. Ujedno će prikupljati i razmjenjivati najbolje primjere iz prakse među državama članicama. Na nacionalnoj razini države članice morat će odrediti jedno ili više nacionalnih nadležnih tijela, a među njima i nacionalno nadzorno tijelo, za nadzor primjene i provedbe Uredbe. Europski nadzornik za zaštitu podataka djelovat će kao nadležno tijelo za nadzor nad institucijama, agencijama i tijelima Unije obuhvaćenima područjem primjene ove Uredbe. Glavom VII. želi se olakšati praćenje koje provode Komisija i nacionalna tijela, i to uspostavom baze podataka na razini EU-a za samostalne visokorizične UI sustave koji ponajprije imaju posljedice na temeljna prava. Tom bazom podataka upravljat će Komisija, a podatke koji će se u nju unositi dostavljat će dobavljači UI sustava, koji će morati registrirati svoje sustave prije nego što ih stave na tržište ili na drugi način stave u uporabu. U glavi VIII. utvrđuju se obveze praćenja i izvješćivanja za dobavljače UI sustava u pogledu praćenja nakon stavljanja na tržište te prijavljivanja i istraživanja incidenata i neispravnosti povezanih s UI-jem. Tijela za nadzor tržišta ujedno bi kontrolirala tržište i istraživala usklađenost s obvezama i zahtjevima za sve visokorizične UI sustave koji su već stavljeni na tržište. Tijela za nadzor tržišta imala bi sve ovlasti na temelju Uredbe (EU) 2019/1020 o nadzoru tržišta. Ex post provedbom trebalo bi se osigurati da nakon stavljanja UI sustava na tržište tijela javne vlasti imaju ovlasti i resurse da interveniraju ako UI sustavi izazivaju neočekivane rizike koji zahtijevaju brzo djelovanje. Pratit će i ispunjavaju li operateri odgovarajuće obveze utvrđene u Uredbi. U prijedlogu nije predviđeno automatsko osnivanje dodatnih tijela na razini država članica. Države članice stoga mogu imenovati (i osloniti se na stručno znanje) postojećih sektorskih tijela, kojima bi se dale i ovlasti za praćenje i provođenje odredbi Uredbe. Svime time ne dovode se u pitanje postojeći sustav ni dodjela ovlasti za ex post provedbu obveza u pogledu temeljnih prava u državama članicama. Ako je to potrebno za izvršavanje njihovih ovlasti, postojeća nadzorna tijela i tijela kaznenog progona imat će i ovlast zatražiti svu dokumentaciju vođenu na temelju ove Uredbe te joj pristupiti, a prema potrebi će moći i zatražiti od tijela za nadzor tržišta da organiziraju testiranje visokorizičnog UI sustava tehničkim sredstvima. 5.2.7.KODEKSI PONAŠANJA (GLAVA IX.) U glavi IX. utvrđuje se okvir za izradu kodeksa ponašanja kojima se nastoji potaknuti dobavljače UI sustava koji nisu visokorizični da dobrovoljno primjenjuju obvezne zahtjeve za visokorizične UI sustave (kako je navedeno u glavi III.). Dobavljači UI sustava koji nisu visokorizični mogu i sami izraditi i uvesti kodekse ponašanja. Ti kodeksi mogu uključivati i dobrovoljne obveze koje se, primjerice, odnose na okolišnu održivost, pristupačnost za osobe s invaliditetom, sudjelovanje dionika u projektiranju i razvoju UI sustava te raznolikost razvojnih timova. 5.2.8.ZAVRŠNE ODREDBE (GLAVE X., XI. I XII.) U glavi X. ističe se da su sve strane dužne poštovati povjerljivost informacija i podataka te se utvrđuju pravila za razmjenu informacija dobivenih tijekom provedbe Uredbe. Glava X. uključuje i mjere za osiguravanje djelotvorne provedbe Uredbe primjenom djelotvornih, proporcionalnih i odvraćajućih sankcija za kršenje odredaba. U glavi XI. utvrđuju se pravila za izvršavanje delegiranih i provedbenih ovlasti. Prijedlogom se Komisija ovlašćuje da prema potrebi donosi provedbene akte kako bi se osigurala ujednačena provedba Uredbe ili delegirane akte radi ažuriranja ili dopunjavanja popisa iz priloga od I. do VII. Glava XII. sadržava obvezu prema kojoj Komisija mora redovito procjenjivati potrebu za ažuriranjem Priloga III. i sastavljati redovita izvješća o evaluaciji i preispitivanju Uredbe. U njoj se utvrđuju i završne odredbe, uključujući diferencirano prijelazno razdoblje za početni datum primjenjivosti Uredbe kako bi se svim uključenim stranama olakšala neometana provedba. 2021/0106 (COD) Prijedlog

UREDBE EUROPSKOG PARLAMENTA I VIJEĆA O UTVRĐIVANJU USKLAĐENIH PRAVILA O UMJETNOJ INTELIGENCIJI (AKT O UMJETNOJ INTELIGENCIJI) I IZMJENI ODREĐENIH ZAKONODAVNIH AKATA UNIJE EUROPSKI PARLAMENT I VIJEĆE EUROPSKE UNIJE, uzimajući u obzir Ugovor o funkcioniranju Europske unije, a posebno njegove članke 16. i 114., uzimajući u obzir prijedlog Europske komisije, nakon prosljeđivanja nacrta zakonodavnog akta nacionalnim parlamentima, uzimajući u obzir mišljenje Europskoga gospodarskog i socijalnog odbora, uzimajući u obzir mišljenje Odbora regija, u skladu s redovnim zakonodavnim postupkom, budući da: (1)Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta utvrđivanjem ujednačenog pravnog okvira, posebno za razvoj, stavljanje na tržište i uporabu umjetne inteligencije u skladu s vrijednostima Unije. Uredbom je obuhvaćeno nekoliko prevladavajućih razloga od općeg interesa, kao što je visoka razina zaštite zdravlja, sigurnosti i temeljnih prava, te se njome osigurava slobodno prekogranično kretanje robe i usluga koje se temelje na UI-ju, čime se sprečava da države članice nameću ograničenja na razvoj, stavljanje na tržište i uporabu UI sustava osim ako je to izričito odobreno ovom Uredbom. (2)Sustavi umjetne inteligencije (UI sustavi) mogu se lako upotrebljavati u različitim sektorima gospodarstva i društva, među ostalim preko granica, te se kretati unutar Unije. Neke su države članice već razmotrile donošenje nacionalnih pravila kojima bi zajamčile sigurnost umjetne inteligencije te njezin razvoj i uporabu u skladu s obvezama u području temeljnih prava. Različita nacionalna pravila mogu uzrokovati fragmentaciju unutarnjeg tržišta i smanjiti pravnu sigurnost za operatere koji razvijaju ili upotrebljavaju UI sustave. Stoga bi u cijeloj Uniji trebalo osigurati dosljednu i visoku razinu zaštite, dok bi razlike koje otežavaju slobodno kretanje UI sustava te povezanih proizvoda i usluga unutar unutarnjeg tržišta trebalo spriječiti utvrđivanjem jedinstvenih obveza za operatere i jamčenjem ujednačene zaštite prevladavajućih razloga od javnog interesa i prava osoba na cijelom unutarnjem tržištu na temelju članka 114. Ugovora o funkcioniranju Europske unije (UFEU). U mjeri u kojoj ova Uredba sadržava posebna pravila o zaštiti pojedinaca pri obradi osobnih podataka u vezi s ograničenjima uporabe UI sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona dio ove Uredbe koji se odnosi na ta posebna pravila primjereno je temeljiti na članku 16. UFEU-a. S obzirom na ta posebna pravila i pozivanje na članak 16. UFEU-a, primjereno je zatražiti mišljenje Europskog odbora za zaštitu podataka. (3)Umjetna inteligencija skupina je tehnologija koja se brzo razvija i može pridonijeti nizu gospodarskih i društvenih koristi u cijelom spektru sektora i društvenih aktivnosti. Zahvaljujući boljem predviđanju, optimizaciji operacija i dodjele resursa te personalizaciji digitalnih rješenja koja su dostupna pojedincima i organizacijama, uporaba umjetne inteligencije može poduzećima omogućiti ključne konkurentske prednosti i pridonijeti društveno i ekološki korisnim rezultatima, na primjer u zdravstvenoj zaštiti, poljoprivredi, obrazovanju i osposobljavanju, upravljanju infrastrukturom, energetici, prometu i logistici, javnim uslugama, sigurnosti, pravosuđu, učinkovitom korištenju resursa i energije te ublažavanju klimatskih promjena i prilagodbi tim promjenama. (4)Međutim, ovisno o okolnostima njezine specifične primjene i uporabe, umjetna inteligencija može stvoriti rizike i uzrokovati štetu javnim interesima i pravima koja su zaštićena pravom Unije. Takva šteta može biti materijalna i nematerijalna. (5)Stoga je potreban pravni okvir kojim se utvrđuju usklađena pravila o umjetnoj inteligenciji kako bi se poticali razvoj, uporaba i prihvaćanje umjetne inteligencije na unutarnjem tržištu kojima se istodobno ostvaruje visoka razina zaštite javnih interesa, kao što su zdravlje i sigurnost te zaštita temeljnih prava koja su priznata i zaštićena pravom Unije. Kako bi se postigao taj cilj, trebalo bi utvrditi pravila kojima se uređuje stavljanje na tržište i stavljanje u uporabu određenih UI sustava, te tako osigurati neometano funkcioniranje unutarnjeg tržišta i omogućiti da načela slobodnog kretanja robe i usluga pogoduju tim sustavima. Ovom se Uredbom, zahvaljujući tim pravilima, pridonosi Unijinu cilju globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije koji je odredilo Europsko vijeće i osigurava se zaštita etičkih načela u skladu s izričitim zahtjevom Europskog parlamenta. (6)Trebalo bi jasno definirati pojam UI sustava kako bi se osigurala pravna sigurnost i pritom omogućila fleksibilnost za prilagođavanje budućem tehnološkom napretku. Ta bi se definicija trebala temeljiti na ključnim funkcionalnim karakteristikama softvera, a posebno na sposobnosti da za zadani skup ciljeva koje odredi čovjek generira izlazne rezultate kao što su sadržaj, predviđanja, preporuke ili odluke koji utječu na okolinu s kojom je sustav u interakciji, bilo u fizičkoj ili digitalnoj dimenziji. UI sustavi mogu se projektirati tako da rade s različitom razinom autonomije i da se upotrebljavaju samostalno ili kao sastavni dio nekog proizvoda, bez obzira na to je li sustav fizički integriran u proizvod (ugrađen) ili izvršava funkciju proizvoda bez integriranja u njega (neugrađen). Definiciju UI sustava trebalo bi dopuniti popisom posebnih tehnika i pristupa primijenjenih u njegovu razvoju, koji bi trebalo ažurirati s obzirom na tržišne i tehnološke promjene, i to delegiranim aktima Komisije za izmjenu tog popisa. (7)Pojam biometrijskih podataka koji se upotrebljava u ovoj Uredbi u skladu je s pojmom biometrijskih podataka kako je definiran člankom 4. točkom 14. Uredbe (EU) 2016/679 Europskog parlamenta i Vijeća, člankom 3. točkom 18. Uredbe (EU) 2018/1725 Europskog parlamenta i Vijeća i člankom 3. točkom 13. Direktive (EU) 2016/680 Europskog parlamenta i Vijeća te bi se trebao tumačiti dosljedno tim odredbama. (8)Pojam sustava za daljinsku biometrijsku identifikaciju koji se upotrebljava u ovoj Uredbi trebalo bi definirati funkcionalno, kao UI sustav namijenjen za daljinsko identificiranje pojedinaca usporedbom biometrijskih podataka osobe s biometrijskim podacima iz referentne baze podataka, pri čemu se ne može unaprijed znati hoće li ciljana osoba biti prisutna i može li je se identificirati, bez obzira na tehnologiju, postupke ili vrste biometrijskih podataka koji se upotrebljavaju. S obzirom na njihove različite karakteristike i različite načine korištenja, ali i na različite prisutne rizike, trebalo bi razlikovati sustav za daljinsku biometrijsku identifikaciju u stvarnom vremenu i sustav za naknadnu daljinsku biometrijsku identifikaciju. U sustavima za daljinsku biometrijsku identifikaciju u stvarnom vremenu prikupljanje biometrijskih podataka, usporedba i identifikacija odvijaju se trenutačno, gotovo trenutačno ili u svakom slučaju bez znatnog kašnjenja. Reguliranjem kratkih kašnjenja trebalo bi onemogućiti zaobilaženje pravila ove Uredbe o uporabi tih UI sustava u stvarnom vremenu. Sustavi u stvarnom vremenu uključuju uporabu materijala snimljenog „uživo” ili „gotovo uživo”, kao što je videozapis snimljen kamerom ili drugim uređajem sa sličnom funkcijom. S druge strane, u sustavima za naknadnu identifikaciju biometrijski su podaci već prethodno prikupljeni te se usporedba i identifikacija vrše tek nakon znatnog kašnjenja. To uključuje materijal snimljen prije nego što je sustav upotrijebljen za identifikaciju predmetnih pojedinaca, kao što su fotografije ili videozapisi snimljeni nadzornim kamerama ili privatnim uređajima. (9)Pojam javnog mjesta za potrebe ove Uredbe trebalo bi shvatiti kao svako fizičko mjesto koje je dostupno javnosti, bez obzira na to je li u privatnom ili javnom vlasništvu. Dakle, taj pojam ne obuhvaća mjesta koja su privatne naravi i obično nisu slobodno dostupna trećim stranama, među ostalim ni tijelima kaznenog progona, osim ako su te strane izričito pozvane ili im je odobren pristup; to su primjerice stambeni objekti, privatni klubovi, uredi, skladišta i tvornice. Nisu obuhvaćeni ni internetski prostori jer oni nisu fizički prostori. Međutim, samo to što se nekom mjestu može pristupiti po određenim uvjetima, kao što su ulaznice ili dobna ograničenja, ne znači da to mjesto nije javno u smislu ove Uredbe. Prema tome, uz javna mjesta kao što su ulice, odgovarajući dijelovi vladinih zgrada i većina prometne infrastrukture, i mjesta kao što su kina, kazališta, trgovine i trgovački centri obično su javna. Ipak, to je li određeno mjesto javno trebalo bi utvrditi u svakom slučaju posebno i pritom uzeti u obzir specifične okolnosti konkretne situacije. (10)Kako bi se osigurali jednaki uvjeti i djelotvorna zaštita prava i sloboda pojedinaca u cijeloj Uniji, pravila utvrđena u ovoj Uredbi trebala bi se primjenjivati na dobavljače UI sustava na nediskriminirajući način, bez obzira na to imaju li poslovni nastan u Uniji ili trećoj zemlji, i na korisnike UI sustava s poslovnim nastanom u Uniji.

(11)Određeni bi UI sustavi zbog svojeg digitalnog karaktera trebali biti obuhvaćeni područjem primjene ove Uredbe čak i ako nisu stavljeni ni na tržište ni u uporabu niti se upotrebljavaju u Uniji. To se, primjerice, odnosi na operatera s poslovnim nastanom u Uniji koji od operatera s poslovnim nastanom izvan Unije naruči određene usluge povezane sa zadaćom koju obavlja UI sustav koji bi pripadao u visokorizične sustave i koji bi mogao utjecati na pojedince u Uniji. U tim bi okolnostima UI sustav kojim se služi operater izvan Unije mogao obrađivati podatke koji su zakonito prikupljeni u Uniji i preneseni iz nje te dostaviti izlazni rezultat UI sustava koji se temelji na toj obradi operateru ugovaratelju u Uniji, a da taj UI sustav nije stavljen ni na tržište ni u uporabu niti se upotrebljava u Uniji. Kako bi se spriječilo zaobilaženje ove Uredbe i osigurala djelotvorna zaštita pojedinaca u Uniji, ova bi se Uredba trebala primjenjivati i na dobavljače i korisnike UI sustava koji imaju poslovni nastan u trećoj zemlji ako se u Uniji upotrebljavaju izlazni rezultati tih sustava. Međutim, kako bi se uzeli u obzir postojeći aranžmani i specifične potrebe za suradnjom sa stranim partnerima s kojima se razmjenjuju informacije i dokazi, ova se Uredba ne bi trebala primjenjivati na tijela javne vlasti treće zemlje ni na međunarodne organizacije koje djeluju u okviru međunarodnih sporazuma koji su na nacionalnoj ili europskoj razini sklopljeni s Unijom ili njezinim državama članicama za suradnju u područjima kaznenog progona i pravosuđa. Riječ je o bilateralnim sporazumima sklopljenima između država članica i trećih zemalja ili između Europske unije, Europola i drugih agencija EU-a te trećih zemalja i međunarodnih organizacija. (12)Ova bi se Uredba trebala primjenjivati i na institucije, urede, tijela i agencije Unije ako djeluju kao dobavljači ili korisnici UI sustava. UI sustave koji se razvijaju ili upotrebljavaju isključivo u vojne svrhe trebalo bi izostaviti iz područja primjene ove Uredbe ako je ta uporaba u isključivoj nadležnosti zajedničke vanjske i sigurnosne politike uređene na temelju glave V. Ugovora o Europskoj uniji (UEU). Ovom Uredbom ne bi se trebale dovoditi u pitanje odredbe o odgovornosti pružatelja posredničkih usluga iz Direktive 2000/31/EZ Europskog parlamenta i Vijeća [kako je izmijenjena Aktom o digitalnim uslugama]. (13)Kako bi se osigurala dosljedna i visoka razina zaštite javnih interesa u pogledu zdravlja, sigurnosti i temeljnih prava, trebalo bi utvrditi zajedničke normativne standarde za sve visokorizične UI sustave. Ti bi standardi trebali biti dosljedni s Poveljom Europske unije o temeljnim pravima (Povelja) te bi trebali biti nediskriminirajući i usklađeni s međunarodnim trgovinskim obvezama Unije. (14)Kako bi se uveo proporcionalan i djelotvoran skup obvezujućih pravila za UI sustave, trebalo bi slijediti jasno definiran pristup koji se temelji na riziku. Vrsta i sadržaj tih pravila u tom bi pristupu trebali biti primjereni intenzitetu i opsegu rizika koje mogu stvoriti UI sustavi. Stoga je potrebno zabraniti određene prakse u području umjetne inteligencije, utvrditi zahtjeve za visokorizične UI sustave i obveze za relevantne operatere te utvrditi obveze u pogledu transparentnosti za određene UI sustave. (15)Osim brojnih korisnih primjena umjetne inteligencije, ta se tehnologija može i zloupotrijebiti te omogućiti nove i moćne alate za manipulativne i izrabljivačke prakse te prakse socijalne kontrole. Takve su prakse iznimno štetne i trebalo bi ih zabraniti jer su protivne Unijinim vrijednostima poštovanja ljudskog dostojanstva, slobode, ravnopravnosti, demokracije i vladavine prava te temeljnim pravima Unije, uključujući pravo na nediskriminaciju, zaštitu podataka i privatnost te prava djeteta. (16)Trebalo bi zabraniti stavljanje na tržište, stavljanje u uporabu ili primjenu određenih UI sustava kojima se želi promijeniti čovjekovo ponašanje, čime se može izazvati tjelesna ili psihološka šteta. U takvim UI sustavima primjenjuju se subliminalni elementi koje pojedinci ne mogu percipirati ili se iskorištavaju ranjivosti koje djeca i odrasli mogu imati zbog svoje dobi te fizičkih ili mentalnih poteškoća. Pritom se njima želi bitno promijeniti ponašanje osobe na način koji uzrokuje ili bi mogao uzrokovati štetu toj ili nekoj drugoj osobi. Ta se namjera ne može pretpostaviti ako mijenjanje ljudskog ponašanja proizlazi iz čimbenika koji su izvan UI sustava i kontrole dobavljača ili korisnika. Zabrana ne bi trebala kočiti istraživanja u zakonite svrhe koja se odnose na takve UI sustave ako ta istraživanja ne uključuju uporabu UI sustava u odnosima između ljudi i strojeva koji bi mogli naštetiti pojedincima i ako se provode u skladu s priznatim etičkim standardima za znanstvena istraživanja. (17)UI sustavi koji omogućuju društveno vrednovanje pojedinaca u opće svrhe koje provode tijela javne vlasti ili koje se provodi u njihovo ime mogu prouzročiti diskriminatorne krajnje ishode i isključivanje određenih skupina. Njima se može prekršiti pravo na dostojanstvo i nediskriminaciju te vrijednosti kao što su ravnopravnost i pravda. Takvi UI sustavi evaluiraju ili klasificiraju vjerodostojnost pojedinaca na temelju njihova društvenog ponašanja u različitim kontekstima ili poznatih ili predviđenih osobnih obilježja ili obilježja osobnosti. Društveni rejting dobiven takvim UI sustavima može uzrokovati štetno ili nepovoljno postupanje prema pojedincima ili cijelim skupinama pojedinaca u društvenim kontekstima koji nisu povezani s kontekstom u kojima su podaci izvorno generirani ili prikupljeni ili štetno postupanje koje je nerazmjerno ili neopravdano u odnosu na težinu posljedica njihova društvenog ponašanja. Stoga bi takve UI sustave trebalo zabraniti. (18)Uporaba UI sustava za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona smatra se znatnim kršenjem prava i sloboda uključenih osoba u onoj mjeri u kojoj može utjecati na privatni život velikog dijela stanovništva, pobuditi doživljaj stalnog nadzora i neizravno odvratiti od ostvarenja slobode okupljanja i drugih temeljnih prava. Osim toga, neposrednost učinka i ograničene mogućnosti za dodatne provjere ili ispravke uporabe takvih sustava koji funkcioniraju u „stvarnom vremenu” nose povećane rizike za prava i slobode osoba koje su obuhvaćene aktivnostima kaznenog progona. (19)Stoga bi trebalo zabraniti uporabu tih sustava za potrebe kaznenog progona, osim u trima iscrpno navedenima i usko definiranim situacijama u kojima je ta uporaba nužna za ostvarenje znatnog javnog interesa čija važnost premašuje rizike. Te situacije uključuju potragu za potencijalnim žrtvama kaznenih djela, uključujući nestalu djecu, određene prijetnje životu ili tjelesnoj sigurnosti pojedinaca ili prijetnje terorističkog napada te otkrivanje, lociranje, identifikaciju ili progon počinitelja kaznenih djela ili osumnjičenika za kaznena djela iz Okvirne odluke Vijeća 2002/584/PUP ako su ta kaznena djela u državi članici kažnjiva najvišom kaznom zatvora ili oduzimanjem slobode od najmanje tri godine i kako su utvrđena pravom te države članice. Takvim pragom za kaznu zatvora ili oduzimanje slobode u skladu s nacionalnim pravom pomaže se osigurati da bi ta djela trebala biti dovoljno teška da se potencijalno opravda uporaba sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu. Nadalje, od 32 kaznena djela navedena u Okvirnoj odluci Vijeća 2002/584/PUP neka će u praksi vjerojatno biti relevantniji od drugih, u smislu da će da će primjena daljinske biometrijske identifikacije u stvarnom vremenu biti predvidljivo potrebna i razmjerna u veoma različitoj mjeri za otkrivanje, lociranje, identifikaciju ili progon počinitelja različitih navedenih kaznenih djela ili osumnjičenika za ta kaznena djela te s obzirom na vjerojatne razlike u težini, vjerojatnosti i razmjeru štete ili mogućih negativnih posljedica. (20)Kako bi se osigurala odgovorna i proporcionalna uporaba tih sustava, važno je i utvrditi da bi u svakoj od tih triju iscrpno navedenih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje zahtijeva njihova uporaba i posljedica uporabe za prava i slobode svih uključenih osoba te na zaštitne mjere i uvjete propisane za tu uporabu. Osim toga, za uporabu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebala bi vrijediti odgovarajuća vremenska i prostorna ograničenja, osobito s obzirom na dokaze ili indikacije koji se odnose na prijetnje, žrtve ili počinitelje. Referentna baza podataka osoba trebala bi biti prikladna za svaki slučaj primjene u svakoj od triju prethodno navedenih situacija. (21)Za svaku uporabu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebalo bi pribaviti izričito i posebno odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice. Takvo bi se odobrenje u načelu trebalo pribaviti prije uporabe, osim u propisno opravdanim hitnim situacijama, odnosno situacijama u kojima je potreba za uporabom tih sustava takva da je praktično i objektivno nemoguće dobiti odobrenje prije početka uporabe. U takvim hitnim situacijama uporaba bi trebala biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu i kako je odredilo samo tijelo kaznenog progona u kontekstu svakog pojedinačnog hitnog primjera uporabe. Osim toga, tijelo kaznenog progona u takvim bi situacijama trebalo tražiti pribavljanje odobrenja što prije, uz navođenje razloga zbog kojih se ono nije moglo zatražiti ranije. (22)Nadalje, primjereno je u kontekstu iscrpnog okvira utvrđenog ovom Uredbom propisati da bi takva uporaba na državnom području države članice u skladu s ovom Uredbom trebala biti moguća samo ako i u mjeri u kojoj je ta država članica odlučila izričito predvidjeti mogućnost odobrenja takve uporabe u svojim podrobnim pravilima nacionalnog prava. Stoga države članice u skladu s ovom Uredbom i dalje mogu slobodno odlučiti da neće uopće predvidjeti takvu mogućnost ili mogu predvidjeti takvu mogućnost samo u odnosu na neke od ciljeva kojima se može opravdati odobrena uporaba utvrđena u ovoj Uredbi. (23)Uporaba UI sustavâ za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona nužno uključuje obradu biometrijskih podataka. Pravila ove Uredbe kojima se, uz određene iznimke, zabranjuje takva uporaba, koja se temelje na članku 16. UFEU-a, trebala bi se primjenjivati kao lex specialis u odnosu na pravila o obradi biometrijskih podataka iz članka 10. Direktive (EU) 2016/680, čime se na iscrpan način uređuje takva uporaba i obrada biometrijskih podataka. Stoga bi takva uporaba i obrada trebala biti moguća samo u onoj mjeri u kojoj je u skladu s okvirom utvrđenim ovom Uredbom, pri čemu ne bi trebao postojati prostor, izvan tog okvira, da nadležna tijela koja djeluju za potrebe kaznenog progona upotrebljavaju takve sustave i obrađuju takve povezane podatke na temelju razloga navedenih u članku 10. Direktive (EU) 2016/680. U tom kontekstu svrha ove Uredbe nije pružanje pravne osnove za obradu osobnih podataka iz članka 8. Direktive (EU) 2016/680. Međutim, uporaba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u druge svrhe osim kaznenog progona, i kad ih upotrebljavaju nadležna tijela, ne bi trebala biti obuhvaćena posebnim okvirom o takvoj uporabi za potrebe kaznenog progona utvrđenim ovom Uredbom. Takva uporaba u druge svrhe osim kaznenog progona stoga ne bi trebala podlijegati zahtjevu za odobrenje u skladu s ovom Uredbom te važećim podrobnim pravilima nacionalnog prava kojima se može provoditi. (24)Svaka obrada biometrijskih podataka i drugih osobnih podataka povezana s uporabom UI sustavâ za biometrijsku identifikaciju, osim obrade povezane s uporabom sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona kako je uređeno ovom Uredbom, uključujući slučajeve kad te sustave upotrebljavaju nadležna tijela na javnim mjestima u druge svrhe osim kaznenog progona, i dalje bi trebala ispunjavati sve zahtjeve koji proizlaze iz članka 9. stavka 1. Uredbe (EU) 2016/679, članka 10. stavka 1. Uredbe (EU) 2018/1725 i članka 10. Direktive (EU) 2016/680, ovisno o slučaju. (25)U skladu s člankom 6.a Protokola br. 21 o stajalištu Ujedinjene Kraljevine i Irske s obzirom na područje slobode, sigurnosti i pravde, priloženog UEU-u i UFEU-u, Irsku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) i člankom 5. stavcima 2. i 3. ove Uredbe donesene na temelju članka 16. UFEU-a koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a ako Irsku ne obvezuju pravila koja uređuju oblike pravosudne suradnje u kaznenim stvarima ili policijske suradnje za koja se traži usklađenost s odredbama utvrđenima na temelju članka 16. UFEU-a. (26)U skladu s člancima 2. i 2.a Protokola br. 22 o stajalištu Danske, priloženog UEU-u i UFEU-u, Dansku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) i člankom 5. stavcima 2. i 3. ove Uredbe donesene na temelju članka 16. UFEU-a niti ona podliježe primjeni tih pravila koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a. (27)Visokorizični UI sustavi trebali bi se stavljati na tržište Unije ili u uporabu samo ako ispunjavaju određene obvezne zahtjeve. Tim bi se zahtjevima trebalo osigurati da visokorizični UI sustavi koji su dostupni u Uniji ili čiji se izlazni rezultati na drugi način upotrebljavaju u Uniji ne predstavljaju neprihvatljiv rizik za važne javne interese Unije koji su priznati i zaštićeni pravom Unije. UI sustavi utvrđeni kao visokorizični trebali bi biti ograničeni samo na one koji imaju znatan štetan učinak na zdravlje, sigurnost i temeljna prava osoba u Uniji i takvim bi se ograničenje trebalo minimizirati bilo kakvo potencijalno ograničenje u pogledu međunarodne trgovine. (28)Krajnji ishodi uporabe UI sustava mogli bi nepovoljno utjecati na zdravlje i sigurnost osoba, osobito ako su ti sustavi sastavni dio proizvodâ. U skladu s ciljevima zakonodavstva Unije o usklađivanju, kako bi se olakšalo slobodno kretanje proizvoda na unutarnjem tržištu i kako bi se osiguralo da se na tržište stavljaju samo sigurni i sukladni proizvodi, važno je da se propisno spriječe i smanje mogući sigurnosni rizici od proizvoda kao cjeline zbog njegovih digitalnih sastavnih dijelova, uključujući UI sustave. Na primjer, sve autonomniji roboti, bilo u kontekstu proizvodnje ili osobne skrbi i njege, trebali bi moći funkcionirati na siguran način i obavljati svoje zadaće u složenim okruženjima. Slično tome, u zdravstvenom sektoru u kojem su rizici za život i zdravlje posebno visoki, sve sofisticiraniji dijagnostički sustavi i sustavi koji pomažu ljudima u odlučivanju trebali bi biti pouzdani i točni. Razmjer nepovoljnog utjecaja UI sustava na temeljna prava zaštićena Poveljom posebno je važan pri klasificiranju UI sustava kao visokorizičnog. Ta prava uključuju pravo na ljudsko dostojanstvo, poštovanje privatnog i obiteljskog života, zaštitu osobnih podataka, slobodu izražavanja i informiranja, slobodu okupljanja i udruživanja te nediskriminaciju, zaštitu potrošača, prava radnika, prava osoba s invaliditetom, pravo na djelotvoran pravni lijek i na pošteno suđenje, pravo na obranu i pretpostavku nedužnosti te pravo na dobru upravu. Povrh tih prava, važno je naglasiti da djeca imaju posebna prava utvrđena člankom 24. Povelje EU-a i Konvencijom Ujedinjenih naroda o pravima djeteta (podrobnije razrađena u Općoj napomeni br. 25 Odbora UN-a za prava djeteta o digitalnom okruženju), kojima se zahtijeva da se vodi računa o ranjivosti djece te da se osiguraju zaštita i skrb potrebni za njihovu dobrobit. Pri procjeni ozbiljnosti štete koju UI sustav može prouzročiti, među ostalim u pogledu zdravlja i sigurnosti osoba, trebalo bi uzeti u obzir i temeljno pravo na visoku razinu zaštite okoliša koje je utvrđeno Poveljom i provodi se u politikama Unije. (29)Kad je riječ o visokorizičnim UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili sustavâ ili koji su sami proizvodi ili sustavi obuhvaćeni područjem primjene Uredbe (EZ) br. 300/2008 Europskog parlamenta i Vijeća, Uredbe (EU) br. 167/2013 Europskog parlamenta i Vijeća, Uredbe (EU) br. 168/2013 Europskog parlamenta i Vijeća, Direktive 2014/90/EU Europskog parlamenta i Vijeća, Direktive (EU) 2016/797 Europskog parlamenta i Vijeća, Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća, Uredbe (EU) 2018/1139 Europskog parlamenta i Vijeća i Uredbe (EU) 2019/2144 Europskog parlamenta i Vijeća, primjereno je izmijeniti te akte kako bi se osiguralo da Komisija, na temelju tehničkih i regulatornih posebnosti svakog sektora te bez uplitanja u postojeće mehanizme upravljanja, ocjenjivanja sukladnosti i provedbe te rad tijela koja su njima utvrđena, pri donošenju svih relevantnih budućih delegiranih ili provedbenih akata na temelju tih akata uzima u obzir obvezne zahtjeve za visokorizične UI sustave utvrđene u ovoj Uredbi. (30)Kad je riječ o UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili su sami proizvodi, a obuhvaćeni su područjem primjene određenog zakonodavstva Unije o usklađivanju, primjereno ih je klasificirati među visokorizične na temelju ove Uredbe ako se za predmetni proizvod provodi postupak ocjenjivanja sukladnosti koji provodi tijelo za ocjenjivanje sukladnosti kao treća strana u skladu s relevantnim zakonodavstvom Unije o usklađivanju. Konkretno, takvi su proizvodi strojevi, igračke, dizala, oprema i zaštitni sustavi za uporabu u potencijalno eksplozivnim atmosferama, radijska oprema, tlačna oprema, oprema za rekreacijska plovila, žičare, aparati na plinovita goriva, medicinski proizvodi i in vitro dijagnostički medicinski proizvodi.

(31)Klasifikacija UI sustava kao visokorizičnog u skladu s ovom Uredbom ne bi nužno trebala značiti da se proizvod čiji je sigurnosni sastavni dio UI sustav ili pak sam UI sustav kao proizvod smatra „visokorizičnim” na temelju kriterija utvrđenih u relevantnom zakonodavstvu Unije o usklađivanju koje se primjenjuje na taj proizvod. To se posebno odnosi na Uredbu (EU) 2017/745 Europskog parlamenta i Vijeća i Uredbu (EU) 2017/746 Europskog parlamenta i Vijeća ako ocjenjivanje sukladnosti srednjerizičnih i visokorizičnih proizvoda provodi treća strana. (32)Kad je riječ o samostalnim UI sustavima, odnosno visokorizičnim UI sustavima koji nisu sigurnosni sastavni dijelovi proizvoda ili koji su sami proizvodi, primjereno ih je klasificirati kao visokorizične ako, s obzirom na njihovu namjenu, kod njih postoji velik rizik od štete za zdravlje i sigurnost ili temeljna prava osoba, uzimajući u obzir i ozbiljnost moguće štete i njezinu vjerojatnost pojavljivanja, te ako se upotrebljavaju u nekoliko posebnih unaprijed definiranih područja navedenih u Uredbi. Identifikacija tih sustava temelji se na istoj metodologiji i kriterijima predviđenima i za sve buduće izmjene popisa visokorizičnih UI sustava. (33)Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji pojedinaca mogu prouzročiti pristrane rezultate i imati diskriminacijske učinke. To je posebno relevantno kad je riječ o dobi, etničkom podrijetlu, spolu ili invaliditetu. Stoga bi sustave za daljinsku biometrijsku identifikaciju u stvarnom vremenu i sustave za naknadnu daljinsku biometrijsku identifikaciju trebalo klasificirati kao visokorizične. S obzirom na rizike koje predstavljaju, na obje vrste sustava za daljinsku biometrijsku identifikaciju trebali bi se primjenjivati posebni zahtjevi u pogledu funkcija bilježenja događaja i ljudskog nadzora. (34)Kad je riječ o upravljanju kritičnom infrastrukturom i njezinu radu, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi kao sigurnosni sastavni dijelovi u cestovnom prometu i upravljanju njime te opskrbi vodom, plinom, grijanjem i električnom energijom jer bi njihov kvar ili neispravnost mogli ugroziti život i zdravlje osoba u velikim razmjerima te znatno poremetiti uobičajeno odvijanje društvenih i gospodarskih aktivnosti. (35)UI sustavi koji se upotrebljavaju u obrazovanju ili strukovnom osposobljavanju, posebno za razvrstavanje osoba u ustanove za obrazovanje i strukovno osposobljavanje ili za određivanje pristupa tim ustanovama ili pak za ocjenjivanje osoba na testiranjima tijekom obrazovanja ili kao preduvjet za obrazovanje, trebaju se smatrati visokorizičnima jer mogu odrediti obrazovni i profesionalni tijek života osobe i stoga utjecati na njezinu mogućnost da osigura vlastita sredstva za život. Ako se projektiraju i upotrebljavaju na nepravilan način, takvi sustavi mogu kršiti pravo na obrazovanje i osposobljavanje i pravo na nediskriminaciju te mogu održati povijesne diskriminacijske uzorke. (36)UI sustavi koji se upotrebljavaju za zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju, posebno za pronalaženje i odabir osoba, za donošenje odluka o promaknućima i otkazima te za dodjeljivanje zadataka, praćenje ili evaluaciju osoba u ugovornim odnosima povezanima s poslom, isto bi tako trebali biti klasificirani kao visokorizični jer bi mogli znatno utjecati na buduće mogućnosti za razvoj karijere i životne uvjete tih osoba. Relevantni radni ugovorni odnosi trebali bi uključivati zaposlenike i osobe koje pružaju usluge posredstvom platformi kako je navedeno u programu rada Komisije za 2021. Takve se osobe u načelu ne bi trebale smatrati korisnicima u smislu ove Uredbe. U procesu zapošljavanja i pri evaluaciji, promicanju ili zadržavanju osoba u radnim ugovornim odnosima takvi sustavi mogu održati povijesne uzorke diskriminacije, primjerice žena, određenih dobnih skupina, osoba s invaliditetom ili osoba određenog rasnog ili etničkog podrijetla ili spolne orijentacije. UI sustavi koji se upotrebljavaju za praćenje uspješnosti i ponašanja tih osoba mogu utjecati i na njihova prava na zaštitu osobnih podataka i privatnost. (37)Još jedno područje u kojem UI sustavima treba posvetiti posebnu pozornost jest korištenje i dostupnost određenih privatnih i javnih usluga i pogodnosti nužnih za potpuno sudjelovanje u društvu ili poboljšanje životnog standarda osoba. Točnije, UI sustave koji se upotrebljavaju za ocjenu kreditnog rejtinga ili kreditne sposobnosti pojedinaca trebalo bi klasificirati kao visokorizične UI sustave jer određuju pristup tih osoba financijskim sredstvima ili osnovnim uslugama kao što su stanovanje, električna energija i telekomunikacijske usluge. UI sustavi koji se upotrebljavaju u tu svrhu mogu prouzročiti diskriminaciju osoba ili skupina te nastaviti povijesne uzorke diskriminacije, primjerice na temelju rasnog ili etničkog podrijetla, invaliditeta, dobi, spolne orijentacije, ili mogu stvoriti nove oblike diskriminacije. Uzimajući u obzir vrlo ograničenu razinu utjecaja i dostupne alternative na tržištu, primjereno je izuzeti UI sustave za potrebe ocjene kreditne sposobnosti i kreditnog rejtinga kad ih u uporabu stavljaju mali dobavljači za vlastite potrebe. Pojedinci koji tijelima javne vlasti podnose zahtjev za naknade i usluge javne pomoći ili ih primaju obično ovise o tim naknadama i uslugama te su u ranjivu položaju u odnosu na nadležna tijela. Ako nadležna tijela upotrebljavaju UI sustave za određivanje treba li takve naknade i usluge odbiti, smanjiti, ukinuti ili treba li tražiti njihov povrat, ti sustavi mogu znatno utjecati na životne uvjete tih osoba i mogu kršiti njihova temeljna prava, kao što su pravo na socijalnu zaštitu, nediskriminaciju, ljudsko dostojanstvo ili djelotvoran pravni lijek. Te bi sustave stoga trebalo klasificirati kao visokorizične. Međutim, ova Uredba ne bi trebala otežavati razvoj i primjenu inovativnih pristupa u javnoj upravi, koja bi imala izravnu korist od šire uporabe usklađenih i sigurnih UI sustava, pod uvjetom da ti sustavi ne podrazumijevaju velik rizik za pravne i fizičke osobe. Naposljetku, UI sustavi koji se upotrebljavaju za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi isto bi se trebali smatrati visokorizičnima jer donose odluke u situacijama koje su kritične za život i zdravlje osoba te za njihovu imovinu. (38)Postupcima tijelâ kaznenog progona koji uključuju određene uporabe UI sustavâ svojstvena je znatna neravnoteža moći, pa mogu dovesti do nadzora, uhićenja ili oduzimanja slobode pojedinaca, kao i do drugih nepovoljnih utjecaja na temeljna prava zajamčena Poveljom. Naime, ako UI sustav nije učen visokokvalitetnim podacima, ne ispunjava odgovarajuće zahtjeve u pogledu točnosti ili otpornosti ili nije pravilno projektiran i testiran prije stavljanja na tržište ili u uporabu, on može izdvajati ljude na diskriminatoran ili na drukčije netočan ili nepravedan način. Nadalje, ostvarivanje važnih postupovnih temeljnih prava, kao što su pravo na djelotvoran pravni lijek i na pošteno suđenje te pravo na obranu i pretpostavku nedužnosti, moglo bi biti otežano, osobito ako takvi UI sustavi nisu dovoljno transparentni i objašnjivi te kad o njima ne postoji dovoljno dokumentacije. Stoga je primjereno klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi u kontekstu kaznenog progona kad su točnost, pouzdanost i transparentnost posebno važne kako bi se izbjegli nepovoljni utjecaji, zadržalo povjerenje javnosti te osigurala odgovornost i učinkovita pravna zaštita. S obzirom na prirodu tih postupaka i s njima povezane rizike, među visokorizične UI sustave trebalo bi osobito klasificirati UI sustave namijenjene tijelima kaznenog progona za pojedinačne procjene rizika, poligrafe i slične alate ili za utvrđivanje emocionalnog stanja pojedinca, za otkrivanje „deep fake” sadržaja, za procjenu pouzdanosti dokaza u kaznenim postupcima, za predviđanje počinjenja ili ponavljanja stvarnog ili potencijalnog kaznenog djela na temelju izrade profila pojedinaca ili procjenu osobina ličnosti i karakteristika ili prijašnjeg kriminalnog ponašanja pojedinaca ili skupina, za izradu profila tijekom otkrivanja, istrage ili progona kaznenih djela, kao i za analitiku kaznenih djela koja se odnosi na pojedince. UI sustavi posebno namijenjeni za upravne postupke poreznih i carinskih tijela ne bi se trebali smatrati visokorizičnim UI sustavima koje tijela kaznenog progona upotrebljavaju u svrhu sprečavanja, otkrivanja, istrage i progona kaznenih djela. (39)UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, posebno njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične one UI sustave namijenjene tijelima javne vlasti nadležnima za zadaće u području upravljanja migracijama, azilom i granicama, kao što su poligrafi i slični alati ili sustavi za utvrđivanje emocionalnog stanja pojedinca, za procjenu određenih rizika koje predstavljaju pojedinci koji ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za provjeru vjerodostojnosti relevantnih dokumenata pojedinaca, za pomaganje nadležnim tijelima javne vlasti pri razmatranju zahtjeva za azil, vize i boravišne dozvole te s tim povezanih pritužbi s obzirom na cilj da se utvrdi prihvatljivost pojedinca koji podnosi zahtjev za taj status. UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Direktivom 2013/32/EU Europskog parlamenta i Vijeća, Uredbom (EZ) br. 810/2009 Europskog parlamenta i Vijeća i drugim relevantnim propisima. (40)Određene UI sustave namijenjene pravosuđu i demokratskim procesima trebalo bi klasificirati kao visokorizične s obzirom na njihov potencijalno velik utjecaj na demokraciju, vladavinu prava, osobne slobode te pravo na djelotvoran pravni lijek i na pošteno suđenje. Točnije, radi smanjenja rizika od mogućih pristranosti, pogrešaka i netransparentnosti, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni za pomoć pravosudnim tijelima u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica. Međutim, takva se kvalifikacija ne bi se trebala odnositi na UI sustave namijenjene isključivo pomoćnim administrativnim aktivnostima koje ne utječu na stvarno sudovanje u pojedinačnim slučajevima, kao što su anonimizacija ili pseudonimizacija sudskih odluka, dokumenata ili podataka, komunikacija među osobljem, administrativne zadaće ili raspodjela resursa. (41)Činjenica da je UI sustav klasificiran kao visokorizičan na temelju ove Uredbe ne bi se trebala tumačiti kao indikator da je uporaba sustava nužno zakonita na temelju drugih pravnih akata Unije ili nacionalnog prava koje je usklađeno s pravom Unije, primjerice o zaštiti osobnih podataka, o uporabi poligrafa i sličnih alata ili drugih sustava kojima se utvrđuje emocionalno stanje pojedinaca. Svaka takva uporaba trebala bi se i dalje ostvarivati samo u skladu s primjenjivim zahtjevima koji proizlaze iz Povelje te primjenjivih akata sekundarnog prava Unije i nacionalnog prava. Ovu Uredbu ne bi trebalo tumačiti kao pružanje pravne osnove za obradu osobnih podataka, uključujući, ovisno o slučaju, posebne kategorije osobnih podataka. (42)Kako bi se smanjili rizici visokorizičnih UI sustava koji su stavljeni na tržište Unije ili na drugi način stavljeni u uporabu na tržištu Unije za korisnike i zahvaćene osobe, trebali bi se primjenjivati određeni obvezni zahtjevi s obzirom na namjenu sustava i sustav upravljanja rizikom koji uspostavlja dobavljač. (43)Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu kvalitete korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija korisnicima, ljudskog nadzora te otpornosti, točnosti i kibersigurnosti. Ti su zahtjevi potrebni kako bi se uspješno smanjili rizici za zdravlje, sigurnost i temeljna prava, ovisno o namjeni sustava, a druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne, čime se izbjegavaju neopravdana ograničenja u području trgovine. (44)Visokokvalitetni podaci ključni su za sposobnost mnogih UI sustava, posebno kad se upotrebljavaju tehnike s učenjem modelâ, s ciljem da visokorizični UI sustav funkcionira kako je predviđeno i sigurno te da ne postane izvor diskriminacije koja je zabranjena pravom Unije. Za vrlo kvalitetne skupove podataka za učenje, validaciju i testiranje potrebna je primjena odgovarajuće prakse upravljanja podacima. Skupovi podataka za učenje, validaciju i testiranje trebali bi biti dovoljno relevantni, reprezentativni i bez pogrešaka te bi trebali biti potpuni s obzirom na namjenu sustava. Trebali bi imati i odgovarajuća statistička obilježja, među ostalim u odnosu na osobe ili skupine osoba za koje se visokorizični UI sustav namjerava rabiti. Naročito bi u skupovima podataka za učenje, validaciju i testiranje trebalo uzeti u obzir, u mjeri u kojoj to iziskuje njihova namjena, obilježja, karakteristike ili elemente specifične za zemljopisno, bihevioralno ili radno okruženje ili kontekst u kojem je previđena uporaba UI sustava. Kako bi se prava drugih osoba zaštitila od moguće diskriminacije zbog pristranosti UI sustavâ, dobavljači bi trebali moći obrađivati i posebne kategorije osobnih podataka, kao pitanje od znatnog javnog interesa, kako bi se osiguralo praćenje, otkrivanje i ispravljanje pristranosti povezanih s visokorizičnim UI sustavima. (45)Kad je riječ o razvoju visokorizičnih UI sustava, određeni dionici, kao što su dobavljači, prijavljena tijela i drugi relevantni subjekti, na primjer centri za digitalne inovacije, centri za testiranje i eksperimentiranje te istraživači, trebali bi imati pristup visokokvalitetnim skupovima podataka i upotrebljavati ih u okviru svojih područja aktivnosti povezanih s ovom Uredbom. Zajednički europski podatkovni prostori koje je uspostavila Komisija te olakšavanje razmjene podataka među poduzećima i s državnim upravama u javnom interesu bit će važni za osiguravanje pouzdanog, odgovornog i nediskriminirajućeg pristupa visokokvalitetnim podacima za učenje, validaciju i testiranje UI sustavâ. Na primjer, u području zdravstva zajednički europski prostor za zdravstvene podatke olakšat će nediskriminirajući pristup zdravstvenim podacima i učenje algoritama umjetne inteligencije tim skupovima podataka tako da se očuvaju privatnost, sigurnost, pravovremenost, transparentnost i pouzdanost uz odgovarajuće institucijsko upravljanje. Relevantna nadležna tijela, uključujući sektorska, koja pružaju ili olakšavaju pristup podacima, mogu olakšati i pružanje visokokvalitetnih podataka za učenje, validaciju i testiranje UI sustava. (46)Informacije o tome kako su visokorizični UI sustavi razvijeni te kakav im je radni učinak tijekom cijelog životnog vijeka ključne su za provjeru usklađenosti sa zahtjevima iz ove Uredbe. Za to je potrebno vođenje evidencije i dostupnost tehničke dokumentacije koja sadržava informacije potrebne za procjenu usklađenosti UI sustava s relevantnim zahtjevima. Te bi informacije trebale uključivati opće karakteristike, mogućnosti i ograničenja sustava, algoritme, podatke, postupke učenja, testiranja i validacije koji su upotrijebljeni, kao i dokumentaciju o relevantnom sustavu upravljanja rizikom. Tehnička dokumentacija trebala bi se redovito ažurirati. (47)Kako bi se riješio problem netransparentnosti koja može određene UI sustave učiniti neshvatljivima ili presloženima za pojedince, visokorizični UI sustavi trebali bi biti u određenoj mjeri transparentni. Korisnici bi trebali moći tumačiti izlazne rezultate sustava i upotrebljavati ih na odgovarajući način. Visokorizični UI sustavi stoga bi trebali biti popraćeni odgovarajućom dokumentacijom i uputama za uporabu sa sažetim i jasnim informacijama, među ostalim, prema potrebi, u pogledu mogućih rizika povezanih s temeljnim pravima i diskriminacijom. (48)Visokorizične UI sustave trebalo bi projektirati i razvijati na način da pojedinci mogu nadzirati njihovo funkcioniranje. U tu bi svrhu dobavljač sustava prije njegova stavljanja na tržište ili u uporabu trebao utvrditi odgovarajuće mjere ljudskog nadzora. Prema potrebi bi takvim mjerama posebno trebalo osigurati da su u sustav ugrađena operativna ograničenja koja sam sustav ne može promijeniti i da reagira na ljudske operatere te da pojedinci koji su zaduženi za ljudski nadzor imaju potrebne kompetencije i da su osposobljeni i ovlašteni za obavljanje te zadaće. (49)Visokorizični UI sustavi trebali bi imati ujednačen učinak u cijelom životnom vijeku te imati odgovarajuću razinu točnosti, otpornosti i kibersigurnosti u skladu s općepriznatim najnovijim dostignućima. Korisnici bi trebali biti obaviješteni o razini i parametrima točnosti. (50)Tehnička otpornost ključni je zahtjev za visokorizične UI sustave. Trebali bi biti otporni na rizike povezane s ograničenjima sustava (npr. pogreške, kvarovi, nedosljednosti, neočekivane situacije), kao i na zlonamjerne radnje koje mogu ugroziti sigurnost UI sustava i dovesti do štetnog ili na neki drugi način nepoželjnog ponašanja. Nedostatna zaštita od tih rizika mogla uzrokovati posljedice za sigurnost ili negativno utjecati na temeljna prava, primjerice zbog pogrešnih odluka ili krivih ili pristranih izlaznih rezultata UI sustava.

(51)Kibersigurnost je ključna za otpornost UI sustavâ na pokušaje zlonamjernih trećih strana koje iskorištavaju slabe točke sustava da bi im izmijenili način uporabe, ponašanje, sposobnost ili da bi ugrozili njihove sigurnosne mehanizme. Kibernapadima na UI sustave moguće je iskoristiti resurse svojstvene umjetnoj inteligenciji, kao što su skupovi podataka za učenje (npr. trovanje podataka) ili poučeni modeli (npr. neprijateljski napadi) ili iskoristiti slabe točke digitalnih resursa UI sustava ili osnovne IKT infrastrukture. Kako bi se osigurala razina kibersigurnosti koja odgovara rizicima, dobavljači visokorizičnih UI sustava trebali bi poduzeti odgovarajuće mjere, prema potrebi uzimajući u obzir i osnovnu infrastrukturu IKT-a. (52)U okviru zakonodavstva Unije o usklađivanju, pravila koja se primjenjuju na stavljanje na tržište, stavljanje u uporabu i korištenje visokorizičnih UI sustava trebala bi biti usklađena s Uredbom (EZ) br. 765/2008 Europskog parlamenta i Vijeća o utvrđivanju zahtjeva za akreditaciju i za nadzor tržišta, Odlukom br. 768/2008/EZ Europskog parlamenta i Vijeća o zajedničkom okviru za stavljanje na tržište proizvoda i Uredbom (EU) 2019/1020 Europskog parlamenta i Vijeća o nadzoru tržišta i sukladnosti proizvoda („novi zakonodavni okvir za stavljanje proizvoda na tržište”). (53)Primjereno je da određena fizička ili pravna osoba, koja je definirana kao dobavljač, preuzme odgovornost za stavljanje visokorizičnog UI sustava na tržište ili u uporabu, bez obzira na to je li ta fizička ili pravna osoba ista osoba koja je projektirala ili razvila sustav. (54)Dobavljač bi trebao uspostaviti pouzdan sustav upravljanja kvalitetom, osigurati realizaciju obveznog postupka ocjenjivanja sukladnosti, sastaviti r