EVROPSKA KOMISIJA Bruselj, 21.4.2021 COM(2021) 206 final 2021/0106(COD) Predlog UREDBA EVROPSKEGA PARLAMENTA IN SVETA O DOLOČITVI HARMONIZIRANIH PRAVIL O UMETNI INTELIGENCI (AKT O UMETNI INTELIGENCI) IN SPREMEMBI NEKATERIH ZAKONODAJNIH AKTOV UNIJE {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}



OBRAZLOŽITVENI MEMORANDUM 1.OZADJE PREDLOGA 1.1.Razlogi za predlog in njegovi cilji Ta obrazložitveni memorandum je priložen k predlogu uredbe o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci). Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki lahko prinese številne gospodarske in družbene koristi v celotnem spektru industrij in družbenih dejavnosti. Uporaba umetne inteligence lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojeno dobavo storitev podpira družbeno in okoljsko koristne rezultate ter zagotavlja ključne konkurenčne prednosti za podjetja in evropsko gospodarstvo. Tako ukrepanje je še zlasti potrebno v sektorjih z velikim učinkom, kot so podnebne spremembe, okolje in zdravje, javni sektor, finance, mobilnost, notranje zadeve in kmetijstvo. Vendar pa lahko isti elementi in tehnike, ki omogočajo družbeno-ekonomske koristi umetne inteligence, prinašajo tudi nova tveganja ali negativne posledice za posameznike ali družbo. Glede na hitrost tehnoloških sprememb in možne izzive se je EU zavezala, da si bo prizadevala za uravnotežen pristop. V interesu Unije je ohraniti vodilno vlogo EU na področju tehnologije ter zagotoviti, da bodo Evropejci imeli koristi od novih tehnologij, ki so razvite in delujejo v skladu z vrednotami, temeljnimi pravicami in načeli Unije. S tem predlogom se uresničuje politična zaveza predsednice von der Leyenove, ki je v svojih političnih smernicah za Komisijo 2019–2024 „Bolj ambiciozna Unija“napovedala, da bo Komisija predlagala zakonodajo za harmoniziran evropski pristop k človeškim in etičnim posledicam umetne inteligence. Po tej objavi je Komisija 19. februarja 2020 objavila belo knjigo o umetni inteligenci s podnaslovom Evropski pristop k odličnosti in zaupanju. V beli knjigi so predstavljene možnosti politike za doseganje dvojnega cilja, tj. spodbujanja uporabe umetne inteligence in odpravljanja tveganj, povezanih z nekaterimi vrstami uporabe te tehnologije. Namen tega predloga je uresničiti drugi cilj razvoja ekosistema zaupanja s predlogom pravnega okvira za zaupanja vredno umetno inteligenco. Predlog temelji na vrednotah in temeljnih pravicah EU, njegov namen pa je ljudem in drugim uporabnikom zagotoviti zaupanje v rešitve, ki temeljijo na umetni inteligenci, ter spodbuditi podjetja, da jih razvijajo. Umetna inteligenca bi morala biti orodje za ljudi in delovati v dobro družbi s končnim ciljem povečati blaginjo ljudi. Pravila za umetno inteligenco, ki je na voljo na trgu Unije ali kako drugače vpliva na ljudi v Uniji, bi morala biti zato humanocentrična, da bi ljudje lahko zaupali, da se tehnologija uporablja na varen način in v skladu z zakonodajo, vključno s spoštovanjem temeljnih pravic. Po objavi bele knjige je Komisija začela obsežno posvetovanje z deležniki, ki je naletelo na veliko zanimanje številnih deležnikov, ki so večinoma podprli regulativno posredovanje za reševanje izzivov in pomislekov, ki jih povzroča vse širša uporaba umetne inteligence. Predlog je tudi odgovor na izrecne zahteve Evropskega parlamenta (EP) in Evropskega sveta, ki sta večkrat pozvala k zakonodajnim ukrepom za zagotovitev dobro delujočega notranjega trga za umetnointeligenčne sisteme, na katerem so koristi in tveganja umetne inteligence ustrezno obravnavani na ravni Unije. Podpira cilj, da Unija postane vodilna v svetu pri razvoju varne, zaupanja vredne in etične umetne inteligence, kot je navedel Evropski svet, ter zagotavlja zaščito etičnih načel, kot je izrecno zahteval Evropski parlament. Evropski svet je leta 2017 pozval k „občutku nujnosti pri obravnavi nastajajočih trendov“, vključno z „vprašanji, kot je umetna inteligenca ..., ob hkratnem zagotavljanju visoke ravni varstva podatkov, digitalnih pravic in etičnih standardov“. Svet je v sklepih iz leta 2019 o usklajenem načrtu za razvoj in uporabo umetne inteligence, izdelane v Evropi, dodatno poudaril, da je treba zagotoviti polno spoštovanje pravic evropskih državljanov, ter pozval k pregledu obstoječe ustrezne zakonodaje, da bo ustrezala novim priložnostim in izzivom, ki jih prinaša umetna inteligenca. Evropski svet je pozval tudi k jasni določitvi vrst uporabe umetne inteligence, ki jih je treba obravnavati kot uporabe velikega tveganja. V najnovejših sklepih z dne 21. oktobra 2020 je bilo nadalje pozvano k obravnavi neprepustnosti, kompleksnosti, pristranskosti, določene stopnje nepredvidljivosti in delno avtonomnega vedenja nekaterih umetnointeligenčnih sistemov, da se zagotovi njihova združljivost s temeljnimi pravicami in olajša izvrševanje pravnih predpisov. Tudi Evropski parlament je opravil veliko dela na področju umetne inteligence. Oktobra 2020 je sprejel več resolucij, povezanih z umetno inteligenco, med drugim o etiki, odgovornosti in avtorskih pravicah. Leta 2021 sta sledili resoluciji o umetni inteligenci v kazenskih zadevah ter v izobraževanju, kulturi in avdiovizualnem sektorju. Resolucija Evropskega parlamenta o okviru za etične vidike umetne inteligence, robotike in sorodne tehnologije Komisiji izrecno priporoča, da predlaga zakonodajne ukrepe za izkoriščanje priložnosti in koristi umetne inteligence, hkrati pa zagotovi zaščito etičnih načel. Resolucija vključuje besedilo zakonodajnega predloga uredbe o etičnih načelih za razvoj, uvajanje in uporabo umetne inteligence, robotike in sorodnih tehnologij. V skladu s politično zavezo, ki jo je predsednica von der Leyenova izrazila v svojih političnih smernicah glede resolucij, ki jih je Evropski parlament sprejel v skladu s členom 225 PDEU, ta predlog upošteva navedeno resolucijo Evropskega parlamenta ob polnem upoštevanju načel sorazmernosti, subsidiarnosti in boljše priprave zakonodaje. V tem političnem kontekstu Komisija predlaga regulativni okvir za umetno inteligenco z naslednjimi posebnimi cilji: ·zagotoviti, da so umetnointeligenčni sistemi, ki so dani na trg Unije in se uporabljajo, varni ter spoštujejo obstoječo zakonodajo o temeljnih pravicah in vrednotah Unije; ·zagotoviti pravno varnost za olajšanje naložb in inovacij na področju umetne inteligence; ·izboljšati upravljanje in učinkovito izvrševanje obstoječe zakonodaje o temeljnih pravicah in varnostnih zahtevah, ki se uporabljajo za umetnointeligenčne sisteme; ·olajšati razvoj enotnega trga za zakonite, varne in zaupanja vredne uporabe umetne inteligence ter preprečiti razdrobljenost trga. Za doseganje teh ciljev ta predlog predstavlja uravnotežen in sorazmeren horizontalni regulativni pristop k umetni inteligenci, ki je omejen na minimalne zahteve, potrebne za obravnavo tveganj in težav, povezanih z umetno inteligenco, brez neupravičenega omejevanja ali oviranja tehnološkega razvoja ali drugega nesorazmernega povečanja stroškov dajanja rešitev umetne inteligence na trg. Predlog določa robusten in prožen pravni okvir. Po eni strani je celovit in s svojimi temeljnimi regulativnimi odločitvami primeren za prihodnost, vključno z zahtevami, ki temeljijo na načelih, ki jih morajo izpolnjevati umetnointeligenčni sistemi. Po drugi strani pa uvaja sorazmeren regulativni sistem, ki temelji na dobro opredeljenem regulativnem pristopu na podlagi tveganja, ki ne ustvarja nepotrebnih omejitev trgovine, pri čemer je pravno posredovanje prilagojeno tistim konkretnim situacijam, v katerih obstaja utemeljen razlog za zaskrbljenost ali v katerih je tako zaskrbljenost mogoče razumno pričakovati v bližnji prihodnosti. Hkrati pravni okvir vključuje prožne mehanizme, ki mu omogočajo dinamično prilagajanje glede na razvoj tehnologije in pojavljanje novih zaskrbljujočih razmer. Predlog določa harmonizirana pravila za razvoj, dajanje na trg in uporabo umetnointeligenčnih sistemov v Uniji na podlagi sorazmernega pristopa, ki temelji na tveganju. Predlaga enotno opredelitev umetne inteligence, ki bo primerna za prihodnost. Nekatere posebej škodljive prakse umetne inteligence so prepovedane, saj so v nasprotju z vrednotami Unije, medtem ko so predlagane posebne omejitve in zaščitni ukrepi v zvezi z nekaterimi uporabami sistemov za biometrično identifikacijo na daljavo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Predlog določa trdno metodologijo tveganja za opredelitev umetnointeligenčnih sistemov „velikega tveganja“, ki predstavljajo bistveno tveganje za zdravje in varnost ali temeljne pravice oseb. Ti umetnointeligenčni sistemi bodo morali izpolnjevati niz horizontalnih obveznih zahtev za zaupanja vredno umetno inteligenco in upoštevati postopke ugotavljanja skladnosti, preden bodo lahko dani na trg Unije. Predvidljive, sorazmerne in jasne obveznosti so naložene tudi ponudnikom in uporabnikom teh sistemov, da se zagotovita varnost in spoštovanje obstoječe zakonodaje o varstvu temeljnih pravic v celotnem življenjskem ciklu umetnointeligenčnih sistemov. Za nekatere posebne umetnointeligenčne sisteme so predlagane le minimalne obveznosti glede preglednosti, zlasti kadar se uporabljajo klepetalni boti ali „globoki ponaredki“. Predlagana pravila se bodo izvajala s sistemom upravljanja na ravni držav članic, ki bo temeljil na že obstoječih strukturah, in mehanizmom sodelovanja na ravni Unije z ustanovitvijo Evropskega odbora za umetno inteligenco. Predlagani so tudi dodatni ukrepi za podporo inovacijam, zlasti z regulativnimi peskovniki za umetno inteligenco in drugimi ukrepi za zmanjšanje regulativnega bremena ter podporo malim in srednje velikim podjetjem (MSP) ter zagonskim podjetjem. 1.2.Skladnost z veljavnimi predpisi s področja zadevne politike Horizontalna narava predloga zahteva popolno skladnost z obstoječo zakonodajo Unije, ki se uporablja za sektorje, v katerih se umetnointeligenčni sistemi velikega tveganja že uporabljajo ali se bodo verjetno uporabljali v bližnji prihodnosti.

Skladnost je zagotovljena tudi z Listino EU o temeljnih pravicah in obstoječo sekundarno zakonodajo Unije o varstvu podatkov, varstvu potrošnikov, nediskriminaciji in enakosti spolov. Predlog ne posega v splošno uredbo o varstvu podatkov (Uredba (EU) 2016/679) in direktivo o kazenskem pregonu (Direktiva (EU) 2016/680) ter ju dopolnjuje z nizom harmoniziranih pravil, ki se uporabljajo za oblikovanje, razvoj in uporabo nekaterih umetnointeligenčnih sistemov velikega tveganja ter omejitve nekaterih uporab sistemov za biometrično identifikacijo na daljavo. Poleg tega predlog dopolnjuje obstoječe pravo Unije o nediskriminaciji s posebnimi zahtevami, katerih cilj je čim bolj zmanjšati tveganje diskriminacije v algoritmih, zlasti v zvezi z oblikovanjem in kakovostjo nabora podatkov, ki se uporabljajo za razvoj umetnointeligenčnih sistemov, dopolnjenih z obveznostmi za testiranje, obvladovanja tveganja, dokumentacije in človekovega nadzora v celotnem življenjskem ciklu umetnointeligenčnih sistemov. Predlog ne posega v uporabo konkurenčnega prava Unije. Kar zadeva umetnointeligenčne sisteme velikega tveganja, ki so varnostne komponente proizvodov, bo ta predlog vključen v obstoječo sektorsko varnostno zakonodajo, da se zagotovi skladnost, prepreči podvajanje in čim bolj zmanjša dodatna obremenitev. Zlasti v zvezi z umetnointeligenčnimi sistemi velikega tveganja, povezanimi s proizvodi, ki jih zajema zakonodaja novega zakonodajnega okvira (npr. stroji, medicinski pripomočki, igrače), se bodo zahteve za umetnointeligenčne sisteme iz tega predloga preverjale v okviru obstoječih postopkov ugotavljanja skladnosti v skladu z ustrezno zakonodajo novega zakonodajnega okvira. V zvezi z medsebojnim učinkom zahtev je cilj zakonodaje o novem zakonodajnem okviru zagotoviti splošno varnost končnega proizvoda in zato lahko vsebuje posebne zahteve v zvezi z varno vključitvijo umetnointeligenčnega sistema v končni proizvod, čeprav naj bi zahteve tega predloga vključevale varnostna tveganja, značilna za umetnointeligenčne sisteme. Predlog uredbe o strojih, sprejet istega dne kot ta predlog, v celoti odraža ta pristop. Za umetnointeligenčne sisteme velikega tveganja, povezane s proizvodi, za katere velja ustrezna zakonodaja starega pristopa (npr. letalstvo, avtomobili), se ta predlog ne bi neposredno uporabljal. Vendar bo treba pri sprejemanju ustrezne izvedbene ali delegirane zakonodaje na podlagi navedenih aktov upoštevati predhodne bistvene zahteve za umetnointeligenčne sisteme velikega tveganja iz tega predloga. V zvezi z umetnointeligenčnimi sistemi, ki jih zagotavljajo ali uporabljajo regulirane kreditne institucije, bi bilo treba organe, pristojne za nadzor zakonodaje Unije o finančnih storitvah, določiti kot pristojne organe za nadzor zahtev iz tega predloga, da se zagotovi skladno izvrševanje obveznosti iz tega predloga in zakonodaje Unije o finančnih storitvah, kadar se umetnointeligenčni sistemi do določene mere implicitno regulirajo v zvezi s sistemom notranjega upravljanja kreditnih institucij. Za nadaljnjo krepitev skladnosti so postopek ugotavljanja skladnosti in nekatere postopkovne obveznosti ponudnikov iz tega predloga vključeni v postopke iz Direktive 2013/36/EU o dostopu do dejavnosti kreditnih institucij in bonitetnem nadzoru. Ta predlog je skladen tudi z veljavno zakonodajo Unije o storitvah, vključno s posredniškimi storitvami, ki jih urejata Direktiva o elektronskem poslovanju 2000/31/ES in nedavni predlog Komisije za akt o digitalnih storitvah. V zvezi z umetnointeligenčnimi sistemi, ki so komponente obsežnih informacijskih sistemov na območju svobode, varnosti in pravice, ki jih upravlja Agencija Evropske unije za operativno upravljanje obsežnih informacijskih sistemov (eu-LISA), se predlog ne bo uporabljal za tiste umetnointeligenčne sisteme, ki so bili dani na trg ali v uporabo pred pretekom enega leta od datuma začetka uporabe te uredbe, razen če se zaradi nadomestitve ali spremembe navedenih pravnih aktov bistveno spremeni zasnova ali predvideni namen zadevnega umetnointeligenčnega sistema ali umetnointeligenčnih sistemov. 1.3.Skladnost z drugimi politikami Unije Predlog je del širšega celovitega svežnja ukrepov za reševanje težav, ki jih povzročata razvoj in uporaba umetne inteligence, kot je obravnavano v beli knjigi o umetni inteligenci. Zato sta zagotovljena skladnost in dopolnjevanje z drugimi tekočimi ali načrtovanimi pobudami Komisije, ki so prav tako namenjene obravnavi teh težav, vključno z revizijo sektorske zakonodaje o proizvodih (npr. direktiva o strojih, direktiva o splošni varnosti proizvodov) in pobudami, ki obravnavajo vprašanja odgovornosti v zvezi z novimi tehnologijami, vključno z umetnointeligenčnimi sistemi. Te pobude bodo nadgradile in dopolnile ta predlog, da bi zagotovili pravno jasnost in spodbudili razvoj ekosistema zaupanja v umetno inteligenco v Evropi. Predlog je v skladu tudi s splošno digitalno strategijo Komisije, saj prispeva k spodbujanju tehnologije, ki deluje za ljudi, kar je eden od treh glavnih stebrov usmeritve in ciljev politike, navedenih v sporočilu „Oblikovanje digitalne prihodnosti Evrope“. Določa skladen, učinkovit in sorazmeren okvir za zagotovitev, da se bo umetna inteligenca razvijala na način, ki spoštuje pravice ljudi in si zasluži njihovo zaupanje, s čimer bo Evropa postala pripravljena na digitalno dobo in bo naslednjih deset let postalo digitalno desetletje. Poleg tega je spodbujanje inovacij na podlagi umetne inteligence tesno povezano z aktom o upravljanju podatkov, direktivo o odprtih podatkih in drugimi pobudami v okviru evropske strategije za podatke, ki bodo vzpostavile zaupanja vredne mehanizme in storitve za ponovno uporabo, souporabo in združevanje podatkov, bistvenih za razvoj visokokakovostnih modelov na podatkih temelječe umetne inteligence. Predlog tudi znatno krepi vlogo Unije pri oblikovanju svetovnih norm in standardov ter spodbujanju zaupanja vredne umetne inteligence, ki je v skladu z vrednotami in interesi Unije. Uniji zagotavlja močno podlago za nadaljnje sodelovanje z zunanjimi partnerji, vključno s tretjimi državami, in na mednarodnih forumih o vprašanjih, povezanih z umetno inteligenco. 2.PRAVNA PODLAGA, SUBSIDIARNOST IN SORAZMERNOST 2.1.Pravna podlaga Pravna podlaga tega predloga je predvsem člen 114 Pogodbe o delovanju Evropske unije (v nadaljnjem besedilu: PDEU), ki določa sprejetje ukrepov za zagotovitev vzpostavitve in delovanja notranjega trga. Ta predlog je osrednji del strategije EU za enotni digitalni trg. Glavni cilj tega predloga je zagotoviti pravilno delovanje notranjega trga z določitvijo harmoniziranih pravil, zlasti o razvoju, dajanju na trg Unije ter uporabi proizvodov in storitev, ki uporabljajo tehnologije umetne inteligence ali se zagotavljajo kot samostojni umetnointeligenčni sistemi. Nekatere države članice že razmišljajo o nacionalnih predpisih, s katerimi bi zagotovile, da bo umetna inteligenca varna ter da se bo razvijala in uporabljala v skladu z obveznostmi glede temeljnih pravic. To bo verjetno povzročilo dve glavni težavi: (i) razdrobljenost notranjega trga na bistvene elemente, zlasti glede zahtev za proizvode in storitve umetne inteligence, njihovega trženja, uporabe, odgovornosti in nadzora s strani javnih organov, ter (ii) znatno zmanjšanje pravne varnosti za ponudnike in uporabnike umetnointeligenčnih sistemov glede tega, kako se bodo obstoječa in nova pravila uporabljala za te sisteme v Uniji. Glede na širok čezmejni pretok proizvodov in storitev je ti dve težavi mogoče najbolje rešiti s harmoniziranjem zakonodaje EU. V predlogu so namreč opredeljene skupne obvezne zahteve, ki veljajo za zasnovo in razvoj nekaterih umetnointeligenčnih sistemov, preden so dani na trg, ter ki se bodo podrobneje določile s harmoniziranimi tehničnimi standardi. Predlog obravnava tudi razmere po dajanju umetnointeligenčnih sistemov na trg s harmoniziranjem načina izvajanja naknadnih kontrol. Poleg tega je glede na to, da ta predlog vsebuje nekatera posebna pravila o varstvu posameznikov pri obdelavi osebnih podatkov, zlasti omejitve uporabe umetnointeligenčnih sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, primerno, da je podlaga za to uredbo, kar zadeva navedena posebna pravila, člen 16 PDEU. 2.2.Subsidiarnost (za neizključno pristojnost) Zaradi narave umetne inteligence, ki se pogosto opira na velike in raznolike nabore podatkov ter je lahko vgrajena v kateri koli proizvod ali storitev, ki prosto kroži na notranjem trgu, države članice same ne morejo učinkovito doseči ciljev tega predloga. Poleg tega bo nastajajoči mozaik potencialno različnih nacionalnih pravil oviral nemoten pretok proizvodov in storitev, povezanih z umetnointeligenčnimi sistemi, po vsej EU ter bo neučinkovit pri zagotavljanju varnosti in zaščite temeljnih pravic in vrednot Unije v različnih državah članicah. Nacionalni pristopi k reševanju težav bodo zgolj ustvarili dodatno pravno negotovost in ovire ter upočasnili uvajanje umetne inteligence na trg. Cilje tega predloga je mogoče bolje doseči na ravni Unije, da se prepreči nadaljnja razdrobljenost enotnega trga na potencialno nasprotujoče si nacionalne okvire, ki bi preprečevali prost pretok blaga in storitev, ki vključujejo umetno inteligenco. Trden evropski regulativni okvir za zaupanja vredno umetno inteligenco bo zagotovil tudi enake konkurenčne pogoje in zaščitil vse ljudi, hkrati pa okrepil konkurenčnost in industrijsko podlago Evrope na področju umetne inteligence. Samo s skupnim ukrepanjem na ravni Unije je mogoče zaščititi tudi digitalno suverenost Unije ter izkoristiti njena orodja in regulativna pooblastila za oblikovanje predpisov in standardov na svetovni ravni. 2.3.Sorazmernost

Predlog temelji na obstoječih pravnih okvirih ter je sorazmeren in potreben za doseganje svojih ciljev, saj upošteva pristop, ki temelji na tveganju, in uvaja regulativna bremena le, kadar je verjetno, da bo umetnointeligenčni sistem predstavljal veliko tveganje za temeljne pravice in varnost. Za druge umetnointeligenčne sisteme, ki ne predstavljajo velikega tveganja, so predpisane le zelo omejene obveznosti glede preglednosti, na primer v smislu zagotavljanja informacij za opozarjanje na uporabo umetnointeligenčnega sistema v stikih z ljudmi. Za umetnointeligenčne sisteme velikega tveganja so zahteve po visokokakovostnih podatkih, dokumentaciji in sledljivosti, preglednosti, človekovem nadzoru, točnosti in robustnosti nujno potrebne za zmanjševanje tveganj za temeljne pravice in varnost, ki jih povzroča umetna inteligenca in ki jih ne vključujejo drugi obstoječi pravni okviri. Harmonizirani standardi ter podporna navodila in orodja za zagotavljanje skladnosti bodo ponudnikom in uporabnikom pomagali pri izpolnjevanju zahtev iz predloga ter zmanjšali njihove stroške. Stroški, ki jih imajo operaterji, so sorazmerni z doseženimi cilji ter gospodarskimi koristmi in koristmi za ugled, ki jih operaterji lahko pričakujejo od tega predloga. 2.4.Izbira instrumenta Izbira uredbe kot pravnega instrumenta je utemeljena s potrebo po enotni uporabi novih pravil, kot so opredelitev umetne inteligence, prepoved nekaterih škodljivih praks, podprtih z omogočeno umetno inteligenco, in klasifikacija nekaterih umetnointeligenčnih sistemov. Neposredna uporaba uredbe v skladu s členom 288 PDEU bo zmanjšala pravno razdrobljenost ter olajšala razvoj enotnega trga za zakonite, varne in zaupanja vredne umetnointeligenčne sisteme. To bo dosegla zlasti z uvedbo harmoniziranega sklopa temeljnih zahtev v zvezi z umetnointeligenčnimi sistemi, razvrščenimi kot sistemi velikega tveganja, ter obveznosti za ponudnike in uporabnike teh sistemov, s čimer bo izboljšala varstvo temeljnih pravic in zagotovila pravno varnost tako za operaterje kot za potrošnike. Hkrati določbe uredbe niso pretirano predpisujoče in dopuščajo različne ravni ukrepanja držav članic glede elementov, ki ne ogrožajo ciljev pobude, zlasti notranje organizacije sistema nadzora trga in sprejetja ukrepov za spodbujanje inovacij. 3.REZULTATI NAKNADNIH OCEN, POSVETOVANJ Z ZAINTERESIRANIMI STRANMI IN OCEN UČINKA 3.1.Posvetovanje z deležniki Ta predlog je rezultat obsežnega posvetovanja z vsemi glavnimi deležniki, pri katerem je Komisija uporabila splošna načela in minimalne standarde za posvetovanje z zainteresiranimi stranmi. Spletno javno posvetovanje se je začelo 19. februarja 2020 ob objavi bele knjige o umetni inteligenci in je trajalo do 14. junija 2020. Cilj tega posvetovanja je bil zbrati stališča in mnenja o beli knjigi. Usmerjeno je bilo na vse deležnike iz javnega in zasebnega sektorja, vključno z vladami, lokalnimi upravnimi organi, komercialnimi in nekomercialnimi organizacijami, socialnimi partnerji, strokovnjaki, akademiki in državljani. Po analizi vseh prejetih odzivov je Komisija na svoji spletni strani objavila njihov povzetek in posamezne odzive. Skupno je bilo prejetih 1 215 prispevkov, od tega 352 prispevkov podjetij ali poslovnih organizacij/združenj, 406 prispevkov posameznikov (92 % posameznikov iz EU), 152 prispevkov v imenu akademskih/raziskovalnih ustanov in 73 prispevkov javnih organov. Glasove civilne družbe je zastopalo 160 anketirancev (med njimi 9 potrošniških organizacij, 129 nevladnih organizacij in 22 sindikatov), 72 anketirancev pa je prispevalo kot „drugi“. Od 352 predstavnikov iz gospodarstva in industrije jih je bilo 222 podjetij in predstavnikov podjetij, od tega 41,5 % mikro, malih in srednje velikih podjetij. Ostalo so bila poslovna združenja. Na splošno je 84 % odgovorov iz gospodarstva in industrije prišlo iz EU-27. Odvisno od vprašanja je od 81 do 598 anketirancev za vnos pripomb uporabilo možnost prostega besedila. Preko spletnega mesta EUSurvey je bilo predloženih več kot 450 dokumentov o stališčih, ki so bili bodisi priloženi odgovorom na vprašalnik (več kot 400) bodisi poslani kot samostojni prispevki (več kot 50). Na splošno se deležniki strinjajo, da je treba ukrepati. Velika večina deležnikov se strinja, da obstajajo zakonodajne vrzeli ali da je potrebna nova zakonodaja. Vendar pa več deležnikov opozarja Komisijo, da naj se izogne podvajanju, nasprotujočim si obveznostim in pretirani regulaciji. V številnih pripombah je bil poudarjen pomen tehnološko nevtralnega in sorazmernega regulativnega okvira. Deležniki so večinoma zahtevali ozko, jasno in natančno opredelitev umetne inteligence. Deležniki so tudi poudarili, da je poleg pojasnitve pojma umetne inteligence pomembno opredeliti pojme „tveganje“, „veliko tveganje“, „majhno tveganje“, „biometrična identifikacija na daljavo“ in „škoda“. Večina anketirancev izrecno podpira pristop, ki temelji na tveganju. Uporaba okvira, ki temelji na tveganju, je bila ocenjena kot boljša možnost kot splošna ureditev vseh umetnointeligenčnih sistemov. Vrste tveganj in groženj bi morale temeljiti na pristopu za vsak sektor posebej in za vsak primer posebej. Tveganja je treba izračunati tudi ob upoštevanju vpliva na pravice in varnost. Regulativni peskovniki bi lahko bili zelo koristni za spodbujanje umetne inteligence in jih pozdravljajo nekateri deležniki, zlasti poslovna združenja. Med tistimi, ki so oblikovali svoje mnenje o modelih izvrševanja, jih je več kot 50 %, zlasti iz poslovnih združenj, podprlo kombinacijo predhodne samoocene tveganja in naknadnega izvrševanja za umetnointeligenčne sisteme velikega tveganja. 3.2.Zbiranje in uporaba strokovnega znanja Predlog temelji na dveletni analizi in tesnem sodelovanju deležnikov, vključno z akademiki, podjetji, socialnimi partnerji, nevladnimi organizacijami, državami članicami in državljani. Pripravljalno delo se je začelo leta 2018 z ustanovitvijo strokovne skupine na visoki ravni za umetno inteligenco, ki je imela vključujočo in široko sestavo 52 znanih strokovnjakov, katerih naloga je bila svetovati Komisiji pri izvajanju strategije Komisije o umetni inteligenci. Komisija je aprila 2019 podprla ključne zahteve iz etičnih smernic strokovne skupine na visoki ravni za umetno inteligenco za zaupanja vredno umetno inteligenco, ki so bile revidirane ob upoštevanju več kot 500 predlogov deležnikov. Ključne zahteve odražajo široko razširjen in skupen pristop, kar dokazujejo številni etični kodeksi in načela, ki so jih razvile številne zasebne in javne organizacije v Evropi in zunaj nje, da bi morala razvoj in uporaba umetne inteligence temeljiti na nekaterih bistvenih vrednotno usmerjenih načelih. Na podlagi ocenjevalnega seznama za zaupanja vredno umetno inteligenco so te zahteve začele delovati v pilotnem postopku z več kot 350 organizacijami. Poleg tega je bilo ustanovljeno zavezništvo za umetno inteligenco, v kateri približno 4 000 deležnikov razpravlja o tehnoloških in družbenih posledicah umetne inteligence, ki doseže vrhunec na letni skupščini za umetno inteligenco. Bela knjiga o umetni inteligenci je ta vključujoči pristop še nadgradila, saj je svoje pripombe dalo več kot 1 250 deležnikov, tudi z več kot 450 dodatnimi dokumenti o stališčih. Zato je Komisija objavila začetno oceno učinka, ki je prejela več kot 130 pripomb. Organizirane so bile tudi dodatne delavnice in dogodki za deležnike, katerih rezultati podpirajo analizo v oceni učinka in politične odločitve, sprejete v tem predlogu. Naročena je bila tudi zunanja študija za vključitev v oceno učinka. 3.3.Ocena učinka Komisija je v skladu s svojo politiko za boljše pravno urejanje izvedla oceno učinka za ta predlog, ki jo je preučil odbor Komisije za regulativni nadzor. Dne 16. decembra 2020 je potekal sestanek z odborom za regulativni nadzor, ki mu je sledilo negativno mnenje. Odbor za regulativni nadzor je po temeljiti reviziji ocene učinka, ki je obravnavala pripombe, in ponovni predložitvi ocene učinka 21. marca 2021 izdal pozitivno mnenje. Mnenja odbora za regulativni nadzor, priporočila in pojasnilo, kako so bila ta upoštevana, so predstavljeni v Prilogi 1 k oceni učinka.

Komisija je preučila različne možnosti politike za uresničitev splošnega cilja predloga, ki je zagotoviti pravilno delovanje enotnega trga z ustvarjanjem pogojev za razvoj in uporabo zaupanja vredne umetne inteligence v Uniji. Ocenjene so bile štiri možnosti politike z različnimi stopnjami regulativnega posredovanja: ·možnost 1: zakonodajni instrument EU o vzpostavitvi prostovoljnega sistema označevanja; ·možnost 2: sektorski ad hoc pristop; ·možnost 3: horizontalni zakonodajni instrument EU, ki temelji na sorazmernem pristopu na podlagi tveganja; ·možnost 3+: horizontalni zakonodajni instrument EU, ki temelji na sorazmernem pristopu na podlagi tveganja + kodeksi ravnanja za umetnointeligenčne sisteme, ki ne predstavljajo velikega tveganja; ·možnost 4: horizontalni zakonodajni instrument EU, ki določa obvezne zahteve za vse umetnointeligenčne sisteme ne glede na tveganje, ki ga predstavljajo. V skladu z metodologijo Komisije je bila vsaka možnost politike ocenjena glede na gospodarske in družbene učinke s posebnim poudarkom na učinkih na temeljne pravice. Najprimernejša možnost je možnost 3+, tj. regulativni okvir samo za umetnointeligenčne sisteme velikega tveganja, pri čemer bi lahko vsi ponudniki umetnointeligenčnih sistemov, ki ne predstavljajo velikega tveganja, upoštevali kodeks ravnanja. Zahteve se bodo nanašale na podatke, dokumentacijo in sledljivost, zagotavljanje informacij in preglednost, človekov nadzor ter robustnost in točnost ter bodo obvezne za umetnointeligenčne sisteme velikega tveganja. Podjetja, ki uvedejo kodekse ravnanja za druge umetnointeligenčne sisteme, to storijo prostovoljno. Prednostna možnost je bila ocenjena kot primerna za najučinkovitejšo obravnavo ciljev tega predloga. Z zahtevo po omejenem, a učinkovitem naboru ukrepov za razvijalce in uporabnike umetne inteligence prednostna možnost omejuje tveganja za kršitev temeljnih pravic in za varnost ljudi ter spodbuja učinkovit nadzor in izvrševanje, tako da zahteve usmerja le na sisteme, pri katerih obstaja veliko tveganje, da bi do takih kršitev lahko prišlo. S to možnostjo se stroški usklajevanja posledično zmanjšajo na minimum, s čimer se prepreči nepotrebna upočasnitev uvajanja zaradi višjih cen in stroškov izpolnjevanja obveznosti. Za odpravo morebitnih pomanjkljivosti za MSP ta možnost vključuje več določb za podporo njihovi skladnosti in zmanjšanje njihovih stroškov, vključno z vzpostavitvijo regulativnih peskovnikov in obveznostjo upoštevanja interesov MSP pri določanju pristojbin, povezanih z ugotavljanjem skladnosti. Prednostna možnost bo povečala zaupanje ljudi v umetno inteligenco, podjetja bodo pridobila na pravni varnosti, države članice pa ne bodo videle razloga za enostransko ukrepanje, ki bi lahko razdrobilo enotni trg. Kot posledica večjega povpraševanja zaradi večjega zaupanja, več razpoložljivih ponudb zaradi pravne varnosti in odsotnosti ovir za čezmejni pretok umetnointeligenčnih sistemov bo enotni trg za umetno inteligenco verjetno cvetel. Evropska unija bo še naprej razvijala hitro rastoč umetnointeligenčni ekosistem inovativnih storitev in proizvodov, ki vključujejo tehnologijo umetne inteligence ali samostojne umetnointeligenčne sisteme, kar bo povečalo digitalno avtonomijo. Podjetja ali javni organi, ki razvijajo ali uporabljajo umetno inteligenco v namene, ki predstavljajo veliko tveganje za varnost ali temeljne pravice državljanov, bi morali izpolnjevati posebne zahteve in obveznosti. Skladnost s temi zahtevami bi pomenila stroške v višini približno 6 000 do 7 000 EUR za dobavo povprečnega umetnointeligenčnega sistema velikega tveganja v višini približno 170 000 EUR do leta 2025. Za uporabnike umetne inteligence bi nastali tudi letni stroški za čas, porabljen za zagotavljanje človekovega nadzora, kadar je to primerno, odvisno od primera uporabe. Ti so ocenjeni na približno 5 000 EUR do 8 000 EUR na leto. Za dobavitelje umetne inteligence velikega tveganja bi lahko stroški preverjanja znašali od dodatnih 3 000 EUR do 7 500 EUR. Podjetja ali javni organi, ki razvijajo ali uporabljajo umetno inteligenco v namene, ki niso razvrščeni kot veliko tveganje, bi imeli le minimalne obveznosti obveščanja. Lahko pa se pridružijo drugim in skupaj sprejmejo kodeks ravnanja, da bi upoštevali ustrezne zahteve in zagotovili, da so njihovi umetnointeligenčni sistemi zaupanja vredni. V tem primeru bi bili stroški kvečjemu tako visoki kot pri sistemih umetne inteligence velikega tveganja, najverjetneje pa nižji. Učinki možnosti politike na različne kategorije deležnikov (gospodarske subjekte/podjetja; organi za ugotavljanje skladnosti, organi za standardizacijo in drugi javni organi; posamezniki/državljani; raziskovalci) so podrobno pojasnjeni v Prilogi 3 k oceni učinka, ki podpira ta predlog. 3.4.Ustreznost in poenostavitev ureditve Ta predlog določa obveznost, ki se bo uporabljala za ponudnike in uporabnike umetnointeligenčnih sistemov velikega tveganja. Za ponudnike, ki razvijajo in dajejo take sisteme na trg Unije, bo ustvarila pravno varnost ter zagotovila, da ne bodo nastajale ovire za čezmejno zagotavljanje storitev in proizvodov, povezanih z umetno inteligenco. Za podjetja, ki uporabljajo umetno inteligenco, bo spodbujala zaupanje pri njihovih strankah. Za nacionalne javne uprave bo spodbudila zaupanje javnosti v uporabo umetne inteligence in okrepila mehanizme izvrševanja (z uvedbo evropskega usklajevalnega mehanizma, zagotavljanjem ustreznih zmogljivosti in olajšanjem revizij umetnointeligenčnih sistemov z novimi zahtevami glede dokumentacije, sledljivosti in preglednosti). Poleg tega bodo v okviru predvideni posebni ukrepi za podporo inovacijam, vključno z regulativnimi peskovniki ter posebnimi ukrepi za podporo malim uporabnikom in ponudnikom umetnointeligenčnih sistemov velikega tveganja za uskladitev z novimi pravili. Namen predloga je tudi okrepiti konkurenčnost in evropsko industrijsko bazo na področju umetne inteligence. Zagotovljena je popolna skladnost z obstoječo sektorsko zakonodajo Unije, ki se uporablja za umetnointeligenčne sisteme (npr. za proizvode in storitve), kar bo prineslo dodatno jasnost in poenostavilo izvrševanje novih pravil. 3.5.Temeljne pravice Uporaba umetne inteligence s svojimi posebnimi značilnostmi (npr. neprepustnost, kompleksnost, odvisnost od podatkov, avtonomno vedenje) ima lahko škodljiv učinek na številne temeljne pravice iz Listine EU o temeljnih pravicah (v nadaljnjem besedilu: Listina). Namen tega predloga je zagotoviti visoko raven varstva teh temeljnih pravic in obravnavati različne vire tveganj z jasno opredeljenim pristopom, ki temelji na tveganju. S sklopom zahtev za zaupanja vredno umetno inteligenco in sorazmernimi obveznostmi za vse udeležence v vrednostni verigi bo predlog okrepil in spodbujal varstvo pravic, ki jih varuje Listina: pravico do človekovega dostojanstva (člen 1), spoštovanje zasebnega življenja in varstvo osebnih podatkov (člena 7 in 8), prepoved diskriminacije (člen 21) ter enakost žensk in moških (člen 23). Namen predloga je preprečiti hromitev pravic do svobode izražanja (člen 11) in svobode zbiranja (člen 12), zagotoviti varstvo pravice do učinkovitega pravnega sredstva in nepristranskega sodišča, pravice do obrambe in domneve nedolžnosti (člena 47 in 48) ter splošnega načela dobrega upravljanja. Poleg tega bo predlog, kot se uporablja na nekaterih področjih, pozitivno vplival na pravice številnih posebnih skupin, kot so pravice delavcev do poštenih in pravičnih delovnih pogojev (člen 31), visoka raven varstva potrošnikov (člen 28), pravice otroka (člen 24) in vključenost invalidov (člen 26). Prav tako je pomembna pravica do visoke ravni varstva okolja in izboljšanja kakovosti okolja (člen 37), tudi v zvezi z zdravjem in varnostjo ljudi. Obveznosti predhodnega testiranja, obvladovanja tveganja in človekovega nadzora bodo prav tako olajšale spoštovanje drugih temeljnih pravic z zmanjšanjem tveganja napačnih ali pristranskih odločitev, izvedenih s pomočjo umetne inteligence, na kritičnih področjih, kot so izobraževanje in usposabljanje, zaposlovanje, pomembne storitve, preprečevanje, odkrivanje in preiskovanje kaznivih dejanj in sodstvo. Če se bodo kršitve temeljnih pravic še vedno dogajale, bodo izpostavljene osebe imele možnost učinkovitega sodnega varstva z zagotavljanjem preglednosti in sledljivosti umetnointeligenčnih sistemov skupaj z močnim naknadnim nadzorom. Ta predlog uvaja nekatere omejitve svobode gospodarske pobude (člen 16) ter svobode umetnosti in znanosti (člen 13), da se zagotovi skladnost s prevladujočimi razlogi javnega interesa, kot so zdravje, varnost, varstvo potrošnikov in varstvo drugih temeljnih pravic („odgovorne inovacije“) pri razvoju in uporabi tehnologije umetne inteligence velikega tveganja. Te omejitve so sorazmerne in omejene na minimum, potreben za preprečitev in zmanjševanje hudih varnostnih tveganj in verjetnih kršitev temeljnih pravic. Povečane obveznosti glede preglednosti tudi ne bodo nesorazmerno vplivale na pravico do varstva intelektualne lastnine (člen 17(2)), saj bodo omejene le na minimalne informacije, ki jih posamezniki potrebujejo za uveljavljanje svoje pravice do učinkovitega pravnega sredstva, ter na potrebno preglednost za nadzorne in izvršilne organe v skladu z njihovimi pooblastili. Vsako razkritje informacij bo v skladu z ustrezno zakonodajo na tem področju, vključno z Direktivo (EU) 2016/943 o varstvu nerazkritega strokovnega znanja in izkušenj ter poslovnih informacij (poslovnih skrivnosti) pred njihovo protipravno pridobitvijo, uporabo in razkritjem. Kadar je treba javnim organom in priglašenim organom omogočiti dostop do zaupnih informacij ali izvorne kode, da bi preverili skladnost z bistvenimi obveznostmi, zanje veljajo zavezujoče obveznosti glede zaupnosti. 4.PRORAČUNSKE POSLEDICE

Države članice bodo morale imenovati nadzorne organe, pristojne za izvajanje zakonodajnih zahtev. Njihova nadzorna funkcija bi lahko temeljila na obstoječih ureditvah, na primer v zvezi z organi za ugotavljanje skladnosti ali nadzorom trga, vendar bi potrebovali dovolj tehnološkega znanja ter človeških in finančnih virov. Odvisno od obstoječe strukture v posamezni državi članici bi to lahko znašalo od 1 do 25 ekvivalentov polnega delovnega časa na državo članico. Podroben pregled zadevnih stroškov je na voljo v „finančnem poročilu“, povezanem s tem predlogom. 5.DRUGI ELEMENTI 5.1.Izvedbeni načrti ter ureditve spremljanja, ocenjevanja in poročanja Zagotavljanje robustnega mehanizma spremljanja in ocenjevanja je ključnega pomena za zagotovitev, da bo predlog učinkovit pri doseganju svojih posebnih ciljev. Komisija bo odgovorna za spremljanje učinkov predloga. Vzpostavila bo sistem za registracijo samostojne uporabe umetne inteligence velikega tveganja v javno podatkovno zbirko po vsej EU. Ta registracija bo pristojnim organom, uporabnikom in drugim zainteresiranim osebam omogočila tudi, da preverijo, ali je umetnointeligenčni sistem velikega tveganja skladen z zahtevami iz predloga, ter izvajajo okrepljen nadzor nad umetnointeligenčni sistemi, ki predstavljajo veliko tveganje za temeljne pravice. Za polnjenje te podatkovne zbirke bodo morali ponudniki umetne inteligence zagotoviti smiselne informacije o svojih sistemih in o opravljenem ugotavljanju skladnosti teh sistemov. Poleg tega bodo morali ponudniki umetne inteligence obvestiti pristojne nacionalne organe o hudih incidentih ali okvarah, ki pomenijo kršitev obveznosti v zvezi s temeljnimi pravicami, takoj ko bodo zanje izvedeli, ter o vseh preklicih ali umikih umetnointeligenčnih sistemov s trga. Pristojni nacionalni organi bodo nato raziskali incidente ali okvare, zbrali vse potrebne informacije in jih redno pošiljali Komisiji z ustreznimi metapodatki. Komisija bo te informacije o incidentih dopolnila s celovito analizo celotnega trga za umetno inteligenco. Komisija bo objavila poročilo o oceni in pregledu predlaganega okvira za umetno inteligenco pet let po datumu začetku njegove uporabe. 5.2.Podrobna obrazložitev konkretnih določb predloga 5.2.1.PODROČJE UPORABE IN OPREDELITEV POJMOV (NASLOV I) Naslov I opredeljuje predmet uredbe in področje uporabe novih pravil, ki zajemajo dajanje na trg, v obratovanje in uporabo umetnointeligenčnih sistemov. Določa tudi opredelitve pojmov, ki se uporabljajo v celotnem instrumentu. Opredelitev umetnointeligenčnega sistema v pravnem okviru naj bi bila čim bolj tehnološko nevtralna in čim bolj primerna za prihodnost, ob upoštevanju hitrega tehnološkega in tržnega razvoja, povezanega z umetno inteligenco. Za zagotovitev potrebne pravne varnosti naslov I dopolnjuje Priloga I, ki vsebuje podroben seznam pristopov in tehnik za razvoj umetne inteligence, ki jih bo Komisija prilagodila v skladu z novim tehnološkim razvojem. Jasno so opredeljeni tudi ključni udeleženci v vrednostni verigi umetne inteligence, kot so ponudniki in uporabniki umetnointeligenčnih sistemov, ki zajemajo javne in zasebne operaterje, da se zagotovijo enaki konkurenčni pogoji. 5.2.2.PREPOVEDANE PRAKSE UMETNE INTELIGENCE (NASLOV II) Naslov II določa seznam prepovedane uporabe umetne inteligence. Uredba temelji na pristopu na podlagi tveganja in razlikuje med uporabami umetne inteligence, ki ustvarjajo (i) nesprejemljivo tveganje, (ii) veliko tveganje in (iii) majhno ali minimalno tveganje. Seznam prepovedanih praks iz naslova II zajema vse tiste umetnointeligenčne sisteme, katerih uporaba se šteje za nesprejemljivo, saj so v nasprotju z vrednotami Unije, na primer s kršenjem temeljnih pravic. Prepovedi zajemajo prakse, ki imajo znaten potencial za manipulacijo oseb s subliminalnimi tehnikami, ki presegajo njihovo zavest, ali za izkoriščanje šibkih točk posebnih ranljivih skupin, kot so otroci ali invalidi, da bi materialno izkrivili njihovo vedenje na način, ki bi njim ali drugi osebi lahko povzročil psihično ali fizično škodo. Obstoječa zakonodaja o varstvu podatkov, varstvu potrošnikov in digitalnih storitvah, ki zagotavlja, da so fizične osebe ustrezno obveščene in da imajo prosto izbiro, da ne bodo predmet profiliranja ali drugih praks, ki bi lahko vplivale na njihovo vedenje, bi lahko zajela tudi druge manipulativne ali izkoriščevalske prakse, ki vplivajo na odrasle in bi jih lahko umetnointeligenčni sistemi olajšali. Predlog prepoveduje tudi družbeno točkovanje na podlagi umetne inteligence za splošne namene, ki jih izvajajo javni organi. Nazadnje je prepovedana tudi uporaba sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen če veljajo nekatere omejene izjeme. 5.2.3.UMETNOINTELIGENČNI SISTEMI VELIKEGA TVEGANJA (NASLOV III) Naslov III vsebuje posebna pravila za umetnointeligenčne sisteme, ki predstavljajo veliko tveganje za zdravje in varnost ali temeljne pravice fizičnih oseb. V skladu s pristopom, ki temelji na tveganju, so navedeni umetnointeligenčni sistemi velikega tveganja dovoljeni na evropskem trgu, če izpolnjujejo nekatere obvezne zahteve in predhodno ugotavljanje skladnosti. Razvrstitev umetnointeligenčnega sistema kot sistema velikega tveganja temelji na predvidenem namenu umetnointeligenčnega sistema v skladu z veljavno zakonodajo o varnosti proizvodov. Zato razvrstitev med sisteme velikega tveganja ni odvisna le od funkcije, ki jo opravlja umetnointeligenčni sistem, ampak tudi od posebnega namena in načinov, za katere se ta sistem uporablja. Poglavje 1 naslova III določa pravila za razvrščanje in opredeljuje dve glavni kategoriji umetnointeligenčnih sistemov velikega tveganja: ·umetnointeligenčni sistemi, namenjeni uporabi kot varnostna komponenta proizvodov, ki so predmet predhodnega ugotavljanja skladnosti s strani tretjih oseb; ·drugi samostojni umetnointeligenčni sistemi, ki vplivajo predvsem na temeljne pravice in so izrecno navedeni v Prilogi III. Ta seznam umetnointeligenčnih sistemov velikega tveganja iz Priloge III vsebuje omejeno število umetnointeligenčnih sistemov, katerih tveganja so se že uresničila ali se bodo verjetno uresničila v bližnji prihodnosti. Da bi zagotovili, da se bo uredba lahko prilagodila nastajajočim uporabam umetne inteligence, lahko Komisija razširi seznam umetnointeligenčnih sistemov velikega tveganja, ki se uporabljajo na nekaterih vnaprej določenih področjih, in sicer z uporabo sklopa meril in metodologije za ugotavljanje tveganja. Poglavje 2 določa pravne zahteve za umetnointeligenčne sisteme velikega tveganja v zvezi s podatki in upravljanjem podatkov, vodenjem dokumentacije in evidenc, preglednostjo in zagotavljanjem informacij uporabnikom, človekovim nadzorom, robustnostjo, točnostjo in varnostjo. Predlagane minimalne zahteve za mnoge vestne operaterje že pomenijo najsodobnejše stanje in so rezultat dveletnega pripravljalnega dela, ki izhaja iz etičnih smernic strokovne skupine na visoki ravni za umetno inteligenco, ki jih je pilotno izvajalo več kot 350 organizacij. Prav tako so v veliki meri skladne z drugimi mednarodnimi priporočili in načeli, kar zagotavlja, da je predlagani okvir za umetno inteligenco združljiv s tistimi, ki so jih sprejeli mednarodni trgovinski partnerji EU. Natančne tehnične rešitve za doseganje skladnosti s temi zahtevami se lahko določijo s standardi ali drugimi tehničnimi specifikacijami ali pa se drugače razvijejo v skladu s splošnim inženirskim ali znanstvenim znanjem po presoji ponudnika umetnointeligenčnega sistema. Ta prožnost je še zlasti pomembna, ker ponudnikom umetnointeligenčnih sistemov omogoča, da izberejo način izpolnjevanja svojih zahtev, pri čemer upoštevajo najsodobnejše stanje ter tehnološki in znanstveni napredek na tem področju. Poglavje 3 določa jasen sklop horizontalnih obveznosti za ponudnike umetnointeligenčnih sistemov velikega tveganja. Sorazmerne obveznosti so naložene tudi uporabnikom in drugim udeležencem v vrednostni verigi umetne inteligence (npr. uvoznikom, distributerjem, pooblaščenim zastopnikom).

Poglavje 4 določa okvir za sodelovanje priglašenih organov kot neodvisnih tretjih oseb v postopkih ugotavljanja skladnosti, poglavje 5 pa podrobno pojasnjuje postopke ugotavljanja skladnosti, ki jih je treba upoštevati za vsako vrsto umetnointeligenčnega sistema velikega tveganja. Cilj pristopa za ugotavljanje skladnosti je čim bolj zmanjšati breme za gospodarske subjekte in tudi priglašene organe, katerih zmogljivosti je treba sčasoma postopoma povečati. Za umetnointeligenčne sisteme, namenjene uporabi kot varnostne komponente proizvodov, ki jih ureja zakonodaja novega zakonodajnega okvira (npr. stroji, igrače, medicinski pripomočki), bodo veljali enaki predhodni in naknadni mehanizmi skladnosti in izvrševanja za proizvode, katerih komponente so. Ključna razlika je v tem, da bodo predhodni in naknadni mehanizmi zagotovili skladnost ne le z zahtevami sektorske zakonodaje, ampak tudi z zahtevami iz te uredbe. Kar zadeva samostojne umetnointeligenčne sisteme velikega tveganja iz Priloge III, bo vzpostavljen nov sistem skladnosti in izvrševanja. To sledi modelu zakonodaje novega zakonodajnega okvira, ki se izvaja s preverjanji notranje kontrole s strani ponudnikov, razen sistemov za biometrično identifikacijo na daljavo, za katere bi veljalo ugotavljanje skladnosti s strani tretjih oseb. Celovito predhodno ugotavljanje skladnosti z notranjimi pregledi v kombinaciji s strogim naknadnim izvrševanjem bi lahko bila učinkovita in razumna rešitev za te sisteme glede na zgodnjo fazo regulativnega posega in dejstvo, da je sektor umetne inteligence zelo inovativen, strokovno znanje za revizijo pa se šele zbira. Ocena z notranjimi pregledi za „samostojne“ umetnointeligenčne sisteme velikega tveganja bi zahtevala popolno, učinkovito in ustrezno dokumentirano predhodno skladnost z vsemi zahtevami uredbe ter skladnost z robustnimi sistemi kakovosti in obvladovanja tveganja ter spremljanja po dajanju na trg. Ko ponudnik opravi ustrezno ugotavljanje skladnosti, bi moral te samostojne umetnointeligenčne sisteme velikega tveganja registrirati v podatkovni zbirki EU, ki jo bo upravljala Komisija, da bi povečala javno preglednost in nadzor ter okrepila naknadni nadzor s strani pristojnih organov. Zaradi skladnosti z obstoječo zakonodajo o varnosti proizvodov pa bo ugotavljanje skladnosti umetnointeligenčnih sistemov, ki so varnostne komponente proizvodov, potekalo po sistemu s postopki ugotavljanja skladnosti s strani tretjih oseb, ki so že vzpostavljeni v skladu z ustrezno sektorsko zakonodajo o varnosti proizvodov. V primeru bistvenih sprememb umetnointeligenčnih sistemov (in zlasti sprememb, ki presegajo tisto, kar je ponudnik vnaprej določil v svoji tehnični dokumentaciji in kar je bilo preverjeno ob predhodnem ugotavljanju skladnosti) bodo potrebna nova predhodna ponovna ugotavljanja skladnosti. 5.2.4.OBVEZNOSTI GLEDE PREGLEDNOSTI ZA NEKATERE UMETNOINTELIGENČNE SISTEME (NASLOV IV) Naslov IV se nanaša na nekatere umetnointeligenčne sisteme, da se upoštevajo posebna tveganja manipulacije, ki jih predstavljajo. Obveznosti glede preglednosti bodo veljale za sisteme, ki (i) imajo stik z ljudmi, (ii) se uporabljajo za zaznavanje čustev ali določanje pripadnosti (družbenim) kategorijam na podlagi biometričnih podatkov ali (iii) ustvarjajo ali manipulirajo z vsebino („globoki ponaredki“). Kadar so osebe v stiku s sistemom umetne inteligence ali se njihova čustva ali značilnosti prepoznavajo z avtomatiziranimi sredstvi, jih je treba o tem obvestiti. Če se umetnointeligenčni sistem uporablja za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine, ki je v znatni meri podobna verodostojni vsebini, bi morala obstajati obveznost razkritja, da je vsebina ustvarjena z avtomatiziranimi sredstvi, ob upoštevanju izjem za zakonite namene (preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, svoboda izražanja). To osebam omogoča, da sprejemajo informirane odločitve ali se umaknejo iz določene situacije. 5.2.5.UKREPI V PODPORO INOVACIJAM (NASLOV V) Naslov V prispeva k cilju oblikovanja pravnega okvira, ki je inovacijam prijazen, primeren za prihodnost in odporen na motnje. V ta namen spodbuja pristojne nacionalne organe, da vzpostavijo regulativne peskovnike, ter določa osnovni okvir v smislu upravljanja, nadzora in odgovornosti. Regulativni peskovniki za umetno inteligenco vzpostavljajo nadzorovano okolje za testiranje inovativnih tehnologij za omejen čas na podlagi načrta testiranja, dogovorjenega s pristojnimi organi. Naslov V vsebuje tudi ukrepe za zmanjšanje regulativnega bremena za MSP in zagonska podjetja. 5.2.6.UPRAVLJANJE IN IZVAJANJE (NASLOVI VI, VII IN VIII) Naslov VI določa sisteme upravljanja na ravni Unije in nacionalni ravni. Na ravni Unije se s predlogom ustanavlja Evropski odbor za umetno inteligenco (v nadaljnjem besedilu: odbor), ki ga sestavljajo predstavniki držav članic in Komisije. Odbor bo olajšal nemoteno, učinkovito in harmonizirano izvajanje te uredbe s prispevanjem k učinkovitemu sodelovanju nacionalnih nadzornih organov in Komisije ter z zagotavljanjem svetovanja in strokovnega znanja Komisiji. Prav tako bo zbiral in izmenjeval najboljše prakse med državami članicami. Države članice bodo morale na nacionalni ravni imenovati enega ali več pristojnih nacionalnih organov ter med njimi nacionalni nadzorni organ za nadzor uporabe in izvajanja uredbe. Evropski nadzornik za varstvo podatkov bo deloval kot pristojni organ za nadzor institucij, agencij in organov Unije, kadar spadajo na področje uporabe te uredbe. Namen naslova VII je olajšati spremljanje dela Komisije in nacionalnih organov z vzpostavitvijo podatkovne zbirke na ravni EU za samostojne umetnointeligenčne sisteme velikega tveganja, ki vplivajo predvsem na temeljne pravice. Podatkovno zbirko bo upravljala Komisija, podatke pa bodo zagotovili ponudniki umetnointeligenčnih sistemov, ki bodo morali svoje sisteme registrirati, preden jih dajo na trg ali kako drugače v uporabo. Naslov VIII določa obveznosti spremljanja in poročanja za ponudnike umetnointeligenčnih sistemov v zvezi s spremljanjem po dajanju na trg in poročanjem ter preiskovanjem incidentov in okvar v zvezi z umetno inteligenco. Organi za nadzor trga bi prav tako nadzorovali trg ter preverjali skladnost z obveznostmi in zahtevami za vse umetnointeligenčne sisteme velikega tveganja, ki so že dani na trg. Organi za nadzor trga bi imeli vsa pooblastila iz Uredbe (EU) 2019/1020 o nadzoru trga. Naknadno izvrševanje bi moralo zagotoviti, da imajo javni organi po dajanju umetnointeligenčnega sistema na trg pooblastila in sredstva za posredovanje, če umetnointeligenčni sistemi povzročijo nepričakovana tveganja, ki zahtevajo hitro ukrepanje. Prav tako bodo spremljali, ali operaterji izpolnjujejo ustrezne obveznosti iz uredbe. Predlog ne predvideva samodejne ustanovitve dodatnih teles ali organov na ravni držav članic. Države članice lahko zato imenujejo obstoječe sektorske organe (in uporabijo njihovo strokovno znanje), ki bi bili pooblaščeni tudi za spremljanje in izvrševanje določb uredbe. Vse to ne posega v obstoječi sistem in dodelitev pristojnosti za naknadno izvrševanje obveznosti v zvezi s temeljnimi pravicami v državah članicah. Kadar je to potrebno za njihove naloge, bodo obstoječi nadzorni in izvršilni organi imeli tudi pooblastila, da po potrebi zahtevajo dokumentacijo, ki se hrani v skladu s to uredbo, in dostopajo do nje ter po potrebi od organov za nadzor trga zahtevajo, da s tehničnimi sredstvi organizirajo testiranje umetnointeligenčnega sistema velikega tveganja. 5.2.7.KODEKSI RAVNANJA (NASLOV IX) Naslov IX vzpostavlja okvir za oblikovanje kodeksov ravnanja, katerih cilj je spodbuditi ponudnike umetnointeligenčnih sistemov, ki ne predstavljajo velikega tveganja, k prostovoljni uporabi obveznih zahtev za umetnointeligenčne sisteme velikega tveganja (kot je določeno v naslovu III). Ponudniki umetnointeligenčnih sistemov, ki ne predstavljajo velikega tveganja, lahko sami oblikujejo in izvajajo kodekse ravnanja. Ti kodeksi lahko vključujejo tudi prostovoljne zaveze, povezane na primer z okoljsko trajnostjo, dostopnostjo za invalide, sodelovanjem deležnikov pri snovanju in razvoju umetnointeligenčnih sistemov ter raznolikostjo razvojnih skupin. 5.2.8.KONČNE DOLOČBE (NASLOVI X, XI IN XII) Naslov X poudarja obveznost vseh strani, da spoštujejo zaupnost informacij in podatkov, ter določa pravila za izmenjavo informacij, pridobljenih med izvajanjem uredbe. Naslov X vključuje tudi ukrepe za zagotovitev učinkovitega izvajanja uredbe z učinkovitimi, sorazmernimi in odvračilnimi kaznimi za kršitve določb. Naslov XI določa pravila za izvajanje delegiranih in izvedbenih pooblastil. Predlog pooblašča Komisijo, da po potrebi sprejme izvedbene akte za zagotovitev enotne uporabe uredbe ali delegiranih aktov za posodobitev ali dopolnitev seznamov iz prilog I do VII. Naslov XII vsebuje obveznost Komisije, da redno ocenjuje potrebo po posodobitvi Priloge III ter pripravlja redna poročila o oceni in pregledu uredbe. Določa tudi končne določbe, vključno z diferenciranim prehodnim obdobjem za začetni datum uporabe uredbe, da se olajša nemoteno izvajanje za vse zadevne strani. 2021/0106 (COD) Predlog

UREDBA EVROPSKEGA PARLAMENTA IN SVETA O DOLOČITVI HARMONIZIRANIH PRAVIL O UMETNI INTELIGENCI (AKT O UMETNI INTELIGENCI) IN SPREMEMBI NEKATERIH ZAKONODAJNIH AKTOV UNIJE EVROPSKI PARLAMENT IN SVET EVROPSKE UNIJE STA – ob upoštevanju Pogodbe o delovanju Evropske unije ter zlasti členov 16 in 114 Pogodbe, ob upoštevanju predloga Evropske komisije, po posredovanju osnutka zakonodajnega akta nacionalnim parlamentom, ob upoštevanju mnenja Evropskega ekonomsko-socialnega odbora, ob upoštevanju mnenja Odbora regij, v skladu z rednim zakonodajnim postopkom, ob upoštevanju naslednjega: (1)Namen te uredbe je izboljšati delovanje notranjega trga z določitvijo enotnega pravnega okvira, zlasti za razvoj, trženje in uporabo umetne inteligence v skladu z vrednotami Unije. Ta uredba uresničuje številne nujne razloge javnega interesa, kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic, ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo. (2)Umetnointeligenčne sisteme je mogoče zlahka uporabljati v več gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko krožijo po vsej Uniji. Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je umetna inteligenca varna ter da se razvija in uporablja v skladu z obveznostmi glede temeljnih pravic. Različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo ali uporabljajo umetnointeligenčne sisteme. Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej Uniji, hkrati pa preprečiti razlike, ki ovirajo prost pretok umetnointeligenčnih sistemov ter z njimi povezanih proizvodov in storitev na notranjem trgu, in sicer z določitvijo enotnih obveznosti za operaterje ter zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi člena 114 Pogodbe o delovanju Evropske unije (v nadaljnjem besedilu: PDEU). Ker ta uredba vsebuje nekatera posebna pravila o varstvu posameznikov pri obdelavi osebnih podatkov v zvezi z omejitvami uporabe umetnointeligenčnih sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, je primerno, da se ta uredba, kar zadeva navedena posebna pravila, opira na člen 16 PDEU. Glede na ta posebna pravila in uporabo člena 16 PDEU se je primerno posvetovati z Evropskim odborom za varstvo podatkov. (3)Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki lahko prispevajo k številnim gospodarskim in družbenim koristim v celotnem spektru panog in družbenih dejavnosti. Uporaba umetne inteligence lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojenimi digitalnimi rešitvami, ki so na voljo za posameznike in organizacije, zagotavlja ključne konkurenčne prednosti za podjetja ter podpira družbeno in okoljsko koristne rezultate, na primer na področju zdravstvenega varstva, kmetijstva, izobraževanja in usposabljanja, upravljanja infrastrukture, energije, prometa in logistike, javnih storitev, varnosti, pravosodja, učinkovite rabe virov in energije ter ublažitve podnebnih sprememb in prilagajanja nanje. (4)Hkrati lahko umetna inteligenca glede na okoliščine v zvezi z njenim posebnim namenom uporabe povzroča tveganja ter škoduje javnim interesom in pravicam, ki jih varuje pravo Unije. Ta škoda je lahko materialna ali nematerialna. (5)Zato je potreben pravni okvir Unije, ki bo določal harmonizirana pravila o umetni inteligenci, da bi spodbudil razvoj, uporabo in uvajanje umetne inteligence na notranjem trgu, ki bo hkrati zagotavljal visoko raven zaščite javnih interesov, kot so zdravje in varnost ter varstvo temeljnih pravic, kot jih priznava in varuje pravo Unije. Za dosego tega cilja bi bilo treba določiti pravila, ki urejajo dajanje na trg in v uporabo nekaterih umetnointeligenčnih sistemov, s čimer bi zagotovili nemoteno delovanje notranjega trga in omogočili, da ti sistemi izkoristijo načelo prostega pretoka blaga in storitev. Z določitvijo teh pravil ta uredba podpira cilj, da Unija postane vodilna v svetu pri razvoju varne, zaupanja vredne in etične umetne inteligence, kot je navedel Evropski svet, ter zagotavlja zaščito etičnih načel, kot je izrecno zahteval Evropski parlament. (6)Pojem umetnointeligenčnega sistema bi moral biti jasno opredeljen, da se zagotovita pravna varnost in hkrati prožnost, ki bo omogočala prilagajanje prihodnjemu tehnološkemu razvoju. Opredelitev bi morala temeljiti na ključnih funkcionalnih značilnostih programske opreme, zlasti na zmožnosti, da za določen sklop ciljev, ki jih opredeli človek, ustvarja izhodne podatke, kot so vsebine, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim je sistem v interakciji, bodisi v fizični bodisi v digitalni razsežnosti. Umetnointeligenčni sistemi so lahko zasnovani tako, da delujejo z različnimi stopnjami avtonomije in se uporabljajo samostojno ali kot komponenta proizvoda, ne glede na to, ali je sistem fizično integriran v proizvod (vgrajen) ali služi funkcionalnosti proizvoda, ne da bi bil vanj integriran (nevgrajen). Opredelitev umetnointeligenčnega sistema bi bilo treba dopolniti s seznamom posebnih tehnik in pristopov, ki se uporabljajo za njegov razvoj, ta seznam pa bi bilo treba posodabljati glede na tržni in tehnološki razvoj, tako da Komisija sprejme delegirane akte za spremembo tega seznama. (7)Pojem biometričnih podatkov, uporabljen v tej uredbi, je skladen s pojmom biometričnih podatkov, kot je opredeljen v členu 4(14) Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta, členu 3(18) Uredbe (EU) 2018/1725 Evropskega parlamenta in Sveta ter členu 3(13) Direktive (EU) 2016/680 Evropskega parlamenta in Sveta, ter bi ga bilo treba razlagati dosledno. (8)Pojem sistema za biometrično identifikacijo na daljavo, kot se uporablja v tej uredbi, bi bilo treba opredeliti funkcionalno kot umetnointeligenčni sistem, namenjen identifikaciji fizičnih oseb na daljavo s primerjavo biometričnih podatkov osebe z biometričnimi podatki iz referenčne podatkovne zbirke in ne da bi bilo vnaprej znano, ali bo ciljna oseba prisotna in ali jo bo mogoče identificirati, ne glede na uporabljeno tehnologijo, procese ali vrste biometričnih podatkov. Glede na različne značilnosti in načine uporabe ter različna tveganja je treba razlikovati med sistemi za biometrično identifikacijo na daljavo v realnem času in sistemi za naknadno biometrično identifikacijo na daljavo. Pri sistemih „v realnem času“ se zajemanje biometričnih podatkov, primerjava in identifikacija izvedejo takoj, skoraj trenutno ali v vsakem primeru brez večje zamude. V zvezi s tem ne bi smelo biti prostora za izogibanje pravilom te uredbe o uporabi zadevnih umetnointeligenčnih sistemov v realnem času s tem, da bi poskrbeli za manjše zamude. Sistemi „v realnem času“ vključujejo uporabo gradiva „v živo“ ali „skoraj v živo“, kot je videoposnetek, ki ga ustvari kamera ali druga naprava s podobno funkcionalnostjo. Pri „naknadnih“ sistemih so bili biometrični podatki že zajeti, primerjava in identifikacija pa se izvedeta šele po daljšem času. To vključuje gradivo, kot so slike ali videoposnetki, ki jih ustvarjajo kamere televizije zaprtega kroga ali zasebne naprave, ki je bilo ustvarjeno pred uporabo sistema v zvezi z zadevnimi fizičnimi osebami. (9)V tej uredbi je treba pojem javno dostopnega prostora razumeti tako, da se nanaša na vsak fizični prostor, dostopen javnosti, ne glede na to, ali je ta prostor v zasebni ali javni lasti. Zato pojem ne zajema prostorov, ki so zasebne narave in običajno niso prosto dostopni tretjim osebam, vključno z organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, razen če so bile te osebe posebej povabljene ali pooblaščene, kot so domovi, zasebni klubi, pisarne, skladišča in tovarne. Spletni prostori prav tako niso zajeti, saj niso fizični prostori. Vendar pa zgolj dejstvo, da lahko za dostop do določenega prostora veljajo določeni pogoji, kot so vstopnice ali starostne omejitve, ne pomeni, da prostor ni javno dostopen v smislu te uredbe. Zato so poleg javnih prostorov, kot so ulice, ustrezni deli vladnih stavb in večina prometne infrastrukture, običajno javno dostopni tudi prostori, kot so kinodvorane, gledališča, trgovine in nakupovalna središča. Vendar je za vsak primer posebej treba ugotoviti, ali je določen prostor dostopen javnosti, ob upoštevanju posebnosti posamezne situacije. (10)Za zagotovitev enakih konkurenčnih pogojev ter učinkovitega varstva pravic in svoboščin posameznikov po vsej Uniji bi se morala pravila iz te uredbe uporabljati za ponudnike umetnointeligenčnih sistemov na nediskriminatoren način, ne glede na to, ali imajo sedež v Uniji ali v tretji državi, in za uporabnike umetnointeligenčnih sistemov s sedežem v Uniji.

(11)Zaradi svoje digitalne narave bi morali nekateri umetnointeligenčni sistemi spadati na področje uporabe te uredbe, tudi če niso dani na trg, v obratovanje ali uporabo v Uniji. To velja na primer za operaterja s sedežem v Uniji, ki določene storitve naroča pri operaterju s sedežem zunaj Unije v zvezi z dejavnostjo, ki jo bo izvajal umetnointeligenčni sistem, ki bi bil opredeljen kot sistem velikega tveganja in katerega učinki vplivajo na fizične osebe s sedežem v Uniji. V teh okoliščinah bi lahko umetnointeligenčni sistem, ki ga uporablja operater zunaj Unije, obdeloval podatke, ki se zakonito zbirajo v Uniji in prenašajo iz nje, ter naročniku v Uniji zagotovil izhodne podatke navedenega umetnointeligenčnega sistema, ki izhajajo iz te obdelave, ne da bi bil ta umetnointeligenčni sistem dan na trg, v obratovanje ali uporabo v Uniji. Da bi preprečili izogibanje določbam te uredbe in zagotovili učinkovito varstvo fizičnih oseb v Uniji, bi se morala ta uredba uporabljati tudi za ponudnike in uporabnike umetnointeligenčnih sistemov s sedežem v tretji državi, če se izhodni podatki, ki jih ti sistemi ustvarijo, uporabljajo v Uniji. Kljub temu se zaradi upoštevanja obstoječih ureditev in posebnih potreb po sodelovanju s tujimi partnerji, s katerimi se izmenjujejo informacije in dokazi, ta uredba ne bi smela uporabljati za javne organe tretje države in mednarodne organizacije, kadar delujejo v okviru mednarodnih sporazumov, sklenjenih na nacionalni ali evropski ravni za sodelovanje na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pravosodja z Unijo ali njenimi državami članicami. Taki sporazumi so bili sklenjeni dvostransko med državami članicami in tretjimi državami ali med Evropsko unijo, Europolom in drugimi agencijami EU ter tretjimi državami in mednarodnimi organizacijami. (12)Ta uredba bi se morala uporabljati tudi za institucije, urade, organe in agencije Unije, kadar delujejo kot ponudniki ali uporabniki umetnointeligenčnega sistema. Umetnointeligenčne sisteme, ki se razvijajo ali uporabljajo izključno v vojaške namene, bi bilo treba izključiti iz področja uporabe te uredbe, če ta uporaba spada v izključno pristojnost skupne zunanje in varnostne politike, ki jo ureja naslov V Pogodbe o Evropski uniji (v nadaljnjem besedilu: PEU). Ta uredba ne bi smela posegati v določbe o odgovornosti posrednih ponudnikov storitev iz Direktive 2000/31/ES Evropskega parlamenta in Sveta [kakor je bila spremenjena z aktom o digitalnih storitvah]. (13)Da bi zagotovili dosledno in visoko raven zaščite javnih interesov v zvezi z zdravjem, varnostjo in temeljnimi pravicami, bi bilo treba določiti skupne normativne standarde za vse umetnointeligenčne sisteme velikega tveganja. Ti standardi bi morali biti skladni z Listino Evropske unije o temeljnih pravicah (v nadaljnjem besedilu: Listina) ter nediskriminatorni in v skladu z mednarodnimi trgovinskimi zavezami Unije. (14)Za uvedbo sorazmernega in učinkovitega sklopa zavezujočih pravil za umetnointeligenčne sisteme bi bilo treba uporabiti jasno opredeljen pristop, ki temelji na tveganju. Ta pristop bi moral vrsto in vsebino takih pravil prilagoditi intenzivnosti in obsegu tveganj, ki jih lahko ustvarijo umetnointeligenčni sistemi. Zato je treba prepovedati nekatere prakse umetne inteligence, določiti zahteve za umetnointeligenčne sisteme velikega tveganja in obveznosti za zadevne operaterje ter določiti obveznosti glede preglednosti za nekatere umetnointeligenčne sisteme. (15)Poleg številnih koristnih uporab umetne inteligence je mogoče to tehnologijo tudi zlorabiti, tako da bi nastala nova in močna orodja za prakse manipulacije, izkoriščanja in družbenega nadzora. Take prakse so še posebej škodljive in bi jih bilo treba prepovedati, ker so v nasprotju z vrednotami Unije glede spoštovanja človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami Unije, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka. (16)Prepovedati bi bilo treba dajanje na trg, v obratovanje ali uporabo nekaterih umetnointeligenčnih sistemov, namenjenih izkrivljanju človekovega vedenja, pri katerem obstaja verjetnost pojava fizične ali psihične škode. Taki umetnointeligenčni sistemi uporabljajo subliminalne komponente, ki jih posamezniki ne morejo zaznati, ali izkoriščajo šibke točke otrok in ljudi zaradi njihove starosti, telesne ali duševne nezmožnosti. To počnejo z namenom, da bi bistveno izkrivili vedenje osebe, in na način, ki tej ali drugi osebi povzroči ali bi ji lahko povzročil škodo. Namena ni mogoče predpostavljati, če je izkrivljanje človekovega vedenja posledica dejavnikov zunaj umetnointeligenčnega sistema in na katere ponudnik ali uporabnik ne more vplivati. Prepoved ne bi smela ovirati raziskav za zakonite namene v zvezi s takimi umetnointeligenčnimi sistemi, če take raziskave ne pomenijo uporabe umetnointeligenčnega sistema v odnosih med človekom in strojem, ki bi fizične osebe izpostavila škodi, ter če se take raziskave izvajajo v skladu s priznanimi etičnimi standardi za znanstvene raziskave. (17)Umetnointeligenčni sistemi, ki zagotavljajo družbeno točkovanje fizičnih oseb za splošne namene s strani javnih organov ali v njihovem imenu, lahko vodijo do diskriminatornih rezultatov in izključitve nekaterih skupin. Lahko kršijo pravico do dostojanstva in nediskriminacije ter vrednote enakosti in pravičnosti. Taki umetnointeligenčni sistemi ocenjujejo ali razvrščajo zanesljivost fizičnih oseb na podlagi njihovega družbenega vedenja v več kontekstih ali znanih ali predvidenih osebnih ali osebnostnih značilnostih. Število družbenih točk, pridobljenih s takimi umetnointeligenčni sistemi, lahko vodi do škodljivega ali neugodnega obravnavanja fizičnih oseb ali njihovih celotnih skupin v družbenih kontekstih, ki niso povezani s kontekstom, v katerem so bili podatki prvotno ustvarjeni ali zbrani, ali do škodljivega obravnavanja, ki je nesorazmerno ali neupravičeno glede na resnost njihovega družbenega vedenja. Take umetnointeligenčne sisteme bi bilo zato treba prepovedati. (18)Uporaba umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj velja za posebno hudo poseganje v pravice in svoboščine zadevnih oseb, če lahko vpliva na zasebno življenje velikega dela prebivalstva, vzbuja občutek stalnega nadzora ter posredno odvrača od uresničevanja svobode zbiranja in drugih temeljnih pravic. Poleg tega se zaradi takojšnjega učinka in omejenih možnosti za nadaljnja preverjanja ali popravke v zvezi z uporabo takih sistemov, ki delujejo v „realnem času“, povečujejo tveganja za pravice in svoboščine oseb, ki jih zadevajo dejavnosti preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. (19)Zato bi bilo treba prepovedati uporabo teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen v treh izčrpno naštetih in ozko opredeljenih primerih, ko je uporaba nujno potrebna za dosego pomembnega javnega interesa, katerega pomen prevlada nad tveganji. V teh primerih gre za iskanje morebitnih žrtev kaznivih dejanj, vključno s pogrešanimi otroki; nekatere nevarnosti za življenje ali fizično varnost oseb ali varnost pred terorističnim napadom ter odkrivanje, lokalizacijo, identifikacijo ali pregon storilcev ali osumljencev kaznivih dejanj iz Okvirnega sklepa Sveta 2002/584/PNZ, če se ta kazniva dejanja v zadevni državi članici kaznujejo z zaporno kaznijo ali ukrepom, vezanim na odvzem prostosti najmanj treh let, in so opredeljena v zakonodaji te države članice. Tak prag za zaporno kazen ali ukrep, vezan na odvzem prostosti, v skladu z nacionalnim pravom prispeva k zagotavljanju, da je kaznivo dejanje dovolj hudo, da bi lahko upravičilo uporabo sistemov za biometrično identifikacijo na daljavo v realnem času. Poleg tega bodo nekatera od 32 kaznivih dejanj, navedenih v Okvirnem sklepu Sveta 2002/584/PNZ, v praksi verjetno pomembnejša od drugih, saj bo uporaba biometrične identifikacije na daljavo v realnem času predvidoma potrebna in sorazmerna v zelo različnem obsegu za praktično odkrivanje, lokalizacijo, identifikacijo ali pregon storilca ali osumljenca različnih navedenih kaznivih dejanj ter ob upoštevanju verjetnih razlik v resnosti, verjetnosti in obsegu škode ali možnih negativnih posledic. (20)Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti ustrezne časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov. (21)Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V takih nujnih primerih bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj. Poleg tega bi si moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takih primerih prizadevati za čimprejšnjo pridobitev dovoljenja in hkrati podati razloge, zakaj ga ni mogel zahtevati prej. (22)Poleg tega je v izčrpnem okviru, določenem s to uredbo, primerno določiti, da bi morala biti taka uporaba na ozemlju države članice v skladu s to uredbo mogoča le, kadar in v kolikor se je zadevna država članica odločila izrecno predvideti možnost odobritve take uporabe v svojih podrobnih pravilih nacionalnega prava. Zato imajo države članice v skladu s to uredbo še naprej možnost, da take možnosti sploh ne predvidijo ali da jo predvidijo le za nekatere cilje, ki lahko upravičijo dovoljeno uporabo, opredeljeno v tej uredbi. (23)Uporaba umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj nujno vključuje obdelavo biometričnih podatkov. Pravila te uredbe, ki ob upoštevanju nekaterih izjem prepovedujejo tako uporabo, ki temelji na členu 16 PDEU, bi se morala uporabljati kot lex specialis v zvezi s pravili o obdelavi biometričnih podatkov iz člena 10 Direktive (EU) 2016/680, tako da bi izčrpno urejala tako uporabo in obdelavo zadevnih biometričnih podatkov. Zato bi morali biti taki uporaba in obdelava mogoči le, če sta združljivi z okvirom iz te uredbe, ne da bi zunaj tega okvira obstajalo področje uporabe za pristojne organe, kadar delujejo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, za uporabo takih sistemov in obdelavo takih podatkov v zvezi z njimi na podlagi razlogov iz člena 10 Direktive (EU) 2016/680. V tem smislu ta uredba ni namenjena zagotavljanju pravne podlage za obdelavo osebnih podatkov v skladu s členom 8 Direktive (EU) 2016/680. Vendar uporaba sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, tudi s strani pristojnih organov, ne bi smela biti zajeta v posebni okvir v zvezi s tako uporabo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, določene s to uredbo. Za tako uporabo za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, zato ne bi smela veljati zahteva po dovoljenju v skladu s to uredbo in veljavnimi podrobnimi pravili nacionalnega prava, ki jo lahko uveljavljajo. (24)Pri vsaki obdelavi biometričnih podatkov in drugih osebnih podatkov, povezanih z uporabo umetnointeligenčnih sistemov za biometrično identifikacijo, razen v povezavi z uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, kot jo ureja ta uredba, tudi kadar te sisteme uporabljajo pristojni organi v javno dostopnih prostorih za druge namene kot za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, bi morale biti še naprej izpolnjene vse zahteve, ki izhajajo iz člena 9(1) Uredbe (EU) 2016/679, člena 10(1) Uredbe (EU) 2018/1725 in člena 10 Direktive (EU) 2016/680, kot je ustrezno. (25)V skladu s členom 6a Protokola št. 21 o stališču Združenega kraljestva in Irske v zvezi z območjem svobode, varnosti in pravice, ki je priložen k PEU in k PDEU, pravila iz člena 5(1), točke (d), (2) in (3) te uredbe, sprejeta na podlagi člena 16 PDEU, ki se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU, za Irsko niso zavezujoča, če je ne zavezujejo pravila, ki urejajo oblike pravosodnega sodelovanja v kazenskih zadevah ali policijskega sodelovanja, v okviru katerih je treba upoštevati določbe predpisov, sprejetih na podlagi člena 16 PDEU. (26)V skladu s členoma 2 in 2a Protokola št. 22 o stališču Danske, ki je priložen PEU in PDEU, Danske ne zavezujejo in se zanjo ne uporabljajo pravila, ki so določena v členu 5(1), točki (d), (2) in (3) te uredbe, sprejeta na podlagi člena 16 PDEU in se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU. (27)Umetnointeligenčne sisteme velikega tveganja bi bilo treba dati na trg Unije ali v uporabo le, če izpolnjujejo nekatere obvezne zahteve. Navedene zahteve bi morale zagotoviti, da umetnointeligenčni sistemi velikega tveganja, ki so na voljo v Uniji ali katerih izhodni podatki se drugače uporabljajo v Uniji, ne predstavljajo nesprejemljivega tveganja za pomembne javne interese Unije, kot jih priznava in varuje pravo Unije. Umetnointeligenčni sistemi, določeni za sisteme velikega tveganja, bi morali biti omejeni na tiste, ki imajo znaten škodljiv vpliv na zdravje, varnost in temeljne pravice oseb v Uniji, taka omejitev pa bi morala čim bolj zmanjšati morebitno omejevanje mednarodne trgovine. (28)Umetnointeligenčni sistemi bi lahko imeli škodljiv učinek na zdravje in varnost ljudi, zlasti kadar taki sistemi delujejo kot komponente proizvodov. V skladu s cilji harmonizacijske zakonodaje Unije, da se olajša prosti pretok proizvodov na notranjem trgu ter zagotovi, da na trg pridejo le varni in skladni proizvodi, je pomembno, da se ustrezno preprečijo in zmanjšajo varnostna tveganja, ki jih lahko povzroči proizvod kot celota zaradi svojih digitalnih komponent, vključno z umetnointeligenčnimi sistemi. Na primer vse bolj avtonomni roboti, ki se uporabljajo v proizvodnji ali za osebno pomoč in oskrbo, bi morali biti sposobni varno delovati in opravljati svoje funkcije v zapletenih okoljih. Podobno bi morali biti v zdravstvenem sektorju, v katerem je tveganje za življenje in zdravje še posebej veliko, vse bolj izpopolnjeni diagnostični sistemi in sistemi, ki podpirajo človeške odločitve, zanesljivi in točni. Pri razvrstitvi umetnointeligenčnega sistema kot sistema velikega tveganja je zlasti pomemben obseg škodljivega vpliva umetnointeligenčnega sistema na temeljne pravice, varovane z listino. Te pravice vključujejo pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstva osebnih podatkov, svobode izražanja in obveščanja, svobode zbiranja in združevanja ter nediskriminacije, varstva potrošnikov, pravic delavcev, pravic invalidov, pravice do učinkovitega pravnega sredstva in nepristranskega sodišča, pravice do obrambe in domneve nedolžnosti ter pravice do dobrega upravljanja. Poleg teh pravic je treba poudariti, da imajo otroci posebne pravice, zapisane v členu 24 Listine EU in Konvenciji Združenih narodov o otrokovih pravicah (v zvezi z digitalnim okoljem so podrobneje opredeljene v splošni pripombi št. 25 KOP), ki zahtevata upoštevanje šibkih točk otrok ter zagotavljanje zaščite in varstva, ki sta potrebna za njihovo dobro počutje. Pri ocenjevanju resnosti škode, ki jo lahko povzroči umetnointeligenčni sistem, je treba upoštevati tudi temeljno pravico do visoke ravni varstva okolja, ki je zapisana v Listini in se izvaja v politikah Unije, tudi v zvezi z zdravjem in varnostjo oseb. (29)Kar zadeva umetnointeligenčne sisteme velikega tveganja, ki so varnostne komponente proizvodov ali sistemov ali ki so sami proizvodi ali sistemi s področja uporabe Uredbe (ES) št. 300/2008 Evropskega parlamenta in Sveta, Uredbe (EU) št. 167/2013 Evropskega parlamenta in Sveta, Uredbe (EU) št. 168/2013 Evropskega parlamenta in Sveta, Direktive 2014/90/EU Evropskega parlamenta in Sveta, Direktive (EU) 2016/797 Evropskega parlamenta in Sveta, Uredbe (EU) 2018/858 Evropskega parlamenta in Sveta, Uredbe (EU) 2018/1139 Evropskega parlamenta in Sveta in Uredbe (EU) 2019/2144 Evropskega parlamenta in Sveta, je primerno navedene akte spremeniti, da se zagotovi, da Komisija na podlagi tehničnih in regulativnih posebnosti vsakega sektorja ter brez poseganja v obstoječe mehanizme in organe upravljanja, ugotavljanja skladnosti in izvrševanja, vzpostavljene v teh sektorjih, pri sprejemanju vseh ustreznih prihodnjih delegiranih ali izvedbenih aktov na podlagi navedenih aktov upošteva obvezne zahteve za umetnointeligenčne sisteme velikega tveganja, določene v tej uredbi. (30)Kar zadeva umetnointeligenčne sisteme, ki so varnostne komponente proizvodov ali ki so sami proizvodi s področja uporabe določene harmonizacijske zakonodaje Unije, jih je primerno v skladu s to uredbo razvrstiti kot sisteme velikega tveganja, če je zadevni proizvod v postopku ugotavljanja skladnosti pri organu, ki kot tretja stran izvaja ugotavljanje skladnosti v skladu z ustrezno harmonizacijsko zakonodajo Unije. Taki proizvodi so zlasti stroji, igrače, dvigala, oprema in zaščitni sistemi za uporabo v potencialno eksplozivnih atmosferah, radijska oprema, tlačna oprema, oprema za plovila za rekreacijo, žičniške naprave, naprave, v katerih zgoreva plinasto gorivo, medicinski pripomočki ter in vitro diagnostični medicinski pripomočki.

(31)Razvrstitev umetnointeligenčnega sistema kot sistema velikega tveganja v skladu s to uredbo ne bi smela nujno pomeniti, da se proizvod, katerega varnostna komponenta je umetnointeligenčni sistem, ali sam umetnointeligenčni sistem kot proizvod šteje za „sistem velikega tveganja“ v skladu z merili iz ustrezne harmonizacijske zakonodaje Unije, ki se uporablja za proizvod. To velja zlasti za Uredbo (EU) 2017/745 Evropskega parlamenta in Sveta ter Uredbo (EU) 2017/746 Evropskega parlamenta in Sveta, kadar je za proizvode srednjega in velikega tveganja predvideno ugotavljanje skladnosti s strani tretjih oseb. (32)Kar zadeva samostojne umetnointeligenčne sisteme, tj. umetnointeligenčne sisteme velikega tveganja, razen tistih, ki so varnostne komponente proizvodov ali ki so sami proizvodi, jih je primerno razvrstiti kot sisteme velikega tveganja, če glede na svoj predvideni namen predstavljajo veliko tveganje škode za zdravje in varnost ali temeljne pravice oseb, ob upoštevanju resnosti možne škode in verjetnosti njenega nastanka, ter se uporabljajo na več posebej vnaprej opredeljenih področjih, določenih v Uredbi. Določitev teh sistemov temelji na enaki metodologiji in merilih, predvidenih tudi za morebitne prihodnje spremembe seznama umetnointeligenčnih sistemov velikega tveganja. (33)Tehnične netočnosti umetnointeligenčnih sistemov, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. To velja zlasti za starost, etnično pripadnost, spol ali invalidnost. Zato bi bilo treba sisteme za biometrično identifikacijo na daljavo v realnem času in sisteme za naknadno biometrično identifikacijo na daljavo razvrstiti med sisteme velikega tveganja. Zaradi tveganj, ki jih predstavljata, bi morale za obe vrsti sistemov za biometrično identifikacijo na daljavo veljati posebne zahteve glede zmogljivosti vodenja dnevnikov in človekovega nadzora. (34)V zvezi z upravljanjem in delovanjem kritične infrastrukture je primerno, da se umetnointeligenčni sistemi, namenjeni uporabi kot varnostne komponente pri upravljanju in delovanju cestnega prometa ter oskrbi z vodo, plinom, ogrevanjem in električno energijo, razvrstijo kot sistemi velikega tveganja, saj lahko njihovo nedelovanje ali okvara delovanja ogrozijo življenje in zdravje ljudi v velikem obsegu ter povzročijo občutne motnje v rednem izvajanju družbenih in gospodarskih dejavnosti. (35)Umetnointeligenčne sisteme, ki se uporabljajo v izobraževanju ali poklicnem usposabljanju, zlasti za določanje dostopa ali razvrščanje oseb v izobraževalne ustanove in ustanove za poklicno usposabljanje ali za ocenjevanje oseb na testih, ki so del izobraževanja ali predpogoj zanj, bi bilo treba obravnavati kot sisteme velikega tveganja, saj lahko določajo izobraževalni in poklicni potek življenja osebe ter tako vplivajo na sposobnost zagotavljanja preživetja te osebe. Če se taki sistemi neustrezno zasnujejo in uporabljajo, lahko kršijo pravico do izobraževanja in usposabljanja ter pravico do nediskriminacije in ohranjajo vzorce diskriminacije iz preteklosti. (36)Umetnointeligenčne sisteme, ki se uporabljajo pri zaposlovanju, upravljanju delavcev in dostopu do samozaposlitve, zlasti za zaposlovanje in izbiro oseb, za sprejemanje odločitev o napredovanju in prenehanju zaposlitve ter za dodeljevanje nalog, spremljanje ali ocenjevanje oseb v pogodbenih delovnih razmerjih, bi bilo treba prav tako razvrstiti med sisteme velikega tveganja, saj lahko ti sistemi občutno vplivajo na prihodnje poklicne možnosti in možnosti preživljanja teh oseb. Ustrezna pogodbena delovna razmerja bi morala vključevati zaposlene in osebe, ki zagotavljajo storitve preko platform, kot so navedene v delovnem programu Komisije za leto 2021. Take osebe se načeloma ne bi smele šteti za uporabnike v smislu te uredbe. V celotnem postopku zaposlovanja in pri ocenjevanju, napredovanju ali ohranjanju oseb v pogodbenih delovnih razmerjih lahko taki sistemi ohranjajo vzorce diskriminacije iz preteklosti, na primer nad ženskami, določenimi starostnimi skupinami, invalidi ali osebami določenega rasnega ali etničnega porekla ali spolne usmerjenosti. Tudi umetnointeligenčni sistemi, ki se uporabljajo za spremljanje zmogljivosti in vedenja teh oseb, lahko vplivajo na njihove pravice do varstva podatkov in zasebnosti. (37)Drugo področje, na katerem je treba posebno pozornost nameniti uporabi umetnointeligenčnih sistemov, je dostop do nekaterih bistvenih zasebnih in javnih storitev ter koristi, ki jih ljudje potrebujejo za polno udeležbo v družbi ali izboljšanje življenjskega standarda. Zlasti umetnointeligenčne sisteme, ki se uporabljajo za ocenjevanje kreditne ocene ali kreditne sposobnosti fizičnih oseb, bi bilo treba uvrstiti med umetnointeligenčne sisteme velikega tveganja, saj določajo dostop teh oseb do finančnih sredstev ali bistvenih storitev, kot so stanovanje, električna energija in telekomunikacijske storitve. Umetnointeligenčni sistemi, ki se uporabljajo v ta namen, lahko pripeljejo do diskriminacije oseb ali skupin in ohranijo vzorce diskriminacije iz preteklosti, na primer na podlagi rasnega ali etničnega porekla, invalidnosti, starosti, spolne usmerjenosti, ali ustvarijo nove oblike diskriminatornih vplivov. Glede na zelo omejen obseg vpliva in razpoložljivih alternativ na trgu je primerno izvzeti umetnointeligenčne sisteme za namene ocenjevanja kreditne sposobnosti in kreditnega točkovanja, kadar jih v uporabo dajejo mali ponudniki za lastno uporabo. Fizične osebe, ki zaprosijo za ugodnosti in storitve javne pomoči ali jih prejemajo od javnih organov, so po navadi odvisne od teh ugodnosti in storitev ter so v ranljivem položaju v odnosu do odgovornih organov. Če se umetnointeligenčni sistemi uporabljajo za določanje, ali naj organi take ugodnosti in storitve zavrnejo, zmanjšajo, prekličejo ali zahtevajo povračilo, lahko pomembno vplivajo na preživljanje oseb in kršijo njihove temeljne pravice, kot so pravica do socialne zaščite, nediskriminacije, človekovega dostojanstva ali učinkovitega pravnega sredstva. Zato bi bilo treba te sisteme uvrstiti med sisteme velikega tveganja. Kljub temu ta uredba ne bi smela ovirati razvoja in uporabe inovativnih pristopov v javni upravi, ki bi imela koristi od širše uporabe skladnih in varnih umetnointeligenčnih sistemov, če ti sistemi ne pomenijo velikega tveganja za pravne in fizične osebe. Nazadnje bi bilo treba tudi umetnointeligenčne sisteme, ki se uporabljajo za pošiljanje ali določanje prednosti pri napotitvi služb za ukrepanje ob nesrečah, razvrstiti med sisteme velikega tveganja, saj sprejemajo odločitve v zelo kritičnih razmerah za življenje in zdravje oseb ter njihovo premoženje. (38)Za ukrepe organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, ki vključujejo nekatere uporabe umetnointeligenčnih sistemov, je značilna precejšnja stopnja neravnovesja moči, kar lahko vodi do nadzora, prijetja ali odvzema prostosti fizične osebe ter drugih škodljivih učinkov na temeljne pravice, ki jih zagotavlja Listina. Zlasti če se umetnointeligenčni sistem ne uči z visokokakovostnimi podatki, ne izpolnjuje ustreznih zahtev glede točnosti ali robustnosti ali ni ustrezno zasnovan in testiran, preden je dan na trg ali na kakšen drug način v uporabo, lahko ljudi izloči na diskriminatoren ali kako drugače napačen ali nepravičen način. Poleg tega bi lahko bilo ovirano uveljavljanje pomembnih procesnih temeljnih pravic, kot so pravica do učinkovitega pravnega sredstva in nepristranskega sodišča ter pravica do obrambe in domneve nedolžnosti, zlasti, kadar taki umetnointeligenčni sistemi niso dovolj pregledni, obrazložljivi in dokumentirani. Zato je primerno, da se številni umetnointeligenčni sistemi, namenjeni uporabi v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razvrstijo kot sistemi velikega tveganja, kjer so točnost, zanesljivost in preglednost zlasti pomembni, da se preprečijo škodljivi učinki, ohrani zaupanje javnosti ter zagotovita odgovornost in učinkovito sodno varstvo. Glede na naravo zadevnih dejavnosti in z njimi povezanih tveganj bi morali ti umetnointeligenčni sistemi velikega tveganja vključevati zlasti umetnointeligenčne sisteme, namenjene uporabi s strani organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za individualne ocene tveganja, poligrafe in podobna orodja ali za zaznavanje čustvenega stanja fizične osebe, za odkrivanje „globokih ponaredkov“, za oceno zanesljivosti dokazov v postopkih preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, za napovedovanje nastanka ali ponovitve dejanskega ali potencialnega kaznivega dejanja na podlagi profiliranja fizičnih oseb ali ocenjevanja osebnostnih lastnosti in značilnosti ali preteklih kaznivih dejanj fizičnih oseb ali skupin, za profiliranje pri odkrivanju, preiskovanju ali pregonu kaznivih dejanj ter za analize kaznivih dejanj v zvezi s fizičnimi osebami. Umetnointeligenčni sistemi, posebej namenjeni uporabi v upravnih postopkih s strani davčnih in carinskih organov, se ne bi smeli šteti za umetnointeligenčne sisteme velikega tveganja, ki jih uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za namene preprečevanja, odkrivanja, preiskovanja in pregona kaznivih dejanj. (39)Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno, da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb, da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta, Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta in druge ustrezne zakonodaje. (40)Nekatere umetnointeligenčne sisteme, namenjene upravljanju pravosodja in demokratičnih procesov, bi bilo treba uvrstiti med sisteme velikega tveganja ob upoštevanju njihovega potencialno pomembnega vpliva na demokracijo, pravno državo, osebne svoboščine ter pravico do učinkovitega pravnega sredstva in nepristranskega sodišča. Zlasti za obravnavanje tveganj morebitnih pristranskosti, napak in neprepustnosti je primerno, da se umetnointeligenčni sistemi, namenjeni pomoči pravosodnim organom pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev, opredelijo kot sistemi velikega tveganja. Take kvalifikacije pa se ne bi smele razširiti na umetnointeligenčne sisteme, namenjene izključno pomožnim upravnim dejavnostim, ki ne vplivajo na dejansko pravosodje v posameznih primerih, kot so anonimizacija ali psevdonimizacija sodnih odločb, dokumentov ali podatkov, komunikacija med osebjem, upravne naloge ali dodeljevanje virov. (41)Dejstvo, da je umetnointeligenčni sistem v skladu s to uredbo razvrščen kot sistem velikega tveganja, ne bi smelo pomeniti, da je uporaba sistema nujno zakonita v skladu z drugimi akti prava Unije ali v skladu z nacionalnim pravom, združljivim s pravom Unije, kot so varstvo osebnih podatkov, uporaba poligrafov in podobnih orodij ali drugih sistemov za zaznavanje čustvenega stanja fizičnih oseb. Vsaka taka uporaba bi se morala še naprej izvajati izključno v skladu z veljavnimi zahtevami, ki izhajajo iz Listine ter iz veljavnih aktov sekundarnega prava Unije in nacionalnega prava. Te uredbe ne bi smeli razumeti kot pravne podlage za obdelavo osebnih podatkov, vključno s posebnimi vrstami osebnih podatkov, kadar je to ustrezno. (42)Za zmanjševanje tveganj, ki jih za uporabnike in izpostavljene osebe predstavljajo umetnointeligenčni sistemi velikega tveganja, ki so dani na trg ali kako drugače dani v uporabo na trgu Unije, bi bilo treba uporabljati nekatere obvezne zahteve ob upoštevanju predvidenega namena uporabe sistema in v skladu s sistemom obvladovanja tveganja, ki ga vzpostavi ponudnik. (43)Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom, človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost in temeljne pravice, kot se uporabljajo glede na predvideni namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine. (44)Visoka kakovost podatkov je bistvena za zmogljivost številnih umetnointeligenčnih sistemov, zlasti kadar se uporabljajo tehnike, ki vključujejo učenje modelov, s katerim bi zagotovili, da bo umetnointeligenčni sistem velikega tveganja deloval, kot je predvideno, in varno ter da ne bo postane vir diskriminacije, ki je prepovedana s pravom Unije. Za visokokakovostne nabore učnih in testnih podatkov ter podatkov za potrditev je treba izvajati ustrezne prakse vodenja in upravljanja podatkov. Nabori učnih in testnih podatkov ter podatkov za potrditev bi morali biti dovolj ustrezni, reprezentativni in brez napak ter popolni glede na predvideni namen sistema. Imeti bi morali tudi ustrezne statistične lastnosti, tudi v zvezi z osebami ali skupinami oseb, na katerih naj bi se uporabljal umetnointeligenčni sistem velikega tveganja. Nabori učnih in testnih podatkov ter podatkov za potrditev bi morali v obsegu, ki se zahteva glede na njihov predvideni namen, upoštevati zlasti lastnosti, značilnosti ali elemente, ki so značilni za konkretno geografsko, vedenjsko ali funkcionalno okolje ali kontekst, v katerem naj bi se uporabljal umetnointeligenčni sistem. Da bi zaščitili pravico drugih pred diskriminacijo, ki bi lahko bila posledica pristranskosti v sistemih umetne inteligence, bi morali ponudniki imeti možnost, da zaradi pomembnega javnega interesa obdelujejo tudi posebne kategorije osebnih podatkov, da se zagotovijo spremljanje, odkrivanje in odpravljanje pristranskosti v zvezi z umetnointeligenčnimi sistemi velikega tveganja. (45)Za razvoj umetnointeligenčnih sistemov velikega tveganja bi morali imeti nekateri akterji, kot so ponudniki, priglašeni organi in drugi ustrezni subjekti, kot so vozlišča digitalnih inovacij, centri za testiranje in eksperimentiranje in raziskovalci, možnost dostopa do visokokakovostnih naborov podatkov in njihove uporabe na ustreznih področjih dejavnosti, povezanih s to uredbo. Evropski skupni podatkovni prostori, ki jih je vzpostavila Komisija, ter olajšanje souporabe podatkov med podjetji in z vlado v javnem interesu bodo bistveni za zagotavljanje zaupanja vrednega, odgovornega in nediskriminatornega dostopa do visokokakovostnih podatkov za učenje, potrjevanje in testiranje umetnointeligenčnih sistemov. Evropski zdravstveni podatkovni prostor bo na primer na področju zdravja olajšal nediskriminatoren dostop do zdravstvenih podatkov in učenje algoritmov umetne inteligence na teh naborih podatkov na varen, pravočasen, pregleden in zaupanja vreden način ter z ustreznim institucionalnim upravljanjem. Ustrezni pristojni organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, lahko podpirajo tudi zagotavljanje visokokakovostnih podatkov za učenje, potrditev in testiranje umetnointeligenčnih sistemov. (46)Informacije o tem, kako so bili umetnointeligenčni sistemi velikega tveganja razviti in kako delujejo v svojem življenjskem ciklu, so bistvene za preverjanje skladnosti z zahtevami iz te uredbe. To zahteva vodenje evidenc in razpoložljivost tehnične dokumentacije, ki vsebuje informacije, potrebne za oceno skladnosti umetnointeligenč