EVROPSKÁ KOMISE V Bruselu dne 21.4.2021 COM(2021) 206 final 2021/0106(COD) Návrh NAŘÍZENÍ EVROPSKÉHO PARLAMENTU A RADY, KTERÝM SE STANOVÍ HARMONIZOVANÁ PRAVIDLA PRO UMĚLOU INTELIGENCI (AKT O UMĚLÉ INTELIGENCI) A MĚNÍ URČITÉ LEGISLATIVNÍ AKTY UNIE {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}



DŮVODOVÁ ZPRÁVA 1.SOUVISLOSTI NÁVRHU 1.1.Odůvodnění a cíle návrhu Tato důvodová zpráva doprovází návrh nařízení, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci (dále jen „akt o umělé inteligenci“). Umělá inteligence (UI) je rychle se vyvíjející skupina technologií, které mohou přinést širokou škálu výhod hospodářství i společnosti v celém spektru průmyslových odvětví a společenského života. Díky zlepšení predikcí, optimalizaci operací a přidělování zdrojů, jakož i personalizaci poskytování služeb, může využívání umělé inteligence podporovat výsledky přínosné z hlediska společnosti i životního prostředí a poskytovat klíčové konkurenční výhody společnostem i evropskému hospodářství. Tato opatření jsou potřebná obzvláště v odvětvích s vysokými dopady, například v oblasti změny klimatu, životního prostředí a zdraví, veřejného sektoru, financí, mobility, vnitřních věcí a zemědělství. Stejné prvky a techniky, které jsou motorem socioekonomických přínosů UI, však mohou rovněž přinášet nová rizika nebo negativní důsledky pro jednotlivce nebo pro společnost. S ohledem na rychlost technologických změn a na potenciální výzvy je EU odhodlána usilovat o vyvážený přístup. Je v zájmu Unie zachovat vedoucí postavení EU v oblasti technologií a zajistit, aby Evropané mohli využívat výhod nových technologií vyvinutých a fungujících v souladu s hodnotami, základními právy a zásadami Unie. Tento návrh vychází z politického závazku předsedkyně von der Leyenové, která ve svých politických směrech pro Komisi na období 2019–2024 nazvaných „Unie, která si klade vyšší cíle“ oznámila, že Komise předloží právní předpisy pro koordinovaný evropský přístup k lidským a etickým důsledkům UI. V návaznosti na toto oznámení zveřejnila Komise dne 19. února 2020 bílou knihu o UI – evropský přístup k excelenci a důvěře. Tato bílá kniha nastiňuje politické možnosti k dosažení dvojího cíle: podporovat zavádění UI a zabývat se riziky spojenými s některými způsoby využívání této technologie. Návrh usiluje o realizaci druhého cíle vytvoření ekosystému důvěry tím, že navrhne právní rámec pro důvěryhodnou UI. Tento návrh je založen na hodnotách a základních právech EU a jeho cílem je poskytnout lidem a ostatním uživatelům důvěru v přijímání řešení založených na UI a zároveň podporovat podniky v tom, aby tato řešení rozvíjely. UI by měla být nástrojem pro lidi a pozitivní silou pro dobro společnosti, jejímž konečným cílem je zvýšit kvalitu života lidí. Pravidla pro UI dostupnou na trhu Unie nebo jinak ovlivňující obyvatele Unie by se proto měla zaměřovat na člověka, aby lidé mohli důvěřovat tomu, že se tato technologie používá bezpečným způsobem a v souladu s právními předpisy, včetně dodržování základních práv. Po zveřejnění bílé knihy zahájila Komise rozsáhlé konzultace se zúčastněnými stranami, které se setkaly s velkým zájmem značného počtu zúčastněných stran; ty do značné míry podporovaly regulační zásahy s cílem řešit výzvy a obavy v souvislosti se vzrůstajícím využíváním UI. Návrh reaguje rovněž na výslovné žádosti Evropského parlamentu (EP) a Evropské rady, které opakovaně vyjádřily výzvy k přijetí legislativních opatření s cílem zajistit dobře fungující vnitřní trh systémů umělé inteligence (dále jen „systémy UI“), kde jsou přínosy i rizika UI odpovídajícím způsobem řešeny na úrovni Unie. Podporuje cíl Unie zastávat v celosvětovém kontextu čelnou pozici, pokud jde o rozvoj bezpečné, důvěryhodné a etické umělé inteligence, který vytyčila Evropská rada, a zajišťuje ochranu etických zásad, kterou výslovně požadoval Evropský parlament. V roce 2017 zdůraznila Evropská rada potřebu „reagovat neodkladně na nové trendy“, kdy se jedná „například o otázky umělé inteligence […], přičemž je současně třeba zajistit vysokou úroveň ochrany údajů, digitálních práv a etických norem“. Ve svých závěrech z roku 2019 o koordinovaném plánu rozvoje a používání umělé inteligence vytvořené v Evropě Rada dále zdůraznila, že je důležité zajistit úplné dodržování práv evropských občanů, a vyzvala k tomu, aby byly přezkoumány příslušné stávající právní předpisy s cílem zajistit, že splňují svůj účel z hlediska nových příležitostí a výzev spojených s UI. Evropská rada rovněž vyzvala k jasnému vymezení aplikací UI, které by měly být považovány za vysoce rizikové. Nejnovější závěry ze dne 21. října 2020 dále vyzvaly k vyrovnání se s výzvami, jako je neprůhlednost, komplexní povaha, předpojatost, jistá míra nepředvídatelnosti a částečně autonomní chování určitých systémů UI, aby bylo možno zajistit jejich kompatibilitu se základními právy a usnadnit prosazování právních předpisů. Významné množství práce v oblasti UI vykonal také Evropský parlament. V říjnu 2020 přijal celou řadu usnesení o UI, týkajících se mimo jiné etiky, odpovědnosti a autorského práva. Po nich v roce 2021 následovala usnesení o UI v trestních věcech a v oblasti vzdělávání, kultury a v audiovizuálním odvětví. Usnesení Evropského parlamentu o rámci pro etické aspekty umělé inteligence, robotiky a souvisejících technologií výslovně doporučuje Komisi, aby navrhla legislativní opatření s cílem využít příležitostí a přínosů UI, ale také zajistit ochranu etických zásad. Toto usnesení obsahuje znění legislativního návrhu nařízení etických zásad pro vývoj, zavádění a používání UI, robotiky a souvisejících technologií. V souladu s politickým závazkem předsedkyně von der Leyenové, který učinila ve svých politických směrech ohledně usnesení přijatých Evropským parlamentem podle článku 225 SFEU, zohledňuje tento návrh výše uvedené usnesení Evropského parlamentu za plného respektování zásad proporcionality, subsidiarity a zlepšování právní úpravy. V této politické souvislosti Komise předkládá navrhovaný regulační rámec pro umělou inteligenci s těmito konkrétními cíli: ·zajistit, aby systémy UI, které budou uváděny na trh Unie a používány, byly bezpečné a aby byly v souladu se stávajícími právními předpisy o základních právech a hodnotách Unie, ·zajistit právní jistotu s cílem usnadnit investice a inovace v oblasti UI, ·zlepšit správu a účinné vymáhání stávajících právních předpisů upravujících základní práva a bezpečnostní požadavky platné pro systémy UI, ·usnadnit rozvoj jednotného trhu pro zákonné, bezpečné a důvěryhodné aplikace UI a zamezit roztříštění trhu. Z hlediska dosažení těchto cílů představuje tento návrh vyvážený a přiměřený horizontální regulační přístup k UI, který je omezen na minimální požadavky nezbytné k řešení rizik a problémů souvisejících s UI, aniž by nepřiměřeně omezoval technologický rozvoj nebo mu bránil, případně jinak neúměrně zvyšoval náklady na uvádění řešení v oblasti UI na trh. Návrh stanoví spolehlivý a pružný právní rámec. Na jedné straně jsou jeho základní regulační rozhodnutí komplexní a obstojí v budoucnosti, včetně požadavků založených na zásadách, které by systémy UI měly splňovat. Na druhé straně zavádí přiměřený regulační systém soustředěný na přesně definovaný regulační přístup založený na rizicích, který nevytváří zbytečná omezení obchodu, přičemž právní zásah je přizpůsoben konkrétním situacím, v nichž existuje oprávněný důvod k obavám nebo kdy lze tyto obavy v blízké budoucnosti důvodně předpokládat. Tento právní rámec zároveň zahrnuje pružné mechanismy, které umožňují jeho dynamické přizpůsobování v souladu s vývojem technologie a vznikem nových znepokojujících situací. Návrh stanoví harmonizovaná pravidla pro vývoj systémů UI, jejich uvádění na trh a používání v Unii na základě vyváženého přístupu založeného na posouzení rizik. Navrhuje jedinou definici UI, která obstojí i v budoucnosti. Některé obzvláště škodlivé praktiky v oblasti UI jsou zakázány vzhledem k tomu, že jsou v rozporu s hodnotami Unie, a současně jsou navrhována konkrétní omezení a záruky v souvislosti s určitými použitími systémů biometrické identifikace na dálku pro účely vymáhání práva. Návrh stanoví spolehlivou metodiku řízení rizik s cílem definovat „vysoce rizikové“ systémy UI, které představují významná rizika pro zdraví a bezpečnost nebo základní práva osob. Než bude možné tyto systémy UI uvést na trh Unie, bude nutné, aby splňovaly soubor povinných horizontálních požadavků na důvěryhodnou UI a dodržovaly postupy posuzování shody. Předvídatelné, přiměřené a jasné povinnosti jsou kladeny rovněž na poskytovatele a uživatele těchto systémů, aby byla zajištěna bezpečnost a dodržování stávajících právních předpisů chránících základní práva během celého životního cyklu systémů UI. U některých konkrétních systémů UI jsou navrhovány pouze minimální povinnosti transparentnosti, zejména pokud se používají chatboty nebo tzv. deep fakes (realistické fotomontáže a videomontáže). Navrhovaná pravidla budou prosazována prostřednictvím systému správy na úrovni členských států, který vychází z již existujících struktur, a mechanismu spolupráce na úrovni Unie na základě zřízení Evropské rady pro umělou inteligenci. Jsou rovněž navrhována dodatečná opatření na podporu tzv. regulačních pískovišť umělé inteligence a další opatření ke snížení regulační zátěže a na podporu malých a středních podniků a začínajících podniků. 1.2.Soulad s platnými předpisy v této oblasti politiky Horizontální povaha návrhu vyžaduje plný soulad se stávajícími právními předpisy Unie použitelnými v odvětvích, kde jsou vysoce rizikové systémy UI již používány nebo je jejich používání pravděpodobné v blízké budoucnosti.

Je rovněž zajištěn soulad s Listinou základních práv EU a se stávajícími sekundárními právními předpisy Unie o ochraně údajů, ochraně spotřebitele, zákazu diskriminace a rovnosti žen a mužů. Tímto návrhem není dotčeno obecné nařízení o ochraně osobních údajů (nařízení (EU) 2016/679) ani směrnice o prosazování práva (směrnice (EU) 2016/680) a návrh je doplňuje o soubor harmonizovaných pravidel pro navrhování, vývoj a používání některých vysoce rizikových systémů UI a omezení některých použití systémů biometrické identifikace na dálku. Návrh rovněž doplňuje stávající právní předpisy Unie o zákazu diskriminace o zvláštní požadavky, jejichž cílem je minimalizovat riziko algoritmické diskriminace, zejména pokud jde o navrhování a kvalitu souborů dat používaných pro vývoj systémů UI, a které jsou doplněny o povinnosti týkající se testování, řízení rizik, dokumentace a lidského dohledu v průběhu celého životního cyklu systémů UI. Tímto návrhem není dotčeno uplatňování právních předpisů Unie v oblasti hospodářské soutěže. Pokud jde o vysoce rizikové systémy UI, které jsou bezpečnostními součástmi produktů, bude tento návrh začleněn do stávajících odvětvových právních předpisů v oblasti bezpečnosti s cílem zajistit soudržnost, zabránit zdvojování a minimalizovat další zátěž. Zejména pokud jde o vysoce rizikové systémy UI v souvislosti s produkty, na které se vztahují právní předpisy nového legislativního rámce (NLR) (například strojní zařízení, zdravotnické prostředky, hračky), budou požadavky na systémy UI stanovené v tomto návrhu kontrolovány v rámci stávajících postupů posuzování shody podle příslušných právních předpisů NLR. Pokud jde o vzájemné působení požadavků, požadavky tohoto návrhu by sice měly pokrýt bezpečnostní rizika specifická pro systémy UI, avšak cílem právních předpisů NLR je zajistit celkovou bezpečnost konečného produktu, a proto mohou obsahovat zvláštní požadavky týkající se bezpečného začlenění systému UI do konečného produktu. Tento přístup plně odráží návrh nařízení o strojních zařízeních, který je přijat ve stejný den jako tento návrh. Tento návrh by se přímo nevztahoval na vysoce rizikové systémy UI související s produkty, na něž se vztahují příslušné právní předpisy starého přístupu (například letectví, automobily). Při přijímání příslušných prováděcích právních předpisů nebo právních předpisů v přenesené pravomoci podle těchto aktů však bude nutno zohlednit základní požadavky ex ante na vysoce rizikové systémy UI uvedené v tomto návrhu. Pokud jde o systémy UI poskytované nebo používané regulovanými úvěrovými institucemi, měly by být jako příslušné orgány pro dohled nad požadavky tohoto návrhu určeny orgány odpovědné za dohled nad právními předpisy Unie v oblasti finančních služeb s cílem zajistit soudržné prosazování povinností podle tohoto návrhu a právních předpisů Unie v oblasti finančních služeb, jimiž jsou systémy UI do určité míry implicitně regulovány ve vztahu k vnitřnímu systému správy úvěrových institucí. V zájmu dalšího posílení soudržnosti jsou jak postup posuzování shody, tak některé procesní povinnosti poskytovatelů podle tohoto návrhu začleněny do postupů podle směrnice 2013/36/EU o přístupu k činnosti úvěrových institucí a o obezřetnostním dohledu. Tento návrh je rovněž v souladu s platnými právními předpisy Unie o službách, včetně zprostředkovatelských služeb, regulovaných směrnicí o elektronickém obchodu 2000/31/ES a nedávným návrhem aktu o digitálních službách, který předložila Komise. Pokud jde o systémy UI, které jsou součástí rozsáhlých informačních systémů v prostoru svobody, bezpečnosti a práva řízeném Agenturou Evropské unie pro provozní řízení rozsáhlých informačních systémů v prostoru svobody, bezpečnosti a práva (eu-LISA), nebude se tento návrh vztahovat na systémy UI, které byly uvedeny na trh nebo do provozu před uplynutím jednoho roku ode dne použití tohoto nařízení, ledaže by nahrazení nebo změna těchto právních aktů vedla k zásadní změně koncepce nebo určeného účelu dotčeného systému nebo systémů UI. 1.3.Soulad s ostatními politikami Unie Návrh je součástí širšího komplexního balíčku opatření zabývajícího se problémy vyvolanými rozvojem a využíváním umělé inteligence, které zkoumá bílá kniha o UI. Je tedy zajištěna soudržnost a doplňkovost s dalšími probíhajícími nebo plánovanými iniciativami Komise, jejichž cílem je rovněž řešit tyto problémy, včetně revize odvětvových právních předpisů týkajících se konkrétních výrobků (například směrnice o strojních zařízeních a směrnice o obecné bezpečnosti výrobků), a s iniciativami, které se zabývají otázkami odpovědnosti souvisejícími s novými technologiemi, včetně systémů UI. Tyto iniciativy budou vycházet z tohoto návrhu a doplňovat jej s cílem vyjasnit právní předpisy a podpořit rozvoj ekosystému důvěry v UI v Evropě. Tento návrh je rovněž v souladu s celkovou digitální strategií Komise, pokud jde o její příspěvek k podpoře technologií, které slouží lidem, což je jeden ze tří hlavních pilířů politické orientace a cílů oznámených ve sdělení „Formování digitální budoucnosti Evropy“. Stanoví soudržný, účinný a přiměřený rámec pro zajištění rozvoje umělé inteligence způsobem, který respektuje lidská práva a získává jejich důvěru, zajišťuje připravenost Evropy na digitální věk a mění příštích deset let v digitální dekádu. Podpora inovací založených na UI je navíc úzce spojena s aktem o správě dat, se směrnicí o otevřených datech a s dalšími iniciativami v rámci strategie EU pro data, které zavedou důvěryhodné mechanismy a služby pro opakované použití, sdílení a slučování dat, která jsou nezbytná pro vývoj vysoce kvalitních modelů umělé inteligence založených na datech. Návrh rovněž významně posiluje úlohu Unie, která se podílí na formování globálních norem a standardů a prosazuje důvěryhodnou UI, která je v souladu s hodnotami a zájmy Unie. Poskytuje Unii pevný základ pro další jednání s jejími externími partnery, včetně třetích zemí, a pro účast na mezinárodních fórech v otázkách týkajících se umělé inteligence. 2.PRÁVNÍ ZÁKLAD, SUBSIDIARITA A PROPORCIONALITA 2.1.Právní základ Právním základem tohoto návrhu je v prvé řadě článek 114 Smlouvy o fungování Evropské unie (SFEU), který stanoví přijetí opatření nezbytných pro vytvoření a fungování vnitřního trhu. Tento návrh představuje hlavní součást strategie EU pro jednotný digitální trh. Prvořadým cílem tohoto návrhu je zajistit řádné fungování vnitřního trhu stanovením harmonizovaných pravidel, zejména pokud jde o vývoj produktů a služeb využívajících technologie UI nebo poskytovaných jako samostatné systémy UI, jejich uvádění na trh Unie a používání. Některé členské státy již nyní zvažují taková vnitrostátní pravidla, která by zajišťovala, že UI bude bezpečná a že bude vyvíjena a používána v souladu s povinnostmi v oblasti základních práv. To pravděpodobně povede ke dvěma hlavním problémům: i) k roztříštěnosti vnitřního trhu, pokud jde o podstatné prvky, týkající se zejména požadavků na produkty a služby umělé inteligence, jejich uvádění na trh, jejich používání, odpovědnost za ně a dohled nad nimi ze strany veřejných orgánů; a ii) podstatnému snížení právní jistoty jak pro poskytovatele, tak pro uživatele systémů UI ohledně toho, jak se budou na tyto systémy v Unii vztahovat stávající a nová pravidla. Vzhledem ke značnému objemu přeshraničního oběhu produktů a služeb představují optimální řešení těchto dvou problémů harmonizující právní předpisy EU. Návrh totiž definuje společné povinné požadavky na návrh a vývoj určitých systémů UI před jejich uvedením na trh, které budou dále rozvedeny prostřednictvím harmonizovaných technických norem. Návrh rovněž řeší situaci po uvedení systémů UI na trh tím, že harmonizuje způsob provádění kontrol ex post. Navíc vzhledem k tomu, že tento návrh obsahuje určitá zvláštní pravidla ochrany fyzických osob v souvislosti se zpracováním osobních údajů, zejména omezení používání systémů UI pro biometrickou identifikaci na dálku v reálném čase na veřejně přístupných místech pro účely prosazování práva, je vhodné založit toto nařízení, pokud jde o tato zvláštní pravidla, na článku 16 SFEU. 2.2.Subsidiarita (v případě nevýlučné pravomoci) Povaha umělé inteligence, která se často opírá o rozsáhlé a rozmanité datové soubory a která může být začleněna do jakéhokoli produktu nebo služby, které volně obíhají v rámci vnitřního trhu, znamená, že cílů tohoto návrhu nelze účinně dosáhnout pouze na úrovni jednotlivých členských států. Vznikající různorodá regulace potenciálně rozdílných vnitrostátních pravidel bude navíc brzdit bezproblémový oběh produktů a služeb souvisejících se systémy UI v celé EU a bude neúčinná při zajišťování bezpečnosti a ochrany základních práv a hodnot Unie v jednotlivých členských státech. Vnitrostátní přístupy k řešení těchto problémů vytvoří pouze další právní nejistotu a překážky a zpomalí pronikání umělé inteligence na trh. Cílů tohoto návrhu lze lépe dosáhnout na úrovni Unie, aby se zabránilo dalšímu tříštění jednotného trhu na potenciálně protichůdné vnitrostátní rámce, které brání volnému oběhu zboží a služeb obsahujících UI. Pevný evropský regulační rámec pro důvěryhodnou UI také zajistí rovné podmínky a ochranu všech občanů, přičemž zároveň posílí konkurenceschopnost a průmyslovou základnu Evropy v oblasti umělé inteligence. Pouze společný postup na úrovni Unie může rovněž ochránit digitální suverenitu Unie a využívat její nástroje a regulační pravomoci k utváření globálních pravidel a norem. 2.3.Proporcionalita

Návrh vychází ze stávajících právních rámců a je přiměřený a nezbytný k dosažení svých cílů, protože se řídí přístupem založeným na posouzení rizik a ukládá regulační zátěž pouze tehdy, je-li pravděpodobné, že daný systém UI představuje vysoké riziko pro základní práva a bezpečnost. U jiných systémů UI, které nejsou vysoce rizikové, jsou ukládány pouze velmi omezené povinnosti transparentnosti, například pokud jde o poskytování informací umožňujících upozornit na používání systému UI při interakci s lidmi. U vysoce rizikových systémů UI jsou požadavky na vysoce kvalitní údaje, dokumentaci a sledovatelnost, transparentnost, lidský dohled, přesnost a spolehlivost nezbytným předpokladem zmírňování rizik pro základní práva a bezpečnost, které tato UI představuje a na něž se nevztahují jiné platné právní rámce. Harmonizované normy a podpůrné nástroje poskytující pokyny a umožňující dodržování předpisů pomohou poskytovatelům a uživatelům splnit požadavky stanovené v návrhu a minimalizovat náklady. Náklady vzniklé provozovatelům jsou úměrné dosahovaným cílům, hospodářským přínosům a výhodám vyplývajícím z dobré pověsti, které mohou provozovatelé od tohoto návrhu očekávat. 2.4.Volba nástroje Volba nařízení jako právního nástroje je odůvodněna potřebou jednotného uplatňování nových pravidel, jako je například definice UI, zákaz některého škodlivého jednání, které používání UI umožňuje, a klasifikace určitých systémů UI. Přímá použitelnost nařízení v souladu s článkem 288 SFEU omezí právní roztříštěnost a usnadní rozvoj jednotného trhu s legálními, bezpečnými a důvěryhodnými systémy UI. Toho bude dosaženo zejména zavedením harmonizovaného souboru základních požadavků na systémy UI klasifikované jako vysoce rizikové a povinností poskytovatelů a uživatelů těchto systémů, které zlepší ochranu základních práv a poskytnou právní jistotu stejnou měrou provozovatelům i spotřebitelům. Ustanovení tohoto nařízení zároveň nejsou příliš normativní a ponechávají prostor pro různé úrovně opatření členských států v případě prvků, které neohrožují cíle této iniciativy, zejména vnitřní organizace systému dozoru nad trhem a zavádění opatření na podporu inovací. 3.VÝSLEDKY HODNOCENÍ EX POST, KONZULTACÍ SE ZÚČASTNĚNÝMI STRANAMI A POSOUZENÍ DOPADŮ 3.1.Konzultace se zúčastněnými stranami Tento návrh je výsledkem rozsáhlých konzultací se všemi hlavními zúčastněnými stranami, při nichž byly ze strany Komise uplatněny obecné zásady a minimální standardy pro konzultace zúčastněných stran. Dne 19. února 2020 byla současně se zveřejněním bílé knihy o umělé inteligenci zahájena on-line veřejná konzultace, která trvala do 14. června 2020. Cílem této konzultace bylo shromáždit názory a stanoviska k této bílé knize. Konzultace se zaměřila na všechny zúčastněné strany z veřejného i soukromého sektoru, včetně vlád, místních orgánů, komerčních i nekomerčních organizací, sociálních partnerů, odborníků, akademických pracovníků a občanů. Komise po provedení analýzy všech obdržených odpovědí zveřejnila souhrn výsledků a jednotlivé odpovědi na svých internetových stránkách. Celkem bylo obdrženo 1 215 příspěvků, z toho 352 od společností nebo obchodních organizací/sdružení, 406 od jednotlivců (92 % jednotlivců z EU), 152 jménem akademických/výzkumných institucí a 73 od orgánů veřejné moci. Hlasy občanské společnosti zastupovalo 160 respondentů (z toho 9 organizací spotřebitelů, 129 nevládních organizací a 22 odborových svazů) a 72 respondentů přispělo jako „ostatní“. Z 352 zástupců podniků a průmyslu bylo 222 společností a zástupců podniků, přičemž 41,5 % z nich představovaly mikropodniky a malé a střední podniky. Zbytek představovala hospodářská sdružení. Celkem 84 % odpovědí zástupců podniků a průmyslu pocházelo ze zemí EU-27. V závislosti na položené otázce využilo 81 až 598 respondentů při vkládání komentářů možnost vepsat libovolný text. Prostřednictvím internetových stránek „EU Survey“ bylo předloženo přes 450 stanovisek, a to jak navíc k odpovědi na dotazník (více než 400), tak jako samostatné příspěvky (více než 50). Celkově se zúčastněné strany všeobecně shodují na tom, že je třeba jednat. Velká většina zúčastněných stran se shoduje na tom, že existují legislativní mezery, případně že je zapotřebí vytvořit nové právní předpisy. Několik zúčastněných stran však upozorňuje Komisi na nutnost vyhnout se zdvojování, protichůdným závazkům a nadměrné regulaci. V řadě komentářů byl zdůrazněn význam technologicky neutrálního a přiměřeného regulačního rámce. Zúčastněné strany většinou požadovaly úzkou, jednoznačnou a přesnou definici UI. Zúčastněné strany rovněž zdůraznily, že kromě vyjasnění pojmu „umělá inteligence“ je důležité definovat rovněž pojmy „riziko“, „vysoké riziko“, „nízké riziko“, „biometrická identifikace na dálku“ a „újma“. Většina respondentů výslovně podporuje přístup založený na posouzení rizik. Používání rámce založeného na posouzení rizik bylo považováno za lepší alternativu než plošná regulace všech systémů UI. Typy rizik a hrozeb by měly být založeny na individuálním přístupu podle jednotlivých odvětví a jednotlivých případů. Výpočet rizik by měl zohledňovat rovněž dopad na práva a na bezpečnost. Pro podporu UI by mohla být velmi užitečná regulační pískoviště a některé zúčastněné strany, zejména hospodářská sdružení, je vítají. Přes 50 % respondentů, zejména z řad hospodářských sdružení, kteří vyjádřili názor na modely prosazování, se u vysoce rizikových systémů UI vyslovilo pro kombinaci posuzování rizik vlastními silami ex ante a prosazování ex post. 3.2.Sběr a využití výsledků odborných konzultací Návrh vychází z analýzy prováděné po dobu dvou let a z úzkého zapojení zúčastněných stran, včetně akademických pracovníků, podniků, sociálních partnerů, nevládních organizací, členských států a občanů. Přípravné práce byly zahájeny v roce 2018 zřízením odborné skupiny na vysoké úrovni pro UI, jejíž inkluzivní a široké složení zahrnovalo 52 známých odborníků, kteří byli pověřeni poradenstvím Komisi při provádění její strategie pro umělou inteligenci. V dubnu 2019 Komise podpořila klíčové požadavky stanovené v etických pokynech odborné skupiny na vysoké úrovni pro důvěryhodnou UI, které byly revidovány tak, aby zohledňovaly více než 500 připomínek zúčastněných stran. Tyto klíčové požadavky odrážejí rozšířený a společný přístup, o kterém svědčí nepřeberné množství etických kodexů a zásad vypracovaných celou řadou soukromých a veřejných organizací v Evropě i mimo ni, a podle něhož by se vývoj a používání UI měly řídit určitými základními zásadami zaměřenými na hodnotu. Kontrolní seznam pro důvěryhodnou umělou inteligenci (ALTAI) tyto požadavky uvedl do praxe v pilotním procesu zahrnujícím více než 350 organizací. Navíc byla vytvořena Aliance pro umělou inteligenci jako platforma pro přibližně 4 000 zúčastněných stran, která jim umožňuje diskutovat o technologických a společenských důsledcích UI a která vrcholí každoročním shromážděním pro UI. Tento inkluzivní přístup dále rozvinula bílá kniha o UI, která podnítila připomínky více než 1 250 zúčastněných stran, včetně více než 450 dalších stanovisek. V důsledku toho Komise zveřejnila počáteční posouzení dopadů, k němuž bylo opět zasláno více než 130 připomínek. Byla rovněž uspořádána další pracovní setkání a akce zúčastněných stran, jejichž výsledky podporují analýzu provedenou v rámci posouzení dopadů a politická rozhodnutí přijatá v tomto návrhu. Bylo také zadáno vypracování externí studie, jejímž cílem bylo posloužit jako podklad pro posouzení dopadů. 3.3.Posouzení dopadů Komise provedla v souladu se svou politikou „zlepšování právní úpravy“ posouzení dopadů tohoto návrhu, které přezkoumal Výbor Komise pro kontrolu regulace. Dne 16. prosince 2020 se konalo setkání s Výborem pro kontrolu regulace, po němž následovalo vydání záporného stanoviska. Po podstatné revizi posouzení dopadů s cílem zohlednit připomínky a po opětovném předložení posouzení dopadů vydal Výbor pro kontrolu regulace dne 21. března 2021 kladné stanovisko. Stanoviska Výboru pro kontrolu regulace, doporučení a vysvětlení toho, jakým způsobem byla zohledněna, jsou uvedena v příloze 1 posouzení dopadů.

Komise zkoumala různé politické možnosti dosažení obecného cíle návrhu, kterým je zajistit řádné fungování jednotného trhu vytvořením podmínek pro rozvoj a používání důvěryhodné UI v Unii. Byly posouzeny čtyři politické možnosti s různými stupni regulačních zásahů: ·možnost č. 1: legislativní nástroj EU zavádějící dobrovolný systém označování, ·možnost č. 2: odvětvový „ad hoc“ přístup, ·možnost č. 3: horizontální legislativní nástroj EU využívající přiměřený přístup založený na posouzení rizik, ·možnost č. 3+: horizontální legislativní nástroj EU využívající přiměřený přístup založený na posouzení rizik + kodexy chování pro systémy UI, které nejsou vysoce rizikové, ·možnost č. 4: horizontální legislativní nástroj EU stanovující závazné požadavky pro všechny systémy UI bez ohledu na riziko, které představují. Podle zavedené metodiky Komise byla každá z těchto politických možností hodnocena na základě hospodářských a společenských dopadů se zvláštním zaměřením na dopady na základní práva. Upřednostňovanou možností je možnost č. 3+, tj. regulační rámec pouze pro vysoce rizikové systémy UI s možností, aby se všichni poskytovatelé systémů UI, které nejsou vysoce rizikové, řídili určitým kodexem chování. Tyto požadavky se budou týkat údajů, dokumentace a sledovatelnosti, poskytování informací a transparentnosti, lidského dohledu, spolehlivosti a přesnosti a pro vysoce rizikové systémy UI by byly povinné. Společnosti, které zavedly kodexy chování pro jiné systémy UI, by tak činily dobrovolně. Tato upřednostňovaná možnost byla považována za vhodnou z hlediska co nejúčinnějšího řešení cílů tohoto návrhu. Tím, že tato upřednostňovaná možnost vyžaduje od vývojářů a uživatelů UI omezený, ale účinný soubor opatření, omezuje rizika porušování základních práv a bezpečnosti lidí a podporuje účinný dohled a vymáhání, neboť zaměřuje požadavky pouze na systémy, kde existuje vysoké riziko tohoto porušování. Tato možnost tak stlačuje náklady na dodržování předpisů na minimum, čímž brání zbytečnému zpomalování zavádění umělé inteligence v důsledku vyšších cen a nákladů na dodržování předpisů. Za účelem řešení možných nevýhod pro malé a střední podniky zahrnuje tato možnost několik ustanovení na podporu souladu těchto podniků a snižování jejich nákladů, včetně vytváření regulačních pískovišť a povinnosti zohledňovat zájmy malých a středních podniků při stanovování poplatků souvisejících s posuzováním shody. Upřednostňovaná možnost zvýší důvěru lidí v UI, společnosti získají větší právní jistotu a členské státy nebudou mít důvod přijímat jednostranná opatření, která by mohla vést k roztříštění jednotného trhu. Vyšší poptávka založená na vyšší důvěře, dostupnější nabídky vzhledem k právní jistotě a absence překážek přeshraničního pohybu systémů UI pravděpodobně povedou k prosperitě jednotného trhu UI. Evropská unie bude i nadále rozvíjet rychle rostoucí ekosystém UI v oblasti inovativních služeb a produktů, v nichž je vestavěna technologie UI, nebo samostatných systémů UI, což povede ke zvýšení digitální autonomie. Podniky nebo veřejné orgány, které vyvíjejí nebo používají aplikace UI představující vysoké riziko pro bezpečnost nebo základní práva občanů, by musely dodržovat zvláštní požadavky a povinnosti. Soulad s těmito požadavky by znamenal: do roku 2025 náklady v přibližné výši 6 000 až 7 000 EUR na dodávku průměrného vysoce rizikového systému UI v hodnotě přibližně 170 000 EUR. Uživatelé UI by v závislosti na případu použití tam, kde by to bylo vhodné, každoročně rovněž vynakládali náklady na čas strávený zajišťováním lidského dohledu. Ty by dle odhadu činily přibližně 5 000 až 8 000 EUR ročně. Náklady na ověření pro dodavatele vysoce rizikové UI by mohly činit dalších 3 000 až 7 500 EUR. Podniky nebo orgány veřejné moci, které vyvíjejí nebo používají jakékoli aplikace UI, které nejsou klasifikovány jako vysoce rizikové, by měly pouze minimální informační povinnosti. Mohly by se však rozhodnout připojit se k ostatním, společně přijmout kodex chování s cílem řídit se vhodnými požadavky a zajistit, aby jejich systémy UI byly důvěryhodné. V tomto případě by náklady byly maximálně stejně vysoké jako u vysoce rizikových systémů UI, s největší pravděpodobností by však byly nižší. Dopady politických možností na jednotlivé kategorie zúčastněných stran (hospodářské subjekty/podniky; subjekty posuzování shody, normalizační orgány a jiné veřejné subjekty; jednotlivce/občany; výzkumné pracovníky) jsou podrobně vysvětleny v příloze 3 posouzení dopadů předloženého na podporu tohoto návrhu. 3.4.Účelnost právních předpisů a zjednodušování Tento návrh stanoví povinnost, která se bude vztahovat na poskytovatele a uživatele vysoce rizikových systémů UI. Vytvoří právní jistotu pro poskytovatele, kteří tyto systémy vyvíjejí a uvádějí na trh Unie, a zajistí, aby nevznikla žádná překážka pro přeshraniční poskytování služeb a produktů souvisejících s umělou inteligencí. U společností využívajících UI bude podporovat důvěru mezi jejich zákazníky. U vnitrostátních orgánů veřejné správy bude podporovat důvěru veřejnosti ve využívání UI a posilovat donucovací mechanismy (zavedením evropského koordinačního mechanismu, zajištěním vhodných kapacit a usnadněním auditů systémů UI s novými požadavky na dokumentaci, sledovatelnost a transparentnost). Tento rámec bude navíc obsahovat zvláštní opatření na podporu inovací, včetně regulačních pískovišť a zvláštních opatření na podporu malých uživatelů a poskytovatelů vysoce rizikových systémů UI při dodržování nových pravidel. Návrh je rovněž konkrétně zaměřen na posílení evropské konkurenceschopnosti a průmyslové základny v oblasti UI. Je zajištěn plný soulad se stávajícími odvětvovými právními předpisy Unie použitelnými na systémy UI (týkajícími se například produktů a služeb), které dále vyjasní a zjednoduší prosazování nových pravidel. 3.5.Základní práva Využívání UI s jejími specifickými vlastnostmi (například neprůhlednost, složitost, závislost na datech či autonomní chování) může nepříznivě ovlivnit řadu základních práv zakotvených v Listině základních práv Evropské unie (dále jen „Listina“). Snahou tohoto návrhu je zajistit vysokou úroveň ochrany těchto základních práv a jeho cílem je řešit různé zdroje rizik prostřednictvím jasně definovaného přístupu založeného na posouzení rizik. Návrh obsahuje soubor požadavků na důvěryhodnou UI a přiměřené povinnosti pro všechny účastníky hodnotového řetězce, čímž posílí a podpoří ochranu práv chráněných Listinou: právo na lidskou důstojnost (článek 1), na respektování soukromého života a ochranu osobních údajů (články 7 a 8), na zákaz diskriminace (článek 21) a na rovnost žen a mužů (článek 23). Jeho cílem je zabránit odrazujícímu účinku na právo na svobodu projevu (článek 11) a svobodu shromažďování (článek 12) a zajistit ochranu práva na účinnou právní ochranu a spravedlivý proces, práva na obhajobu a presumpci neviny (články 47 a 48), jakož i obecnou zásadu řádné správy. Návrh navíc v určitých oblastech pozitivně ovlivní práva celé řady zvláštních skupin, jako jsou například práva pracovníků na slušné a spravedlivé pracovní podmínky (článek 31), vysoká úroveň ochrany spotřebitele (článek 28), práva dítěte (článek 24) a začlenění osob se zdravotním postižením (článek 26). Relevantní je rovněž právo na vysokou úroveň ochrany životního prostředí a zvyšování jeho kvality (článek 37), a to i ve vztahu ke zdraví a bezpečnosti lidí. Dodržování dalších základních práv usnadní rovněž povinnosti týkající se testování ex ante, řízení rizik a lidského dohledu, které budou minimalizovat riziko chybných nebo zkreslených rozhodnutí přijatých s podporou UI v kritických oblastech, jako je například vzdělávání a odborná příprava, zaměstnání, důležité služby, prosazování práva a soudnictví. V případě, že bude i přesto docházet k porušování základních práv, budou dotčeným osobám umožněna účinná náprava zajištěním transparentnosti a sledovatelnosti systémů UI ve spojení s přísnými kontrolami ex post. Tento návrh ukládá určitá omezení svobody podnikání (článek 16) a svobody umění a věd (článek 13) s cílem zajistit dodržování naléhavých důvodů veřejného zájmu, jako je zdraví, bezpečnost, ochrana spotřebitele a ochrana dalších základních práv („odpovědné inovace“), při vývoji a používání vysoce rizikové technologie UI. Tato omezení jsou přiměřená a omezují se na minimum nezbytné k prevenci a zmírnění závažných bezpečnostních rizik a pravděpodobného porušování základních práv. Zpřísnění povinností v souvislosti s transparentností rovněž nepřiměřeně neovlivní právo na ochranu duševního vlastnictví (čl. 17 odst. 2) vzhledem k tomu, že tyto povinnosti budou omezeny pouze na minimum informací nezbytných pro výkon práva jednotlivců na účinnou právní ochranu a na nezbytnou transparentnost vůči orgánům dozoru a donucovacím orgánům v souladu s jejich pověřeními. Jakékoli zveřejnění informací bude provedeno v souladu s příslušnými právními předpisy v dané oblasti, včetně směrnice 2016/943 o ochraně nezveřejněného know-how a obchodních informací (obchodního tajemství) před jejich neoprávněným získáním, využitím a zpřístupněním. Pokud je nutné umožnit orgánům veřejné moci a oznámeným subjektům přístup k důvěrným informacím nebo ke zdrojovým kódům s cílem ověřit soulad s podstatnými povinnostmi, vztahují se na ně závazné povinnosti zachování důvěrnosti. 4.ROZPOČTOVÉ DŮSLEDKY

Členské státy budou povinny určit dozorové úřady, jejichž úkolem bude provádění legislativních požadavků. Jejich dozorčí funkce by mohla vycházet ze zavedených struktur, například pokud jde o subjekty posuzování shody nebo dozor nad trhem, avšak vyžadovala by dostatečné odborné znalosti a lidské a finanční zdroje. V závislosti na zavedené struktuře v jednotlivých členských státech by se mohlo jednat o 1 až 25 zaměstnanců v přepočtu na plný úvazek na členský stát. Podrobný přehled souvisejících nákladů je uveden ve „finančním výkazu“ souvisejícím s tímto návrhem. 5.OSTATNÍ PRVKY 5.1.Plány provádění a způsoby monitorování, hodnocení a podávání zpráv Zavedení spolehlivého mechanismu monitorování a hodnocení má zásadní význam pro zajištění účinného dosahování konkrétních cílů návrhu. Za monitorování účinků návrhu bude odpovídat Komise. Vytvoří systém pro registraci samostatných vysoce rizikových aplikací UI do veřejné databáze na úrovni celé EU. Tato registrace rovněž umožní příslušným orgánům, uživatelům a dalším zájemcům ověřit, zda daný vysoce rizikový systém UI splňuje požadavky stanovené v návrhu, a posílit výkon dohledu nad systémy UI, které představují vysoké riziko pro základní práva. Poskytovatelé UI budou pro potřeby této databáze povinni poskytovat smysluplné informace o svých systémech a o posuzování shody prováděném u těchto systémů. Poskytovatelé UI budou rovněž povinni informovat příslušné vnitrostátní orgány o závažných incidentech nebo chybném fungování, které představují porušení povinností v oblasti základních práv, jakmile se o nich dovědí, jakož i o jakémkoli stažení systémů UI z oběhu nebo z trhu. Příslušné vnitrostátní orgány poté tyto závažné incidenty nebo chybné fungování prošetří, shromáždí všechny potřebné informace a budou je pravidelně předávat Komisi společně s příslušnými metadaty. Komise tyto informace o závažných incidentech doplní komplexní analýzou celkového trhu s umělou inteligencí. Komise zveřejní zprávu obsahující hodnocení a přezkum navrhovaného rámce UI pět let po datu jeho použitelnosti. 5.2.Podrobné vysvětlení konkrétních ustanovení návrhu 5.2.1.OBLAST PŮSOBNOSTI A DEFINICE (HLAVA I) Hlava I stanoví předmět nařízení a oblast působnosti nových pravidel, která se týkají uvádění systémů UI na trh a do provozu a jejich používání. Vymezuje rovněž definice používané v rámci celého nástroje. Cílem definice systému UI v tomto právním rámci je dosáhnout maximální možné technologické neutrality a použitelnosti i v budoucnu s přihlédnutím k rychlému technologickému vývoji a vývoji trhu v souvislosti s UI. Pro zajištění potřebné právní jistoty doplňuje hlavu I příloha I, která obsahuje podrobný seznam přístupů a technik pro rozvoj UI, který bude Komise upravovat v souladu s novým technologickým vývojem. Pro účely zajištění rovných podmínek jsou rovněž jednoznačně definováni klíčoví účastníci celého hodnotového řetězce UI, jako jsou například poskytovatelé a uživatelé systémů UI, mezi něž se řadí veřejní i soukromí provozovatelé. 5.2.2.ZAKÁZANÉ POSTUPY V OBLASTI UMĚLÉ INTELIGENCE (HLAVA II) Hlava II stanoví seznam zakázaných praktik v oblasti UI. Toto nařízení se řídí přístupem založeným na posouzení rizik, který rozlišuje mezi použitími UI vytvářejícími i) nepřijatelné riziko; ii) vysoké riziko a iii) nízké nebo minimální riziko. Seznam zakázaných praktik v hlavě II zahrnuje všechny systémy UI, jejichž používání je považováno za nepřijatelné z důvodu rozporu s hodnotami Unie, například v důsledku porušování základních práv. Tyto zákazy se týkají praktik, které mají významný potenciál manipulovat s osobami prostřednictvím podprahových technik bez jejich vědomí, případně zneužívají zranitelnosti konkrétních zranitelných skupin, jako jsou děti nebo osoby se zdravotním postižením, s cílem podstatně ovlivnit jejich chování způsobem, který by mohl jim nebo jiné osobě způsobit psychickou nebo fyzickou újmu. Na jiné manipulativní nebo vykořisťovatelské praktiky týkající se dospělých, které by mohly systémy UI umožňovat, by se mohly vztahovat stávající právní předpisy o ochraně údajů, ochraně spotřebitele a digitálních službách, které zaručují, že fyzické osoby budou řádně informovány a budou mít svobodnou volbu nebýt předmětem profilování ani jiných praktik, které by mohly ovlivnit jejich chování. Návrh rovněž zakazuje přidělování sociálního kreditu na základě UI pro obecné účely prováděné orgány veřejné moci. A konečně je až na určité omezené výjimky zakázáno rovněž používání biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva. 5.2.3.VYSOCE RIZIKOVÉ SYSTÉMY UI (HLAVA III) Hlava III obsahuje zvláštní pravidla pro systémy UI, které představují vysoké riziko pro zdraví a bezpečnost nebo pro základní práva fyzických osob. Tyto vysoce rizikové systémy UI jsou v souladu s přístupem založeným na posouzení rizik na evropském trhu povoleny pod podmínkou, že budou splňovat určité závazné požadavky a že bude provedeno posouzení shody ex ante. Klasifikace systému UI jako vysoce rizikového je založena na určeném účelu daného systému UI v souladu se stávajícími právními předpisy upravujícími bezpečnost výrobků. Klasifikace systému UI jako vysoce rizikového proto nezávisí pouze na funkci, kterou tento systém vykonává, ale také na konkrétním účelu a způsobech, pro které se tento systém používá. Kapitola 1 hlavy III stanoví klasifikační pravidla a vymezuje dvě hlavní kategorie vysoce rizikových systémů UI: ·systémy UI určené k použití jako bezpečnostní součást produktů, na které se vztahuje posouzení shody ex ante třetí stranou, ·jiné samostatné systémy UI s důsledky převážně pro základní práva, které jsou výslovně uvedeny v příloze III. Tento seznam vysoce rizikových systémů UI v příloze III obsahuje omezený počet systémů UI, jejichž rizika se již projevila nebo se pravděpodobně projeví v blízké budoucnosti. Aby Komise zajistila, že nařízení bude možno přizpůsobit nově vznikajícím použitím a aplikacím UI, může rozšířit seznam vysoce rizikových systémů UI používaných v určitých předem definovaných oblastech uplatněním souboru kritérií a metodiky posuzování rizik Kapitola 2 stanoví právní požadavky na vysoce rizikové systémy UI, pokud jde o údaje a správu údajů, dokumentaci a uchovávání záznamů, transparentnost a poskytování informací uživatelům, lidský dohled, spolehlivost, přesnost a bezpečnost. U řady provozovatelů postupujících s řádnou péčí odpovídají navrhované minimální požadavky nejnovějším poznatkům již nyní a jsou výsledkem dvouletých přípravných prací, odvozených z etických pokynů odborné skupiny na vysoké úrovni pro umělou inteligenci, jejichž pilotního provozu se účastní více než 350 organizací. Jsou rovněž do značné míry v souladu s dalšími mezinárodními doporučeními a zásadami, což zajišťuje slučitelnost navrhovaného rámce pro UI s rámcem přijatým mezinárodními obchodními partnery EU. Konkrétní technická řešení pro dosažení souladu s těmito požadavky mohou být uvedena v normách nebo v jiných technických specifikacích, případně vyvinuta jiným způsobem v souladu s obecnými technickými nebo vědeckými poznatky podle uvážení poskytovatele systému UI. Tato flexibilita je mimořádně důležitá, protože poskytovatelům systémů UI umožňuje volbu způsobu splnění jejich požadavků s přihlédnutím k nejnovějšímu vývoji a technologickému a vědeckému pokroku v této oblasti. Kapitola 3 ukládá poskytovatelům vysoce rizikových systémů UI jednoznačný soubor horizontálních povinností. Přiměřené povinnosti jsou kladeny rovněž na uživatele a na další účastníky v celém hodnotovém řetězci UI (například na dovozce, distributory a zplnomocněné zástupce).

Kapitola 4 stanoví rámec pro zapojení oznámených subjektů jako nezávislých třetích stran do postupů posuzování shody, zatímco kapitola 5 podrobně vysvětluje postupy posuzování shody, které je třeba dodržovat u jednotlivých typů vysoce rizikových systémů UI. Cílem přístupu posuzování shody je minimalizovat zátěž hospodářských subjektů i oznámených subjektů, jejichž kapacitu je třeba v průběhu času postupně zvyšovat. Systémy UI určené k použití jako bezpečnostní součásti produktů, které se řídí právními předpisy podle nového legislativního rámce (například strojní zařízení, hračky, zdravotnické prostředky atd.), budou podléhat stejným mechanismům posuzování shody ex ante a ex post a mechanismu prosazování jako produkty, jejichž součást tvoří. Klíčovým rozdílem je, že mechanismy posuzování shody ex ante a ex post zajistí dodržování nejen požadavků stanovených odvětvovými právními předpisy, ale také požadavků stanovených tímto nařízením. Pokud jde o samostatné vysoce rizikové systémy UI uvedené v příloze III, bude zaveden nový systém dodržování a prosazování právních předpisů. Tento postup se řídí vzorem právních předpisů nového legislativního rámce prováděným na základě vnitřní kontroly zajišťované poskytovateli s výjimkou systémů biometrické identifikace na dálku, na které by se vztahovalo posuzování shody třetími stranami. Komplexní posuzování shody ex ante prostřednictvím interních kontrol v kombinaci s účinným prosazováním ex post by mohlo být vzhledem k rané fázi regulačního zásahu a skutečnosti, že odvětví UI je velmi inovativní a odborné znalosti v oblasti auditu jsou získávány teprve nyní, pro tyto systémy účinným a rozumným řešením. Posuzování „samostatných“ vysoce rizikových systémů UI na základě interních kontrol by vyžadovalo úplné, účinné a řádně zdokumentované posouzení shody všech požadavků nařízení ex ante, posouzení shody spolehlivých systémů řízení kvality a rizik a monitorování po uvedení na trh. Poté, co poskytovatel provede příslušné posouzení shody, měl by tyto samostatné vysoce rizikové systémy UI zaregistrovat do databáze EU, kterou bude spravovat Komise s cílem zvýšit transparentnost a veřejný dohled a posílit dohled příslušných orgánů ex post. Naproti tomu posuzování shody systémů UI, které jsou bezpečnostními součástmi produktů, se bude z důvodu souladu s platnými právními předpisy o bezpečnosti výrobků řídit systémem založeným na postupech posuzování shody třetími stranami, které jsou již stanoveny v příslušných odvětvových právních předpisech upravujících bezpečnost výrobků. V případě podstatných změn systémů UI (zejména změn, které přesahují rámec toho, co poskytovatel předem stanovil ve své technické dokumentaci a co bylo předmětem kontroly v okamžiku posuzování shody ex ante) bude zapotřebí provést nové opětovné posouzení shody ex ante. 5.2.4.POVINNOSTI TRANSPARENTNOSTI URČITÝCH SYSTÉMŮ UI (HLAVA IV) Hlava IV se týká určitých systémů UI s cílem zohlednit specifická rizika manipulace, která představují. Povinnosti transparentnosti se budou vztahovat na systémy, které i) komunikují s lidmi; ii) se používají k detekci emocí nebo k určování spojení se (sociálními) kategoriemi na základě biometrických údajů nebo iii) generují obsah nebo s ním manipulují (tzv. deep fakes). Pokud osoby komunikují se systémem UI, případně jsou-li jejich emoce nebo vlastnosti rozpoznávány automatizovanými prostředky, musí být o této skutečnosti informovány. Pokud je systém UI používán k vytváření obrazového, zvukového nebo video obsahu, který se výrazně podobá obsahu autentickému, případně k manipulaci s ním, měla by existovat povinnost zveřejnit, že tento obsah je generován automatizovanými prostředky, kromě výjimek pro legitimní účely (prosazování práva, svoboda projevu). To umožňuje osobám činit informovaná rozhodnutí nebo se dané situace nezúčastnit. 5.2.5.OPATŘENÍ NA PODPORU INOVACÍ (HLAVA V) Hlava V přispívá k cíli vytvoření právního rámce, který je vstřícný k inovacím, použitelný i v budoucnosti a odolný vůči narušení. Za tímto účelem vybízí příslušné vnitrostátní orgány k vytváření regulačních pískovišť a stanoví základní rámec v oblasti správy, dohledu a odpovědnosti. Regulační pískoviště UI vytvářejí kontrolované prostředí pro testování inovativních technologií po omezenou dobu na základě testovacího plánu dohodnutého s příslušnými orgány. Hlava V obsahuje rovněž opatření ke snížení regulační zátěže pro malé a střední podniky a začínající podniky. 5.2.6.SPRÁVA A PROVÁDĚNÍ (HLAVA VI, VII A VII) Hlava VI zřizuje správní systémy na úrovni Unie a na úrovni jednotlivých států. Na úrovni Unie návrh zřizuje Evropskou radu pro umělou inteligenci (dále jen „rada“) složenou ze zástupců členských států a Komise. Tato rada usnadní plynulé, účinné a harmonizované provádění tohoto nařízení tím, že přispěje k účinné spolupráci vnitrostátních dozorových úřadů a Komise a bude Komisi poskytovat rady a odborné znalosti. Bude rovněž v rámci členských států shromažďovat a sdílet osvědčené postupy. Na vnitrostátní úrovni budou členské státy povinny pro účely dohledu nad uplatňováním a prováděním nařízení určit jeden nebo více příslušných vnitrostátních orgánů, k nimž bude patřit i vnitrostátní dozorový orgán. Jako orgán příslušný k dohledu nad orgány, institucemi a jinými subjekty Unie, které spadají do oblasti působnosti tohoto nařízení, bude působit evropský inspektor ochrany údajů. Hlava VII si klade za cíl usnadnit monitorovací práci Komise a vnitrostátních orgánů vytvořením celoevropské databáze samostatných vysoce rizikových systémů UI, které mají dopady především na základní práva. Tuto databázi bude provozovat Komise a údaje do ní budou dodávat poskytovatelé systémů UI, kteří budou povinni registrovat své systémy dříve, než je uvedou na trh nebo jinak uvedou do provozu. Hlava VIII stanoví povinnosti poskytovatelů systémů UI v oblasti monitorování a oznamování, pokud jde o monitorování a oznamování po uvedení na trh a oznamování vyšetřování nežádoucích příhod a chybného fungování v souvislosti s umělou inteligencí. Úkolem orgánů dozoru nad trhem je rovněž kontrolovat trh a vyšetřovat soulad všech vysoce rizikových systémů UI, které již byly uvedeny na trh, s povinnostmi a požadavky. Orgány dozoru nad trhem mají mít veškeré pravomoci podle nařízení (EU) 2019/1020 o dozoru nad trhem. Uplatňování standardů ex post by mělo zajistit, že jakmile bude systém UI uveden na trh, budou mít orgány veřejné moci k dispozici dostatečné pravomoci a zdroje umožňující zasáhnout v případě, že systémy UI způsobí neočekávaná rizika, což je zárukou rychlé reakce. Budou rovněž monitorovat dodržování příslušných povinností provozovatelů v souladu s tímto nařízením. Návrh nepředpokládá automatické vytváření dalších subjektů nebo orgánů na úrovni členských států. Členské státy proto mohou jmenovat stávající odvětvové orgány (a využívat jejich odborných znalostí) a svěřit jim rovněž pravomoci monitorovat a vymáhat ustanovení tohoto nařízení. Ničím z toho není dotčen stávající systém a rozdělení pravomocí v členských státech při prosazování povinností v oblasti základních práv ex post. Pokud je to pro jejich pověření nezbytné, budou mít stávající orgány dozoru a donucovací orgány také pravomoc vyžádat si jakoukoli dokumentaci vedenou podle tohoto nařízení a mít k ní přístup, a v případě potřeby požádat orgány dozoru nad trhem, aby za pomoci technických prostředků zorganizovaly testování vysoce rizikového systému UI. 5.2.7.KODEXY CHOVÁNÍ (HLAVA IX) Hlava IX vytváří rámec pro vypracování kodexů chování, jejichž cílem je povzbudit poskytovatele systémů UI, které nejsou vysoce rizikové, k dobrovolnému uplatňování povinných požadavků na vysoce rizikové systémy UI (stanovených v hlavě III). Poskytovatelé systémů UI, které nejsou vysoce rizikové, si mohou kodexy chování sami vytvořit a zavést. Tyto kodexy mohou zahrnovat rovněž dobrovolné závazky týkající se například udržitelnosti životního prostředí, přístupnosti pro osoby se zdravotním postižením, účasti zúčastněných stran na navrhování a vývoji systémů UI a rozmanitosti vývojových týmů. 5.2.8.ZÁVĚREČNÁ USTANOVENÍ (HLAVA X, XI A XII) Hlava X zdůrazňuje povinnost všech stran respektovat důvěrný charakter informací a údajů a stanoví pravidla pro výměnu informací získaných při provádění tohoto nařízení. Hlava X rovněž zahrnuje opatření, jejichž cílem je zajistit účinné provádění tohoto nařízení prostřednictvím účinných, přiměřených a odrazujících sankcí za porušení příslušných ustanovení. Hlava XI stanoví pravidla pro způsob přenesení pravomocí a jejich provádění. Návrh zmocňuje Komisi, aby případně přijímala prováděcí akty s cílem zajistit jednotné uplatňování tohoto nařízení nebo aktů v přenesené pravomoci za účelem aktualizace nebo doplnění seznamů uvedených v přílohách I až VII. Hlava XII obsahuje povinnost Komise pravidelně posuzovat potřebu aktualizace přílohy III a vypracovávat pravidelné zprávy o hodnocení a přezkumu tohoto nařízení. Stanoví rovněž závěrečná ustanovení, včetně diferencovaného přechodného období, pro počáteční datum použitelnosti nařízení s cílem usnadnit bezproblémové provádění pro všechny dotčené strany. 2021/0106 (COD) Návrh

NAŘÍZENÍ EVROPSKÉHO PARLAMENTU A RADY, KTERÝM SE STANOVÍ HARMONIZOVANÁ PRAVIDLA PRO UMĚLOU INTELIGENCI (AKT O UMĚLÉ INTELIGENCI) A MĚNÍ URČITÉ LEGISLATIVNÍ AKTY UNIE EVROPSKÝ PARLAMENT A RADA EVROPSKÉ UNIE, s ohledem na Smlouvu o fungování Evropské unie, a zejména na články 16 a 114 této smlouvy, s ohledem na návrh Evropské komise, po postoupení návrhu legislativního aktu vnitrostátním parlamentům, s ohledem na stanovisko Evropského hospodářského a sociálního výboru, s ohledem na stanovisko Výboru regionů, v souladu s řádným legislativním postupem, vzhledem k těmto důvodům: (1)Účelem tohoto nařízení je zlepšit fungování vnitřního trhu stanovením jednotného právního rámce zejména pro vývoj umělé inteligence, její uvádění na trh a využívání v souladu s hodnotami Unie. Toto nařízení sleduje řadu naléhavých důvodů veřejného zájmu, jako je například vysoká úroveň ochrany zdraví, bezpečnosti a základních práv, a zajišťuje volný pohyb zboží a služeb založených na UI přes hranice, čímž brání členským státům ukládat omezení vývoje, uvádění na trh a používání systémů UI, pokud to není tímto nařízením výslovně povoleno. (2)Systémy umělé inteligence (systémy UI) lze snadno uplatnit v řadě hospodářských a společenských odvětví, včetně přeshraničních, a mohou obíhat v celé Unii. Některé členské státy již zkoumají možnost přijetí vnitrostátních pravidel, která by zajišťovala, že umělá inteligence bude bezpečná a že bude vyvíjena a používána v souladu s povinnostmi v oblasti základních práv. Rozdílné vnitrostátní předpisy mohou vést k roztříštěnosti vnitřního trhu a ke snížení právní jistoty pro provozovatele, kteří systémy UI vyvíjejí nebo používají. Proto je třeba zajistit jednotnou a vysokou úroveň ochrany v celé Unii a zároveň zabránit rozdílům, které jsou překážkou volného oběhu systémů UI a souvisejících produktů a služeb na vnitřním trhu, tím, že budou stanoveny jednotné povinnosti provozovatelů a bude zaručena jednotná ochrana naléhavých důvodů obecného zájmu a práv osob na celém vnitřním trhu na základě článku 114 Smlouvy o fungování Evropské unie (SFEU). V rozsahu, v němž toto nařízení obsahuje zvláštní pravidla ochrany fyzických osob v souvislosti se zpracováním osobních údajů, která se týkají omezení používání systémů UI pro biometrickou identifikaci na dálku v „reálném čase“ na veřejně přístupných místech pro účely prosazování práva, je vhodné, aby se ve vztahu k těmto zvláštním pravidlům zakládalo na článku 16 SFEU. S ohledem na tato zvláštní pravidla a na použití článku 16 SFEU je vhodné provést konzultace s Evropským sborem pro ochranu osobních údajů. (3)Umělá inteligence je rychle se vyvíjející skupina technologií, které mohou přispět k široké škále hospodářských a společenských přínosů v celém spektru průmyslových odvětví a sociálních aktivit. Díky zlepšení predikcí, optimalizaci provozu a přidělování zdrojů a personalizaci digitálních řešení dostupných pro jednotlivce a organizace může využívání umělé inteligence poskytnout společnostem klíčové konkurenční výhody a podpořit sociálně a environmentálně prospěšné výsledky, například v oblasti zdravotnictví, zemědělství, vzdělávání a odborné přípravy, správy infrastruktury, energetiky, dopravy a logistiky, veřejných služeb, bezpečnosti, spravedlnosti, účinného využívání zdrojů a energetické účinnosti a zmírňování změny klimatu a přizpůsobování se této změně. (4)Umělá inteligence může zároveň v závislosti na okolnostech týkajících se jejího konkrétního uplatňování a využívání vytvářet rizika a působit újmu veřejným zájmům a právům, které jsou chráněny právem Unie. Tato újma může být hmotná nebo nehmotná. (5)Je proto nezbytné zavést právní rámec Unie, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci, s cílem podpořit vývoj, využívání a zavádění umělé inteligence na vnitřním trhu, který by zároveň splňoval vysokou úroveň ochrany veřejných zájmů, jako je například zdraví, bezpečnost a ochrana základních práv, která jsou uznávána a chráněna právem Unie. K dosažení tohoto cíle by měla být stanovena pravidla, která budou regulovat uvádění určitých systémů UI na trh a do provozu a tím zajišťovat bezproblémové fungování vnitřního trhu a umožňovat, aby tyto systémy měly prospěch ze zásady volného pohybu zboží a služeb. Stanovením těchto pravidel toto nařízení podporuje cíl Unie zastávat v celosvětovém kontextu čelnou pozici, pokud jde o rozvoj bezpečné, důvěryhodné a etické umělé inteligence, který vytyčila Evropská rada, a zajišťuje ochranu etických zásad, kterou výslovně požadoval Evropský parlament. (6)Je třeba jednoznačně definovat pojem „systém UI“ s cílem zajistit právní jistotu a zároveň poskytnout flexibilitu umožňující přizpůsobit se budoucímu technologickému vývoji. Tato definice by měla být založena na klíčových funkčních vlastnostech tohoto softwaru, zejména na jeho schopnosti generovat pro danou sadu člověkem definovaných cílů výstupy, jako je například obsah, predikce, doporučení nebo rozhodnutí, které ovlivňují prostředí, s nímž systém komunikuje, ať už ve fyzické, nebo digitální dimenzi. Systémy UI mohou být navrženy tak, aby fungovaly s různou úrovní samostatnosti a aby mohly být použity buď samostatně, nebo jako součást určitého produktu bez ohledu na to, zda je systém do tohoto produktu fyzicky zabudován (vestavěný systém), nebo zda napomáhá funkčnosti tohoto produktu, aniž by do něho byl zabudován (nevestavěný systém). Definici systému UI by měl doplňovat seznam konkrétních technik a přístupů využívaných při jeho vývoji, který by měl být průběžně aktualizován s ohledem na vývoj trhu a technologií prostřednictvím přijímání aktů v přenesené pravomoci Komisí za účelem změny uvedeného seznamu. (7)Pojem „biometrické údaje“ používaný v tomto nařízení je v souladu s pojmem „biometrické údaje“ definovaným v čl. 4 bodě 14 nařízení Evropského parlamentu a Rady (EU) 2016/679, v čl. 3 bodě 18 nařízení Evropského parlamentu a Rady (EU) 2018/1725 a v čl. 3 bodě 13 směrnice Evropského parlamentu a Rady (EU) 2016/680 a měl by být vykládán konzistentně s nimi. (8)Pojem „systém biometrické identifikace na dálku“ používaný v tomto nařízení by měl být definován funkčně jako systém UI určený k identifikaci fyzických osob na dálku prostřednictvím porovnání biometrických údajů dané osoby s biometrickými údaji obsaženými v referenční databázi a bez předchozích znalostí, zda bude cílová osoba přítomna a zda ji bude možné identifikovat, bez ohledu na konkrétní technologii, procesy nebo typy použitých biometrických údajů. Vzhledem k jejich různým vlastnostem a způsobům, jimiž jsou používány, jakož i různým souvisejícím rizikům, je třeba rozlišovat mezi systémy biometrické identifikace na dálku, která probíhá „v reálném čase“ a „zpětně“. V případě systémů provádějících identifikaci „v reálném čase“ probíhá jak zaznamenání biometrických údajů, tak porovnání a identifikace okamžitě, téměř okamžitě nebo v každém případě bez významného zpoždění. V tomto ohledu by neměl existovat žádný prostor pro obcházení pravidel tohoto nařízení o používání dotčených systémů UI „v reálném čase“ stanovením menších zpoždění. Systémy fungující „v reálném čase“ zahrnují použití materiálu „živě“ nebo jen „s malým časovým posunem“ jako jsou například videozáznamy generované kamerou nebo jiným zařízením s podobnými funkcemi. Naproti tomu v případě systémů, ve kterých identifikace probíhá „zpětně,“ dochází k porovnání a identifikaci zachycených údajů až se značným zpožděním. Jedná se o materiály, jako jsou například fotografie nebo videozáznamy generované kamerami s uzavřeným televizním okruhem nebo soukromými zařízeními, které byly vytvořeny před použitím tohoto systému ve vztahu k dotčeným fyzickým osobám. (9)Pro účely tohoto nařízení by se pod pojmem „veřejně přístupné místo“ mělo rozumět jakékoli fyzické místo, které je přístupné veřejnosti, bez ohledu na to, zda je dané místo v soukromém nebo veřejném vlastnictví. Tento pojem proto nezahrnuje místa, která jsou soukromé povahy a obvykle nejsou volně přístupná třetím stranám, včetně donucovacích orgánů, pokud k tomu tyto strany nebyly výslovně vyzvány nebo oprávněny, jako jsou například domácnosti, soukromé kluby, kanceláře, sklady a továrny. Tento pojem nezahrnuje ani on-line prostory, protože se nejedná o prostory fyzické. Pouhá skutečnost, že pro přístup do konkrétního prostoru může být nezbytné splnění určitých podmínek, jako jsou například vstupenky nebo věková omezení, však neznamená, že daný prostor není veřejně přístupný ve smyslu tohoto nařízení. V důsledku toho jsou kromě veřejných prostor, jako jsou ulice, příslušné části státních budov a většina dopravní infrastruktury, zpravidla veřejně přístupné také prostory jako kina, divadla, obchody a nákupní centra. To, zda je daný prostor přístupný veřejnosti, by však mělo být určováno případ od případu s ohledem na zvláštnosti dané konkrétní situace. (10)V zájmu zajištění rovných podmínek a účinné ochrany práv a svobod jednotlivců v celé Unii by se pravidla stanovená tímto nařízením měla vztahovat na poskytovatele systémů UI nediskriminačním způsobem bez ohledu na to, zda jsou usazeni v Unii nebo ve třetí zemi, a na uživatele systémů UI usazené v Unii.

(11)Do oblasti působnosti tohoto nařízení by měly spadat i určité systémy UI s ohledem na svou digitální povahu, i když nejsou uvedeny ani na trh, ani do provozu, ani nejsou používány v Unii. Jedná se například o provozovatele usazeného v Unii, který smluvně zadává určité služby provozovateli usazenému mimo Unii v souvislosti s činností, kterou má provádět systém UI, jejž by bylo možno označit jako vysoce rizikový a jehož účinky mají dopad na fyzické osoby nacházející se v Unii. Za těchto okolností by systém UI používaný provozovatelem mimo Unii mohl zpracovávat údaje zákonně shromážděné v Unii a převáděné z Unie a poskytovat zadávajícímu provozovateli v Unii výstup z tohoto systému UI vyplývající z tohoto zpracování, aniž by byl tento systém UI uveden na trh nebo do provozu v Unii nebo v ní byl používán. Aby se předešlo obcházení tohoto nařízení a aby byla zajištěna účinná ochrana fyzických osob nacházejících se v Unii, mělo by se toto nařízení vztahovat také na poskytovatele a uživatele systémů UI, kteří jsou usazeni ve třetí zemi, v rozsahu, v jakém jsou výstupy vytvořené těmito systémy používány v Unii. S ohledem na již existující ujednání a na zvláštní potřeby spolupráce se zahraničními partnery, s nimiž probíhá výměna informací a důkazů, by se však toto nařízení nemělo vztahovat na veřejné orgány třetí země a na mezinárodní organizace, pokud jednají v rámci mezinárodních dohod týkajících se prosazování práva a justiční spolupráce s Unií nebo s jejími členskými státy, uzavřených na vnitrostátní nebo evropské úrovni. Tyto dohody byly uzavřeny dvoustranně mezi členskými státy a třetími zeměmi nebo mezi Evropskou unií, Europolem a dalšími agenturami EU a třetími zeměmi a mezinárodními organizacemi. (12)Toto nařízení by se mělo vztahovat také na instituce, úřady, orgány a agentury Unie, pokud jednají jako poskytovatel nebo uživatel systému UI. Systémy UI vyvinuté nebo používané výhradně pro vojenské účely by měly být z oblasti působnosti tohoto nařízení vyloučeny, pokud toto použití spadá do výlučné působnosti společné zahraniční a bezpečnostní politiky upravené v hlavě V Smlouvy o EU (SEU). Tímto nařízením by neměla být dotčena ustanovení týkající se odpovědnosti poskytovatelů zprostředkovatelských služeb stanovená ve směrnici Evropského parlamentu a Rady 2000/31/ES [ve znění aktu o digitálních službách]. (13)V zájmu zajištění jednotné a vysoké úrovně ochrany veřejných zájmů, pokud jde o zdraví, bezpečnost a základní práva, by měly být pro všechny vysoce rizikové systémy UI stanoveny společné normativní standardy. Tyto standardy by měly být v souladu s Listinou základních práv Evropské unie (dále jen „Listina“) a se závazky Unie v oblasti mezinárodního obchodu a měly by být nediskriminační. (14)Aby bylo možné zavést přiměřený a účinný soubor závazných pravidel pro systémy UI, měl by být dodržován jasně definovaný přístup založený na posouzení rizik. Tento přístup by měl přizpůsobit typ a obsah těchto pravidel intenzitě a rozsahu rizik, která mohou systémy UI vytvářet. Je proto nezbytné zakázat některé postupy v oblasti UI a stanovit požadavky na vysoce rizikové systémy UI a povinnosti příslušných provozovatelů, jakož i povinnosti transparentnosti pro určité systémy UI. (15)Na jedné straně přináší využívání umělé inteligence celou řadu výhod, avšak tuto technologii lze používat i nesprávně a může se stát zdrojem nových a výkonných nástrojů umožňujících manipulativní a vykořisťovatelské praktiky a praktiky v oblasti sociální kontroly. Tyto praktiky jsou mimořádně škodlivé a měly by být zakázány, protože jsou v rozporu s hodnotami Unie v oblasti úcty k lidské důstojnosti, svobody, rovnosti, demokracie a právního státu a se základními právy Unie, včetně práva na zákaz diskriminace, na ochranu údajů a soukromí a práva dítěte. (16)Mělo by být zakázáno uvádění na trh, uvádění do provozu nebo využívání určitých systémů UI určených k ovlivňování lidského chování, které by mohly způsobit fyzickou nebo psychickou újmu. Tyto systémy UI využívají součásti uplatňující podprahové techniky, které jednotlivci nejsou schopni vnímat, případně zneužívají zranitelnosti dětí a jiných osob v důsledku jejich věku nebo fyzické nebo mentální nezpůsobilosti. Činí tak s úmyslem podstatně ovlivnit chování určité osoby, a to takovým způsobem, který této nebo jiné osobě působí nebo by mohl způsobit újmu. Tento záměr nelze předpokládat, pokud je lidské chování ovlivněno v důsledku faktorů nesouvisejících se systémem UI, které jsou mimo kontrolu poskytovatele nebo uživatele. Uvedený zákaz by neměl bránit výzkumu těchto systémů UI pro legitimní účely, pokud se dotčený výzkum nezaměřuje na využívání systému UI ve vztazích člověk-stroj, které vystavuje fyzické osoby újmě, a pokud je prováděn v souladu s uznávanými etickými standardy vědeckého výzkumu. (17)Systémy UI provádějící hodnocení sociálního kreditu fyzických osob pro obecné účely ze strany veřejných orgánů nebo jejich jménem mohou vést k diskriminačním výsledkům a k vyloučení určitých skupin. Mohou porušovat právo na důstojnost a zákaz diskriminace a hodnoty rovnosti a spravedlnosti. Tyto systémy UI hodnotí nebo klasifikují důvěryhodnost fyzických osob na základě jejich sociálního chování v různých kontextech nebo známých či předvídaných osobních či osobnostních vlastností. Sociální kredit získaný na základě těchto systémů UI může vést ke znevýhodňujícímu nebo nepříznivému zacházení s fyzickými osobami nebo s celými skupinami těchto osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny, případně ke znevýhodňujícímu zacházení, které je nepřiměřené nebo neodůvodněné s ohledem na závažnost jejich sociálního chování. Tyto systémy UI by proto měly být zakázány. (18)Využívání systémů UI pro biometrickou identifikaci fyzických osob na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva je považováno za zvláště rušivý zásah do práv a svobod dotčených osob, neboť může ovlivnit soukromý život velké části populace, vyvolávat pocit neustálého sledování a nepřímo odrazovat od využívání svobody shromažďování a dalších základních práv. Bezprostřednost dopadu a omezené možnosti dalších kontrol nebo oprav v souvislosti s používáním těchto systémů fungujících „v reálném čase“ s sebou navíc nesou zvýšené riziko z hlediska práv a svobod osob, kterých se týkají činnosti v oblasti prosazování práva. (19)Používání těchto systémů pro účely prosazování práva by proto mělo být zakázáno s výjimkou tří taxativně vyjmenovaných a úzce definovaných situací, kdy je toto použití nezbytně nutné k dosažení významného veřejného zájmu, jehož význam převažuje nad uvedenými riziky. Tyto situace zahrnují hledání potenciálních obětí trestných činů, včetně pohřešovaných dětí; některé případy ohrožení života nebo fyzické bezpečnosti fyzických osob nebo hrozby teroristického útoku a odhalování, lokalizaci, identifikaci nebo stíhání pachatelů nebo osob podezřelých z trestných činů uvedených v rámcovém rozhodnutí Rady 2002/584/SVV, pokud lze tyto trestné činy v dotčeném členském státě potrestat trestem odnětí svobody nebo ochranným opatřením spojeným s odnětím osobní svobody s horní hranicí sazby v délce nejméně tři roky a jsou-li vymezeny právem tohoto členského státu. Tato hranice pro trest odnětí svobody nebo ochranné opatření spojené s odnětím osobní svobody v souladu s vnitrostátními právními předpisy přispívá k zajištění toho, že použití systémů biometrické identifikace na dálku „v reálném čase“ bude možno potenciálně odůvodnit jen dostatečnou závažností daného trestného činu. Je navíc pravděpodobné, že některé z 32 trestných činů uvedených v rámcovém rozhodnutí Rady 2002/584/SVV budou v praxi relevantnější než jiné v tom smyslu, že nezbytnost a přiměřenost využívání biometrické identifikace na dálku „v reálném čase“ bude pravděpodobně velmi různorodá jak z hlediska praktické snahy o odhalování, lokalizaci, identifikaci nebo stíhání pachatelů jednotlivých uvedených trestných činů nebo osob podezřelých z jejich spáchání, tak s ohledem na pravděpodobné rozdíly v závažnosti, pravděpodobnosti a rozsahu způsobené újmy nebo možných negativních důsledků. (20)Aby bylo zajištěno odpovědné a přiměřené používání těchto systémů, je rovněž důležité stanovit, že v každé z těchto tří taxativně vyjmenovaných a úzce definovaných situací je třeba zohlednit určité prvky, zejména pokud jde o povahu situace, která vedla k předložení žádosti, o důsledky užití těchto systémů pro práva a svobody všech dotčených osob a o záruky a podmínky zajištěné při tomto použití. Na využívání systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva by se navíc měla vztahovat vhodná časová a prostorová omezení, zejména s ohledem na důkazy nebo náznaky týkající se daných hrozeb, obětí nebo pachatele. Pro každý případ použití v každé ze tří výše uvedených situací by mělo být vhodné využití referenční databáze osob. (21)Každé použití systému biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva by mělo podléhat výslovnému a konkrétnímu povolení justičního orgánu nebo nezávislého správního orgánu členského státu. Toto povolení by mělo být v zásadě získáno před tímto použitím s výjimkou řádně odůvodněných naléhavých situací, tj. situací, kdy je potřeba použít dotyčné systémy tak naléhavá, že je účinně a objektivně nemožné získat povolení před zahájením tohoto použití. V těchto naléhavých situacích by použití mělo být omezeno na absolutně nezbytné minimum a mělo by podléhat příslušným zárukám a podmínkám, které stanoví vnitrostátní právo a specifikuje samotný donucovací orgán v kontextu každého jednotlivého případu naléhavého použití. Donucovací orgán by měl v těchto situacích rovněž usilovat o co nejvčasnější získání povolení a měl by uvést důvody, proč o něj nemohl požádat již dříve. (22)Dále je vhodné v rámci taxativně vymezeném tímto nařízením stanovit, že toto použití na území členského státu v souladu s tímto nařízením by mělo být možné pouze tehdy a do té míry, do níž se dotčený členský stát rozhodl výslovně stanovit možnost povolit toto použití ve své podrobné vnitrostátní úpravě. V důsledku toho se členské státy mohou podle tohoto nařízení i nadále dle vlastního uvážení rozhodnout, že tuto možnost vůbec nestanoví, případně že ji stanoví pouze ve vztahu k některým cílům, které mohou povolené použití určené v tomto nařízení odůvodnit. (23)Využívání systémů UI pro biometrickou identifikaci fyzických osob na dálku „v reálném“ čase na veřejně přístupných místech pro účely prosazování práva nutně zahrnuje i zpracování biometrických údajů. Pravidla tohoto nařízení, která toto použití až na určité výjimky zakazují a která jsou založena na článku 16 SFEU, by se měla použít jako lex specialis, pokud jde o pravidla zpracování biometrických údajů uvedená v článku 10 směrnice (EU) 2016/680, což by toto použití a zpracování biometrických údajů vyčerpávajícím způsobem regulovalo. Toto použití a zpracování by proto mělo být možné jen v případě, že bude slučitelné s rámcem stanoveným tímto nařízením, a mimo tento rámec by neměl existovat prostor pro to, aby příslušné orgány jednající za účelem prosazování práva používaly tyto systémy a zpracovávaly tyto údaje v souvislosti s nimi z důvodů uvedených v článku 10 směrnice (EU) 2016/680. V této souvislosti není cílem tohoto nařízení poskytnout právní základ zpracování osobních údajů podle článku 8 směrnice 2016/680. Na používání systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro jiné účely než prosazování práva, a to i příslušnými orgány, by se však neměl vztahovat zvláštní rámec týkající se tohoto použití pro účely prosazování práva, stanovený tímto nařízením. Toto použití pro jiné účely než pro účely prosazování práva by proto nemělo podléhat požadavku na povolení podle tohoto nařízení a použitelným podrobným pravidlům vnitrostátního práva, která ho případně mohou uvést v účinnost. (24)Jakékoli zpracování biometrických údajů a dalších osobních údajů související s používáním systémů UI pro účely biometrické identifikace jinak než v souvislosti s používáním systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva podle tohoto nařízení, včetně případů, kdy tyto systémy používají příslušné orgány na veřejně přístupných místech pro jiné účely než pro účely prosazování práva, by mělo i nadále splňovat všechny případné požadavky vyplývající z čl. 9 odst. 1 nařízení (EU) 2016/679, z čl. 10 odst. 1 nařízení (EU) 2018/1725 a z článku 10 směrnice (EU) 2016/680. (25)V souladu s článkem 6a Protokolu č. 21 o postavení Spojeného království a Irska s ohledem na prostor svobody, bezpečnosti a práva, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, není Irsko vázáno pravidly stanovenými v čl. 5 odst. 1 písm. d) a čl. 5 odst. 2 a 3 tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU, pokud není Irsko vázáno pravidly Unie upravujícími formy justiční spolupráce v trestních věcech nebo policejní spolupráce, v jejichž rámci musí být dodržována pravidla přijatá na základě článku 16 Smlouvy o fungování EU. (26)V souladu s články 2 a 2a Protokolu č. 22 o postavení Dánska, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, nejsou pro Dánsko závazná ani použitelná pravidla stanovená v čl. 5 odst. 1 písm. d) a v čl. 5 odst. 2 a 3 tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU. (27)Vysoce rizikové systémy UI by měly být uváděny na trh Unie nebo do provozu pouze tehdy, splňují-li určité závazné požadavky. Tyto požadavky by měly zajistit, aby vysoce rizikové systémy UI, které jsou dostupné v Unii nebo jejichž výstupy jsou v Unii jinak využívány, nepředstavovaly nepřijatelné riziko pro důležité veřejné zájmy Unie uznané a chráněné právem Unie. Systémy UI označené jako vysoce rizikové by měly být omezeny na systémy, které mají významný škodlivý dopad na zdraví, bezpečnost a základní práva osob v Unii, a toto omezení minimalizuje jakékoli případné omezení mezinárodního obchodu. (28)Systémy UI by mohly mít nepříznivé účinky na zdraví a bezpečnost osob, zejména pokud tyto systémy fungují jako součásti produktů. V souladu s cíli harmonizačních právních předpisů Unie, které mají usnadnit volný pohyb produktů na vnitřním trhu a zajistit, aby se na trh dostávaly pouze bezpečné a jinak vyhovující produkty, je důležitá náležitá prevence a zmírňování bezpečnostních rizik, která mohou případně vyplývat z produktu jako celku v důsledku jeho digitálních prvků, včetně systémů UI. Například stále autonomnější roboti, ať už v kontextu výroby, nebo osobní asistence a péče, by měli být schopni bezpečně fungovat a vykonávat své funkce ve složitých prostředích. Obdobně ve zdravotnictví, kde existuje obzvláště vysoké riziko v oblasti života a zdraví, by měly být stále sofistikovanější diagnostické systémy a systémy podporující lidská rozhodnutí spolehlivé a přesné. Míra nepříznivého dopadu systému UI na základní práva chráněná Listinou je obzvláště důležitá v případě, že je systém UI klasifikován jako vysoce rizikový. Tato práva zahrnují právo na lidskou důstojnost, respektování soukromého a rodinného života, ochranu osobních údajů, svobodu projevu a informací, svobodu shromažďování a sdružování a zákaz diskriminace, ochranu spotřebitele, práva pracovníků, práva osob s postižením, právo na účinnou právní ochranu a spravedlivý proces, právo na obhajobu a presumpci neviny a právo na řádnou správu. Kromě těchto práv je třeba zdůraznit zvláštní práva dětí zakotvená v článku 24 Listiny základních práv EU a v Úmluvě OSN o právech dítěte (ve vztahu k digitálním prostředí dále rozpracovaná v obecné připomínce č. 25 k Úmluvě o právech dítěte), které v obou případech vyžadují zohlednění zranitelnosti dětí a poskytnutí této ochrany a péče, která je nezbytná pro jejich blaho. Při posuzování závažnosti újmy, kterou může systém UI způsobit, a to i ve vztahu ke zdraví a bezpečnosti osob, by mělo být zohledněno také základní právo na vysokou úroveň ochrany životního prostředí zakotvené v Listině a provedené do politik Unie. (29)Pokud jde o vysoce rizikové systémy UI, které jsou bezpečnostními součástmi produktů nebo systémů, případně které jsou samy produkty nebo systémy spadajícími do působnosti nařízení Evropského parlamentu a Rady (ES) č. 300/2008, nařízení Evropského parlamentu a Rady (EU) č. 167/2013, nařízení Evropského parlamentu a Rady (EU) č. 168/2013, směrnice Evropského parlamentu a Rady 2014/90/EU, směrnice Evropského parlamentu a Rady (EU) 2016/797, nařízení Evropského parlamentu a Rady (EU) 2018/858, nařízení Evropského parlamentu a Rady (EU) 2018/1139 a nařízení Evropského parlamentu a Rady (EU) 2019/2144, je vhodné tyto akty pozměnit s cílem zajistit, aby Komise při přijímání jakýchkoli budoucích relevantních aktů v přenesené pravomoci nebo prováděcích aktů na základě výše uvedených aktů zohledňovala povinné požadavky na vysoce rizikové systémy UI stanovené v tomto nařízení na základě technických a regulačních specifik jednotlivých odvětví, aniž by zasahovala do stávajících mechanismů správy, posuzování shody a prosazování ani do orgánů zřízených v rámci uvedených aktů. (30)Pokud jde o systémy UI, které jsou bezpečnostními součástmi produktů nebo jsou produkty samy o sobě, a které spadají do oblasti působnosti některých harmonizačních právních předpisů Unie, je vhodné je podle tohoto nařízení klasifikovat jako vysoce rizikové, pokud u daného produktu provádí postup posuzování shody subjekt, který vykonává činnosti posuzování shody jakožto třetí strana podle příslušných harmonizačních právních předpisů Unie. Těmito produkty jsou zejména strojní zařízení, hračky, výtahy, zařízení a ochranné systémy určené k použití v prostředí s nebezpečím výbuchu, rádiová zařízení, tlaková zařízení, zařízení pro rekreační plavidla, lanové dráhy, spotřebiče plynných paliv, zdravotnické prostředky a diagnostické zdravotnické prostředky in vitro.

(31)Klasifikace systému UI jako vysoce rizikového podle tohoto nařízení by neměla nutně znamenat, že produkt, jehož je daný systém UI bezpečnostní součástí, případně tento samotný systém UI jako produkt, je považován za „vysoce rizikový“ podle kritérií stanovených v příslušných harmonizačních právních předpisech Unie, které se na tento produkt vztahují. To platí zejména pro nařízení Evropského parlamentu a Rady (EU) 2017/745 a nařízení Evropského parlamentu a Rady (EU) 2017/746, kde je pro produkty se středním a vysokým rizikem vyžadováno posuzování shody subjektem, který vykonává činnosti posuzování shody jakožto třetí strana. (32)Pokud jde o samostatné systémy UI, jimiž se rozumí vysoce rizikové systémy UI s výjimkou těch, které představují bezpečnostní součásti produktů nebo které jsou samy produkty, je vhodné je klasifikovat jako vysoce rizikové, pokud s ohledem na určený účel představují vysoké riziko újmy na zdraví a bezpečnosti nebo na základních právech osob s přihlédnutím jak k závažnosti možné újmy, tak k pravděpodobnosti, že nastane, a pokud jsou využívány v celé řadě oblastí uvedených v tomto nařízení, které jsou výslovně definovány předem. Identifikace těchto systémů je založena na stejné metodice a kritériích, jaké se předpokládají i u jakýchkoli budoucích změn seznamu vysoce rizikových systémů UI. (33)Technické nepřesnosti systémů UI určených pro biometrickou identifikaci fyzických osob na dálku mohou vést ke zkresleným výsledkům a mít diskriminační účinky. To je relevantní zejména v případě věku, etnického původu, pohlaví nebo zdravotních postižení. Proto by měly být systémy biometrické identifikace na dálku „v reálném čase“ i „zpětně“ klasifikovány jako vysoce rizikové. S ohledem na rizika, která oba typy systémů biometrické identifikace na dálku představují, by se na ně měly vztahovat zvláštní požadavky v oblasti schopnosti zaznamenávání dat a lidského dohledu. (34)Pokud jde o správu a provoz kritické infrastruktury, je vhodné klasifikovat jako vysoce rizikové takové systémy UI, které jsou určeny k použití jako bezpečnostní součásti při řízení a provozu silniční dopravy a při zásobování vodou, plynem, teplem a elektřinou, protože jejich porucha nebo chybné fungování může ohrozit život a zdraví osob ve velkém rozsahu a vést ke značnému narušení běžného provozování sociálních a hospodářských činností. (35)Za vysoce rizikové by měly být považovány systémy UI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob do školských institucí a institucí odborného vzdělávání, jejich přidělování do těchto institucí nebo pro hodnocení osob v testech jako součásti nebo jako předpokladu jejich vzdělávání, protože mohou určovat vzdělávací a profesní průběh života lidí a tak ovlivňovat jejich schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace. (36)Jako vysoce rizikové mohou být klasifikovány systémy UI používané při zaměstnávání, řízení pracovníků a při přístupu k samostatné výdělečné činnosti, zejména při náboru a výběru osob, při rozhodování o povýšení nebo propuštění a při přidělování úkolů, monitorování nebo hodnocení osob ve smluvních pracovněprávních vztazích, protože mohou významně ovlivnit budoucí kariérní vyhlídky a živobytí těchto osob. Příslušné smluvní pracovněprávní vztahy by měly zahrnovat zaměstnance a osoby poskytující služby prostřednictvím platforem, jak je uvedeno v pracovním programu Komise na rok 2021. Tyto osoby by v zásadě neměly být považovány za uživatele ve smyslu tohoto nařízení. Tyto systémy mohou v průběhu celého procesu náboru a při hodnocení, povyšování nebo udržování osob ve smluvních pracovněprávních vztazích fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace. Systémy UI používané k monitorování výkonnosti a chování těchto osob mohou ovlivnit rovněž jejich práva na ochranu údajů a soukromí. (37)Další oblastí, ve které si používání systémů UI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Jako vysoce rizikové systémy UI by měly být klasifikovány zejména systémy UI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy UI používané k tomuto účelu mohou vést k diskriminaci osob nebo skupin a fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, zdravotního postižení, věku a sexuální orientace, nebo vytvářet nové formy diskriminačních dopadů. Vzhledem k velmi omezenému rozsahu tohoto dopadu a dostupným alternativám na trhu je vhodné stanovit výjimku pro systémy UI užívané pro účely posouzení úvěruschopnosti a hodnocení rizika úvěrů, pokud je uvedou do provozu malí poskytovatelé pro svou vlastní potřebu. Fyzické osoby, které žádají o dávky sociálního zabezpečení a veřejné asistenční služby u orgánů veřejné správy, případně kterým jsou tyto dávky a služby poskytovány, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Využívání systémů UI k určování toho, zda by tyto orgány měly tyto výhody a služby zamítnout, omezit, zrušit nebo žádat jejich navrácení, může mít významný dopad na živobytí daných osob a může porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu. Tyto systémy by proto měly být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a využívání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší využívání vyhovujících a bezpečných systémů UI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy UI používané při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek. (38)Opatření donucovacích orgánů zahrnující určitá použití systémů UI se vyznačují značným stupněm nerovnováhy sil a mohou vést ke sledování fyzické osoby, jejímu zatčení nebo zbavení svobody, jakož i k dalším nepříznivým dopadům na základní práva zaručená Listinou. Zejména v případě, že systém UI nebyl trénován na vysoce kvalitních datech, nesplňuje odpovídající požadavky na přesnost nebo spolehlivost nebo není před uvedením na trh nebo jiným uvedením do provozu řádně navržen a otestován, může dojít k vyčleňování osob diskriminačním nebo jinak nesprávným nebo nespravedlivým způsobem. Kromě toho by mohl být omezen výkon důležitých základních procesních práv, jako je právo na účinnou právní ochranu a na spravedlivý proces, jakož i právo na obhajobu a presumpce neviny, zejména pokud tyto systémy UI nejsou dostatečně transparentní, vysvětlitelné a zdokumentované. Je proto vhodné označit za vysoce rizikové celou řadu systémů UI určených k použití v kontextu prosazování práva, kde je přesnost, spolehlivost a transparentnost obzvláště důležitá, s cílem zabránit nepříznivým dopadům, zachovat důvěru veřejnosti a zajistit odpovědnost a účinné opravné prostředky. S ohledem na povahu dotčených činností a na rizika s nimi spojená by tyto vysoce rizikové systémy UI měly zahrnovat zejména systémy UI určené k využívání donucovacími orgány k individuálnímu hodnocení rizik, polygrafy a podobné nástroje, případně systémy užívané k detekci emočního stavu fyzických osob, k odhalování tzv. deep fakes, k vyhodnocování spolehlivosti důkazů v trestním řízení, k predikci výskytu nebo opakování skutečné nebo potenciální trestné činnosti na základě profilování fyzických osob nebo k posuzování osobnostních a povahových rysů nebo předchozí trestné činnosti fyzických osob nebo skupin, k profilování v průběhu odhalování, vyšetřování nebo stíhání trestných činů, jakož i k analýze trestné činnosti ve vztahu k fyzickým osobám. Systémy UI výslovně určené k použití daňovými a celními orgány při správním řízení by neměly být považovány za vysoce rizikové systémy UI používané donucovacími orgány za účelem prevence, odhalování, vyšetřování a stíhání trestných činů. (39)Systémy UI využívané pro účely migrace, azylu a řízení ochrany hranic ovlivňují osoby, které jsou často v obzvláště zranitelném postavení a jsou závislé na výsledku činnosti příslušných orgánů veřejné moci. Přesnost, nediskriminační povaha a transparentnost systémů UI používaných v těchto kontextech jsou proto obzvláště důležité pro zajištění dodržování základních práv dotčených osob, zejména jejich práva na volný pohyb, na zákaz diskriminace, na ochranu soukromého života a osobních údajů, na mezinárodní ochranu a na řádnou správu. Je proto vhodné označit jako vysoce rizikové ty systémy UI, které jsou určeny k použití příslušnými orgány veřejné moci pověřenými úkoly v oblasti migrace, azylu a řízení ochrany hranic, jako jsou například polygrafy a podobné nástroje, případně nástroje určené k detekci emočního stavu fyzické osoby; k posuzování určitých rizik, která představují fyzické osoby vstupující na území členského státu nebo žádající o vízum nebo azyl; k ověření pravosti příslušných dokladů fyzických osob; jako pomoc příslušným orgánům veřejné správy při posuzování žádostí o azyl, vízum a povolení k pobytu a souvisejících stížností, pokud jde o cíl, jímž je zjištění způsobilosti fyzických osob žádajících o určitý status. Systémy UI v oblasti migrace, azylu a řízení ochrany hranic, na které se vztahuje toto nařízení, by měly splňovat příslušné procesní požadavky stanovené směrnicí Evropského parlamentu a Rady 2013/32/EU, nařízením Evropského parlamentu a Rady (ES) č. 810/2009 a dalšími příslušnými právními předpisy. (40)Určité systémy UI určené k výkonu spravedlnosti a demokratických procesů by měly být klasifikovány jako vysoce rizikové s ohledem na jejich potenciálně významný dopad na demokracii, právní stát a individuální svobody, jakož i na právo na účinnou právní ochranu a na spravedlivý proces. Jako vysoce rizikové je vhodné kvalifikovat systémy UI, jejichž cílem je poskytovat pomoc justičním orgánům při zkoumání a výkladu skutečností a práva a při uplatňování práva na konkrétní soubor skutečností, zejména z důvodu řešení rizik možného zkreslení, chyb a neprůhlednosti. Tato kvalifikace by se však neměla vztahovat na systémy UI určené pro čistě pomocné správní činnosti, které neovlivňují faktický výkon spravedlnosti v jednotlivých případech, jako je například anonymizace nebo pseudonymizace soudních rozhodnutí, dokumentů nebo údajů, komunikace mezi zaměstnanci, administrativní úkoly nebo přidělování zdrojů. (41)Skutečnost, že daný systém UI je podle tohoto nařízení klasifikován jako vysoce rizikový, by neměla být vykládána v tom smyslu, že používání tohoto systému musí být nezbytně zákonné podle jiných aktů práva Unie nebo podle vnitrostátních právních předpisů slučitelných s právem Unie, které se týkají například ochrany osobních údajů, používání polygrafů a podobných nástrojů nebo jiných systémů ke zjišťování emočního stavu fyzických osob. K jakémukoli takovému využívání by mělo i nadále docházet pouze v souladu s příslušnými požadavky vyplývajícími z Listiny a z příslušných aktů sekundárního práva Unie a vnitrostátního práva. Toto nařízení by nemělo být chápáno tak, že poskytuje právní základ pro zpracování osobních údajů, případně včetně zvláštních kategorií osobních údajů. (42)Ke zmírnění rizik, která vyplývají uživatelům a dotčeným osobám z vysoce rizikových systémů UI uváděných na trh Unie nebo jinak uváděných do provozu na tomto trhu, by měly být uplatňovány určité povinné požadavky s přihlédnutím k určenému účelu používání tohoto systému a v souladu se systémem řízení rizik, který stanoví poskytovatel. (43)Na vysoce rizikové systémy UI by se měly vztahovat požadavky týkající se kvality použitých souborů dat, technické dokumentace a uchovávání záznamů, transparentnosti a poskytování informací uživatelům, lidského dohledu a spolehlivosti, přesnosti a kybernetické bezpečnosti. Tyto požadavky jsou nezbytným předpokladem účinného zmírňování rizik pro zdraví, bezpečnost a základní práva v závislosti na určeném účelu tohoto systému; žádná další opatření méně omezující obchod nejsou rozumně dostupná, a tudíž nedochází k bezdůvodným omezením obchodu. (44)Pro výkonnost celé řady systémů UI má zásadní význam vysoká kvalita dat, zejména pokud jsou používány techniky zahrnující trénování modelů s cílem zajistit, aby vysoce rizikový systém UI fungoval dle předpokladu a bezpečně a aby se nestal zdrojem diskriminace, kterou právo Unie zakazuje. Soubory vysoce kvalitních tréninkových dat, dat pro ověřování platnosti a testovacích dat vyžadují zavedení vhodných postupů správy a řízení dat. Soubory tréninkových dat, dat pro ověřování platnosti a testovacích dat by měly být dostatečně relevantní, reprezentativní, bez chyb a úplné s ohledem na určený účel systému. Měly by rovněž vykazovat příslušné statistické vlastnosti, včetně údajů o osobách nebo skupinách osob, pro které má být daný vysoce rizikový systém UI používán. Soubory tréninkových dat, dat pro ověřování platnosti a testovacích dat by měly s ohledem na svůj určený účel zohledňovat zejména rysy, vlastnosti nebo prvky, které jsou specifické pro konkrétní zeměpisné, behaviorální nebo funkční prostředí nebo kontext, ve kterém má být systém UI používán. V zájmu ochrany práva jiných osob na zabránění diskriminaci, která by mohla vyplynout ze zkreslení v rámci systémů UI, by poskytovatelé měli mít možnost zpracovávat také zvláštní kategorie osobních údajů jako záležitost významného veřejného zájmu s cílem zajistit sledování, detekci a opravu tohoto zkreslení ve vztahu k vysoce rizikovým systémům UI. (45)Při vývoji vysoce rizikových systémů UI by měli mít některé subjekty, jako jsou poskytovatelé, oznámené subjekty a další příslušné subjekty, například centra pro digitální inovace, pokusná zkušební zařízení a výzkumní pracovníci, přístup k vysoce kvalitním datovým souborům ve svých příslušných oborech činnosti, které souvisejí s tímto nařízením. Zásadní význam pro zajištění důvěryhodného, odpovědného a nediskriminačního přístupu k vysoce kvalitním datům pro účely trénování, ověřování a testování systémů UI budou mít společné evropské datové prostory vytvořené Komisí, jakož i usnadnění sdílení údajů ve veřejném zájmu mezi podniky a s vládou. Například v oblasti zdraví umožní společný evropský prostor pro data z oblasti veřejného zdraví nediskriminační přístup k údajům o zdraví a trénování algoritmů umělé inteligence na těchto souborech dat, a to způsobem, který bude chránit soukromí, bude bezpečný, včasný, transparentní a důvěryhodný a bude u něj zajištěna vhodná institucionální správa. Poskytování vysoce kvalitních dat pro účely trénování, ověřování a testování systémů UI mohou podporovat rovněž odpovídající příslušné orgány, včetně odvětvových, které poskytují nebo podporují přístup k datům. (46)Pro ověření souladu s požadavky tohoto nařízení má zásadní význam, aby byly k dispozici informace, jak byly vysoce rizikové systémy UI vytvořeny a jak fungují po celou dobu své životnosti. To vyžaduje vedení záznamů a dostupnost technické dokumentace obsahující informace nezbytné k posouzení souladu daného systému UI s příslušnými požadavky. Tyto informace by měly zahrnovat obecné vlastnosti, schopnosti a omezení tohoto systému, použité algoritmy, data, postupy při trénování, testování a ověřování, jakož i dokumentaci příslušného systému řízení rizik. Technická dokumentace by měla být průběžně aktualizována. (47)Aby se vyřešila neprůhlednost, kvůli níž mohou být určité systémy UI pro fyzické osoby nepochopitelné nebo příliš složité, je u vysoce rizikových systémů UI zapotřebí určitá míra transparentnosti. Uživatelé by měli být schopni interpretovat výstup systému a používat jej vhodným způsobem. K vysoce rizikovým systémům UI by proto měla být připojena příslušná dokumentace a návod k použití a měly by obsahovat stručné a jasné informace, včetně informací týkajících se potenciálního rizika pro základní práva a rizika diskriminace. (48)Vysoce rizikové systémy UI by měly být navrženy a vyvinuty tak, aby na jejich fungování mohly dohlížet fyzické osoby. Za tímto účelem by měl poskytovatel systému před uvedením systému na trh nebo do provozu stanovit vhodná opatření lidského dohledu. Tato opatření by případně měla zajistit zejména to, aby byla do systému zabudována provozní omezení, která samotný systém není schopen překonat a která reagují na lidskou obsluhu, a aby fyzické osoby, které byly pověřeny lidským dohledem, měly odbornou způsobilost, odbornou přípravu a pravomoc nezbytné k výkonu této funkce. (49)Vysoce rizikové systémy UI by měly po celou dobu svého životního cyklu fungovat konzistentně a splňovat příslušnou úroveň přesnosti, spolehlivosti a kybernetické bezpečnosti v souladu s obecně uznávaným nejnovějším vývojem. Uživatelé by měli být informováni o úrovni a měřítkách přesnosti. (50)U vysoce rizikových systémů UI je klíčovým požadavkem technická spolehlivost. Tyto systémy by měly být odolné vůči rizikům souvisejícím s omezeními systému (například chyby, poruchy, nekonzistentnost, neočekávané situace), jakož i vůči svévolným zásahům, které mohou ohrozit bezpečnost systému UI a vést ke škodlivému nebo jinak nežádoucímu chování. Neschopnost ochrany před těmito riziky by mohla vést k dopadům na bezpečnost nebo negativně ovlivnit základní práva, například v důsledku chybných rozhodnutí nebo nesprávných či zkreslených výstupů systému UI.

(51)Zásadní úlohu při zajišťování odolnosti systémů UI proti pokusům o změnu jejich použití, chování nebo výkonnosti nebo o ohrožení jejich bezpečnostních vlastností třetími stranami, které se škodlivým záměrem zneužívají zranitelných míst tohoto systému, hraje kybernetická bezpečnost. Kybernetické útoky na systémy UI mohou využívat aktiva specifická pro UI, jako jsou například soubory tréninkových dat (například tzv. data poisoning) nebo trénované modely (například nepřátelské útoky), nebo zneužívat slabých míst digitálních aktiv daného systému UI nebo příslušné infrastruktury IKT. Pro zajištění úrovně kybernetické bezpečnosti odpovídající těmto rizikům by proto poskytovatelé vysoce rizikových systémů UI měli přijmout vhodná opatření, případně současně zohlednit i příslušnou infrastrukturu IKT. (52)V rámci harmonizačních právních předpisů Unie by měla být pravidla použitelná pro uvádění na trh, uvádění do provozu a používání vysoce rizikových systémů UI stanovena v souladu s nařízením Evropského parlam