Tyto technologie mohou přinést mnoho výhod zlepšením bezpečnosti výrobků, čímž sníží jejich náchylnost k určitým rizikům. Například propojená a automatizovaná vozidla by mohla zvýšit bezpečnost silničního provozu, neboť většina dopravních nehod je v současnosti způsobena lidskými chybami . Systémy internetu věcí jsou navíc koncipovány tak, aby získávaly a zpracovávaly obrovské množství dat z různých zdrojů. Tato zvýšená úroveň informací může být využita tak, aby se výrobky mohly samy přizpůsobit, a staly se tak bezpečnějšími. Nové technologie mohou přispět k efektivnějšímu stahování výrobků z oběhu, neboť by výrobky mohly uživatele samy upozornit na to, jak se vyhnout bezpečnostnímu problému . Pokud se při používání propojeného výrobku vyskytne bezpečnostní riziko, mohou výrobci komunikovat přímo s uživateli, jednak aby je varovali před riziky, jednak aby případně problém přímo vyřešili, například bezpečnostní aktualizací. Například během stažení jednoho ze svých zařízení v roce 2017 provedl výrobce chytrého telefonu aktualizaci softwaru, která snížila kapacitu baterie těchto stažených telefonů na nulu , aby uživatelé tato nebezpečná zařízení přestali používat.

Obecným účelem právních rámců pro bezpečnost a odpovědnost je zajistit, aby všechny výrobky a služby, včetně těch, které integrují vznikající digitální technologie, fungovaly bezpečně, spolehlivě a předvídatelně a aby byla účinně odstraňována vzniklá škoda. Vysoká úroveň bezpečnosti výrobků a systémů, které integrují nové digitální technologie, spolu s robustními mechanismy pro napravení vzniklé škody (tj. rámcem odpovědnosti) přispívají k lepší ochraně spotřebitelů. Rovněž vytvářejí důvěru v tyto technologie, což je předpokladem jejich přijetí ze strany průmyslu a uživatelů. To zase posílí konkurenceschopnost našeho průmyslu a přispěje k dosažení unijních cílů. Jasný rámec pro bezpečnost a odpovědnost je obzvláště důležitý při nástupu nových technologií, jako jsou umělá inteligence, internet věcí a robotika, a to jak pro zajištění ochrany spotřebitelů, tak pro právní jistotu podniků.

Kromě posouzení rizik provedeného před uvedením výrobku na trh by mohl být zaveden nový postup posuzování rizik pro výrobky, u kterých během jejich životnosti dochází k významným změnám, např. ke změně funkce výrobku, kterou výrobce v původním posouzení rizik nepředpokládal. Toto posouzení by mělo být zaměřeno na dopady na bezpečnost způsobené autonomním chováním výrobku po celou dobu jeho životnosti. Posouzení rizik by měl provádět příslušný hospodářský subjekt. Kromě toho by příslušné právní předpisy Unie mohly zahrnovat posílené požadavky na výrobce týkající se pokynů a varování pro uživatele.

Další příklad uvádí oznámení předložené Německem ohledně osobního automobilu. Rádio v tomto vozidle může obsahovat určité bezpečnostní nedostatky v bezpečnosti softwaru, které umožňují neoprávněným třetím stranám přístup do propojených řídicích systémů vozidla. Pokud by tyto nedostatky v zabezpečení softwaru byly zneužity třetí stranou k nekalým účelům, mohlo by dojít k dopravní nehodě.

Příkladem je oznámení systému rychlého varování EU ze strany Islandu týkající se chytrých hodinek pro děti. Tento výrobek by dítěti, které ho nosí, nezpůsobil přímou škodu, ale v důsledku absence minimální úrovně zabezpečení může být snadno použit jako nástroj pro získání přístupu k dítěti. Vzhledem k tomu, že jedním z cílů výrobku je chránit bezpečnost dětí tím, že umožňuje sledovat jejich lokaci, spotřebitel by očekával, že nebude obsahovat bezpečností rizika, která by mohla ohrozit bezpečnost dítěte tím, že umožní dítě sledovat nebo kontaktovat komukoli.

Velká část rámce Unie pro bezpečnost výrobků byla vypracována před vznikem digitálních technologií, jako jsou umělá inteligence, internet věcí nebo robotika. Neobsahuje proto vždy ustanovení, která by nové výzvy a rizika těchto vznikajících technologií výslovně řešila. Avšak i když je stávající rámec pro bezpečnost výrobků technologicky neutrální, neznamená to, že by se na výrobky obsahující tyto technologie nevztahoval. Navíc následné legislativní akty, které jsou součástí tohoto rámce, například v oblasti zdravotnických prostředků nebo automobilů, se již výslovně zabývají některými aspekty vznikajících digitálních technologií, jako jsou např. automatizovaná rozhodnutí, software jako samostatný výrobek a konektivita.

Složitost systémů se rovněž konkrétněji řeší odvětvovými právními předpisy v oblasti bezpečnosti, jako je nařízení o zdravotnických prostředcích a do určité míry v právních předpisech o obecné bezpečnosti výrobků. Například výrobce propojeného zařízení, které má být součástí ekosystému chytré domácnosti, by měl mít například rozumně předpokládat, že jeho výrobky budou mít dopad na bezpečnost jiných výrobků.

Pokud v souvislosti s tímto výrobce předpokládá, že jeho zařízení bude propojeno s jinými prostředky, se kterými bude interagovat, mělo by to být zohledněno při posuzování rizik. Použití nebo nesprávné použití se určuje například na základě zkušeností s dřívějším použitím téhož druhu výrobku, z vyšetřování nehod nebo lidského chování.

Další zásadní vlastností některých výrobků a systémů založených na umělé inteligenci, která může vyplývat z jejich schopnosti zlepšovat svou výkonnost získáváním zkušeností, je neprůhlednost. U výrobků a systémů založených na umělé inteligenci lze v závislosti na metodickém přístupu charakterizovat různé stupně neprůhlednosti. To může vést k tomu, že proces rozhodování bude obtížné sledovat („efekt černé skříňky“). Člověk nemusí nutně chápat každý jednotlivý krok rozhodovacího procesu, avšak s rostoucí složitostí algoritmů umělé inteligence a jejich nasazením v kritických oblastech, je zásadně důležité, aby lidé měli možnost chápat, jakým způsobem systém dospěl ke svým algoritmickým rozhodnutím. Toto by bylo obzvláště důležité pro mechanismus následného vymáhání, neboť umožní donucovacím orgánům vysledovat odpovědnost za chování a volby systémů umělé inteligence. To uznává i sdělení Komise o budování důvěry v umělou inteligenci zaměřenou na člověka.

Z hlediska působnosti příslušných právních předpisů EU by mohla být zvážena výslovná povinnost výrobců humanoidních robotů s umělou inteligencí a některých dalších výrobků explicitně zohlednit nehmotnou újmu, kterou by jejich výrobky mohly způsobit uživatelům, obzvláště pak zranitelným uživatelům, jako jsou například starší osoby v pečovatelském prostředí.

Například autonomie by neměla způsobovat nadměrný stres a nepohodlí po delší dobu a neměla by vést k poškození duševního zdraví. V tomto ohledu se má za to, že faktory, které pozitivně ovlivňují pocit bezpečí u starších osob, jsou: pocit bezpečného vztahu se zdravotnickým personálem poskytujícím péči, kontrola nad každodenní rutinou a informovanost ohledně každodenní rutiny. Aby se předešlo rizikům pro duševní zdraví, měli by výrobci robotů pracujících se staršími lidmi tyto faktory vzít v úvahu.

Budoucí „chování“ aplikací umělé inteligence by mohlo pro uživatele představovat riziko pro duševní zdraví vyplývající například z jejich spolupráce s humanoidními roboty a systémy umělé inteligence ať už doma, nebo v pracovním prostředí. V tomto ohledu je dnes bezpečnost obecně chápána ve smyslu vnímané hrozby tělesné újmy pro uživatele, kterou by mohla vznikající digitální technologie způsobit. Zároveň jsou v právním rámci Unie bezpečné výrobky definovány jako výrobky, které nepředstavují žádné riziko, nebo jen minimální riziko pro bezpečnost a zdraví osob. Obecně se má za to, že definice zdraví zahrnuje jak tělesnou, tak duševní pohodu. Rizika spojená s duševním zdravím by však měla být v legislativním rámci výslovně zahrnuta do pojmu „bezpečnost výrobků“.

Schopnost samostatného učení u výrobků a systémů umělé inteligence může stroji umožnit přijímání rozhodnutí, která se odchylují od toho, co výrobci původně zamýšleli, a v důsledku toho též od očekávání jejich uživatelů. To vyvolává otázky o lidské kontrole, která by měla umožnit volbu, zda a jak za účelem plnění cílů stanovených člověkem přenechat rozhodnutí produktům a systémům umělé inteligence. Stávající právní předpisy Unie v oblasti bezpečnosti výrobků výslovně neřeší lidský dohled v souvislosti s produkty a systémy umělé inteligence založenými na samostatném učení.

I když se odpovědnost výrobce za bezpečnost konečného výrobku ukázala jako dostatečná pro současné složité hodnotové řetězce, právní jistotu i pro případné složitější hodnotové řetězce by mohla poskytnout výslovná ustanovení, která by konkrétně požadovala spolupráci mezi hospodářskými subjekty v dodavatelském řetězci a uživateli. Odpovědnost by tak nesli všichni aktéři v hodnotovém řetězci, kteří mají dopad na bezpečnost výrobků (např. výrobci softwaru) a uživatelé (např. v případě, že výrobek upraví), a dalším aktérům v řetězci by poskytovali nezbytné informace a opatření.

V právních předpisech Unie týkajících se bezpečnosti výrobků by aktualizace softwaru mohly být srovnatelné s údržbou z bezpečnostních důvodů za předpokladu, že podstatně nezmění výrobek, který je již uveden na trh, a nezavedou nová rizika, která nebyla uvedena v počátečním posouzení rizik. Pokud však aktualizace softwaru podstatně mění výrobek, do kterého byla stažena, celý výrobek by mohl být považován za nový výrobek a musel by být znovu posouzen soulad s příslušnými právními předpisy týkajícími se bezpečnosti výrobku v době provedení změny.

Řádné pojištění může zajištěním hladkého odškodnění oběti zmírnit negativní důsledky nehod. Jasná pravidla odpovědnosti pomáhají pojišťovnám vypočítat rizika a požadovat náhradu od strany, která je v konečném důsledku za škodu odpovědná. Například v případě nehody, která je způsobena vadou, může pojistitel po odškodnění oběti požadovat náhradu od výrobce.

Vlastnosti vznikajících digitálních technologií, jako jsou umělá inteligence, internet věcí a robotika, však představují komplikace pro některé aspekty unijních a vnitrostátních rámců odpovědnosti a mohly by snížit jejich účinnost. Některé z těchto vlastností by mohly vést k obtížím při hledání lidského zavinění škody, na jehož základě by bylo možné podle vnitrostátních pravidel vznést nárok na odškodnění založený na zavinění. To znamená, že by prokazování nároku na náhradu škody založeného na vnitrostátních přestupkových předpisech mohlo být obtížné nebo příliš nákladné, což by mohlo vést k tomu, že by oběti nebyly náležitě odškodněny. Je důležité, aby oběti nehod způsobených výrobky a službami využívajícími vznikající digitální technologie, jako je umělá inteligence, neměly v porovnání s jinými podobnými výrobky a službami nižší úroveň ochrany, která vede k náhradě škod podle vnitrostátních přestupkových předpisů. To by mohlo snížit přijetí těchto vznikajících technologií ze strany společnosti a vést k váhání, zda je využívat.

Bude třeba posoudit, zda by komplikace, které nové technologie představují pro stávající rámce, mohly rovněž způsobit právní nejistotu, pokud jde o uplatňování stávajících právních předpisů (např. jak by se pojem „zavinění“ vztahoval na škody způsobené umělou inteligencí). Ty by totiž mohly odrazovat investice a zvyšovat náklady na informace a pojištění pro výrobce a další podniky v dodavatelském řetězci, zejména pak pro evropské malé a střední podniky. Navíc pokud by nakonec členské státy řešily tyto komplikace ve vnitrostátních rámcích odpovědnosti, mohlo by to vést k další fragmentaci, čímž by se zvýšily náklady na zavádění inovativních řešení v oblasti umělé inteligence a snížil přeshraniční obchod na jednotném trhu. Je důležité, aby společnosti znaly svá rizika spojená s odpovědností v celém hodnotovém řetězci a mohly je snižovat nebo jim zabránit a účinně se proti těmto rizikům pojistit.

Tato kapitola vysvětluje, jaké výzvy nové technologie představují pro stávající rámce a jakým způsobem lze tyto výzvy řešit. Hlubší úvahu si dále zasluhují zvláštní rysy některých odvětví, například zdravotní péče.

Složitost výrobků, služeb a hodnotového řetězce: Technologie a průmysl se v posledních desetiletích výrazně rozvíjejí. Zejména dělicí čára mezi výrobky a službami není vždy tak jednoznačná, jak bývala dřív. Provázanost mezi výrobky a poskytováním služeb je čím dál hlubší. Ačkoli složité výrobky a hodnotové řetězce nejsou pro evropský průmysl a jeho regulační model ničím novým, co se týče odpovědnosti za výrobky, zasluhují si software a umělá inteligence zvláštní pozornost. Software má zásadní význam pro fungování mnoha výrobků a může mít vliv na jejich bezpečnost. Je integrován do výrobků, ale může být rovněž dodáván odděleně, aby bylo umožněno použití výrobku tak, jak je zamýšleno. Použitelnost počítačů a chytrých telefonů bez softwaru není obzvlášť vysoká. To znamená, že software může způsobit vadu konkrétního výrobku a vést k hmotným škodám (viz rámeček o softwaru v části týkající se bezpečnosti). To by případně mohlo vést k odpovědnosti výrobce výrobku podle směrnice o odpovědnosti za vadné výrobky.

Vzhledem k tomu, že existuje mnoho druhů software, klasifikace softwaru jako služby nebo jako výrobku nemusí být vždy snadná. I pokud by se software, který ovládá funkce hmotného výrobku, dal považovat za konstrukční část nebo součást tohoto výrobku, klasifikace některých forem samostatného softwaru by mohla být obtížnější.

Ačkoli definice výrobku podle směrnice o odpovědnosti za výrobky je široká, její rozsah by mohl být dále objasněn, aby lépe odrážel složitost vznikajících technologií a aby vždy zajistil dostupnost náhrady škod způsobených výrobky, které jsou vadné po stránce softwaru nebo jiných digitálních prvků. To by hospodářským subjektům, jako jsou vývojáři softwaru, umožnilo lépe posoudit, zda by mohli být podle směrnice o odpovědnosti za výrobky považováni za výrobce.

Aplikace umělé inteligence jsou často integrovány do složitých prostředí internetu věcí, kde dochází k interakci mnoha různých propojených zařízení a služeb. Kombinace různých digitálních složek ve složitém ekosystému a množství zúčastněných aktérů může vést k tomu, že je obtížné posoudit, kde leží příčina potenciální škody a kdo je za ni odpovědný. Vzhledem ke složitosti těchto technologií může být pro oběti velmi obtížné určit odpovědnou osobu a prokázat všechny nezbytné podmínky pro úspěšné uplatnění nároku v souladu s požadavky vnitrostátního práva. Náklady na tyto odborné znalosti mohou být ekonomicky neúnosné a mohou odrazovat oběti od uplatňování nároku na odškodnění.

Kromě toho budou výrobky a služby založené na umělé inteligenci interagovat s tradičními technologiemi, což dále zvýší úroveň složitosti v oblasti odpovědnosti. Například autonomní vozidla budou po určitou dobu sdílet silnici s těmi tradičními. V některých odvětvích služeb (např. řízení dopravy a zdravotní péče), kde budou částečně automatizované systémy umělé inteligence podporovat lidské rozhodování, bude existovat podobná složitost.

Podle zprávy sestavy pro nové technologie v rámci skupiny odborníků pro odpovědnost a nové technologie lze zvážit úpravy vnitrostátních právních předpisů za účelem usnadnění důkazního břemene pro oběti škod vzniklých v souvislosti s umělou inteligencí. Například důkazní břemeno by mohlo být spojeno s vyhověním (příslušným provozovatelem) požadavkům na kybernetickou bezpečnost nebo jiným povinnostem v oblasti bezpečnosti stanovenými zákonem: pokud těmto pravidlům není vyhověno, bylo by možné změnit důkazní břemeno, pokud jde o zavinění a příčinnou souvislost.

Komise sbírá názory na to, zda a do jaké míry může být zapotřebí zmírnit důsledky složitosti tím, že by se v případě škod způsobených provozem aplikací s umělou inteligencí prostřednictvím vhodné iniciativy EU zmírnilo nebo obrátilo důkazní břemeno vyžadované vnitrostátními předpisy o odpovědnosti. Pokud jde o právní předpisy Unie, podle směrnice o odpovědnosti za vadné výrobky by byl výrobek, který nesplňuje závazná bezpečnostní pravidla, považován za vadný, a to bez ohledu na zavinění výrobce. Rovněž však může být přínosné zvážit způsoby, jak usnadnit důkazní břemeno pro oběti podle uvedené směrnice: směrnice se opírá o vnitrostátní pravidla týkající se důkazů a zjištění příčinné souvislosti.

Propojenost a otevřenost: V současné době není zcela jasné, jaká mají být bezpečnostní očekávání ohledně škod vyplývajících z narušení kybernetické bezpečnosti výrobku a zda by tyto škody byly podle směrnice o odpovědnosti za vadné výrobky odpovídajícím způsobem nahrazeny.

Nedostatky v kybernetické bezpečnosti mohou existovat od počátečního uvedení výrobku do oběhu, ale mohou se objevit i později, dlouho poté, co byl výrobek uveden do oběhu.

V rámci odpovědnosti vyplývající ze zavinění umožní stanovení jasných povinností v oblasti kybernetické bezpečnosti provozovatelům určit, co musí udělat, aby se vyhnuli následkům odpovědnosti.

Podle směrnice o odpovědnosti za výrobky by se mohla otázka, zda by výrobce mohl předvídat některé změny s ohledem na rozumně předvídatelné použití výrobku, dostat do popředí. Je například možné, že dojde ke zvýšenému používání strategie „odvolávání se na vadu, která nastala později“, podle níž výrobce není odpovědný v případě, kdy vada neexistovala v okamžiku uvedení výrobku do oběhu, nebo strategie „odvolávání se vývojové riziko“ (totiž že stav vědeckých a technických znalostí v době, kdy byl výrobek uveden na trh, neumožnil zjistit jeho vadu). Odpovědnost by navíc mohla být snížena, pokud poškozená strana neprovádí příslušné bezpečnostní aktualizace. To by mohlo být potenciálně považováno za spoluzavinění ze strany poškozené osoby, a snížit tak odpovědnost výrobce. S tím, jak se se pojem předpokládaného rozumného užívání a otázky spoluzavinění z nedbalosti, například nestáhnutím bezpečnostní aktualizace, zřejmě budou objevovat častěji, může být pro poškozené osoby obtížnější získat náhradu škody způsobené vadou výrobku.

Autonomie a neprůhlednost: Pokud jsou aplikace umělé inteligence schopny jednat samostatně, plní úkoly, aniž by byl každý krok předem definován, s nižší mírou lidské kontroly či dohledu, či zcela bez kontroly a dohledu. Algoritmy založené na strojovém učení může být obtížné, ne-li nemožné, pochopit (tzv. efekt černé skříňky).

Kromě složitosti, o níž se pojednává výše, by se v důsledku tohoto efektu černé skříňky u některých umělých inteligencí mohlo dosažení náhrady škody způsobené autonomními aplikacemi s umělou inteligencí zkomplikovat. Potřeba porozumět algoritmu a datům, která umělá inteligence používá, vyžaduje analytické kapacity a technické odborné znalosti, které by pro oběti mohly být příliš nákladné. Přístup k algoritmu a údajům by navíc mohl být bez spolupráce potenciálně odpovědné strany nemožný. V praxi by tak pro oběti mohlo být uplatnění nároku na náhradu škody nemožné. Kromě toho by nebylo jasné, jak prokázat zavinění umělé inteligence jednající samostatně nebo co považovat za pochybení osoby, která se na umělou inteligenci spoléhá.

Vnitrostátní právní předpisy již vypracovaly řadu řešení s cílem snížit důkazní břemeno pro oběti v podobných situacích.

Hlavní zásadou v Unii ohledně bezpečnosti výrobků a odpovědnosti za výrobky je i nadále to, že je povinností výrobce, aby zajistil, že všechny výrobky uvedené na trh budou bezpečné během celého svého životního cyklu a rovněž při svém používání, které lze rozumně očekávat. To znamená, že výrobce by musel zajistit, aby výrobek používající umělou inteligenci respektoval určité bezpečnostní parametry. Vlastnosti umělé inteligence nevylučují možnost očekávat od výrobků, že budou bezpečné, ať se jedná o automatické sekačky na trávu nebo o chirurgické roboty.