KOMISJA EUROPEJSKA Bruksela, dnia 19.2.2020 COM(2020) 64 final SPRAWOZDANIE KOMISJI DLA PARLAMENTU EUROPEJSKIEGO, RADY I EUROPEJSKIEGO KOMITETU EKONOMICZNO-SPOŁECZNEGO Sprawozdanie na temat wpływu sztucznej inteligencji, internetu rzeczy i robotyki na bezpieczeństwo i odpowiedzialność



Sprawozdanie na temat wpływu sztucznej inteligencji, internetu rzeczy i robotyki na bezpieczeństwo i odpowiedzialność 1.Wprowadzenie Sztuczna inteligencja (AI), internet rzeczy (IoT) i robotyka stworzą nowe możliwości i przyniosą korzyści naszemu społeczeństwu. Komisja uznaje znaczenie i potencjał tych technologii oraz potrzebę znacznych inwestycji w tych dziedzinach . Zależy jej na tym, aby uczynić z Europy światowego lidera w dziedzinie AI, IoT i robotyki. Do osiągnięcia tego celu potrzebne są jasne i przewidywalne ramy prawne pozwalające sprostać wyzwaniom technologicznym. 1.1.Istniejące ramy bezpieczeństwa i odpowiedzialności Ogólnym celem ram prawnych w zakresie bezpieczeństwa i odpowiedzialności jest zapewnienie, aby wszystkie produkty i usługi, w tym te łączące w sobie pojawiające się technologie cyfrowe, działały w sposób bezpieczny, niezawodny i spójny, a powstałe szkody były skutecznie naprawiane. Wysoki poziom bezpieczeństwa produktów i systemów łączących w sobie nowe technologie cyfrowe oraz solidne mechanizmy naprawy występujących szkód (tj. ramy odpowiedzialności) sprawiają, że konsumenci są lepiej chronieni. Przyczyniają się one również do budowania zaufania do tych technologii, co jest warunkiem wstępnym korzystania z nich przez przemysł i użytkowników. To z kolei wpłynie na zwiększenie konkurencyjności naszego przemysłu i przyczyni się do realizacji celów Unii. Jasne ramy bezpieczeństwa i odpowiedzialności są szczególnie ważne w kontekście pojawiania się nowych technologii, takich jak AI, IoT i robotyka, dlatego że zapewnią ochronę konsumentów i pewność prawa dla przedsiębiorstw. Unia posiada solidne i wiarygodne ramy regulacyjne w zakresie bezpieczeństwa i odpowiedzialności za produkt oraz solidny zestaw norm bezpieczeństwa. Uzupełnieniem tych ram regulacyjnych i norm są krajowe i niezharmonizowane przepisy w zakresie odpowiedzialności. Wszystkie one zapewniają dobrostan naszych obywateli w ramach jednolitego rynku i zachęcają do innowacji i rozwoju technologicznego. AI, IoT i robotyka zmieniają jednak właściwości wielu produktów i usług. W komunikacie w sprawie sztucznej inteligencji dla Europy , przyjętym w dniu 25 kwietnia 2018 r., Komisja zapowiedziała, że przedstawi sprawozdanie, w którym oceni wpływ pojawiających się technologii cyfrowych na istniejące ramy bezpieczeństwa i odpowiedzialności. Celem niniejszego sprawozdania jest ustalenie i analiza szerszego wpływu ram odpowiedzialności i bezpieczeństwa w odniesieniu do AI, IoT i robotyki oraz potencjalnych luk w tych ramach. Wytyczne przedstawione w niniejszym sprawozdaniu towarzyszące białej księdze w sprawie sztucznej inteligencji są przedmiotem dyskusji i stanowią część szerszych konsultacji z zainteresowanymi stronami. Sekcja dotycząca bezpieczeństwa opiera się na ocenie dyrektywy w sprawie maszyn oraz na współpracy z odpowiednimi grupami ekspertów. Sekcja dotycząca odpowiedzialności opiera się na ocenie dyrektywy w sprawie odpowiedzialności za produkt, wkładzie odpowiednich grup ekspertów i kontaktach z zainteresowanymi stronami. Celem niniejszego sprawozdania nie jest przedstawienie dogłębnego przeglądu istniejących przepisów dotyczących bezpieczeństwa i odpowiedzialności. Skupia się ono na kluczowych kwestiach, które dotychczas określono. 1.2.Cechy AI, IoT i robotyki AI, IoT i robotyka mają wiele cech wspólnych. Mogą one łączyć w sobie łączność z internetem, autonomię i zależność od danych, aby wykonywać zadania przy niewielkim poziomie kontroli lub nadzoru przez człowieka lub bez tego typu kontroli i nadzoru. Systemy wyposażone w AI posiadają również zdolność poprawy swoich osiągnięć, gdyż uczą się na podstawie zdobytego doświadczenia. Ich złożoność widać zarówno na przykładzie różnorodności podmiotów gospodarczych uczestniczących w łańcuchu dostaw, jak i wielorakości komponentów, części, oprogramowania, systemów lub usług tworzących razem nowe ekosystemy technologiczne. Do tego dochodzi ich otwartość na aktualizację i modernizację po wprowadzeniu do obrotu. Ogromne ilości wykorzystywanych danych, poleganie na algorytmach i nieprzejrzystość procesów podejmowania decyzji w zakresie AI utrudniają przewidywalność zachowania produktu opartego na AI i zrozumienie ewentualnych przyczyn szkód. Wreszcie łączność z internetem i otwartość mogą również być powodem narażenia produktów opartych na AI i IoT na cyberzagrożenia. 1.3.Możliwości stwarzane przez AI, IoT i robotykę Zwiększenie zaufania użytkowników do pojawiających się technologii i ich akceptacji społecznej, udoskonalanie produktów, procesów i modeli biznesowych oraz pomaganie europejskim producentom w zwiększeniu wydajności to tylko niektóre z możliwości, jakie stwarza AI, IoT i robotyka. Poza wzrostem produktywności i wydajności AI niesie także obietnicę umożliwienia ludziom rozwoju inteligencji, jaka do tej pory nie istniała, co utoruje drogę dla nowych odkryć i pomoże rozwiązać niektóre z największych współczesnych wyzwań: od leczenia chorób przewlekłych, przewidywania wystąpienia choroby lub zmniejszenia liczby ofiar śmiertelnych w wypadkach drogowych po przeciwdziałanie zmianie klimatu lub przewidywanie zagrożeń dla cyberbezpieczeństwa. Technologie te mogą przynieść wiele korzyści, ponieważ poprawią bezpieczeństwo produktów, sprawiając, że będą one mniej podatne na pewne zagrożenia. Na przykład podłączone do internetu i zautomatyzowane pojazdy mogłyby poprawić bezpieczeństwo ruchu drogowego, ponieważ większość wypadków drogowych spowodowanych jest obecnie błędami ludzkimi . Ponadto systemy IoT są zaprojektowane w taki sposób, aby odbierać i przetwarzać ogromne ilości danych z różnych źródeł. Zwiększony poziom informacji może służyć temu, aby produkty mogły samodzielnie dostosowywać się i w związku z tym stawać się bezpieczniejsze. Nowe technologie mogą przyczynić się do bardziej skutecznego wycofywania produktu od konsumentów, na przykład mogą ostrzegać użytkowników przed problemem związanym z bezpieczeństwem . Jeżeli problem związany z bezpieczeństwem powstaje w trakcie korzystania z produktu podłączonego do internetu, producenci mogą bezpośrednio kontaktować się z użytkownikami, aby, z jednej strony, ostrzec użytkowników przed zagrożeniami, a z drugiej strony, aby w miarę możliwości bezpośrednio rozwiązywać problem, dostarczając na przykład aktualizację dotyczącą bezpieczeństwa. Na przykład podczas wycofywania jednego ze swoich urządzeń w 2017 r. producent smartfonów przeprowadził aktualizację oprogramowania polegającą na zredukowaniu do zera pojemności baterii wycofywanych telefonów , aby użytkownicy przestali korzystać z niebezpiecznych urządzeń. Nowe technologie mogą ponadto przyczynić się do poprawy identyfikowalności produktów. Na przykład cechy łączności z internetem charakteryzujące IoT mogą umożliwić przedsiębiorstwom i organom nadzoru rynku śledzenie niebezpiecznych produktów oraz identyfikację ryzyka w łańcuchach dostaw . Oprócz możliwości, jakie AI, IoT i robotyka mogą przynieść gospodarce i naszym społeczeństwom, mogą one również stwarzać ryzyko naruszenia chronionych prawem interesów, zarówno materialnych, jak i niematerialnych. W miarę poszerzania się zakresu stosowania ryzyko wystąpienia takiej szkody będzie się zwiększać. W tym kontekście istotne jest zbadanie, czy i w jakim stopniu obecne ramy prawne dotyczące bezpieczeństwa i odpowiedzialności nadal spełniają swój cel, jakim jest ochrona użytkowników. 2.Bezpieczeństwo W komunikacie Komisji na temat „Budowania zaufania do sztucznej inteligencji ukierunkowanej na człowieka” stwierdzono, że systemy SI powinny być bezpieczne z założenia, a bezpieczeństwo należy uwzględniać na etapie ich projektowania, aby zagwarantować, że są one bezpieczne w sposób możliwy do sprawdzenia na każdym etapie, z uwzględnieniem bezpieczeństwa fizycznego i psychicznego wszystkich zainteresowanych. Celem oceny przedstawionych w niniejszej sekcji unijnych przepisów dotyczących bezpieczeństwa produktów jest analiza, czy obecne unijne ramy prawne zawierają odpowiednie elementy w celu zapewnienia, by w szczególności pojawiające się technologie i systemy oparte na AI były bezpieczne z założenia, a bezpieczeństwo było uwzględniane na etapie ich projektowania. Niniejsze sprawozdanie dotyczy głównie dyrektywy w sprawie ogólnego bezpieczeństwa produktów oraz zharmonizowanych przepisów dotyczących produktów, które są zgodne z zasadami horyzontalnymi „nowego podejścia” lub „nowych ram prawnych” (dalej „unijne przepisy lub ramy dotyczące bezpieczeństwa produktów”). Przepisy horyzontalne zapewniają spójność zasad sektorowych dotyczących bezpieczeństwa produktów.

Celem unijnych przepisów dotyczących bezpieczeństwa produktów jest zapewnienie, aby produkty wprowadzane na unijny rynek spełniały wysokie wymagania w zakresie zdrowia, bezpieczeństwa i ochrony środowiska oraz aby takie produkty mogły być przedmiotem swobodnego obrotu w całej Unii. Uzupełnieniem przepisów sektorowych jest dyrektywa w sprawie ogólnego bezpieczeństwa produktów, zgodnie z którą wszystkie produkty konsumpcyjne, nawet jeśli nie zostały uregulowane unijnymi przepisami sektorowymi, mają być bezpieczne. Zasady bezpieczeństwa są uzupełnione o nadzór rynku i uprawnienia przyznane organom krajowym na mocy rozporządzenia w sprawie nadzoru rynku oraz dyrektywy w sprawie ogólnego bezpieczeństwa produktów. W sektorze transportu istnieją dodatkowe przepisy unijne i krajowe dotyczące dopuszczenia do eksploatacji pojazdu silnikowego, statku powietrznego lub statku wodnego, a także jasne zasady dotyczące bezpieczeństwa podczas eksploatacji, obejmujące zadania dla operatorów oraz zadania dla organów w zakresie nadzoru. Zasadniczym elementem unijnych przepisów dotyczących bezpieczeństwa produktów jest również normalizacja europejska. Ze względu na globalny charakter cyfryzacji i pojawiających się technologii cyfrowych współpraca międzynarodowa w zakresie normalizacji ma szczególne znaczenie dla konkurencyjności przemysłu europejskiego. Dużą część unijnych ram dotyczących bezpieczeństwa produktów opracowano, zanim jeszcze pojawiły się technologie cyfrowe, takie jak AI, IoT czy robotyka. Dlatego też nie zawsze zawierają one przepisy wyraźnie odnoszące się do nowych wyzwań i zagrożeń związanych z pojawiającymi się technologiami. Zważywszy na fakt, że istniejące ramy dotyczące bezpieczeństwa produktów są neutralne pod względem technicznym, nie oznacza to jednak, że nie miałyby one zastosowania do produktów wykorzystujących te technologie. Późniejsze akty ustawodawcze, które wchodzą w zakres tych ram, na przykład w sektorze wyrobów medycznych lub samochodów osobowych, wyraźnie uwzględniają niektóre aspekty pojawienia się technologii cyfrowych, takich jak np. zautomatyzowane decyzje, oprogramowanie jako oddzielny produkt i łączność z internetem. Przesłanki leżące u podstaw obecnych unijnych przepisów dotyczących bezpieczeństwa produktów Poniżej przedstawiono wyzwania związane z pojawiającymi się technologiami, na jakie wystawione są unijne ramy bezpieczeństwa produktów. Łączność z internetem jest podstawową cechą stale rosnącej liczby produktów i usług. Ta cecha stanowi wyzwanie dla tradycyjnie pojmowanego bezpieczeństwa, ponieważ łączność z internetem może bezpośrednio zagrażać bezpieczeństwu samego produktu oraz pośrednio, w przypadku ataku hakerskiego, prowadząc do zagrożeń dla bezpieczeństwa i wpływając na bezpieczeństwo użytkowników. Dobrym przykładem jest tutaj zgłoszenie w unijnym systemie wczesnego ostrzegania dokonane przez Islandię dotyczące inteligentnego zegarka dla dzieci. Produkt ten nie wyrządziłby bezpośredniej szkody dziecku noszącemu ten zegarek, ale ponieważ nie posiada on minimalnego poziomu bezpieczeństwa, może być łatwo wykorzystany jako narzędzie umożliwiające dostęp do dziecka. Ponieważ jedną z zamierzonych funkcji tego produktu jest zapewnienie bezpieczeństwa dzieciom dzięki lokalizacji, konsument oczekuje, że produkt ten nie będzie stanowił zagrożenia dla bezpieczeństwa dzieci, gdyż każdy może je namierzyć albo się z nimi skontaktować. Innym przykładem jest zgłoszenie dokonane przez Niemcy w odniesieniu do samochodu osobowego. Radio znajdujące się w pojeździe może mieć pewne luki w zabezpieczeniach oprogramowania umożliwiające osobom trzecim nieuprawniony dostęp do wzajemnie połączonych systemów sterowania w takim pojeździe. Gdyby luki w zabezpieczeniach oprogramowania zostały wykorzystane w złej wierze przez osobę trzecią, mogłoby dojść do wypadku drogowego. Zastosowania przemysłowe mogą być również narażone na cyberzagrożenia mające wpływ na bezpieczeństwo osób na większą skalę, jeżeli takie zastosowania nie posiadają wymaganego poziomu bezpieczeństwa. Przykładem mogą być cyberataki na krytyczne systemy sterowania zakładu przemysłowego w celu spowodowania wybuchu, który może spowodować ofiary śmiertelne. Unijne przepisy dotyczące bezpieczeństwa produktów nie przewidują z zasady obowiązkowych zasadniczych wymogów szczegółowo ujętych w kontekście cyberzagrożeń mających wpływ na bezpieczeństwo użytkowników. Istnieją jednak przepisy dotyczące aspektów bezpieczeństwa w rozporządzeniu w sprawie wyrobów medycznych, dyrektywie w sprawie przyrządów pomiarowych, dyrektywie w sprawie urządzeń radiowych lub w przepisach dotyczących homologacji typu całego pojazdu. Akt o cyberbezpieczeństwie ustanawia dobrowolne ramy certyfikacji cyberbezpieczeństwa dla produktów, usług i procesów w zakresie technologii informacyjno-komunikacyjnych (ICT), a odpowiednie unijne przepisy dotyczące bezpieczeństwa produktów ustanawiają obowiązkowe wymogi. Ryzyko utraty łączności z internetem, jakie stwarzają nowe technologie cyfrowe, może ponadto pociągać za sobą ryzyko związane z bezpieczeństwem. Na przykład jeżeli podłączony do internetu alarm pożarowy traci łączność, może nie ostrzec użytkownika w razie pożaru. Kwestia bezpieczeństwa podnoszona w obecnych unijnych przepisach dotyczących bezpieczeństwa produktów jest celem polityki publicznej. Koncepcja bezpieczeństwa wiąże się ze stosowaniem produktu i ryzykiem, np. mechanicznym, elektrycznym itp., któremu należy zaradzić, aby zapewnić bezpieczeństwo produktu. Należy zauważyć, że w zależności od aktu prawnego w ramach unijnych przepisów dotyczących bezpieczeństwa produktów pojęcie zastosowania produktu obejmuje nie tylko przeznaczenie, ale również przewidywalne zastosowanie, a w niektórych przypadkach, np. w dyrektywie w sprawie maszyn , nawet racjonalnie przewidywalne niewłaściwe zastosowanie. Pojęcie bezpieczeństwa w obecnych unijnych przepisach dotyczących bezpieczeństwa produktów jest zgodne z rozszerzonym pojęciem bezpieczeństwa dotyczącym ochrony konsumentów i użytkowników. Dlatego pojęcie bezpieczeństwa produktów obejmuje ochronę przed wszelkimi rodzajami ryzyka stwarzanego przez produkt, obejmującymi nie tylko ryzyko mechaniczne, chemiczne, elektryczne, ale również cyberryzyko oraz ryzyko związane z utratą przez urządzenia łączności z internetem. Można rozważyć jednoznaczne przepisy w tej kwestii jeżeli chodzi o zakres odpowiednich aktów prawnych Unii, aby zapewnić lepszą ochronę użytkowników i większą pewność prawa. Autonomia jest jedną z głównych cech AI. Niezamierzone rezultaty będące skutkiem AI mogą wyrządzić szkodę użytkownikom i osobom narażonym. W zakresie, w jakim przyszłe „zachowanie” produktów opartych na AI może zostać z góry określone w drodze oceny ryzyka przeprowadzonej przez producenta przed wprowadzeniem produktów do obrotu, unijne ramy dotyczące bezpieczeństwa produktów nakładają już na producentów obowiązek uwzględniania w ocenie ryzyka „zastosowania” produktów przez cały okres ich użytkowania. Przewidują one również, że producenci muszą dostarczać użytkownikom instrukcje i informacje na temat bezpieczeństwa lub ostrzeżenia. W tym kontekście dyrektywa w sprawie urządzeń radiowych nakłada na przykład na producenta obowiązek umieszczania instrukcji zawierających informacje na temat sposobu korzystania z urządzenia radiowego zgodnie z jego przeznaczeniem. W przyszłości mogą wystąpić również sytuacje, kiedy nie będzie można z wyprzedzeniem określić wszystkich rezultatów działania systemów opartych na AI. W takiej sytuacji ocena ryzyka przeprowadzona przed wprowadzeniem produktu do obrotu może już nie odzwierciedlać zastosowania, funkcjonowania lub zachowania produktu. W takich przypadkach, kiedy przeznaczenie, pierwotnie przewidziane przez producenta, zostało zmienione w wyniku autonomicznego zachowania i naruszona została zgodność z wymogami bezpieczeństwa, można uznać, że konieczne jest poddanie produktu samouczącego się ponownej ocenie. Zgodnie z obecnymi ramami, w przypadku gdy producenci zorientują się, że dany produkt stwarza w trakcie swojego cyklu życia zagrożenie dla bezpieczeństwa, są oni już teraz zobowiązani niezwłocznie poinformować o tym właściwe organy i podjąć działania zapobiegające zagrożeniu dla użytkowników.

Oprócz oceny ryzyka przeprowadzonej przed wprowadzeniem produktu do obrotu można by wprowadzić nową procedurę oceny ryzyka, w przypadku gdy produkt podlega istotnym zmianom w trakcie cyklu życia, np. gdy wprowadza się do niego nową funkcję, której producent nie przewidział we wstępnej ocenie ryzyka. Ocena ta powinna się koncentrować na tym, jak autonomiczne zachowanie produktu przez cały jego cykl życia wpływa na bezpieczeństwo. Ocenę ryzyka powinien przeprowadzać właściwy podmiot gospodarczy. Odpowiednie unijne akty prawne mogłyby ponadto wprowadzać wobec producentów zaostrzone wymogi dotyczące instrukcji i ostrzeżeń dla użytkowników. Podobne oceny ryzyka są już wymagane w przepisach dotyczących transportu; na przykład w przepisach dotyczących transportu kolejowego, w przypadku gdy pojazd kolejowy jest modyfikowany po jego certyfikacji, na autora zmiany nakłada się obowiązek przeprowadzenia szczególnej procedury, a także określone są jasne kryteria w celu ustalenia, czy konieczne jest informowanie właściwego organu. Możliwość samodzielnego uczenia się przez produkty i systemy oparte na AI może umożliwić maszynie podejmowanie decyzji, które odbiegają od tego, co zostało pierwotnie zamierzone przez producentów, i w konsekwencji od tego, czego oczekują użytkownicy. Rodzi to pytania o kwestię kontroli przez człowieka, tak aby ludzie mogli decydować, w jaki sposób powierzać – o ile w ogóle – podejmowanie decyzji produktom i systemom opartym na AI, aby osiągnąć wybrane przez człowieka cele. Istniejące unijne przepisy dotyczące bezpieczeństwa produktów nie odnoszą się wyraźnie do nadzoru przez człowieka w kontekście samouczących się produktów i systemów opartych na AI. W odpowiednich aktach prawnych Unii można by przewidzieć, w charakterze zabezpieczenia, szczegółowe wymogi w zakresie nadzoru przez człowieka od etapu koncepcji produktu przez cały cykl życia produktów i systemów opartych na AI. Przyszłe „zachowanie” zastosowań opartych na AI może stwarzać ryzyko dla zdrowia psychicznego użytkowników, na przykład wskutek ich współpracy z robotami humanoidalnymi i systemami opartymi na AI w domu lub w środowisku pracy. W tym względzie obecnie pojęcie bezpieczeństwa stosuje się zasadniczo w odniesieniu do postrzeganego przez użytkownika zagrożenia powstania szkód materialnych, które może pochodzić ze strony nowej technologii cyfrowej. Jednocześnie bezpieczne produkty zdefiniowano w unijnych ramach prawnych jako produkty, które nie stwarzają żadnego zagrożenia lub jedynie minimalne zagrożenie dla zdrowia i bezpieczeństwa ludzi. Powszechnie uznaje się, że definicja zdrowia obejmuje zarówno pomyślność fizyczną, jak i umysłową. Zagrożenia dla zdrowia psychicznego należy jednak wyraźnie uwzględnić w pojęciu bezpieczeństwa produktów zawartym w ramach prawnych. Autonomia nie powinna na przykład powodować nadmiernego stresu i poczucia dyskomfortu przez dłuższy okres ani szkodzić zdrowiu psychicznemu. W tym względzie za czynniki, które pozytywnie wpływają na poczucie bezpieczeństwa osób starszych, uważa się: utrzymywanie zapewniających poczucie bezpieczeństwa kontaktów z pracownikami służby zdrowia, poczucie kontroli nad codziennymi czynnościami oraz bycie informowanym o dotyczących ich aspektach życia. Producenci robotów, które wchodzą w interakcje ze starszymi osobami, powinni wziąć pod uwagę wspomniane czynniki, aby zapobiegać zagrożeniom dla zdrowia psychicznego. Stosowne przepisy UE mogłyby jednoznacznie nakładać na producentów, między innymi, robotów humanoidalnych opartych na AI, jasny obowiązek uwzględniania niematerialnych szkód, jakie ich produkty mogą powodować u użytkowników, w szczególności użytkowników podatnych na zagrożenia, takich jak osoby starsze w systemie ochrony zdrowia. Inną istotną cechą produktów i systemów opartych na AI jest zależność od danych. Dokładność i istotność danych są niezbędne, aby zapewnić, by decyzje podejmowane przez systemy i produkty oparte na AI były zgodne z zamierzeniem producenta. Unijne przepisy dotyczące bezpieczeństwa produktów nie odnoszą się wyraźnie do zagrożeń dla bezpieczeństwa wynikających z błędnych danych. Zależnie jednak od „zastosowania” produktu producenci powinni przewidzieć na etapie koncepcji i testowania dokładność danych i ich istotność dla funkcji bezpieczeństwa. Na przykład system oparty na AI opracowany w celu wykrywania konkretnych przedmiotów może mieć trudności z rozpoznawaniem przedmiotów przy złym oświetleniu, dlatego też projektanci powinni uwzględnić dane pochodzące z badań produktu zarówno w warunkach odpowiedniego, jak i słabego oświetlenia. Inny przykład dotyczy robotów rolniczych, takich jak roboty do zbierania owoców. Zadaniem takich robotów jest rozpoznawanie i lokacja dojrzałych owoców na drzewach lub na ziemi. Wprawdzie dzięki wykorzystywanym algorytmom już teraz poziom skuteczności klasyfikacji wynosi ponad 90 %, jednak braki w zbiorach danych wykorzystywanych przez algorytmy mogą spowodować, że roboty podejmą niewłaściwą decyzję, w wyniku której zwierzę lub osoba zostaną zranione. Pojawia się pytanie, czy unijne przepisy dotyczące bezpieczeństwa produktów powinny zawierać szczegółowe wymogi w zakresie zapobiegania zagrożeniom dla bezpieczeństwa, jakie wiążą się z błędnymi danymi na etapie koncepcji, oraz mechanizmy zapewniające utrzymanie jakości danych w trakcie całego okresu stosowania produktów i systemów opartych na AI. Inną podstawową cechą niektórych produktów i systemów opartych na AI jest nieprzejrzystość, jaka może wynikać ze zdolności do poprawy osiągnięć dzięki uczeniu się na podstawie zdobytego doświadczenia. W zależności od podejścia metodologicznego produkty i systemy oparte na AI mogą charakteryzować się różnym stopniem nieprzejrzystości. Może to sprawiać, że proces decyzyjny systemu może być trudny do prześledzenia („efekt czarnej skrzynki”). Ludzie nie muszą rozumieć każdego etapu procesu decyzyjnego, ale ponieważ algorytmy AI stają się coraz bardziej zaawansowane i są wprowadzane w kluczowych dziedzinach, konieczne jest, by człowiek był w stanie zrozumieć, jak doszło do tego, że system – za pomocą algorytmu – podjął takie a nie inne decyzje. Byłoby to szczególnie ważne w przypadku mechanizmu egzekwowania ex post, ponieważ umożliwiałoby organom egzekwowania prawa ustalanie odpowiedzialności za zachowanie i wybory systemów opartych na AI. Potwierdzono to również w komunikacie Komisji w sprawie budowania zaufania do sztucznej inteligencji ukierunkowanej na człowieka. Unijne przepisy dotyczące bezpieczeństwa produktów nie odnoszą się wyraźnie do rosnących zagrożeń wynikających z nieprzejrzystości systemów opartych n algorytmach. Konieczne jest zatem rozważenie wymogów w zakresie przejrzystości algorytmów, a także solidności, odpowiedzialności oraz, w stosownych przypadkach, nadzoru przez człowieka i obiektywnych rezultatów, szczególnie ważnych w przypadku mechanizmu egzekwowania ex post, aby budować zaufanie do korzystania z tych technologii. Jednym ze sposobów poradzenia sobie z tym wyzwaniem może być nałożenie na twórców algorytmów obowiązku ujawnienia parametrów projektowych i metadanych zawartych w zbiorach danych, w razie gdyby miały miejsce wypadki. Dodatkowe zagrożenia, które mogą mieć wpływ na bezpieczeństwo, wynikają ze złożoności produktów i systemów, gdyż różne części, urządzenia i produkty mogą być ze sobą połączone i wzajemnie wpływać na funkcjonowanie każdego z nich (np. produkty będące częścią ekosystemu inteligentnego domu). Kwestia złożoności została już uwzględniona w unijnych ramach prawnych w dziedzinie bezpieczeństwa, o których mowa na początku niniejszej sekcji. Przy przeprowadzaniu oceny ryzyka produktu producent musi w szczególności wziąć pod uwagę przeznaczenie, przewidywalne zastosowanie oraz w stosownych przypadkach racjonalnie przewidywalne niewłaściwe zastosowanie. W tym kontekście, jeżeli producent przewiduje, że jego urządzenie zostanie wzajemnie połączone z innymi urządzeniami i będzie wchodzić z nimi w interakcje, należy to uwzględnić podczas oceny ryzyka. Zastosowanie lub niewłaściwe zastosowanie określa się na przykład na podstawie doświadczeń z wcześniejszego zastosowania produktów tego samego typu, badania wypadków lub zachowania ludzkiego. Złożoność systemów została również bardziej szczegółowo uregulowana przez sektorowe przepisy dotyczące bezpieczeństwa, takie jak rozporządzenie dotyczące wyrobów medycznych i do pewnego stopnia przez przepisy dotyczące ogólnego bezpieczeństwa produktów. Na przykład producent urządzenia podłączonego do internetu, które ma być częścią ekosystemu inteligentnego domu, powinien być w stanie racjonalnie przewidzieć, że jego produkty będą miały wpływ na bezpieczeństwo innych produktów. Ponadto przepisy dotyczące transportu uwzględniają tę złożoność na poziomie systemu. W przypadku samochodów, pociągów i samolotów przeprowadza się homologację typu i certyfikację w odniesieniu do każdego elementu, a także w odniesieniu do całego pojazdu lub statku powietrznego. Ocena zdatności do ruchu drogowego i do lotu oraz interoperacyjności kolei jest częścią oceny bezpieczeństwa. W transporcie „systemy” muszą być „zatwierdzone” przez organ na podstawie oceny zgodności przez stronę trzecią pod kątem jasnych wymogów technicznych lub po wykazaniu, w jaki sposób przeciwdziała się ryzyku. Rozwiązaniem jest zazwyczaj połączenie poziomu „produktu” i „systemu”. W unijnych przepisach dotyczących bezpieczeństwa produktów, w tym przepisach dotyczących transportu, do pewnego stopnia już uwzględniono złożoność produktów lub systemów, aby przeciwdziałać zagrożeniom, które mogą mieć wpływ na bezpieczeństwo użytkowników.

Złożone systemy często obejmują oprogramowanie, które jest zasadniczym elementem systemu opartego na AI. W ramach wstępnej oceny ryzyka producent produktu końcowego ma na ogół obowiązek przewidzieć ryzyko związane z oprogramowaniem stanowiącym część danego produktu w momencie jego wprowadzenia do obrotu. Niektóre akty prawne w ramach unijnych przepisów dotyczące bezpieczeństwa produktów wyraźnie odnoszą się do oprogramowania stanowiącego część danego produktu. Na przykład dyrektywa w sprawie maszyn wymaga, aby awaria oprogramowania systemu kontroli nie prowadziła do niebezpiecznych sytuacji. W unijnych przepisach dotyczących bezpieczeństwa produktów aktualizacje oprogramowania można porównać z obsługą techniczną ze względów bezpieczeństwa, pod warunkiem że nie zmieniają one znacząco produktu już wprowadzonego do obrotu ani nie wprowadzają nowych rodzajów ryzyka, których nie przewidziano w początkowej ocenie ryzyka. Jeżeli jednak aktualizacja oprogramowania znacznie zmienia produkt, do którego została ona pobrana, cały produkt można uznać za nowy produkt, a zgodność z odpowiednimi przepisami dotyczącymi bezpieczeństwa produktów należy w momencie dokonywania modyfikacji poddać ponownej ocenie. Unijne zharmonizowane przepisy sektorowe dotyczące bezpieczeństwa produktów zasadniczo nie zawierają szczegółowych przepisów, jeżeli chodzi o samodzielne oprogramowanie, wprowadzane do obrotu bezpośrednio lub wysyłane po wprowadzeniu produktu do obrotu. Niektóre akty prawne w ramach unijnych przepisów odnoszą się jednak do samodzielnego oprogramowania, na przykład rozporządzenie w sprawie wyrobów medycznych. Dyrektywa w sprawie urządzeń radiowych może ponadto regulować, w drodze aktów delegowanych, również samodzielne oprogramowanie wysyłane do produktów podłączonych do internetu, które komunikują się między sobą za pośrednictwem określonych modułów radiowych. Zgodnie z tą dyrektywą określone klasy lub kategorie urządzeń radiowych mają być wyposażone w funkcje zapewniające, by wysyłanie oprogramowania nie powodowało naruszenia zgodności tych urządzeń. Podczas gdy unijne przepisy dotyczące bezpieczeństwa produktów uwzględniają zagrożenia dla bezpieczeństwa wynikające z oprogramowania będącego częścią produktu w momencie jego wprowadzania do obrotu i potencjalnie kolejnych aktualizacji przewidzianych przez producenta, potrzebne mogą być szczegółowe lub wyraźne wymogi dotyczące samodzielnego oprogramowania (np. „aplikacji”, którą można pobrać). Szczególną uwagę należy zwrócić na samodzielne oprogramowanie odpowiedzialne za funkcje bezpieczeństwa w produktach i systemach opartych na AI. Konieczne może być nałożenie na producentów dodatkowych obowiązków polegających na zapewnieniu funkcji zapobiegających wysyłaniu oprogramowania, które ma wpływ na bezpieczeństwo, w trakcie cyklu życia produktów opartych na AI. Wreszcie na pojawiające się technologie cyfrowe mają wpływ złożone łańcuchy wartości. Złożoność ta nie jest jednak niczym nowym ani nie jest wyłącznie problemem, który pojawia się w związku z nowymi technologiami cyfrowymi, takimi jak AI czy IoT. Dotyczy to na przykład takich produktów jak komputery, roboty usługowe lub systemy transportu. Zgodnie z unijnymi ramami bezpieczeństwa produktów bez względu na to, jak skomplikowany jest łańcuch wartości, odpowiedzialność za bezpieczeństwo produktu spoczywa na producencie, który wprowadza produkt do obrotu. Producenci są odpowiedzialni za bezpieczeństwo produktu końcowego, w tym za części stanowiące integralną część danego produktu, np. oprogramowanie komputera. Niektóre akty prawne w ramach unijnych przepisów dotyczące bezpieczeństwa produktów zawierają już przepisy, które wyraźnie odnoszą się do sytuacji, w których kilka podmiotów gospodarczych dokonuje czynności? na danym produkcie, zanim zostanie on wprowadzony do obrotu. Na przykład zgodnie z dyrektywą w sprawie dźwigów podmiot gospodarczy, który projektuje i produkuje dźwig, ma dostarczyć instalatorowi „wszystkie konieczne dokumenty i informacje, aby umożliwić mu zapewnienie właściwej i bezpiecznej instalacji i testów dźwigu”. Dyrektywa w sprawie maszyn nakłada na producentów sprzętu obowiązek dostarczania operatorowi informacji na temat sposobu montażu tego urządzenia z inną maszyną. W unijnych przepisach dotyczących bezpieczeństwa produktów uwzględnia się złożoność łańcuchów wartości i nakłada obowiązki na kilka podmiotów gospodarczych zgodnie z zasadą „wspólnej odpowiedzialności”. Uregulowania dotyczące odpowiedzialności producenta za bezpieczeństwo produktu końcowego okazały się odpowiednie w odniesieniu do obecnych złożonych łańcuchów wartości, jednak w przypadku być może jeszcze bardziej złożonych łańcuchów wartości jednoznaczne przepisy wymagające w szczególności współpracy między podmiotami gospodarczymi w łańcuchu dostaw a użytkownikami zapewniłyby pewność prawa. W szczególności każdy podmiot w łańcuchu wartości mający wpływ na bezpieczeństwo produktu (np. producenci oprogramowania) i użytkownicy (modyfikując produkt) przyjmowaliby odpowiedzialność i dostarczaliby kolejnym podmiotom w łańcuchu niezbędne informacje i środki. 3.Odpowiedzialność Na poziomie Unii przepisy dotyczące bezpieczeństwa produktów i odpowiedzialności za produkt stanowią dwa uzupełniające się mechanizmy służące realizacji tego samego celu polityki, jakim jest funkcjonowanie jednolitego rynku towarów, który zapewnia wysoki poziom bezpieczeństwa, tj. minimalizuje ryzyko szkody po stronie użytkowników i przewiduje odszkodowanie z tytułu szkód związanych z wadliwymi towarami. Uzupełnieniem tych przepisów Unii są na poziomie krajowym niezharmonizowane ramy odpowiedzialności cywilnej, które zapewniają odszkodowanie z tytułu szkód z różnych przyczyn (takich jak produkty i usługi) oraz regulują kwestię różnych odpowiedzialnych osób (takich jak właściciele, operatorzy lub usługodawcy). Optymalizacja unijnych przepisów w zakresie bezpieczeństwa w odniesieniu do AI może pomóc unikać wypadków, jednak mimo to może do nich dochodzić. Kwestia ta wchodzi w zakres odpowiedzialności cywilnej. Zasady odpowiedzialności cywilnej odgrywają w naszym społeczeństwie podwójną rolę: z jednej strony gwarantują, że osoby, które poniosły szkodę spowodowaną przez inne osoby, otrzymują odszkodowanie, z drugiej strony zapewniają zachęty gospodarcze dla strony odpowiedzialnej, by nie powodować takich szkód. Zasady odpowiedzialności muszą zawsze zapewniać równowagę między ochroną obywateli przed szkodą oraz możliwością wprowadzania przez przedsiębiorstwa innowacji. Unijne ramy odpowiedzialności działają dobrze. Opierają się one na równoległym stosowaniu dyrektywy w sprawie odpowiedzialności za produkty (dyrektywa 85/374/EWG), w której zharmonizowano odpowiedzialność producenta wadliwych produktów i inne niezharmonizowane krajowe systemy odpowiedzialności. Dyrektywa w sprawie odpowiedzialności za produkty zapewnia warstwę ochrony, której sama krajowa odpowiedzialność na zasadzie winy nie zapewnia. Wprowadza ona system odpowiedzialności producenta na zasadzie ryzyka za wady w jego produktach. W przypadku szkody fizycznej lub materialnej osoba poszkodowana ma prawo do odszkodowania, jeżeli udowodni szkodę, wadę w produkcie (tj. brak zapewnienia bezpieczeństwa, jakiego społeczeństwo ma prawo oczekiwać) oraz związek przyczynowy między produktem wadliwym a szkodą. Niezharmonizowane przepisy krajowe przewidują systemy odpowiedzialności na zasadzie winy, zgodnie z którymi, aby roszczenie z tytułu odpowiedzialności zostało uznane, osoby poszkodowane muszą dowieść winy osoby odpowiedzialnej, szkody i związku przyczynowego między wadą a szkodą. Przewidują one również systemy odpowiedzialności na zasadzie ryzyka, w przypadku gdy ustawodawca krajowy przypisuje odpowiedzialność za ryzyko konkretnej osobie, bez konieczności wykazania przez poszkodowanego błędu lub wady lub związku przyczynowego między błędem lub wadą a szkodą. Krajowe systemy odpowiedzialności zapewniają osobom, które poniosły szkodę spowodowaną przez produkty i usługi, kilka równoległych sposobów ubiegania się o odszkodowanie, opartych na odpowiedzialności na zasadzie winy lub na zasadzie ryzyka. Roszczenia te kierowane są często przeciwko różnym osobom odpowiedzialnym i obwarowane są różnymi warunkami. Na przykład poszkodowany uczestniczący w wypadku samochodowym wysuwa zwykle roszczenie z tytułu odpowiedzialności na zasadzie ryzyka wobec właściciela samochodu (tj. osoby, która wykupuje ubezpieczenie od odpowiedzialności cywilnej z tytułu użytkowania pojazdów mechanicznych) oraz roszczenie z tytułu odpowiedzialności na zasadzie winy wobec kierowcy (oba roszczenia na podstawie krajowego prawa cywilnego), a także – jeżeli pojazd był wadliwy – roszczenie na podstawie dyrektywy w sprawie odpowiedzialności za produkty wobec producenta.

Zgodnie ze zharmonizowanymi przepisami dotyczącymi ubezpieczenia pojazdów silnikowych korzystanie z pojazdu musi być ubezpieczone i w praktyce to do ubezpieczyciela kierowane jest w pierwszej kolejności roszczenie o odszkodowanie z tytułu szkody osobowej lub szkody materialnej. Zgodnie z tymi przepisami w ramach obowiązkowego ubezpieczenia wypłacane jest odszkodowanie poszkodowanemu i zapewnia się ochronę ubezpieczonemu, który na podstawie krajowego prawa cywilnego jest odpowiedzialny za pokrycie strat finansowych z tytułu wypadku z udziałem pojazdu silnikowego. Producenci nie podlegają obowiązkowemu ubezpieczeniu na mocy dyrektywy w sprawie odpowiedzialności za produkty. Jeżeli chodzi o ubezpieczenie pojazdów, unijne przepisy nie traktują pojazdów autonomicznych inaczej niż pojazdów nieautonomicznych. Pojazdy takie, podobnie jak wszystkie inne pojazdy, muszą być objęte ubezpieczeniem od odpowiedzialności cywilnej posiadaczy pojazdów mechanicznych, co jest najprostszym sposobem uzyskania odszkodowania przez stronę poszkodowaną. Odpowiednie ubezpieczenie może złagodzić negatywne skutki wypadków, zapewniając poszkodowanemu sprawną wypłatę odszkodowania. Jasne zasady odpowiedzialności pomagają towarzystwom ubezpieczeniowym w obliczaniu ryzyka i żądaniu zwrotu kosztów od strony ostatecznie odpowiedzialnej za szkodę. Jeżeli wypadek jest spowodowany na przykład wadą, ubezpieczyciel pojazdu, po wypłaceniu odszkodowania poszkodowanemu, może zwrócić się o zwrot kosztów do producenta. Jednak cechy nowych technologii cyfrowych, takich jak AI, IoT czy robotyka, podważają pewne aspekty unijnych i krajowych ram odpowiedzialności i mogą ograniczyć ich skuteczność. Niektóre z tych cech mogą utrudnić ustalenie, czy szkoda powstała w wyniku ludzkiego zachowania, które może być podstawą roszczenia na zasadzie winy zgodnie z przepisami krajowymi. Oznacza to, że roszczenia odszkodowawcze w oparciu o krajowe prawo deliktów mogą być trudne lub nadmiernie kosztowne do dowiedzenia, i w związku z tym poszkodowani mogą nie otrzymać odpowiedniego odszkodowania. Ważne jest, by osoby poszkodowane w wypadkach spowodowanych przez produkty i usługi, w tym obejmujące nowe technologie cyfrowe, takie jak AI, nie były objęte niższym poziomem ochrony niż poziom obowiązujący w przypadku innych podobnych produktów i usług, za które przysługiwałoby im odszkodowanie na podstawie krajowego prawa deliktów. Mogłoby to zmniejszyć akceptację społeczną dla tych pojawiających się technologii i powodować niechęć do korzystania z nich. Konieczna będzie ocena, czy wyzwania, jakie niosą ze sobą nowe technologie dla istniejących ram, mogłyby również powodować niepewność prawa co do sposobu stosowania istniejących przepisów (np. w jaki sposób pojęcie winy miałoby zastosowanie do szkód spowodowanych przez AI). Mogłoby to z kolei zniechęcać do inwestowania oraz zwiększać koszty informacji i ubezpieczenia dla producentów i innych przedsiębiorstw w łańcuchu dostaw, zwłaszcza europejskich MŚP. Ponadto gdyby państwa członkowskie miały rozwiązywać problemy związane z krajowymi ramami odpowiedzialności, mogłoby to prowadzić do dalszej fragmentacji, zwiększając tym samym koszty wprowadzania do obrotu innowacyjnych rozwiązań opartych na AI i ograniczając handel transgraniczny na jednolitym rynku. Ważne jest, by przedsiębiorstwa wiedziały, jakie ryzyko odpowiedzialności cywilnej ponoszą w całym łańcuchu wartości i mogły je ograniczyć lub zapobiegać mu, a także skutecznie zabezpieczać się przed tym ryzykiem. W niniejszym rozdziale wyjaśniono, dlaczego nowe technologie stanowią wyzwanie dla istniejących ram i w jaki sposób można tym wyzwaniom zaradzić. Na dodatkową uwagę zasługuje ponadto specyfika niektórych sektorów, na przykład opieki zdrowotnej. Złożoność produktów, usług i łańcucha wartości: W ostatnich dziesięcioleciach nastąpiła radykalna ewolucja technologii i przemysłu. W szczególności granica pomiędzy produktami a usługami może już nie być tak oczywista, jak to było przedtem. Produkty i świadczenie usług są ze sobą coraz ściślej powiązane. Chociaż złożone produkty i łańcuchy wartości nie są niczym nowym dla europejskiego przemysłu ani jego modelu regulacyjnego, to – w kontekście odpowiedzialności za produkt – oprogramowanie, a także AI zasługują na szczególną uwagę. Oprogramowanie ma zasadnicze znaczenie dla funkcjonowania dużej liczby produktów i może mieć wpływ na ich bezpieczeństwo. Stanowi ono integralną część produktu, ale może być również dostarczone oddzielnie, aby umożliwić stosowanie produktu zgodnie z przeznaczeniem. Bez oprogramowania komputer czy smartfon byłyby bezużyteczne. Oznacza to, że oprogramowanie może sprawić, że produkt materialny stanie się wadliwy i spowoduje szkody fizyczne (por. tekst w ramce dotyczący oprogramowania w części na temat bezpieczeństwa). Mogłoby to w efekcie prowadzić do pociągnięcia do odpowiedzialności producenta produktu na podstawie dyrektywy w sprawie odpowiedzialności za produkty. Jednak ze względu na to, że rodzaje i formy oprogramowania są bardzo zróżnicowane, czasami trudno jest rozstrzygnąć, czy oprogramowanie klasyfikuje się jako usługa czy jako produkt. W związku z tym, o ile oprogramowanie kierujące działaniem produktu materialnego można uważać za część lub element tego produktu, niektóre formy samodzielnego oprogramowania mogą być trudniejsze do sklasyfikowania. Mimo że definicja produktu w dyrektywie w sprawie odpowiedzialności za produkty jest szeroka, można by bardziej doprecyzować jej zakres, aby lepiej oddać złożoność pojawiających się technologii i zapewnić, by zawsze istniała możliwość dochodzenia odszkodowania za szkody spowodowane przez produkty wadliwe z powodu oprogramowania lub innych funkcji cyfrowych. Ułatwiłoby to podmiotom gospodarczym takim jak twórcy oprogramowania ocenę, czy można ich uznać za producentów zgodnie z dyrektywą w sprawie odpowiedzialności za produkty. Zastosowania oparte na AI często stanowią część złożonych środowisk IoT, w których zachodzą interakcje wielu różnych urządzeń i usług podłączonych do internetu. Łączenie różnych podzespołów cyfrowych w złożonym ekosystemie i wielość zaangażowanych podmiotów może utrudniać ocenę, gdzie powstaje szkoda i kto ponosi za nią odpowiedzialność. Ze względu na złożoność tych technologii poszkodowanym może być bardzo trudno ustalić, kto jest odpowiedzialny i spełnić wszystkie niezbędne warunki skutecznego dochodzenia roszczeń zgodnie z wymogami prawa krajowego. Zaporowe koszty takich ekspertyz mogą zniechęcać poszkodowanych do ubiegania się o odszkodowanie. Ponadto produkty i usługi oparte na AI będą wchodzić w interakcje z tradycyjnymi technologiami, co jeszcze bardziej zwiększa złożoność, również w kontekście odpowiedzialności. Na przykład samochody autonomiczne będą przez pewien czas jeździć po tych samych drogach, co samochody tradycyjne. Podobne problemy interakcji podmiotów pojawiają się w niektórych sektorach usług (takich jak zarządzanie ruchem drogowym i opieka zdrowotna), w których częściowo zautomatyzowane systemy oparta na AI będą wspierać człowieka w podejmowaniu decyzji. Zgodnie ze sprawozdaniem podgrupy odpowiedzialnej za tworzenie nowych technologii w ramach grupy ekspertów ds. odpowiedzialności i nowych technologii można by rozważyć dostosowanie przepisów krajowych w taki sposób, aby ułatwić poszkodowanym ustalenie, na kim spoczywa ciężar dowodu w przypadku szkód związanych z AI. Ciężar dowodu mógłby być na przykład powiązany z przestrzeganiem (przez odpowiedni podmiot gospodarczy) szczególnych zobowiązań w zakresie cyberbezpieczeństwa lub innych zobowiązań w zakresie bezpieczeństwa określonych przez prawo: jeżeli podmiot nie zastosuje się do tych zasad, może nastąpić zmiana, jeżeli chodzi o ciężar dowodu w kontekście winy i związku przyczynowego. W drodze odpowiedniej inicjatywy UE Komisja zasięga opinii na temat tego, czy i w jakim stopniu konieczne może być złagodzenie skutków złożoności przez zmniejszenie/odwrócenie ciężaru dowodu wymaganego na mocy krajowych przepisów dotyczących odpowiedzialności za szkody spowodowane przez zastosowania oparte na AI. Jeżeli chodzi o przepisy Unii, zgodnie z dyrektywą w sprawie odpowiedzialności za produkty, produkt niespełniający obowiązkowych przepisów w zakresie bezpieczeństwa zostałby uznany za wadliwy bez względu na winę producenta. Mogą jednak również istnieć powody, by zastanowić się nad sposobem ułatwienia poszkodowanym ustalenie, na kim spoczywa ciężar dowodu na podstawie dyrektywy: dyrektywa opiera się na krajowych regułach dowodowych i na ustaleniu związku przyczynowego. Łączność z internetem i otwartość: Obecnie nie jest w pełni jasne, jakie mogą być oczekiwania co do bezpieczeństwa w odniesieniu do szkód wynikających z naruszenia cyberbezpieczeństwa w zakresie produktu i czy za taką szkodę przysługiwałoby odpowiednie odszkodowanie na podstawie dyrektywy w sprawie odpowiedzialności za produkty. Niedociągnięcia w zakresie cyberbezpieczeństwa mogą istnieć już od początku, na etapie wprowadzania produktu do obrotu, ale mogą pojawić się też później, na długo po wprowadzeniu go do obrotu. Ramy odpowiedzialności na zasadzie winy jasno określają zobowiązania w zakresie cyberbezpieczeństwa, dzięki czemu podmioty mogą ustalić, co należy zrobić, by uniknąć konsekwencji odpowiedzialności. W świetle dyrektywy w sprawie odpowiedzialności za produkty kwestią większej wagi może stać się pytanie, czy producent, biorąc pod uwagę racjonalnie przewidywalne zastosowanie produktu, mógł przewidzieć określone zmiany. Może wzrosnąć na przykład liczba przypadków wykorzystania „linii obrony z tytułu późniejszej wady”, zgodnie z którą producent nie ponosi odpowiedzialności, jeżeli wada nie istniała w momencie wprowadzenia produktu do obrotu lub „linii obrony z tytułu ryzyka związanego z rozwojem” (zgodnie z którą ówczesny stan wiedzy nie pozwalał przewidzieć wady). Odpowiedzialność może zostać ponadto ograniczona, w przypadku gdyby strona poszkodowana nie dokonała aktualizacji istotnych z punktu widzenia bezpieczeństwa. Może to być potencjalnie uznane za zaniedbanie wspólne, jakiego dopuściła się osoba poszkodowana, i zmniejszyć w związku z tym odpowiedzialność producenta. Z uwagi na to, że pojęcie racjonalnie przewidywalnego zastosowania i kwestie związane z zaniedbaniem wspólnym, takie jak niepobranie aktualizacji dotyczącej bezpieczeństwa, mogą stać się bardziej rozpowszechnione, osoby poszkodowane mogą mieć trudności z uzyskaniem odszkodowania z tytułu szkód spowodowanych wadą produktu. Autonomia i nieprzejrzystość: W przypadku gdy zastosowania oparte na AI mogą działać autonomicznie, wykonują one zadania, których etapy nie są wcześniej zdefiniowane i które odbywają się przy zmniejszonej bezpośredniej kontroli lub nadzorze przez człowieka, lub ostatecznie całkowicie bez bezpośredniej kontroli lub nadzoru przez człowieka. Zrozumienie algorytmów opartych na uczeniu się maszyn może być trudne, o ile w ogóle możliwe (tzw. „efekt czarnej skrzynki”). Oprócz złożoności omówionych powyżej kwestii, ze względu na efekt czarnej skrzynki w odniesieniu do niektórych przypadków AI uzyskanie odszkodowania mogłoby stać się trudne w przypadku szkód spowodowanych przez autonomiczne zastosowania wykorzystujące AI. Potrzeba zrozumienia algorytmu i danych wykorzystywanych przez AI wymaga zdolności analitycznych i wiedzy technicznej, które mogą być dla poszkodowanych niezwykle kosztowne. Ponadto dostęp do algorytmu i danych może być niemożliwy bez współpracy strony, na której potencjalnie spoczywa odpowiedzialność. Poszkodowani mogą zatem w praktyce nie być w stanie dochodzić roszczeń z tytułu odpowiedzialności. Nie jest ponadto jasne, w jaki sposób można by wykazać błąd AI działającej autonomicznie albo co można by uznać za błąd osoby polegającej w swoim działaniu na stosowaniu AI. W przepisach krajowych opracowano już szereg rozwiązań mających na celu zmniejszenie ciężaru dowodu spoczywającego na poszkodowanych w podobnych sytuacjach.