EUROPA-KOMMISSIONEN Bruxelles, den 19.2.2020 COM(2020) 64 final RAPPORT FRA KOMMISSIONEN TIL EUROPA-PARLAMENTET, RÅDET OG DET EUROPÆISKE ØKONOMISKE OG SOCIALE UDVALG Rapport om de konsekvenser, som kunstig intelligens, tingenes internet og robotteknologi vil have for sikkerhed og erstatningsansvar





Rapport om de konsekvenser, som kunstig intelligens, tingenes internet og robotteknologi vil have for sikkerhed og erstatningsansvar 1.Indledning Kunstig intelligens, tingenes internet og robotteknologi vil skabe nye muligheder og fordele for vores samfund. Kommissionen har erkendt disse teknologiers betydning og potentiale samt behovet for betydelige investeringer inden for disse områder , og er fast besluttet på at sikre Europa en global førerposition inden for kunstig intelligens, tingenes internet og robotteknologi. For at nå dette mål er det nødvendigt at skabe en klar og forudsigelig retlig ramme, der tager hensyn til de teknologiske udfordringer. 1.1.Den eksisterende ramme for sikkerhed og erstatningsansvar Det overordnede formål med de retlige rammer for sikkerhed og erstatningsansvar er at sikre, at alle produkter og tjenester, herunder dem, der integrerer nye digitale teknologier, fungerer på en sikker, pålidelig og konsekvent måde, og at eventuelle skadevirkninger udbedres på effektiv vis. Høje sikkerhedsniveauer for produkter og systemer, der integrerer nye digitale teknologier, og robuste mekanismer, der udbedrer eventuelle skadevirkninger (dvs. rammen for erstatningsansvar), bidrager til at beskytte forbrugerne bedre. De skaber også tillid til disse teknologier, hvilket er en forudsætning for deres udbredelse i industrien og hos brugerne. Dette vil efterfølgende understøtte industriens konkurrenceevne og bidrage til EU's målsætninger. En klar ramme for sikkerhed og erstatningsansvar er særlig vigtig, når der udvikles nye teknologier som kunstig intelligens, tingenes internet og robotteknologi, både med henblik på at sikre beskyttelse af forbrugerne og retssikkerhed for virksomhederne. Unionen har en solid og pålidelig lovgivningsmæssig ramme for sikkerhed og erstatningsansvar og et solidt sæt sikkerhedsstandarder, der suppleres af national, ikke-harmoniseret produktansvarslovgivning. Sammen sikrer de, at vores borgere trives i det indre marked, og tilskynder til innovation og teknologisk udbredelse. Imidlertid ændrer kunstig intelligens, tingenes internet og robotteknologi mange produkters og tjenesteydelsers egenskaber. I Kommissionens meddelelse om kunstig intelligens for Europa , der blev vedtaget den 25. april 2018, meddelte Kommissionen, at den ville forelægge en rapport med en vurdering af de nye digitale teknologiers indvirkning på de eksisterende rammer for sikkerhed og erstatningsansvar. Denne rapport har til formål at identificere og undersøge de mere vidtrækkende konsekvenser for og potentielle huller i rammerne for erstatningsansvar og sikkerhed i forbindelse med kunstig intelligens, tingenes internet og robotteknologi. De retningslinjer, der udstikkes i denne rapport, og som ledsager hvidbogen om kunstig intelligens, udgør et oplæg til diskussion og indgår i en bredere høring af de berørte parter. Afsnittet om sikkerhed bygger på evalueringen af maskindirektivet og arbejdet med de relevante ekspertgrupper. Afsnittet om erstatningsansvar bygger på evalueringen af produktansvarsdirektivet, input fra de relevante ekspertgrupper og kontakt med interessenter. Denne rapport har ikke til formål at give et udtømmende overblik over de eksisterende regler for sikkerhed og erstatningsansvar, men fokuserer på de centrale spørgsmål, der er blevet identificeret indtil nu. 1.2.Kendetegn ved teknologier inden for kunstig intelligens, tingenes internet og robotteknologi Kunstig intelligens, tingenes internet og robotteknologi har mange kendetegn til fælles. De kan kombinere konnektivitet, autonomi og dataafhængighed med henblik på at udføre opgaver med begrænset eller slet ingen menneskelig kontrol eller overvågning. Systemer, der omfatter kunstig intelligens, kan også forbedre deres egne resultater ved at lære af deres erfaringer. Deres kompleksitet afspejles både i de mange økonomiske aktører, der er involveret i forsyningskæden, og de mange forskellige komponenter, dele, software, systemer eller tjenester, som tilsammen udgør de nye teknologiske økosystemer. Hertil kommer åbenheden over for opdateringer og opgraderinger, efter at de er kommet på markedet. De enorme mængder af data, der er involveret, afhængigheden af algoritmer og uigennemsigtigheden med hensyn til beslutningstagningen inden for kunstig intelligens gør det vanskeligere at forudsige, hvordan et produkt, der er baseret på kunstig intelligens, vil opføre sig, og forstå de potentielle årsager til en skade. Endelig kan konnektivitet og åbenhed også gøre produkter, der er baseret på kunstig intelligens og tingenes internet, sårbare overfor cybertrusler. 1.3.Muligheder som følge af kunstig intelligens, tingenes internet og robotteknologi At øge brugernes tillid til og sociale accept af nye teknologier, forbedre produkter, processer og forretningsmodeller og hjælpe europæiske fabrikanter til at blive mere effektive er kun nogle af de muligheder, der opstår som følge af kunstig intelligens, tingenes internet og robotteknologi. Ud over produktivitets- og effektivitetsgevinster har kunstig intelligens også potentiale til at gøre mennesker i stand til at udvikle intelligens på et hidtil uset niveau, muliggøre nye opdagelser og bidrage til at løse nogle af verdens største udfordringer: lige fra at behandle kroniske sygdomme, forudsige sygdomsudbrud eller nedbringe antallet af omkomne i trafikulykker til at bekæmpe klimaændringer eller forudse trusler mod cybersikkerheden. Disse teknologier kan medføre mange fordele ved at forbedre produkternes sikkerhed, så de bliver mindre sårbare over for visse risici. F.eks. kan opkoblede og automatiserede køretøjer forbedre færdselssikkerheden, idet de fleste trafikulykker på nuværende tidspunkt skyldes menneskelige fejl . Systemer inden for tingenes internet er desuden udformet med henblik på at modtage og behandle store mængder data fra forskellige kilder. Dette øgede informationsniveau kan bruges til at få produkter til at tilpasse sig selv og dermed blive mere sikre. Nye teknologier kan bidrage til en mere effektiv tilbagekaldelse af produkter, idet produkter f.eks. kan advare brugerne med henblik på at undgå et sikkerhedsproblem . Hvis der opstår et sikkerhedsproblem i forbindelse med anvendelsen af et opkoblet produkt, kan producenterne kommunikere direkte med brugerne, dels for at advare dem om risiciene, dels for om muligt at løse problemet direkte ved f.eks. at gennemføre en sikkerhedsopdatering. F.eks. foretog en smartphoneproducent i forbindelse med tilbagekaldelsen af en af dens enheder i 2017 en softwareopdatering for at reducere de tilbagekaldte telefoners batterikapacitet til nul for at få brugerne til at holde op med at bruge de farlige enheder. Desuden kan nye teknologier bidrage til at gøre produkter mere sporbare. F.eks. kan konnektivitetsfunktioner ved tingenes internet gøre virksomheder og markedsovervågningsmyndigheder i stand til at spore farlige produkter og identificere risici på tværs af forsyningskæder . Ud over de muligheder, som kunstig intelligens, tingenes internet og robotteknologi kan skabe for økonomien og vores samfund, kan de også skabe en risiko for skade på retligt beskyttede interesser, både materielle og immaterielle. Risikoen for, at en sådan skade indtræder, stiger, efterhånden som anvendelsesområdet bliver større. Det er derfor vigtigt at undersøge om og i hvilket omfang de nuværende retlige rammer for sikkerhed og erstatningsansvar stadig er egnede til at beskytte brugerne. 2.Sikkerhed I Kommissionens meddelelse om "opbygning af tillid til menneskecentreret kunstig intelligens" slås det fast, at systemer baseret på kunstig intelligens bør integrere mekanismer for beskyttelse og indbygget sikkerhed for at garantere, at de er beviseligt sikre på alle trin, idet der tages hensyn til alle berørte parters fysiske og mentale sikkerhed. I forbindelse med vurderingen af EU's produktsikkerhedslovgivning i dette afsnit udarbejdes der en analyse af, om den nuværende EU-lovgivning indeholder de relevante elementer for at sikre, at nye teknologier og navnlig systemer baseret på kunstig intelligens integrerer beskyttelse og indbygget sikkerhed. Denne rapport behandler hovedsagelig direktivet om produktsikkerhed i almindelighed og den harmoniserede produktlovgivning, som følger de horisontale regler i "den nye tilgang" og/eller "den nye lovgivningsmæssige ramme" (i det følgende benævnt "EU's lovgivning om eller ramme for produktsikkerhed"). De horisontale regler sikrer sammenhængen mellem de sektorspecifikke regler om produktsikkerhed.

Unionens produktsikkerhedslovgivning har til formål at sikre, at produkter, der bringes i omsætning på EU-markedet, opfylder høje krav til sundhed, sikkerhed og miljø, og at sådanne produkter kan cirkulere frit i hele Unionen. Den sektorspecifikke lovgivning suppleres af direktivet om produktsikkerhed i almindelighed, som kræver, at alle forbrugerprodukter skal være sikre, selv hvis de ikke reguleres af EU's sektorspecifikke lovgivning. Sikkerhedsreglerne suppleres af markedsovervågning og de beføjelser, der er tildelt de nationale myndigheder i henhold til forordningen om markedsovervågning og direktivet om produktsikkerhed i almindelighed. Inden for transportområdet er der supplerende regler på EU-plan og nationalt plan for, hvordan et motorkøretøj, et fly eller et skib tages i drift, og klare regler om sikkerhed under driften, herunder klare opgaver for operatørerne samt overvågningsopgaver for myndighederne. Europæisk standardisering er også et væsentligt element i EU-lovgivningen om produktsikkerhed. I betragtning af digitaliseringens og de nye digitale teknologiers globale karakter er det internationale standardiseringssamarbejde særlig relevant for den europæiske industris konkurrenceevne. En stor del af EU-rammen for produktsikkerhed blev skabt inden digitale teknologier såsom kunstig intelligens, tingenes internet eller robotteknologi dukkede op. Den indeholder derfor ikke altid bestemmelser, der udtrykkeligt omhandler de nye udfordringer og risici ved disse nye teknologier. Da den eksisterende produktsikkerhedsramme er teknologineutral, betyder dette imidlertid ikke, at den ikke finder anvendelse på produkter, der inkorporerer disse teknologier. Endvidere har efterfølgende lovgivningsmæssige retsakter, som er en del af denne ramme, f.eks. i bilsektoren eller sektoren for medicinsk udstyr, allerede udtrykkeligt taget hensyn til visse aspekter af fremkomsten af digitale teknologier, f.eks. automatiske afgørelser, software som et særskilt produkt og konnektivitet. Den underliggende logik bag EU's gældende produktsikkerhedslovgivning De udfordringer, som de nye digitale teknologier medfører for EU's ramme for produktsikkerhed, fremlægges nedenfor. Konnektivitet er et centralt element i et stadig større antal produkter og tjenester. Dette element udfordrer det traditionelle sikkerhedsbegreb, både direkte, fordi konnektivitet kan bringe produktets sikkerhed i fare, og indirekte, hvis produktet kan hackes, hvilket fører til sikkerhedstrusler og påvirker brugernes sikkerhed. Et eksempel herpå er en meddelelse fra Island via EU's hurtige varslingssystem vedrørende et smartur til børn. Dette produkt vil ikke være til direkte skade for det barn, der bærer det, men da uret end ikke har indbygget basale sikkerhedsfunktioner, kan det nemt bruges som et redskab til at få adgang til barnet. Da et af produktets formål er at beskytte børn gennem lokalisering, vil en forbruger forvente, at det ikke udgør en sikkerhedsrisiko for børn, der kan påvirke deres sikkerhed ved at de potentielt bliver sporet og/eller kontaktet af nogen. Et andet eksempel fremgår af en meddelelse indgivet af Tyskland vedrørende en personbil. Radioen i køretøjet kan have visse sikkerhedshuller i softwaren, som gør det muligt for uautoriserede tredjeparter at få adgang til de sammenkoblede kontrolsystemer i køretøjet. Hvis disse sikkerhedshuller i softwaren blev udnyttet af en tredjepart til ondsindede formål, kunne det føre til en trafikulykke. Industrielle applikationer kan også være sårbare over for cybertrusler, der påvirker sikkerheden for personer i større målestok, når sådanne applikationer ikke har det nødvendige sikkerhedsniveau. Dette kan f.eks. være tilfældet ved cyberangreb mod et kontrolsystem med afgørende betydning for et industrielt anlæg, som har til formål at udløse en eksplosion, der kan koste menneskeliv. EU-lovgivningen om produktsikkerhed omfatter generelt ikke specifikke obligatoriske centrale krav vedrørende cybertrusler, der påvirker brugernes sikkerhed. Der er dog bestemmelser vedrørende sikkerhedsaspekter i forordningen om medicinsk udstyr, direktivet om måleinstrumenter, direktivet om radioudstyr eller lovgivningen om typegodkendelse af køretøjer. Forordningen om cybersikkerhed opretter en ramme for frivillig cybersikkerhedscertificering for IKT-produkter, -tjenester og -processer, mens den relevante EU-lovgivning om produktsikkerhed fastsætter obligatoriske krav. Desuden kan den risiko for tab af konnektivitet, der er knyttet til nye digitale teknologier, også indebære sikkerhedsrelaterede risici. Hvis en opkoblet brandalarm eksempelvis mister konnektivitet, så advarer den måske ikke brugeren i tilfælde af brand. Sikkerhedsbegrebet i EU's nuværende produktsikkerhedslovgivning er i overensstemmelse med et udvidet sikkerhedsbegreb med det formål at beskytte forbrugere og brugere. Produktsikkerhedsbegrebet omfatter derfor beskyttelse mod alle former for risici i forbindelse med produktet, herunder ikke kun mekaniske, kemiske og elektriske risici, men også cyberrisici og risici i forbindelse med enheders tab af konnektivitet. Udtrykkelige bestemmelser i denne henseende kan overvejes for de relevante EU-retsakters anvendelsesområde med henblik på at sikre en bedre beskyttelse af brugerne og skabe større retssikkerhed. Autonomi er en af de vigtigste egenskaber ved kunstig intelligens. Utilsigtede resultater på grundlag af kunstig intelligens kan skade brugerne og udsatte personer. I det omfang "adfærden" hos produkter baseret på kunstig intelligens kan fastslås på forhånd ved hjælp af den risikovurdering, der foretages af fabrikanten, inden produkterne bringes i omsætning, fastsætter EU-rammebestemmelserne for produktsikkerhed allerede forpligtelser for producenterne til i forbindelse med risikovurderingen at tage hensyn til produkternes "brug" i hele deres levetid. Den indeholder også bestemmelser om, at fabrikanterne skal sørge for en brugsanvisning, sikkerhedsinformation eller advarsler til brugerne. I denne forbindelse kræver direktivet om radioudstyr f.eks., at fabrikanten vedlægger en brugsanvisning med oplysninger om, hvordan man anvender radioudstyret til det formål, det er beregnet til. Der kan også opstå situationer i fremtiden, hvor kunstig intelligens-systemernes resultater ikke kan forudsiges fuldt ud på forhånd. I sådanne tilfælde afspejler den risikovurdering, der blev foretaget, før produktet blev bragt i omsætning, muligvis ikke længere produktets anvendelse, funktion eller adfærd. I disse tilfælde kan det overvejes at kræve en ny og samlet revurdering af det selvlærende produkt, hvis den af fabrikanten påtænkte anvendelse ændres som følge af den autonome adfærd og overholdelsen af sikkerhedskravene påvirkes. Inden for den nuværende ramme skal en producent straks underrette de kompetente myndigheder og træffe foranstaltninger til at forebygge de risici, som brugerne udsættes for, hvis vedkommende bliver klar over, at et produkt i løbet af dets livscyklus udgør en risiko for sikkerheden. Ud over den risikovurdering, der er foretaget, inden et produkt bringes i omsætning, kan der eventuelt indføres en ny risikovurderingsprocedure, hvis produktet undergår væsentlige ændringer i sin levetid, som hvis det f.eks. overgår til en anden produktfunktion end den, som fabrikanten påtænkte i forbindelse med den oprindelige risikovurdering. I denne procedure bør der fokuseres på den autonome adfærds indvirkning på sikkerheden i løbet af produktets levetid. Risikovurderingen bør foretages af den relevante økonomiske aktør. Derudover kan de relevante EU-retsakter omfatte skærpede krav til fabrikanterne angående brugsanvisninger og advarsler til brugerne.

Der stilles allerede krav om lignende risikovurderinger i transportlovgivningen; når et jernbanekøretøj ændres efter certificeringen, pålægges ophavsmanden til ændringen i henhold til lovgivningen om jernbanetransport f.eks. en særlig procedure, og der opstilles klare kriterier med henblik på at afgøre, om myndigheden skal inddrages eller ej. AI-produkternes og -systemernes selvlærende funktion kan gøre maskinen i stand til at træffe beslutninger, der afviger fra det, der oprindeligt var producenternes hensigt, og dermed, hvad brugerne forventer. Dette rejser spørgsmål om menneskelig kontrol, som gør mennesker i stand til at vælge, hvordan og om en beslutning skal uddelegeres til AI-produkter og -systemer med henblik på at opfylde mål, der er fastsat af mennesker. Den eksisterende EU-lovgivning om produktsikkerhed adresserer ikke eksplicit menneskelig overvågning i forbindelse med selvlærende AI-produkter og systemer. De relevante EU-retsakter kan indeholde en sikkerhedsforanstaltning i form af specifikke krav til menneskelig overvågning lige fra KI-produkterne og -systemerne udformes og i hele deres livscyklus. AI-applikationers fremtidige "adfærd" kan medføre mentale sundhedsrisici for brugerne, f.eks. som følge af deres samarbejde med menneskelignende robotter og systemer baseret på kunstig intelligens, enten hjemme eller i arbejdsmiljøer. I den forbindelse henviser sikkerhed i dag generelt til den af brugeren opfattede trussel om fysisk skade, der kan stamme fra nye digitale teknologier. Samtidig defineres sikre produkter i EU's retlige ramme som produkter, der ikke udgør nogen risiko eller kun minimale risici for personers sikkerhed og sundhed. Der er almindelig enighed om, at definitionen af sundhed omfatter både fysisk og psykisk velvære. Psykiske sundhedsrisici bør dog udtrykkeligt være omfattet af produktsikkerhedsbegrebet under den lovgivningsmæssige ramme. For eksempel bør autonomi ikke medføre ovedreven stress og ubehag i længere perioder og skade den mentale sundhed. I denne forbindelse anses de faktorer, der har en positiv indvirkning på ældres følelse af sikkerhed, for at være at: have sikre relationer til sundhedspersonale, have kontrol over de daglige rutiner og blive informeret om dem. Producenter af robotter, der interagerer med ældre, bør tage hensyn til disse faktorer med henblik på at forebygge psykiske sundhedsrisici. Man kan eventuelt overveje som en del af den relevante EU-lovgivning at pålægge producenter af bl.a. menneskelignende robotter baseret på kunstig intelligens eksplicitte forpligtelser til udtrykkeligt at overveje den immaterielle skade, som deres produkter kan påføre navnlig sårbare brugere såsom ældre i plejemiljøer. En anden væsentlig egenskab ved produkter og systemer, der er baseret på kunstig intelligens, er dataafhængighed. Datanøjagtighed og -relevans er afgørende for at sikre, at systemer og produkter baseret på kunstig intelligens træffer de beslutninger, producenten har haft til hensigt. EU-lovgivningen om produktsikkerhed adresserer ikke udtrykkeligt sikkerhedsrelaterede risici som følge af mangelfulde data. På baggrund af produktets "brug" bør producenterne imidlertid i konstruktions- og testfasen forudse, at datanøjagtigheden er relevant for sikkerhedsfunktionerne. F.eks. kan et system baseret på kunstig intelligens, der er udformet med henblik på at opdage specifikke objekter, have vanskeligt ved at genkende genstande under dårlige lysforhold, og derfor bør designerne medtage data, der kommer fra produktprøvninger i både typiske og dårligt belyste miljøer. Et andet eksempel vedrører landbrugsrobotter, såsom frugtplukkende robotter, som har til formål at opdage og lokalisere modne frugter på træer eller på jorden. Selv om de relevante algoritmer allerede viser succesrater med hensyn til klassificering på over 90 %, kan en mangel i de datasæt, som disse algoritmer fodres med, føre til, at sådanne robotter træffer en dårlig beslutning og i forlængelse heraf skader et dyr eller en person. Dette giver anledning til spørgsmålet om, hvorvidt EU's produktsikkerhedslovgivning bør indeholde specifikke krav, der har til formål at adressere de sikkerhedsrisici, som følger af mangelfulde data i udformningsfasen, samt mekanismer til at sikre, at datakvaliteten opretholdes i hele det tidsrum, hvor AI-produkter og -systemer anvendes. Uigennemsigtighed er en anden vigtig egenskab hos nogle af de produkter og systemer, der er baseret på kunstig intelligens, og som kan blive resultatet af deres evne til at forbedre deres resultater ved at lære af deres erfaringer. Afhængigt af den metodiske tilgang kan produkter og systemer baseret på kunstig intelligens være kendetegnet ved forskellige grader af uigennemsigtighed. Dette kan føre til en beslutningsproces i systemet, der er vanskelig at følge ("black box-effect"). Mennesker behøver muligvis ikke at forstå hvert eneste trin i beslutningsprocessen, men efterhånden som AI-algoritmer bliver mere avancerede og tages i anvendelse inden for kritiske områder, er det afgørende, at mennesker kan forstå, hvordan systemets algoritmiske beslutninger er blevet truffet. Dette vil være særlig vigtigt for den efterfølgende håndhævelsesmekanisme, da det vil give håndhævelsesmyndighederne mulighed for at spore ansvaret for kunstig intelligens-systemers adfærd og valg. Dette anerkendes også i Kommissionens meddelelse om opbygning af tillid til menneskecentreret kunstig intelligens. Unionens produktsikkerhedslovgivning adresserer ikke eksplicit de øgede risici, som er forbundet med uigennemsigtighed af systemer, der er baseret på algoritmer. Det er derfor nødvendigt at overveje krav til algoritmers gennemsigtighed samt til robusthed, ansvarlighed og, hvor det er relevant, menneskeligt tilsyn og objektive resultater, hvilket er særligt vigtigt for den efterfølgende håndhævelsesmekanisme og for at opbygge tillid til anvendelsen af disse teknologier. En måde at tackle denne udfordring på kunne være at pålægge algoritmernes udviklere at offentliggøre konstruktionsparametre og metadata for datasæt i tilfælde af uheld. Yderligere risici, der kan have indvirkning på sikkerheden, udpringer af produkternes og systemernes kompleksitet, idet forskellige komponenter, apparater og produkter kan integreres med hinanden og påvirke hinandens funktionsmåde (f.eks. produkter, som er en del af et smart home-økosystem). Denne kompleksitet adresseres allerede af EU's retlige sikkerhedsramme, jf. begyndelsen af dette afsnit. Når producenten foretager risikovurderingen, skal vedkommende navnlig tage hensyn til den påtænkte anvendelse, den forventede anvendelse og, hvor det er relevant, det misbrug, der med rimelighed kan forventes. På denne baggrund vil det være sådan, at hvis en producent forestiller sig, at vedkommendes apparat skal kobles sammen og interagere med andre apparater, så bør der tages hensyn hertil i forbindelse med risikovurderingen. Om der er tale om brug eller misbrug afgøres på grundlag af f.eks. erfaringer med tidligere brug af samme slags produkt, undersøgelser af ulykker eller menneskelig adfærd. Systemernes kompleksitet adresseres også mere specifikt af sektorspecifik lovgivning såsom forordningen om medicinsk udstyr og i et vist omfang i lovgivningen om produktsikkerhed i almindelighed. Eksempelvis bør producenten af et opkoblet apparat, som er beregnet til at være en del af et smart home-økosystem, være i stand til at forudse, at deres produkt vil have indvirkning på andre produkters sikkerhed. Derudover adresserer transportlovgivningen denne kompleksitet på systemniveau. For biler, tog og fly gennemføres typegodkendelse og certificering i lige så høj grad for hver enkelt komponent som for hele køretøjet eller flyet. Vej- og luftdygtighed samt jernbaneinteroperabilitet er en del af sikkerhedsvurderingen. På transportområdet skal "systemer" godkendes af en myndighed, enten på grundlag af en tredjepartsvurdering af konformiteten på grundlag af klare tekniske krav, elle efter en demonstration af, hvordan risici håndteres. Løsningen er overordnet set en kombination af "produktniveau" og "systemniveau". EU's produktsikkerhedslovgivning, herunder transportlovgivningen, tager allerede til en vis grad hensyn til produkters eller systemers kompleksitet med henblik på at tackle de risici, der kan have indvirkning på brugernes sikkerhed. Komplekse systemer omfatter ofte software, som er en vigtig del af et system, der er baseret på kunstig intelligens. Generelt har fabrikanten af det endelige produkt som led i den indledende risikovurdering pligt til at forudse de risici, der er forbundet med software, der er integreret i produktet på det tidspunkt, hvor produktet bringes i omsætning.

Visse dele af EU's produktsikkerhedslovgivning henviser eksplicit til den software, der er integreret i produktet. I direktivet om maskiner kræves det eksempelvis, at en fejl i kontrolsystemets software ikke må medføre farlige situationer. I EU's produktsikkerhedslovgivning kan softwareopdateringer sammenlignes med vedligeholdelsesoperationer af sikkerhedshensyn under forudsætning af, at de ikke i væsentlig grad ændrer et produkt, der allerede er bragt i omsætning, og at de ikke medfører nye risici, som ikke var forudset i den indledende risikovurdering. Hvis en softwareopdatering i væsentlig grad ændrer det produkt, som den downloades til, kan hele produktet dog betragtes som et nyt produkt, hvorfor det, når ændringen udføres, er nødvendigt at foretage en ny vurdering af, om den relevante produktsikkerhedslovgivning overholdes. Når der er tale om stand-alone software, der bringes i omsætning som det er eller uploades, efter at produktet er bragt i omsætning, indeholder EU's sektorspecifikke harmoniserede produktsikkerhedslovgivning generelt ingen specifikke bestemmelser. Visse dele af EU's produktsikkerhedslovgivning adresserer dog stand-alone software, f.eks. forordningen om medicinsk udstyr. Derudover kan stand-alone software, som er uploadet til opkoblede produkter, der kommunikerer via bestemte radiomoduler, også reguleres af direktivet om radioudstyr via delegerede retsakter. Dette direktiv kræver, at specifikke klasser eller kategorier af radioudstyr understøtter funktioner, der sikrer, at produktet stadig overholder reglerne, når softwaren er uploadet. Selv om EU's produktsikkerhedslovgivning tager hensyn til de sikkerhedsrisici, der udgøres af software, som er integreret i produkter, når disse bringes i omsætning, og af eventuelle senere opdateringer fra producenten, kan der være behov for specifikke og/eller eksplicitte krav til stand alone-software (f.eks. en "app", der downloades). Der bør særligt være fokus på den stand-alone software, som sikrer sikkerhedsfunktionerne i AI-produkter og -systemer. Det kan være nødvendigt at pålægge fabrikanterne supplerende forpligtelser for at sikre, at de sørger for funktioner, der er i stand til at forhindre download af software, som har indvirkning på sikkerheden i hele AI-produkternes levetid. Endelig påvirkes nye digitale teknologier af komplekse værdikæder. Denne kompleksitet er dog hverken ny eller udelukkende et spørgsmål, som skyldes nye digitale teknologier såsom KI og tingenes internet. Dette er eksempelvis tilfældet for produkter såsom computere, servicerobotter eller transportsystemer. I henhold til EU-rammen for produktsikkerhed ligger ansvaret for produktsikkerheden fortsat hos den producent, som bringer produktet i omsætning, uanset hvor kompleks værdikæden er. Producenter er ansvarlige for sikkerheden i forbindelse med det endelige produkt, herunder de dele, der er integreret i produktet, som f.eks. softwaren i en computer. Nogle dele af EU's produktsikkerhedslovgivning indeholder allerede bestemmelser, som eksplicit omhandler situationer, hvor flere økonomiske aktører griber ind over for et givet produkt, før dette produkt bringes i omsætning. Eksempelvis kræver direktivet om elevatorer, at den økonomiske aktør, som udformer og fremstiller elevatoren, skal forsyne installatøren med "al den nødvendige dokumentation og information, for at sidstnævnte kan installere og afprøve elevatoren korrekt og sikkert". Direktivet om maskiner kræver, at fabrikanter af udstyr forsyner operatøren med oplysninger om, hvordan udstyret bygges sammen med andre maskiner. EU's produktsikkerhedslovgivning tager hensyn til værdikædernes kompleksitet og pålægger adskillige økonomiske aktører forpligtelser efter princippet om "fælles ansvar". Selv om producentens ansvar for den endelige produktsikkerhed har vist sig at være tilstrækkelig til aktuelle komplekse værdikæder, kan eksplicitte bestemmelser, der specifikt anmoder økonomiske aktører i forsyningskæden og brugerne om at samarbejde, skabe retssikkerhed i forbindelse med værdikæder, der muligvis er endnu mere komplekse. Navnlig ville hver enkelt aktør i værdikæden, som har indvirkning på produktsikkerheden (f.eks. softwareproducenter) og brugerne (ved at ændre produktet) påtage sig deres ansvar og give den næste aktør i kæden de nødvendige oplysninger og foranstaltninger. 3.Erstatningsansvar EU's bestemmelser om produktsikkerhed og produktansvar er to supplerende mekanismer til at forfølge det samme politiske mål, nemlig målet om et velfungerende og sikkert indre marked for varer, hvor risikoen for at forbrugerne lider skade er minimal, og hvor der ydes erstatning for skader som følge af defekte varer. Medlemsstaternes ikkeharmoniserede regler for civilretligt erstatningsansvar supplerer EU-reglerne ved at sikre erstatning for skader som følge af forskellige årsager (f.eks. produkter og tjenesteydelser) og ved at tage kontakt til forskellige ansvarlige personer (f.eks. ejere, operatører eller tjenesteydere). Optimering af EU's sikkerhedsregler for kunstig intelligens kan bidrage til at undgå skader og ulykker, men de kan alligevel forekomme. Det er her, det civilretlige erstatningsansvar bliver aktuelt. Reglerne om civilretligt erstatningsansvar spiller en dobbelt rolle i vores samfund: på den ene side sikrer de, at ofre for skader forårsaget af andre får erstatning, og på den anden side giver de den ansvarlige part økonomiske incitamenter til at undgå at forårsage en sådan skade. Reglerne om erstatningsansvar skal altid finde en balance mellem at beskytte borgerne mod skade og samtidig give virksomhederne rum til at innovere. De retlige rammer for erstatningsansvar i EU har fungeret godt. De er baseret på parallel anvendelse af produktansvarsdirektivet (direktiv 85/374/EØF), som harmoniserede producentens erstatningsansvar for defekte produkter, og andre ikkeharmoniserede nationale produktansvarsordninger. Produktansvarsdirektivet skaber et beskyttelseslag, som nationalt culpaansvar ikke giver alene. Det indfører et system med objektivt erstatningsansvar, hvor producenter er ansvarlige for skader forårsaget af en defekt i deres produkt. I tilfælde af fysisk eller materiel skade har skadelidte ret til erstatning, hvis han eller hun kan bevise, at der er lidt skade, at produktet er defekt (dvs. at det ikke levede op til den sikkerhed, som offentligheden med rette bør kunne forvente), og at der er årsagssammenhæng mellem det defekte produkt og skaden. De nationale ikkeharmoniserede erstatningsordninger for culpaansvar omfatter regler, hvor den skadelidte skal påvise den ansvarlige persons skyld, skaden og årsagssammenhængen mellem skylden og skaden med henblik på at fastslå et erstatningskrav. De indeholder også ordninger for objektivt ansvar, hvor man i den nationale lovgivning har tilskrevet ansvaret for en risiko til en bestemt person, uden at der er behov for et offer for at påvise skyld/defekt eller årsagssammenhængen mellem skyld/defekt og skaden. De nationale erstatningsordninger sikrer ofre for skader, der er forårsaget af produkter og tjenester, flere parallelle erstatningskrav baseret på skyld eller objektivt ansvar. Disse krav er ofte rettet mod forskellige ansvarlige personer og har forskellige betingelser. F.eks. kan offeret i en bilulykke i henhold til national civilret typisk fremsætte et erstatningskrav om objektivt ansvar mod bilens ejer (dvs. den person, der har tegnet ansvarsforsikring for køretøjet) og et erstatningskrav om culpaansvar mod føreren, og derudover kan der i henhold til direktivet om produktansvar fremsættes et erstatningskrav mod producenten, hvis bilen havde en defekt. I overensstemmelse med de harmoniserede bestemmelser om motorkøretøjsforsikring skal brugen af et køretøj være forsikret, og forsikringsselskabet er i praksis de første, der modtager et erstatningskrav for personskade eller materiel skade. I henhold til disse regler kompenserer den obligatoriske forsikring offeret og beskytter den forsikrede person, som i henhold til nationale civilretlige regler er forpligtet til at betale erstatning for den ulykke, som motorkøretøjet har været indblandet i. Producenter er ikke underlagt obligatorisk forsikring i henhold til produktansvarsdirektivet. I EU's lovgivning behandles selvkørende køretøjer ikke anderledes end ikkeselvkørende køretøjer med hensyn til motorkøretøjforsikring. Sådanne køretøjer skal som alle køretøjer være dækket af en ansvarsforsikring for motorkøretøjer, hvilket er den letteste måde, hvorpå skadelidte kan opnå erstatning.

Tegning af en passende forsikring kan mindske ulykkers negative konsekvenser ved at gøre det lettere for offeret at opnå erstatning. Klare regler om erstatningsansvar gør det lettere for forsikringsselskaberne at beregne deres risici og kræve refusion fra den part, der i sidste ende har erstatningsansvaret. Hvis en ulykke eksempelvis skyldes en defekt, kan bilforsikringsselskabet efter at have givet offeret erstatning kræve refusion fra fabrikanten. Egenskaberne ved nye digitale teknologier såsom kunstig intelligens, tingenes internet og robotteknologi udfordrer forskellige aspekter af rammerne for erstatningsansvar på nationalt plan og EU-plan og har potentialet til at mindske deres effektivitet. Nogle af disse egenskaber kan gøre det svært at koble skaden til menneskelig adfærd, hvilket kan danne grundlag for et culpa-baseret krav i henhold til nationale regler. Dette betyder, at erstatningskrav baseret på national erstatningsret kan være svære eller uforholdsmæssigt dyre at underbygge, og at ofrene som følge heraf muligvis ikke modtager passende erstatning. Det er vigtigt, at ofre i forbindelse med ulykker, der omfatter produkter og tjenester, herunder nye digitale teknologier såsom kunstig intelligens, ikke oplever et lavere beskyttelsesniveau sammenlignet med andre produkter og tjenester, hvor de ville modtage erstatning i henhold til national erstatningsret. Dette kan mindske den sociale accept af disse nye teknologier og føre til tilbageholdenhed med hensyn til at bruge dem. Det vil være nødvendigt at foretage en vurdering af, om de udfordringer, som de nye teknologier udgør i forhold til de eksisterende rammer, også kan skabe juridisk usikkerhed med hensyn til, hvordan eksisterende lovgivning gælder (f.eks. hvordan begrebet "fejl" skal anvendes i forhold til skader forårsaget af kunstig intelligens). Disse kan lægge en dæmper på investeringerne og øge omkostningerne til information og forsikring for producenter og andre virksomheder i forsyningskæden, navnlig små og mellemstore europæiske virksomheder. Hvis medlemsstaterne med tiden adresserer de udfordringer, som de nationale rammer for erstatningsansvar står over for, kan dette derudover føre til yderligere fragmentering og således øge omkostningerne ved at indføre innovative AI-løsninger og nedbringe handlen på tværs af grænserne i det indre marked. Det er vigtigt, at virksomhederne kender de risici, som er forbundet med deres erstatningsansvar, i hele værdikæden, og at de kan mindske eller forebygge dem og forsikre sig effektivt mod disse risici. I dette kapitel forklares, hvordan nye teknologier udfordrer de eksisterende rammer, og hvordan disse udfordringer kan håndteres. Derudover kan særlige områder i nogle sektorer, f.eks. sundhedspleje, kræve ekstra opmærksomhed. Produkters, tjenesters og værdikædens kompleksitet: Teknologi og industri har udviklet sig drastisk i løbet af de seneste årtier. Særligt skillelinjen mellem produkter og tjenester er ikke længere så skarp som tidligere. Produkter og ydelsen af tjenester bliver stadig mere flettet ind i hinanden. Selv om komplekse produkter og værdikæder ikke er nye for den europæiske industri eller dennes reguleringsmæssige model, så er der grund til at sætte ekstra fokus på software og kunstig intelligens med hensyn til produktansvar. Software er af afgørende betydning for, at en lang række produkter fungerer, og kan have indvirkning på deres sikkerhed. Det er integreret i produkter, men kan også leveres separat for at gøre brugeren i stand til at anvende produktet som påtænkt. Hverken en computer eller en smartphone ville være til nogen nytte uden software. Dette betyder, at software kan gøre et håndgribeligt produkt defekt og medføre fysisk beskadigelse (jf. boksen om software i afsnittet om sikkerhed). Dette kan i sidste ende resultere i, at producenten af produktet bliver erstatningsansvarlig i henhold til direktivet om produktansvar. Da der findes mange typer af og former for software, er løsningerne på spørgsmålet om klassificering af software som en tjeneste eller et produkt dog ikke altid så lige til. Så selv om den software, der styrer et håndgribeligt produkts funktion, kan betragtes som en del eller komponent af dette produkt, så er det sværere at klassificere nogle former for stand-alone software. Selv om definitionen af et produkt i direktivet om produktansvar er bred, kan rækkevidden dog tydeliggøres yderligere, så den bedre afspejler nye teknologiers kompleksitet og sikrer, at det altid er muligt at få erstatning for skader forårsaget af produkter, der er defekte pga. software eller andre digitale funktioner. Dette ville gøre økonomiske aktører såsom softwareudviklere bedre i stand til at vurdere, om de kan betragtes som producenter i henhold til direktivet om produktansvar. Applikationer baseret på kunstig intelligens er ofte integreret i komplekse miljøer i tilknytning til tingenes internet, hvor mange forskellige forbundne apparater og tjenester interagerer. Kombinationen af forskellige digitale komponenter i et komplekst økosystem og mangfoldigheden af involverede aktører kan gøre det svært at vurdere, hvor en potentiel skade har sit udspring, og hvilken person der har erstatningsansvaret for den. På grund af disse teknologiers kompleksitet kan det være meget svært for ofre at identificere den erstatningsansvarlige person og bevise alle de forhold, der er nødvendige for at få erstatning, og som kræves i henhold til national lovgivning. Omkostningerne for at få adgang til denne ekspertise kan være økonomisk uoverkommelige og afholde ofre fra at kræve erstatning. Derudover vil produkter og tjenester, som er baseret på kunstig intelligens, interagere med traditionelle teknologier, hvilket også medfører yderligere kompleksitet hvad angår erstatningsansvar. Eksempelvis vil selvkørende biler dele vejene med traditionelle biler i en periode. Der vil opstå lignende kompleksitet i forbindelse med interagerende aktører i nogle servicesektorer (såsom trafikstyring og sundhedspleje), hvor delvist automatiserede systemer baseret på kunstig intelligens vil understøtte menneskelig beslutningstagning. Ifølge rapporten fra undergruppen vedrørende nye teknologier under ekspertgruppen vedrørende ansvarsforhold og nye teknologier kan man overveje at tilpasse den nationale lovgivning med henblik på at lette bevisbyrden for ofrene til skader med tilknytning til kunstig intelligens. Eksempelvis kan bevisbyrden knyttes sammen med (den relevante operatørs) overholdelse af specifikke lovbestemte sikkerhedsforpligtelser vedrørende cybersikkerhed. Hvis disse regler ikke overholdes, kan en ændring af bevisbyrden med hensyn til skyld og årsag finde anvendelse. Kommissionen er interesseret i synspunkter angående hvor vidt og i hvilket omfang det kan blive nødvendigt gennem et passende EU-initiativ at afbøde konsekvenserne af kompleksitet ved at lette/bytte om på den bevisbyrde, der kræves i henhold til nationale regler om erstatningsansvar i forbindelse med skader forårsaget af betjening af applikationer baseret på kunstig intelligens. Hvad angår EU-lovgivningen, så betragtes et produkt, som ikke opfylder de obligatoriske sikkerhedsregler, i henhold til direktivet om produktansvar for defekt, uanset om det er producentens skyld. Der kan dog også være grunde til at overveje måder, hvorpå man kan lette bevisbyrden for ofre i henhold til direktivet: Direktivet hviler på nationale regler om bevismateriale og etablering af årsagssammenhæng. Konnektivitet og åbenhed: Det er på nuværende tidspunkt ikke helt klart, hvordan forventningerne bliver med hensyn til sikkerhed i forbindelse med skader, som skyldes brud på cybersikkerheden i produktet, og om denne type skader vil blive godtgjort i tilstrækkelig grad inden for rammerne af direktivet om produktansvar. Der kan findes cybersikkerhedsmæssige svagheder fra starten, når et produkt bringes i omsætning, men de kan også dukke op på et senere tidspunkt, længe efter at produktet blev bragt i omsætning. I culpabaserede rammer for erstatningsansvar giver fastsættelsen af klare cybersikkerhedsmæssige forpligtelser operatørerne mulighed for at finde ud af, hvad de skal gøre for at undgå erstatningsansvarets konsekvenser. Inden for rammerne af direktivet om produktsikkerhed kan spørgsmålet om, hvor vidt en producent under hensyntagen til et produkts med rimelighed forventede anvendelse kunne have forudset visse ændringer, blive mere fremtrædende. Eksempelvis vil man muligvis opleve en stigning i anvendelsen af "forsvaret i forbindelse med senere opståede defekter", ifølge hvilket en producent ikke er erstatningsansvarlig, hvis defekten ikke eksisterede, da produktet blev bragt i omsætning, eller "forsvaret i forbindelse med udviklingsrisici" (at man med den bedste tilgængelige viden på tidspunktet ikke kunne have forudset defekten). Derudover kan erstatningsansvaret blive mindsket i tilfælde, hvor skadelidte ikke foretager de sikkerhedsrelevante opdateringer. Dette kan potentielt betragtes som skadelidtes egen skyld og derfor mindske producentens erstatningsansvar. Da forestillingen om "med rimelighed forventet anvendelse" og spørgsmål vedrørende "egen skyld" såsom undladelse af at downloade en sikkerhedsopdatering kan blive mere fremtrædende, vil skadelidte personer muligvis opleve, at det er sværere af få erstatning for skader forårsaget af en defekt i et produkt. Autonomi og uigennemsigtighed: I tilfælde, hvor applikationer baseret på kunstig intelligens kan agere autonomt, udfører de en opgave, uden at hvert eneste skridt er fastlagt på forhånd, og med mindre, eller i sidste ende helt uden, umiddelbart menneskeligt tilsyn. Algoritmer baseret på maskinlæring kan være svære, hvis ikke umulige, at forstå (den såkaldte "black-box effekt"). Ud over den kompleksitet, som blev drøftet ovenfor, kan det pga. black-box effekten i nogle former for kunstig intelligens blive svært at få erstatning for skader forårsaget af autonome applikationer baseret på kunstig intelligens. Behovet for at forstå algoritmen og de data, som den kunstige intelligens anvender, kræver analytisk kapacitet og teknisk ekspertise, som kan være økonomisk uoverkommelige for ofre. Derudover kan det vise sig umuligt at få adgang til algoritmen, uden at den potentielt erstatningspligtige part samarbejder. I praksis vil ofre således muligvis ikke være i stand til at kræve erstatning Derudover vil det være uklart, hvordan man dokumenterer fejl begået af en autonom kunstig intelligens, og hvad der vil blive betragtet som en fejl begået af en person, som benytter sig af kunstig intelligens. I national lovgivning er der allerede udviklet en række løsninger med henblik på at lette bevisbyrden for ofre i lignende situationer. Et vejledende princip for EU's produktsikkerhed og produktansvar er fortsat, at producenten skal sikre, at alle produkter, som bringes i omsætning, er sikre i hele deres levetid og ved den anvendelse af produktet, som med rimelighed kan forventes. Dette betyder, at en fabrikant vil skulle sikre, at et produkt, der anvender kunstig intelligens, overholder visse sikkerhedsparametre. Egenskaberne ved kunstig intelligens udelukker ikke, at man med rette kan have sikkerhedsmæssige forventninger til produkterne, uanset om der er tale om automatiske plæneklippere eller robotter, der udfører kirurgi.