Slične procjene rizika već se zahtijevaju u zakonodavstvu o prijevozu; na primjer, u zakonodavstvu o željezničkom prijevozu, ako se željezničko vozilo mijenja nakon izdavanja potvrde, onaj tko provodi izmjenu mora pokrenuti poseban postupak s jasno utvrđenim kriterijima kako bi se utvrdilo je li potrebno uključiti nadležno tijelo.

Značajka samoučenja proizvoda i sustava umjetne inteligencije može omogućiti uređaju donošenje odluka koje odstupaju od onoga što su mu proizvođači prvotno namijenili, a time i od onoga što korisnici očekuju. Time se propituje ljudska kontrola jer bi ljudi mogli birati kako će i hoće li delegirati odluku proizvodima i sustavima umjetne inteligencije kako bi se postigli ciljevi koje je odabrao čovjek. Postojeće zakonodavstvo Unije o sigurnosti proizvoda ne odnosi se izričito na ljudski nadzor u kontekstu proizvoda i sustava umjetne inteligencije koji samostalno uče.

Relevantnim zakonodavnim aktima Unije mogu se kao zaštitna mjera predvidjeti posebni zahtjevi za ljudski nadzor, počevši od projektiranja proizvoda pa tijekom cijelog životnog ciklusa proizvoda i sustava umjetne inteligencije.

Buduće „ponašanje” UI aplikacija moglo bi prouzročiti rizike za mentalno zdravlje korisnika koji proizlaze, primjerice, iz njihove suradnje s humanoidnim robotima i sustavima umjetne inteligencije kod kuće ili u radnim okruženjima. U tom se pogledu pod sigurnošću općenito upućuje na prijetnju koju korisnik smatra fizičkom štetom koja može proizaći iz perspektivne digitalne tehnologije. Istodobno, sigurni proizvodi definirani su u pravnom okviru Unije kao proizvodi koji ne predstavljaju nikakav rizik ili predstavljaju samo minimalne rizike za sigurnost i zdravlje ljudi. Usuglašeno je da definicija zdravlja uključuje i fizičku i mentalnu dobrobit. Međutim, rizici za mentalno zdravlje trebali bi biti izričito obuhvaćeni konceptom sigurnosti proizvoda u zakonodavnom okviru.

Na primjer, autonomija ne bi tijekom duljih razdoblja smjela uzrokovati pretjeran stres ni neugodnost ni štetiti mentalnom zdravlju. U tom se pogledu smatra da su čimbenici koji pozitivno utječu na osjećaj sigurnosti za starije osobe sljedeći: osjećaju se sigurno s osobljem zdravstvene službe, imaju kontrolu nad svakodnevnim radnjama i o njima su informirani. Proizvođači robota koji su u interakciji sa starijim osobama trebali bi uzeti u obzir te čimbenike kako bi se spriječili rizici za mentalno zdravlje.

Za područje primjene relevantnog zakonodavstva EU-a mogle bi se razmotriti izričite obveze proizvođača, među ostalim, humanoidnih robota temeljenih na umjetnoj inteligenciji, da pažljivo razmotre nematerijalnu štetu koju bi njihovi proizvodi mogli uzrokovati korisnicima, naročito ranjivima, kao što su starije osobe u sustavu skrbi.

Još jedna bitna karakteristika proizvoda i sustava koji se temelje na umjetnoj inteligenciji jest ovisnost o podacima. Točnost i relevantnost podataka ključne su da bi sustavi i proizvodi koji se temelje na umjetnoj inteligenciji donosili odluke kako je predvidio proizvođač.

Zakonodavstvom Unije o sigurnosti proizvoda nisu izričito obuhvaćeni sigurnosni rizici koji proizlaze iz neispravnih podataka. Međutim, u skladu s „uporabom” proizvoda, proizvođači bi tijekom projektnih i ispitnih faza trebali predvidjeti točnost podataka i njezinu važnost za sigurnosne funkcije.

Na primjer, sustavu koji se temelji na umjetnoj inteligenciji i koji je projektiran za otkrivanje određenih predmeta, može biti teško raspoznavati predmete pri lošoj rasvjeti pa bi projektanti trebali uključiti podatke iz ispitivanja proizvoda u tipičnim i slabo osvijetljenim okruženjima.

Drugi se primjer odnosi na poljoprivredne robote, kao što su roboti za branje voća čiji je cilj lociranje zrelog voća na stablima ili na tlu. Premda dotični algoritmi već pokazuju stopu uspješnosti razvrstavanja višu od 90 %, nedostatak u skupovima podataka kojima se koriste ti algoritmi može dovesti do toga da ti roboti donesu lošu odluku i, posljedično, ozlijede životinju ili osobu.

Postavlja se pitanje bi li zakonodavstvo EU-a o sigurnosti proizvoda trebalo sadržavati konkretne zahtjeve u pogledu sigurnosnih rizika zbog neispravnih podataka u fazi projektiranja te mehanizme kojima bi se osiguralo održavanje kvalitete podataka tijekom upotrebe proizvoda i sustava umjetne inteligencije.

Netransparentnost je još jedna glavna karakteristika nekih proizvoda i sustava koji se temelje na umjetnoj inteligenciji, a koja može proizaći iz sposobnosti postizanja bolje učinkovitosti učenjem iz iskustva. Ovisno o metodološkom pristupu, proizvodi i sustavi koji se temelje na umjetnoj inteligenciji mogu biti više ili manje netransparentni. To može otežati praćenje postupka odlučivanja sustava (učinak crne kutije (black-box effect)). Ljudi možda neće morati razumjeti svaki korak u postupku donošenja odluka, ali s obzirom na to da algoritmi umjetne inteligencije sve više napredniju i primjenjuju se u kritičnim područjima, ključno je da ljudi mogu razumjeti kako su se donijele algoritamske odluke sustava. To bi bilo posebno važno za ex post mehanizam provedbe jer bi provedbenim tijelima omogućilo da odrede tko je odgovoran za ponašanje i odabire UI sustava. To je potvrđeno i u Komunikaciji Komisije o izgradnji povjerenja u antropocentričnu umjetnu inteligenciju.

Zakonodavstvom Unije o sigurnosti proizvoda izričito se ne otklanjaju sve veći rizici koji proizlaze iz netransparentnosti sustava koji se temelje na algoritmima. Stoga je potrebno razmotriti zahtjeve za transparentnost algoritama, kao i za pouzdanost, odgovornost i, prema potrebi, ljudski nadzor i nepristrane ishode, što je posebno važno za ex post mehanizam provedbe te za izgradnju povjerenja u upotrebu tih tehnologija. Jedan od načina rješavanja tog problema bilo bi uvođenje obveza za programere algoritama da objave parametre projektiranja i metapodatke skupova podataka u slučaju nezgoda.

Dodatni rizici koji mogu utjecati na sigurnost su oni koji proizlaze iz složenosti proizvoda i sustava jer se različite komponente, uređaji i proizvodi mogu integrirati i međusobno si utjecati na funkcioniranje (npr. proizvodi koji su dio ekosustava pametnog doma).

Na tu se složenost već odnosi pravni okvir Unije za sigurnost na koji se upućuje na početku ovog odjeljka. Konkretno, kad proizvođač provodi procjenu rizika proizvoda, mora uzeti u obzir predviđenu uporabu, predvidivu uporabu i, prema potrebi, razumno predvidivu nepravilnu uporabu.

U tom kontekstu, ako proizvođač predvidi da će njegov uređaj biti povezan s drugim uređajima i da će s njima biti u interakciji, to bi trebalo uzeti u obzir tijekom procjene rizika. Uporaba ili nepravilna uporaba određuje se na temelju, na primjer, iskustva s prošlom uporabom iste vrste proizvoda, istraga nesreća ili ljudskog ponašanja.

Na složenost sustava posebno se odnosi i sektorsko zakonodavstvo o sigurnosti, kao što je Uredba o medicinskim proizvodima, te u određenoj mjeri zakonodavstvo o općoj sigurnosti proizvoda. Na primjer, proizvođač povezanog uređaja, koji je namijenjen da bude dio ekosustava pametnog doma, trebao bi moći razumno predvidjeti da će njegovi proizvodi utjecati na sigurnost drugih proizvoda.

Uz to, u zakonodavstvu u području prijevoza sustavno se uzima u obzir ta složenost. Za automobile, vlakove i zrakoplove, homologiraju se i certificiraju cijela vozila odnosno zrakoplovi, ali i svi sastavni dijelovi. Cestovna, plovidbena i željeznička interoperabilnost dio su procjene sigurnosti. Ako je riječ o prijevozu, „sustave” mora „odobriti” nadležno tijelo, bilo na temelju ocjene sukladnosti treće strane u odnosu na jasne tehničke zahtjeve, ili nakon što se dokaže kako se otklanjaju rizici. Rješenje je općenito kombinacija razine „proizvoda” i razine „sustava”.

U zakonodavstvu Unije o sigurnosti proizvoda, uključujući zakonodavstvo o prijevozu, već se u određenoj mjeri uzima u obzir složenost proizvoda ili sustava kako bi se uklonili rizici koji mogu utjecati na sigurnost korisnika.

Složeni sustavi često uključuju softver, koji je ključna sastavnica sustava koji se temelji na umjetnoj inteligenciji. Općenito, u okviru početne procjene rizika proizvođač konačnog proizvoda ima obvezu predvidjeti rizike softvera ugrađenog u taj proizvod u trenutku njegova stavljanja na tržište.