Mišljenje Europskoga gospodarskog i socijalnog odbora o Komunikaciji Komisije Europskom parlamentu, Vijeću, Europskom gospodarskom i socijalnom odboru i Odboru regija – Izgradnja povjerenja u antropocentričnu umjetnu inteligenciju

(COM(2019) 168 final)

(2020/C 47/09)

Izvjestiteljica: Franca SALIS-MADINIER

Zahtjev za savjetovanje: Europska komisija, 3.6.2019. Pravni temelj: članak 304. Ugovora o funkcioniranju Europske unije Nadležna stručna skupina: Stručna skupina za jedinstveno tržište, proizvodnju i potrošnju Datum usvajanja u Stručnoj skupini: 18.10.2019. Datum usvajanja na plenarnom zasjedanju: 30.10.2019. Plenarno zasjedanje br.: 547 Rezultat glasovanja (za/protiv/suzdržani): 198/1/4

1. Zaključci i preporuke

1.1. Umjetna inteligencija nije sama po sebi cilj, već alat koji može dovesti do radikalnih pozitivnih promjena, ali i donijeti rizike. Zbog toga je potreban okvir za njezinu uporabu.

1.2. Komisija bi trebala poduzeti mjere u pogledu predviđanja, sprečavanja i zabrane zlonamjerne upotrebe umjetne inteligencije i strojnog učenja te bolje regulirati stavljanje na tržište proizvoda koji imaju zlonamjernu svrhu.

1.3. EU bi posebno trebao promicati razvoj sustava umjetne inteligencije usmjerenih na konkretne primjene koje omogućuju ubrzavanje ekološke i klimatske tranzicije.

1.4. Potrebno je utvrditi koje će se probleme moći riješiti uz pomoć etičkih kodeksa, samoregulacije i dobrovoljno preuzetih obveza, a za koje su potrebna regulatorna i zakonodavna sredstva, popratne mjere i, u slučaju nepridržavanja, primjena kazni. U svakom slučaju, sustavi umjetne inteligencije moraju biti u skladu s postojećim zakonodavstvom.

1.5. Za umjetnu inteligenciju potreban je pristup koji obuhvaća tehničke, ali i društvene i etičke aspekte. EGSO pozdravlja želju EU-a da uspostavi antropocentrični pristup umjetnoj inteligenciji usklađen s vrijednostima na kojima se i sama temelji: poštovanje ljudskog dostojanstva, sloboda, demokracija, jednakost i nediskriminacija, vladavina prava, poštovanje prava čovjeka.

1.6. EGSO ponavlja ( 1 ) da je potrebno savjetovati se s radnicima i njihovim predstavnicima i informirati ih prilikom uvođenja sustava umjetne inteligencije koji bi mogli unijeti promjene u organizaciju rada, u nadzor i kontrolu, kao i u sustave ocjenjivanja i zapošljavanja. Komisija mora promicati socijalni dijalog radi uključivanja radnika u uporabu sustava umjetne inteligencije.

1.7. EGSO ističe ( 2 ) da pouzdana umjetna inteligencija podrazumijeva kontrolu čovjeka nad strojem i informiranje građana o uporabi sustava umjetne inteligencije. Sustavi umjetne inteligencije moraju biti objašnjivi, a ako to nije moguće, građanima i potrošačima moraju se pružiti informacije o ograničenjima i rizicima koje oni donose.

1.8. EU se mora posvetiti novim rizicima ( 3 ) u pogledu zdravlja i sigurnosti na radu. Moraju se uspostaviti norme kako bi se spriječilo da autonomni sustavi imaju negativan utjecaj na ljude i nanose im štetu. Radnici moraju biti osposobljeni za rad sa strojem i za prekid rada u slučaju nužde.

1.9. EGSO poziva na osmišljavanje čvrstog sustava certifikacije utemeljenog na postupcima testiranja koji bi poduzećima omogućili da potvrde pouzdanost i sigurnost svojih sustava umjetne inteligencije. Transparentnost, sljedivost i objašnjivost postupaka algoritamskog donošenja odluka i dalje predstavljaju tehnički izazov za koji je potrebna potpora instrumenata EU-a, kao što je program Obzor Europa.

1.10. Razina povjerenja građana i potrošača u umjetnu inteligenciju ovisit će o poštovanju privatnosti i zaštite podataka. Vlasništvo i kontrola nad podacima i način na koji ih poduzeća i organizacije upotrebljavaju pitanja su koja još u velikoj mjeri treba regulirati (osobito internet stvari). EGSO poziva Komisiju da ukorak s tehnološkim razvojem redovito provodi reviziju Opće uredbe o zaštiti podataka ( 4 ) i s njome povezanih propisa.

1.11. EGSO smatra da je bitno promisliti o tome kako sustavi umjetne inteligencije mogu doprinijeti smanjenju emisija stakleničkih plinova, osobito u sektoru industrije, prometa, energije, građevinarstva i poljoprivrede. Zalaže se za to da klimatska i digitalna tranzicija budu međusobno povezane.

1.12. EGSO smatra da bi kontrola sustava umjetne inteligencije mogla biti nedostatna za utvrđivanje odgovornosti i izgradnju povjerenja. EGSO preporučuje da se prioritet dâ utvrđivanju jasnih pravila na temelju kojih bi, u slučaju propusta, odgovornost snosile pravne osobnosti: fizičke ili pravne osobe. EGSO također poziva Komisiju da kao prioritet prouči temeljno pitanje osiguranja za sustave umjetne inteligencije.

1.13. EGSO predlaže da se za poduzeća koja poštuju norme osmisli „europski certifikat za pouzdana poduzeća u području umjetne inteligencije” na temelju, među ostalim, popisa za procjenu koji je predložila stručna skupina na visokoj razini za umjetnu inteligenciju.

1.14. Promicanjem aktivnosti koje se bave tim pitanjem u okviru skupina G7 i G20, kao i u bilateralnim dijalozima, EU mora nastojati osigurati da regulacija umjetne inteligencije nadiđe europske granice. Potrebno je postići međunarodni dogovor o pouzdanoj umjetnoj inteligenciji, čime bi se omogućio razvoj međunarodnih normi i redovna provjera njihove relevantnosti.

2. Sažetak prijedloga Komisije

2.1. Predmetna komunikacija temelji se na radu stručne skupine na visokoj razini za umjetnu inteligenciju koju je Komisija osnovala u lipnju 2018. U tom dokumentu Komisija je utvrdila sedam ključnih zahtjeva za postizanje pouzdane umjetne inteligencije, koji su navedeni u točki 4.

2.2. Komisija je pokrenula pilot-fazu u koju je uključen velik broj raznih dionika. Taj je postupak naročito usmjeren na popis za procjenu koji je stručna skupina na visokoj razini izradila za svaki ključni zahtjev. Početkom 2020. ta će skupina preispitati i ažurirati popis za procjenu, a Komisija će prema potrebi predložiti nove mjere.

2.3. Komisija želi svoj pristup pitanju umjetne inteligencije podignuti na međunarodnu razinu te će nastaviti igrati aktivnu ulogu, među ostalim u okviru skupina G7 i G20.

3. Opće napomene

3.1. Antropocentrična umjetna inteligencija iziskuje pristup koji obuhvaća ne samo tehničke već i društvene i etičke aspekte. EGSO pozdravlja želju koju pokazuju institucije EU-a da uspostave pristup umjetnoj inteligenciji u skladu s vrijednostima na kojima se temelji i sama Unija: poštovanje ljudskog dostojanstva, sloboda, demokracija, jednakost i nediskriminacija, vladavina prava, poštovanje ljudskih prava. Kao što ističe Komisija ( 5 ) , umjetna inteligencija nije sama po sebi cilj, već sredstvo koje može donijeti radikalne pozitivne promjene. Kao i svako sredstvo, istodobno stvara mogućnosti i rizike. Iz tog razloga EU mora izraditi okvir za njezinu uporabu i jasno odrediti tko snosi odgovornost.

3.2. Povjerenje u antropocentričnu umjetnu inteligenciju temeljit će se na učvršćivanju vrijednosti i načela, dobro uspostavljenom regulatornom okviru i etičkim smjernicama koje će sadržavati ključne zahtjeve.

3.3. U suradnji s dionicima treba utvrditi koje od brojnih izazova koje predstavlja umjetna inteligencija treba prevladati regulatornim i zakonodavnim sredstvima uz regulatorne mehanizme praćenja i primjenu kazni u slučaju nepridržavanja, a koje etičkim kodeksima, samoregulacijom i dobrovoljno preuzetim obvezama. EGSO pozdravlja činjenicu da je Komisija preuzela načela koja je prvo iznio EGSO, ali izražava žaljenje što ona u ovoj fazi ne predlaže nikakve posebne mjere u odgovor na opravdanu zabrinutost u pogledu prava potrošača, sigurnosti sustava i odgovornosti.

3.4. Sustavi umjetne inteligencije moraju poštovati postojeći regulatorni okvir, osobito u pogledu zaštite osobnih podataka, odgovornosti za proizvode, zaštite potrošača, nediskriminacije, stručnih kvalifikacija te, na radnom mjestu, informiranja radnika i savjetovanja s njima. Mora se osigurati prilagođenost tog zakonodavstva novim izazovima digitalizacije i umjetne inteligencije.

3.5. Kao što primjećuje Komisija, „trebalo bi uvesti postupke za pojašnjenje i procjenu potencijalnih rizika povezanih s upotrebom sustava umjetne inteligencije u različitim područjima primjene” ( 6 ) . EGSO pridaje najveću važnost budućim oblicima te procjene, kao i izradi pokazatelja koji bi se mogli uzeti u obzir za provedbu te procjene. Nacrt popisa za procjenu koji je izradila skupina na visokoj razini predstavlja polazišnu točku u provedbi tih postupaka.

3.6. To se također tiče pravedne raspodjele dodane vrijednosti koja se očekuje od umjetne inteligencije. EGSO smatra da pozitivne promjene koje donosi umjetna inteligencija u pogledu gospodarskog razvoja, održivosti postupaka proizvodnje i potrošnje (osobito energije) i poboljšanja upotrebe resursa moraju donijeti korist svim zemljama i, unutar njih, svim građanima.

4. Posebne napomene

4.1. Ljudsko djelovanje i nadzor

4.1.1. Komisija želi osigurati da upotreba sustava umjetne inteligencije ni u kojem slučaju ne ugrozit ljudsku autonomiju ili ima štetan učinak. EGSO se slaže s tim pristupom postojanja ljudskog nadzora nad strojem, kao što je već naveo u prethodnim mišljenjima.

4.1.2. To također iziskuje da građani budu ispravno informirani o načinima uporabe tih sustava te da potonji budu objašnjivi ili, ako to nije moguće (na primjer, u slučaju „dubokog učenja”), da se korisniku pružaju informacije o ograničenjima i rizicima sustava. U svakom slučaju, građani moraju zadržati slobodu donošenja odluka koje se razlikuju od odluka umjetne inteligencije.

4.1.3. U poduzećima i javnim upravama radnici i njihovi predstavnici moraju biti informirani na odgovarajući način i s njima se mora savjetovati prilikom uvođenja sustava umjetne inteligencije koji bi mogli izmijeniti organizaciju rada i utjecati na njih u pogledu kontrole, nadzora, ocjenjivanja i zapošljavanja. Komisija mora promicati socijalni dijalog radi uključivanja radnika u uporabu sustava umjetne inteligencije.

4.1.4. emergency brake ”). Kada je riječ o ljudskim resursima, osobita se pozornost mora posvetiti rizicima zlouporabe sustava umjetne inteligencije – primjerice nadzora bez ograničenja, prikupljanja osobnih i zdravstvenih podataka i dijeljenja tih podataka s trećim osobama – kao i novim rizicima u području zdravlja i sigurnosti na radu ( 7 ) . Moraju se uvesti jasni propisi kako bi se spriječilo da suradnja čovjeka i stroja ljudima ne nanosi štetu. Norma o kolaborativnim robotima ( 8 ) koju je izradila Međunarodna organizacija za normizaciju (ISO), namijenjena proizvođačima, integratorima i korisnicima, pruža smjernice za osmišljavanje i organizaciju radnog prostora i smanjenje rizika kojima ljudi mogu biti izloženi. Radnici moraju biti osposobljeni za upotrebu umjetne inteligencije i robotike i za rad s njima, a osobito moraju znati kako ih zaustaviti u slučaju nužde (načelo „”).

4.2. Tehnička stabilnost i sigurnost

4.2.1. EGSO poziva na uvođenje europskih normi sigurnosti i na osmišljavanje čvrstog sustava certifikacije utemeljenog na postupcima testiranja koji bi poduzećima omogućili da potvrde pouzdanost svojih sustava umjetne inteligencije. EGSO također želi istaknuti važnost pitanja osiguranja za sustave umjetne inteligencije.

4.2.2. data poisoning ), fizičku sigurnost (hakiranje autonomnih sustava, uključujući autonomna vozila, bespilotne letjelice, automatska oružja) ili političku sigurnost (masivno prikupljanje osobnih podataka, ciljana propaganda, videomanipulacija itd.). Da bi mogli spriječiti te rizike istraživači, inženjeri i javna tijela moraju usko surađivati; stručnjaci i drugi dionici, kao što su korisnici i potrošači, moraju biti uključeni u rasprave koje se odnose na te izazove. Komisija se nedovoljno bavi pitanjima predviđanja, sprečavanja i zabrane zlonamjerne uporabe umjetne inteligencije i strojnog učenja, na koje upozoravaju brojni istraživači ( 9 ) . Njihove preporuke bi trebalo uzeti u obzir, osobito one koje se odnose na dvostruku uporabu tih tehnologija, koja se može odnositi na digitalnu sigurnost (računalni napadi, iskorištavanje ranjivosti ljudi i umjetne inteligencije, eng.), fizičku sigurnost (hakiranje autonomnih sustava, uključujući autonomna vozila, bespilotne letjelice, automatska oružja) ili političku sigurnost (masivno prikupljanje osobnih podataka, ciljana propaganda, videomanipulacija itd.). Da bi mogli spriječiti te rizike istraživači, inženjeri i javna tijela moraju usko surađivati; stručnjaci i drugi dionici, kao što su korisnici i potrošači, moraju biti uključeni u rasprave koje se odnose na te izazove.

4.3. Privatnost i upravljanje podacima

4.3.1. privacy by design) , kojeg se na temelju Opće uredbe o zaštiti podataka moraju pridržavati povezani objekti, utvrđeno je da potrošači raspolažu s vrlo malo, odnosno nimalo informacija o tom pitanju, i da ne mogu kontrolirati svoje podatke. Iz tog razloga EGSO insistira na tome da Komisija ukorak s tehnološkim razvojem provodi revizije Opće uredbe o zaštiti podataka i s njome povezanih propisa Komisija se zalaže za to da se na pristup podacima primjenjuju „odgovarajući postupci upravljanja i kontrole” ( 10 ) . EGSO smatra da je potrebno više od općenitih izjava. Stupanj povjerenja koji građani imaju u sustave umjetne inteligencije također utječe na njezin razvoj. Pitanja vlasništva i kontrole nad podacima i načina na koji ih poduzeća i organizacije upotrebljavaju i dalje u velikoj mjeri treba regulirati. Na primjer, količina podataka koje proizvođačima motornih vozila dostavljaju automobili, kao i vrsta dostavljenih podataka, navode na razmišljanje ( 11 ) . Unatoč načelu integrirane privatnosti (eng., kojeg se na temelju Opće uredbe o zaštiti podataka moraju pridržavati povezani objekti, utvrđeno je da potrošači raspolažu s vrlo malo, odnosno nimalo informacija o tom pitanju, i da ne mogu kontrolirati svoje podatke. Iz tog razloga EGSO insistira na tome da Komisija ukorak s tehnološkim razvojem provodi revizije Opće uredbe o zaštiti podataka i s njome povezanih propisa ( 12 )

4.4. Transparentnost

4.4.1. EGSO smatra da je objašnjivost postupaka algoritamskog odlučivanja bitna za razumijevanje ne samih mehanizama već logike na kojoj se temelje postupci odlučivanja kao i načina na koji na njih utječu sustavi umjetne inteligencije. Razvoj standardnih postupaka testiranja za sustave automatskog učenja i dalje predstavlja tehnički izazov za koji je potrebno osigurati potporu instrumenata EU-a kao što je program Obzor Europa.

4.4.2. EGSO se slaže sa stajalištem Komisije prema kojem bi sustave umjetne inteligencije trebalo moći prepoznati kao takve „te osigurati da korisnici znaju da su u interakciji sa sustavom umjetne inteligencije” ( 13 ) , uključujući i u okviru odnosa pacijenta i zdravstvenog osoblja i stručnih usluga povezanih sa zdravljem i dobrobiti građana. EGSO također ustraje na činjenici da korisnici ili potrošači moraju imati mogućnost da budu obaviješteni i o uslugama koje obavljaju ljudi. Brojni sustavi umjetne inteligencije zapravo se oslanjaju na veliku količinu ljudskog rada, koji krajnji korisnici često ne vide ( 14 ) . To za sobom povlači pitanje nedostatka transparentnosti prema korisnicima i potrošačima usluga, kao i pitanje iskorištavanja skrivenog i nepriznatog rada.

4.4.3. Osim toga, EGSO smatra da potrošač uvijek mora biti obaviješten o ugradnji sustava umjetne inteligencije u proizvode koje kupuje i da uvijek mora imati pristup svojim podacima i kontrolirati ih.

4.5. Raznolikost, nediskriminacija i pravednost

4.5.1. U određenim primjenama umjetne inteligencije prisutan je rizik diskriminacije, naročito u onima koje omogućuju profiliranje građana, korisnika i potrošača (na primjer, za zapošljavanje, najam nekretnina i određene osobne usluge). Sustavi umjetne inteligencije moraju biti u skladu sa zakonodavstvom EU-a o jednakom postupanju i nediskriminaciji. ( 15 ) S druge strane, i to se zakonodavstvo mora prilagoditi i, prema potrebi, ojačati (uključujući na razini provedbe) kako bi se moglo nositi s novim praksama. Postoji stvaran rizik da algoritamsko profiliranje postane nov moćan instrument diskriminacije. EU to mora spriječiti.

4.5.2. Antirasističkom direktivom ( 16 ) i Direktivom o jednakom postupanju prema spolovima izvan radnog mjesta ( 17 ) predviđeno je osnivanje posebnih tijela nadležnih za promicanje jednakosti žena i muškaraca. EGSO se zalaže za to da ta tijela imaju aktivnu ulogu u praćenju i kontroli sustava umjetne inteligencije u pogledu rizika izravne i neizravne diskriminacije.

4.6. Dobrobit društva i okoliša

4.6.1. Komisija ne iznosi jasne naputke o tome kako bi se klimatska i digitalna tranzicija mogle povezati, naročito uz pomoć upotrebe sustava umjetne inteligencije. Bitno je promisliti o tome kako sustavi umjetne inteligencije mogu doprinijeti smanjenju emisija stakleničkih plinova, osobito u sektoru industrije, prometa, energije, građevinarstva i poljoprivrede.

4.6.2. Komisija ističe da se sustavi umjetne inteligencije mogu upotrebljavati za jačanje socijalnih kompetencija, ali i da postoji rizik da bi mogli i doprinijeti njihovu slabljenju. EGSO smatra da EU mora posvetiti više pažnje razmatranju određenih društvenih izazova. Na primjer, studije su pokazale da je dizajn određenih aplikacija koje sadrže sustave umjetne inteligencije osmišljen kako bi se korisnike internetskih usluga što dulje zadržalo na internetu (društvene mreže, igre, video snimke itd.). Svrha je toga prikupiti što veći broj podataka o njihovu ponašanju, a upotrebljava se široka lepeza strategija: od neprekidnog obnavljanja algoritamskih preporuka, preko igara do podsjetnika, obavijesti itd. Provedene su studije ( 18 ) o učinka koji na djecu imaju prekomjerno vrijeme provedeno na internetu i prekomjerni podražaji, a rezultati ukazuju na povećanje tjeskobe i agresivnosti, nedostatak sna i posljedice po obrazovanje, društvene odnose, zdravlje i dobrobit. Kako bi osigurao umjetnu inteligenciju vrijednu povjerenja, EU mora uzeti u obzir te posljedice i spriječiti ih.

4.6.3. Naposljetku, jedan od čimbenika društvene dobrobiti povezan je s osjećajem sigurnosti na radu. Međutim, učinci digitalizacije mogu izazvati osjećaj nesigurnosti i biti izvor stresa. ( 19 ) Zbog toga je korisno planirati strategije za predviđanje promjena prije nego što dođe do eventualnih restrukturiranja i za kontinuirano osposobljavanje svih radnika. To u poduzećima iziskuje kvalitetan socijalni dijalog između poslodavaca i predstavnika radnika, koji omogućuje uključivost pri uvođenju novih tehnologija, osobito umjetne inteligencije i robotike. Kako bi se povećalo povjerenje između uprava i radnika, sustavi umjetne inteligencije koji se odnose na upravljanje, ocjenjivanje i kontrolu radnika moraju biti objašnjivi, njihovi parametri poznati i njihovo funkcioniranje transparentno.

4.7. Odgovornost

4.7.1. Za odluke koje donose sustavi automatskog učenja nema jednostavnih objašnjenja; uz to, one se redovito ažuriraju. EGSO smatra da bi kontrola sustava umjetne inteligencije mogla biti nedostatna za utvrđivanje odgovornosti i izgradnju povjerenja. Zato preporučuje da se utvrde pravila na temelju kojih, u slučaju propusta, odgovornost snose pravne osobnosti: fizičke ili pravne osobe. EGSO smatra da se treba više oslanjati na pouzdana poduzeća ili stručnjake nego na algoritme i predlaže da se za poduzeća koja poštuju sve norme osmisli „europski certifikat za pouzdana poduzeća u području umjetne inteligencije” koji bi se, među ostalim, temeljio na popisu za procjenu koji je predložila skupina na visokoj razini.

4.7.2. Direktiva o odgovornosti za proizvode ( 20 ) sadrži načelo odgovornosti bez krivnje europskih proizvođača: ako proizvod s greškom uzrokuje štetu potrošaču, proizvođač se može smatrati odgovornim čak ni u slučaju nepostojanja njegove krivnje ili nemara. Zbog dizajna, primjene i sve raširenije uporabe sustava umjetne inteligencije EU treba donijeti prilagođena pravila o odgovornosti za situacije u kojima se proizvodi digitalnog sadržaja i usluge koje se nude potrošačima mogu pokazati opasnima i štetnima. U slučaju štete koju prouzroči sustav umjetne inteligencije potrošači moraju imati pristup pravosuđu.

5. Nužnost regulacije izvan Europe

5.1. U globaliziranom svijetu regulacija umjetne inteligencije mora nadići europske granice. Europa bi trebala poticati da se u skupinama G7 i G20 postigne široka suglasnost o umjetnoj inteligenciji i nastaviti s bilateralnim dijalozima kako bi većina zemalja mogla sudjelovati u postupcima normizacije umjetne inteligencije i redovito provjeravati njihovu relevantnost.

Bruxelles, 30. listopada 2019. Predsjednik Europskoga gospodarskog i socijalnog odbora Luca JAHIER

(1) SL C 440, 6.12.2018., str. 1.

(2) SL C 288, 31.8.2017., str. 1; SL C 440, 6.12.2018., str. 1.

(3) https://osha.europa.eu/hr/emerging-risks.

(4) Uredba (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ (Opća uredba o zaštiti podataka) (SL L 119, 4.5.2016., str. 1.).

(5) COM(2019) 168 final.

(6) COM(2019) 168 final, str. 5.

(7) Vidjeti OSH and the future of work: benefits and risks of artificial intelligence tools in workplaces („Zaštita na radu i budućnost rada: prednosti i rizici alata umjetne inteligencije na radnom mjestu”)

(8) ISO/TS 15066, 2016.

(9) Vidjeti izvješće The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation („Zlouporaba umjetne inteligencije: predviđanje, prevencija i ublažavanje”), veljača 2018.

(10) COM(2019) 168 final, str. 6.

(11) Your car knows when you gain weight („Vaš auto zna kad se debljate”), The New York Times (međunarodno izdanje), 22.5.2019.

(12) SL C 190, 5.6.2019., str. 17.

(13) COM(2019) 168 final, str. 6.

(14) Vidjeti na primjer: A white-collar sweatshop’: Google Assistant contractors allege wage theft, The Guardian, 29.5.2019. i Bot technology impressive, except when it’s not the bot, The New York Times (međunarodno izdanje), 24.5.2019.

(15) SL L 180, 19.7.2000., str. 22.; SL L 303, 2.12.2000., str. 16.; SL L 373, 21.12.2004., str. 37.; SL L 204, 26.7.2006., str. 23.

(16) Direktiva Vijeća 2000/43/EZ od 29. lipnja 2000. o provedbi načela jednakog postupanja prema osobama bez obzira na njihovo rasno ili etničko podrijetlo (SL L 180, 19.7.2000., str. 22.).

(17) Direktiva Vijeća 2004/113/EZ od 13. prosinca 2004. o provedbi načela jednakog postupanja prema muškarcima i ženama u pristupu i nabavi robe, odnosno pružanju usluga (SL L 373, 21.12.2004., str. 37.).

(18) Vidjeti Kidron, Evans, Afia (2018.), Disrupted Childhood – The Cost of Persuasive Design, 5Rights Foundation.

(19) Izvješće skupine na visokoj razini o učinku digitalne transformacije na tržišta rada EU-a, 2019.

(20) Direktiva Vijeća 85/374/EEZ od 25. srpnja 1985. o približavanju zakona i drugih propisa država članica u vezi s odgovornošću za neispravne proizvode (SL L 210, 7.8.1985., str. 29.).