I förslaget fastställs harmoniserade regler för utveckling, utsläppande på marknaden och användning av AI-system i unionen enligt en proportionerlig riskbaserad metod. I det föreslås en enda framtidssäkrad definition av AI. Vissa särskilt skadliga AI-metoder är förbjudna eftersom de strider mot unionens värden, medan särskilda begränsningar och skyddsåtgärder föreslås i samband med viss användning av biometriska fjärridentifieringssystem för brottsbekämpande ändamål. I förslaget fastställs en solid riskmetod för att definiera AI-system med ”hög risk”, som medför betydande risker för människors hälsa och säkerhet eller grundläggande rättigheter. Dessa AI-system måste uppfylla en uppsättning övergripande obligatoriska krav på tillförlitlig AI och genomgå förfaranden för bedömning av överensstämmelse innan de kan släppas ut på unionsmarknaden. Leverantörer och användare av dessa system åläggs också förutsägbara, proportionella och tydliga skyldigheter för att säkerställa säkerhet och iakttagande av befintlig lagstiftning som skyddar de grundläggande rättigheterna under hela AI-systemens livscykel. För vissa specifika AI-system föreslås endast minimikrav på transparens, särskilt när chatbotar eller ”deepfake” används.

Europaparlamentet har också utfört betydande arbete på AI-området. I oktober 2020 antog parlamentet ett antal resolutioner om AI, bland annat om etik, skadestånd och upphovsrätt. Under 2021 följdes dessa av resolutioner om AI i straffrättsliga frågor och inom utbildning, kultur och den audiovisuella sektorn. I Europaparlamentets resolution om en ram för etiska aspekter av artificiell intelligens, robotteknik och tillhörande teknik rekommenderas särskilt kommissionen att föreslå lagstiftningsåtgärder för att utnyttja möjligheterna och fördelarna med AI, men också att säkerställa skydd av etiska principer. Resolutionen innehåller texten till ett förslag till förordning om etiska principer för utveckling, införande och användning av AI, robotteknik och tillhörande teknik. I enlighet med det politiska åtagande som kommissionens ordförande Ursula von der Leyen gjorde i sina politiska riktlinjer när det gäller resolutioner som Europaparlamentet antagit i enlighet med artikel 225 i fördraget om Europeiska unionens funktionssätt (EUF-fördraget), beaktar detta förslag Europaparlamentets ovannämnda resolution med full respekt för principerna om proportionalitet, subsidiaritet och bättre lagstiftning.

Denna motivering åtföljer förslaget till förordning om harmoniserade regler för artificiell intelligens (rättsakt om artificiell intelligens). Artificiell intelligens (AI) tillhör en teknikfamilj under snabb utveckling som kan ge en mängd ekonomiska och samhälleliga vinster över hela spektrumet av näringslivssektorer och samhällsverksamheter. Genom att ge bättre prognoser, optimera verksamhet och resurstilldelning samt individanpassa tillhandahållandet av tjänster kan användningen av artificiell intelligens stödja socialt och miljömässigt fördelaktiga resultat och ge viktiga konkurrensfördelar för företagen och den europeiska ekonomin. Sådana åtgärder behövs särskilt inom sektorer med stor genomslagskraft, bland annat klimatförändring, miljö och hälsa, den offentliga sektorn, finanser, rörlighet, inrikes frågor och jordbruk. Men samma faktorer och teknik som driver de socioekonomiska fördelarna med AI kan också leda till nya risker eller negativa konsekvenser för enskilda personer eller samhället som helhet. Mot bakgrund av den snabba tekniska utvecklingen och eventuella utmaningar har EU åtagit sig att eftersträva en balanserad strategi. Det ligger i unionens intresse att bevara EU:s tekniska ledarskap och se till att européerna kan dra nytta av ny teknik som utvecklas och fungerar i enlighet med unionens värden, grundläggande rättigheter och principer.

Överensstämmelse säkerställs också med EU-stadgan om de grundläggande rättigheterna och unionens befintliga sekundärlagstiftning om dataskydd, konsumentskydd, icke-diskriminering och jämställdhet. Förslaget påverkar inte – utan kompletterar – den allmänna dataskyddsförordningen (förordning (EU) 2016/679) och brottsbekämpningsdirektivet (direktiv (EU) 2016/680) med en uppsättning harmoniserade regler för utformning, utveckling och användning av vissa AI-system med hög risk och begränsningar för viss användning av biometriska fjärridentifieringssystem. Dessutom kompletterar förslaget befintlig unionslagstiftning om icke-diskriminering med särskilda krav som syftar till att minimera risken för algoritmisk diskriminering, särskilt när det gäller utformningen av och kvaliteten på de dataset som används för utveckling av AI-system, kompletterat med skyldigheter avseende testning, riskhantering, dokumentation och mänsklig tillsyn under AI-systemens hela livscykel. Förslaget påverkar inte tillämpningen av unionens konkurrenslagstiftning.

Totalt inkom 1 215 bidrag, varav 352 kom från företag, företagarorganisationer eller näringslivsorganisationer, 406 från enskilda personer (92 % från EU), 152 från akademiska institutioner och forskningsinstitut och 73 från offentliga myndigheter. Det civila samhället företräddes av 160 svarande (varav 9 var konsumentorganisationer, 129 icke-statliga organisationer och 22 fackföreningar) och 72 svarande klassificerade sig som ”övriga”. Av de 352 företags- och industriföreträdarna var 222 företag och företrädare för näringslivet, varav 41,5 % var mikroföretag eller små och medelstora företag. De övriga var näringslivsorganisationer. Totalt kom 84 % av svaren från näringslivet och industrin från EU-27. Beroende på frågan använde 81–598 av de svarande möjligheten att lägga till fritextkommentarer. Över 450 ståndpunktsdokument lämnades in via webbplatsen EU Survey, antingen som komplement till svaren på frågeformuläret (över 400) eller som fristående bidrag (över 50).

Ett offentligt samråd på nätet inleddes den 19 februari 2020 i samband med offentliggörandet av vitboken om artificiell intelligens och pågick till och med den 14 juni 2020. Syftet med samrådet var att samla in synpunkter och åsikter om vitboken. Den riktade sig till alla intresserade berörda parter från den offentliga och privata sektorn, däribland regeringar, lokala myndigheter, kommersiella och icke-kommersiella organisationer, arbetsmarknadsparter, experter, akademiker och medborgare. Efter analys av alla mottagna svar offentliggjorde kommissionen både en sammanfattning och de enskilda svaren på sin webbplats.

Företag eller offentliga myndigheter som utvecklar eller använder AI-tillämpningar som utgör en hög risk för medborgarnas säkerhet eller grundläggande rättigheter måste uppfylla särskilda krav och skyldigheter. Uppfyllandet av dessa krav skulle medföra kostnader på cirka 6 000–7 000 EUR fram till 2025 för tillhandahållandet av ett genomsnittligt AI-system med hög risk och som kostar ca 170 000 EUR. För AI-användare skulle det också uppkomma årliga kostnader för den tid som används för att säkerställa mänsklig tillsyn när så är lämpligt, beroende på användningsfallet. Dessa har beräknats till cirka 5 000–8 000 EUR per år. Kontrollkostnaderna kan uppgå till ytterligare 3 000–7 500 EUR för leverantörer av AI som utgör hög risk. Företag eller offentliga myndigheter som utvecklar eller använder AI-tillämpningar som inte klassificeras ha hög risk skulle endast ha minimala informationsskyldigheter. De skulle dock kunna välja att gå samman med andra och tillsammans anta en uppförandekod för att följa lämpliga krav och säkerställa att deras AI-system är tillförlitliga. I ett sådant fall skulle kostnaderna som högst vara lika höga som för AI-system med hög risk, men förmodligen lägre.

I avdelning III ingår särskilda regler för AI-system som medför en hög risk för fysiska personers hälsa och säkerhet eller grundläggande rättigheter. I linje med en riskbaserad metod är dessa AI-system med hög risk tillåtna på den europeiska marknaden under förutsättning att vissa obligatoriska krav uppfylls och en förhandsbedömning av överensstämmelse görs. Klassificeringen av att ett AI-system utgör hög risk baseras på det avsedda ändamålet med AI-systemet, i linje med befintlig produktsäkerhetslagstiftning. Klassificeringen som system med hög risk beror därför inte bara på den funktion som AI-systemet fyller, utan också på specifika syftena med och formerna för användningen av systemet.

AI-leverantörer kommer dessutom att vara skyldiga att informera de nationella behöriga myndigheterna om allvarliga incidenter eller funktionsstörningar som utgör brott mot skyldigheterna som rör de grundläggande rättigheterna så snart de får kännedom om dem, samt om återkallelser eller tillbakadraganden av AI-system från marknaden. De nationella behöriga myndigheterna kommer sedan att utreda incidenterna eller funktionsstörningarna, samla in all nödvändig information och regelbundet översända den till kommissionen med lämpliga metadata. Kommissionen kommer att komplettera denna information om incidenter med en omfattande analys av den övergripande marknaden för AI.

För att säkerställa att förslaget på ett effektivt sätt uppnår sina specifika mål är det avgörande att en robust övervaknings- och utvärderingsmekanism kan tillhandahållas. Kommissionen kommer att ansvara för övervakningen av förslagets effekter. Kommissionen kommer att inrätta ett system för registrering av fristående AI-tillämpningar med hög risk i en offentlig EU-omfattande databas. Denna registrering kommer också att göra det möjligt för behöriga myndigheter, användare och andra intresserade att kontrollera om AI-systemet med hög risk uppfyller kraven i förslaget och utöva förstärkt tillsyn över de AI-system som utgör hög risk för de grundläggande rättigheterna. För att få in uppgifter i denna databas kommer AI-leverantörer att vara skyldiga att tillhandahålla meningsfull information om sina system och om den bedömning av överensstämmelse som utförs för dessa system.

Medlemsstaterna måste utse tillsynsmyndigheter som har ansvar för att genomföra de rättsliga kraven. Deras tillsynsfunktion skulle kunna baseras på befintliga strukturer, till exempel när det gäller organ för bedömning av överensstämmelse eller marknadsövervakning, men skulle kräva tillräcklig teknisk expertis och tillräckliga personalresurser och ekonomiska resurser. Beroende på den befintliga strukturen i varje medlemsstat skulle detta resursbehov kunna uppgå till 1–25 heltidsekvivalenter per medlemsstat.

I avdelning X betonas alla parters skyldighet att respektera konfidentialiteten för information och uppgifter och fastställs regler för utbyte av information som erhållits under genomförandet av förordningen. I avdelning X ingår också åtgärder för att säkerställa ett effektivt genomförande av förordningen genom effektiva, proportionella och avskräckande sanktioner för överträdelser av bestämmelserna.

Allt detta påverkar inte tillämpningen av det befintliga systemet och fördelningen av befogenheter för efterhandskontroll av skyldigheter som gäller de grundläggande rättigheterna i medlemsstaterna. När det är nödvändigt för deras uppdrag kommer de befintliga tillsyns- och kontrollmyndigheterna också att ha befogenhet att begära och få tillgång till all dokumentation som bevaras i enlighet med denna förordning och vid behov begära att marknadskontrollmyndigheterna organiserar testning av AI-system med hög risk med tekniska medel.

Genom avdelning VI inrättas styrningssystemen på unionsnivå och nationell nivå. På unionsnivå inrättas genom förslaget en europeisk nämnd för artificiell intelligens (nämnden) som består av företrädare för medlemsstaterna och kommissionen. Nämnden kommer att underlätta ett smidigt, effektivt och harmoniserat genomförande av denna förordning genom att bidra till ett effektivt samarbete mellan de nationella tillsynsmyndigheterna och kommissionen samt tillhandahålla råd och sakkunskap till kommissionen. Den kommer också att samla in och utbyta bästa praxis mellan medlemsstaterna.

Avdelning V bidrar till målet att skapa en rättslig ram som är innovationsvänlig, framtidssäker och resilient mot störningar. Därför uppmuntras de nationella behöriga myndigheterna att inrätta regulatoriska sandlådor och fastställa en grundläggande ram för styrning, tillsyn och ansvar. Genom regulatoriska sandlådor för AI skapas en kontrollerad miljö för att testa innovativ teknik under en begränsad tid på grundval av en testplan som överenskommits med de behöriga myndigheterna. I avdelning V ingår också åtgärder för att minska regelbördan för små och medelstora företag samt nystartade företag.

(9)I denna förordning bör begreppet allmänt tillgänglig plats förstås som varje fysisk plats som är tillgänglig för allmänheten, oavsett om platsen i fråga är i privat eller offentlig ägo. Därmed omfattar begreppet inte platser som är av privat art och som normalt inte är fritt tillgängliga för tredje part, inbegripet brottsbekämpande myndigheter, om inte dessa parter särskilt har bjudits in eller getts tillåtelse, såsom bostäder, privata klubbar, kontor, lager och fabriker. Onlineplatser omfattas inte heller eftersom de inte är fysiska platser. Enbart det faktum att vissa villkor kan gälla för att få tillträde till en viss plats, såsom inträdesbiljetter eller åldersgränser, betyder inte att platsen inte anses allmänt tillgänglig enligt denna förordning. Vid sidan av sådana offentliga platser som gator, berörda delar av offentliga byggnader och de flesta transportinfrastrukturer är normalt också sådana platser som biografer, teatrar, affärer och köpcentrum tillgängliga för allmänheten. Det bör dock avgöras från fall till fall om en viss plats är tillgänglig för allmänheten, med beaktande av den individuella situationens särdrag.

(8)Begreppet system för biometrisk fjärridentifiering enligt denna förordning bör definieras utifrån funktion, som ett AI-system avsett för fjärridentifiering av fysiska personer genom jämförelse mellan en persons biometriska uppgifter och biometriska uppgifter i en referensdatabas, och utan någon förhandskunskap om huruvida den berörda personen kommer att vara närvarande och kan identifieras, oavsett den specifika teknik, process eller typ av biometriska uppgifter som används. Mot bakgrund av systemens olika kännetecken och de olika sätt som de används på, liksom de olika risker som är involverade, bör en åtskillnad göras mellan system för biometrisk identifiering ”i realtid” och ”i efterhand”. När det gäller system i realtid sker insamlingen av biometriska uppgifter, jämförelsen och identifieringen omedelbart, näst intill omedelbart eller under alla omständigheter utan betydande dröjsmål. I detta avseende bör det inte finnas något utrymme för att kringgå denna förordnings regler om användning i realtid av de berörda AI-systemen genom att tillhandahålla mindre fördröjningar. Realtidssystem involverar direktupptagningar eller näst intill direktupptagningar av material, såsom videoupptagningar, genererade med kamera eller annan utrustning med liknande funktion. Efterhandssystem baseras däremot på redan insamlade biometriska uppgifter och jämförelsen och identifieringen sker med en betydande fördröjning. Detta involverar sådant material som bilder eller videoupptagningar som genereras genom övervakningskameror (CCTV) eller privat utrustning och som har genererats före användningen av systemet vad gäller de berörda fysiska personerna.

(3)Artificiell intelligens tillhör en teknikfamilj under snabb utveckling som kan bidra till en mängd ekonomiska och samhälleliga vinster över hela spektrumet av näringslivssektorer och samhällsverksamheter. Artificiell intelligens kan ge bättre prognoser, optimera verksamheter och resurstilldelning och individanpassa digitala lösningar som finns tillgängliga för enskilda och organisationer och på så sätt ge företagen viktiga konkurrensfördelar och stödja socialt och miljömässigt fördelaktiga utfall, exempelvis inom hälso- och sjukvård, jordbruk, utbildning, infrastrukturförvaltning, energi, transport och logistik, offentliga tjänster, säkerhet, rättsväsen, resurs- och energieffektivitet samt begränsning av och anpassning till klimatförändringar.

(30)När det gäller AI-system som är säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, vilka omfattas av viss unionslagstiftning om harmonisering, är det lämpligt att klassificera dessa som hög risk inom ramen för denna förordning om den berörda produkten genomgår förfarandet för bedömning av överensstämmelse hos ett tredjepartsorgan för bedömning av överensstämmelse i enlighet med den relevanta unionslagstiftningen om harmonisering. Det handlar närmare bestämt om sådana produkter som maskiner, leksaker, hissar, utrustning och skyddssystem avsedda för användning i potentiellt explosionsfarliga omgivningar, radioutrustning, tryckutrustning, utrustning för fritidsfartyg, linbaneanläggningar, anordningar för förbränning av gasformiga bränslen, medicintekniska produkter och medicintekniska produkter för in vitro-diagnostik.

(17)AI-system som tillhandahåller social poängsättning av fysiska personer för allmänna syften för offentliga myndigheter, eller på deras vägnar, kan medföra diskriminering och uteslutning av vissa grupper. De kan strida mot rätten till värdighet och icke-diskriminering och värdena jämlikhet och rättvisa. Sådana AI-system utvärderar eller klassificerar fysiska personers tillförlitlighet på grundval av deras sociala beteende i olika sammanhang eller kända eller förutsedda personliga egenskaper. Den sociala poängsättning som erhålls från sådana AI-system kan leda till negativ eller ogynnsam behandling av fysiska personer eller hela grupper av fysiska personer i sociala sammanhang som saknar koppling till det sammanhang där berörda data ursprungligen genererades eller samlades in, eller till en negativ behandling som är oproportionerlig eller omotiverad i förhållande till hur allvarligt personernas sociala beteende är. Sådana AI-system bör därför förbjudas.

(12)Denna förordning bör också tillämpas på unionens institutioner, kontor, organ och byråer när de agerar som tillhandahållare eller användare av AI-system. AI-system som uteslutande utvecklas eller används för militära ändamål bör undantas från denna förordnings tillämpningsområde i de fall då användningen faller under den gemensamma utrikes- och säkerhetspolitikens exklusiva behörighet vilken regleras genom avdelning V i fördraget om Europeiska unionen (EU-fördraget). Denna förordning bör inte påverka tillämpningen av bestämmelserna om tjänstelevererande mellanhänders ansvar enligt Europaparlamentets och rådets direktiv 2000/31/EG [ändrat genom rättsakten om digitala tjänster].

(11)Mot bakgrund av AI-systemens digitala natur bör vissa AI-system omfattas av denna förordning även om de varken släpps ut på marknaden, tas i bruk eller används i unionen. Detta är exempelvis fallet om en aktör som är etablerad i unionen lägger ut vissa tjänster på entreprenad hos en aktör som är etablerad utanför unionen och entreprenaden avser en aktivitet som ska utföras av ett AI-system som skulle klassificeras som hög risk och vars effekter påverkar fysiska personer som befinner sig i unionen. Under dessa omständigheter skulle det AI-system som används av aktören utanför unionen kunna behandla data som på lagligt sätt samlats in och överförts från unionen och förse den avtalsslutande aktören i unionen med utdata från detta AI-system som är resultatet av denna behandling, utan att det berörda AI-systemet släppts ut på marknaden, tagits i bruk eller använts i unionen. För att förhindra att denna förordning kringgås och säkerställa ett effektivt skydd av fysiska personer som befinner sig i unionen, bör den också tillämpas på leverantörer och användare av AI-system som är etablerade i tredjeländer, i den utsträckning som de utdata som produceras av AI-systemen används i unionen. För att ta hänsyn till befintliga arrangemang och särskilda behov av samarbete med utländska partner med vilka information och bevis utbyts, bör denna förordning dock inte tillämpas på offentliga myndigheter i tredjeländer eller internationella organisationer som agerar inom ramen för internationella avtal som ingåtts på nationell eller europeisk nivå och som avser brottsbekämpande och rättsligt samarbete med unionen eller dess medlemsstater. Sådana avtal har ingåtts bilateralt mellan medlemsstater och tredjeländer eller mellan Europeiska unionen, Europol och andra EU-organ och tredjeländer och internationella organisationer.

(49)AI-system med hög risk bör fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av noggrannhet, robusthet och cybersäkerhet i enlighet med den allmänt erkända bästa tekniken. Användarna bör informeras om graden av noggrannhet och om mätningen av noggrannheten.

(46)Det är mycket viktigt att ha information om hur AI-system med hög risk har utvecklats och hur de utför sina funktioner under hela sin livscykel, för att kontrollera att kraven enligt denna förordning uppfylls. Detta förutsätter arkivering och tillgång till teknisk dokumentation som innehåller den information som krävs för att bedöma om AI-systemet uppfyller de berörda kraven. Denna information bör innefatta systemets allmänna egenskaper, förmågor och begränsningar samt algoritmer, data, träning, de förfaranden som används för testning och validering samt dokumentation av relevanta riskhanteringssystem. Den tekniska dokumentationen bör vara uppdaterad.

(41)Det faktum att ett AI-system klassificerats som hög risk enligt denna förordning bör inte tolkas som att användningen av det systemet nödvändigtvis är lagligt enligt andra rättsakter i unionsrätten eller enligt nationell lagstiftning som är förenlig med unionsrätten, exempelvis vad gäller skydd av personuppgifter, användning av lögndetektorer och liknande verktyg eller andra system för att läsa av fysiska personers emotionella tillstånd. All sådan användning bör även fortsättningsvis endast ske i enlighet med de tillämpliga krav som följer av stadgan eller av tillämpliga rättsakter i unionens sekundärrätt och nationell rätt. Denna förordning ska inte tolkas som att den omfattar en rättslig grund för behandling av personuppgifter, inbegripet särskilda kategorier av personuppgifter, i förekommande fall.

(39)AI-system som används inom förvaltning av migration, asyl och gränskontroll påverkar människor som ofta är i en särskilt utsatt situation och som är beroende av resultatet av de behöriga offentliga myndigheternas åtgärder. Det är därmed särskilt viktigt att de AI-system som används i dessa sammanhang är tillförlitliga, icke-diskriminerande och transparenta, för att garantera iakttagandet av de påverkade personernas grundläggande rättigheter, i synnerhet deras rätt till fri rörlighet, icke-diskriminering, skydd av privatliv och personuppgifter, internationellt skydd och god förvaltning. Det är därför lämpligt att som hög risk klassificera AI-system avsedda att användas av behöriga offentliga myndigheter som anförtrotts uppdrag på områdena migration, asyl och gränskontroll, såsom lögndetektorer och liknande verktyg för att läsa av en fysisk persons emotionella tillstånd, för bedömning av vissa risker som utgörs av fysiska personer som reser in till en medlemsstats territorium eller som ansöker om visum eller asyl, för att kontrollera äktheten i fysiska personers relevanta handlingar, och för att bistå behöriga offentliga myndigheter i granskningen av ansökningar om asyl, visum och uppehållstillstånd och därmed förbundna klagomål med avseende på syftet att fastställa om den ansökande fysiska personen uppfyller kraven för denna status. AI-system på området migration, asyl och gränskontroll vilka omfattas av denna förordning bör uppfylla de relevanta förfarandemässiga krav som fastställs i Europaparlamentets och rådets direktiv 2013/32/EU, Europaparlamentets och rådets förordning (EG) nr 810/2009 och annan relevant lagstiftning.

(37)Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet bör AI-system som används för att utvärdera fysiska personers kreditomdöme eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för detta ändamål kan medföra diskriminering av personer eller grupper eller reproducera historiska diskrimineringsmönster, exempelvis baserat på rasmässigt eller etniskt ursprung, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskrimineringseffekter. AI-system för kreditprövning och kreditomdömen som utnyttjas av småskaliga leverantörer för egen användning bör undantas, mot bakgrund av effekternas mycket begränsade omfattning och de tillgängliga alternativen på marknaden. Fysiska personer som ansöker om eller erhåller offentliga bidragsförmåner och tjänster från offentliga myndigheter är normalt beroende av dessa förmåner och tjänster och i en utsatt position i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska vägras, minskas, upphävas eller återkallas av myndigheterna kan de ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller effektivt rättsmedel. Dessa system bör därför klassificeras som hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Slutligen bör även AI-system som används för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster klassificeras som hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.

(36)AI-system som används i utbildning, arbetsledning och tillgång till egenföretagande, i synnerhet när det gäller rekrytering eller urval av personer, för beslutsfattande om befordran eller uppsägning och för fördelning av uppgifter, övervakning eller utvärdering av personer i arbetsrelaterade avtalsförhållanden, bör också klassificeras som hög risk, eftersom dessa system märkbart kan påverka framtida karriärutsikter och försörjning för de berörda personerna. Relevanta arbetsrelaterade avtalsförhållanden bör innefatta arbetstagare och personer som tillhandahåller tjänster via plattformar enligt kommissionens arbetsprogram för 2021. Sådana personer bör i princip inte betraktas som användare enligt denna förordning. Under hela rekryteringsförfarandet och vid utvärdering, befordran eller bibehållande av personer i arbetsrelaterade avtalsförhållanden, kan sådana system reproducera historiska mönster av diskriminering, exempelvis mot kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller mot personer på grund av ras, etniskt ursprung eller sexuell läggning. AI-system som används för att övervaka dessa personers prestation och beteende kan också påverka deras rätt till dataskydd och personlig integritet.

(70)Vissa AI-system avsedda för att interagera med fysiska personer eller generera innehåll kan utgöra särskilda risker för identitetsmissbruk eller vilseledning oavsett om de kategoriseras som hög risk eller inte. Under vissa omständigheter bör därför användningen av dessa system omfattas av särskilda transparensskyldigheter utan att det påverkar kraven eller skyldigheterna för AI-system med hög risk. I synnerhet bör fysiska personer underrättas om att de interagerar med ett AI-system, utom om detta är uppenbart utifrån omständigheterna eller användningssituationen. Fysiska personer bör också meddelas när de exponeras för ett system för känsloigenkänning eller ett system för biometrisk kategorisering. Sådan information och sådana meddelanden bör tillhandahållas i format som är tillgängliga för personer med funktionsnedsättning. Vidare bör användare som använder ett AI-system för att generera eller manipulera bilder eller ljud- eller videoinnehåll som på ett märkbart sätt liknar befintliga personer, platser eller händelser, och som för en person felaktigt kan framstå som autentiska, upplysa om att innehållet har skapats artificiellt eller manipulerats genom märkning av det innehåll som producerats med artificiell intelligens och upplysa om innehållets artificiella ursprung.

(65)För genomförandet av tredjepartsbedömningen av överensstämmelse för AI-system avsedda att användas för biometrisk fjärridentifiering av personer, bör anmälda organ utses inom ramen för denna förordning av de nationella behöriga myndigheterna, under förutsättning att de uppfyller ett antal krav, i synnerhet vad gäller oberoende, kompetens och avsaknad av intressekonflikter.

(64)Mot bakgrund av den mer omfattande erfarenheten av professionella certifieringsorgan före utsläppandet på marknaden på området produktsäkerhet och de olika typer av risker som är involverade, är det lämpligt att, åtminstone i den inledande fasen av denna förordnings tillämpning, begränsa tillämpningsområdet för tredjepartsbedömning av överensstämmelse när det gäller andra AI-system med hög risk än de som är relaterade till produkter. Därför bör bedömningen av överensstämmelse för sådana system som allmän regel utföras av leverantören under dennes eget ansvar, med det enda undantaget att ett anmält organs deltagande i bedömningen av överensstämmelse bör föreskrivas för AI-system avsedda att användas för biometrisk fjärridentifiering av personer, i den utsträckning som dessa system inte är förbjudna.

(59)Det är lämpligt att utgå från att användaren av AI-systemet bör vara den fysiska eller juridiska person, offentliga myndighet eller den byrå eller andra organ under vars överinseende AI-systemet används, utom när AI-systemet används inom ramen för en personlig icke-yrkesmässig verksamhet.

(58)Mot bakgrund av AI-systemens natur och de risker för säkerhet och grundläggande rättigheter som kan vara förknippade med användningen av dem, inbegripet när det gäller behovet av att säkerställa en korrekt övervakning av ett AI-systems prestanda under verkliga förhållanden, är det lämpligt att fastställa särskilda ansvarsområden för användarna. Användarna bör i synnerhet använda AI-system med hög risk i enlighet med bruksanvisningarna, och vissa andra skyldigheter bör föreskrivas när det gäller övervakning av AI-systemens funktionssätt och arkivering, såsom lämpligt.

(56)För att möjliggöra kontroll av efterlevnaden av denna förordning och säkerställa lika villkor för aktörerna, och med beaktande av de olika formerna för att göra digitala produkter tillgängliga, är det viktigt att säkerställa att en person som är etablerad i unionen under alla omständigheter kan förse myndigheterna med all den informationen om AI-systemens överensstämmelse som är nödvändig. Innan leverantörer etablerade utanför unionen gör sina AI-system tillgängliga i unionen bör de, i de fall då ingen importör kan identifieras, genom skriftlig fullmakt utse ett ombud i unionen.

(71)Artificiell intelligens är en teknikfamilj i snabb utveckling som kräver nya former av tillsyn och ett säkert område för experiment, med säkerställande av ansvarsfull innovation och integrering av ändamålsenliga skydds- och riskbegränsningsåtgärder. För att säkerställa en rättslig ram som är innovationsvänlig, framtidssäkrad och resilient mot störningar, bör de nationella behöriga myndigheterna från en eller flera medlemsstater uppmuntras att inrätta ”regulatoriska sandlådor” för artificiell intelligens, för att främja utveckling och testning av innovativa AI-system under strikt tillsyn innan dessa system släpps ut på marknaden eller på annat sätt tas i bruk.

(72)Syftet med dessa ”regulatoriska sandlådor” bör vara att främja AI-innovation genom skapande av en kontrollerad försöks- och testmiljö för utveckling i fasen före utsläppandet på marknaden, med sikte på att säkerställa att de innovativa AI-systemen är förenliga med denna förordning och annan lagstiftning på unions- eller medlemsstatsnivå, att öka rättssäkerheten för innovatörer och förbättra de behöriga myndigheternas tillsyn och förståelse av möjligheterna, de nya riskerna och effekterna av AI-användningen, samt att öka tillgången till marknader, bland annat genom att undanröja hinder för små och medelstora företag och uppstartsföretag. För att säkerställa ett enhetligt genomförande i hela unionen och stordriftsfördelar är det lämpligt att fastställa gemensamma regler för införandet av regulatoriska sandlådor och en samarbetsram för de berörda myndigheter som deltar i tillsynen över sådana sandlådor. Denna förordning bör erbjuda den rättsliga grunden för användning av personuppgifter för andra ändamål än utvecklingen av vissa AI-system i allmänhetens intresse inom regulatoriska sandlådor för AI, i linje med artikel 6.4 i förordning (EU) 2016/679 och artikel 6 i förordning (EU) 2018/1725, och utan att det påverkar tillämpningen av artikel 4.2 i direktiv (EU) 2016/680. Deltagarna i sandlådan bör säkerställa ändamålsenliga skyddsåtgärder och samarbeta med de behöriga myndigheterna, vilket omfattar att följa deras vägledning och agera snabbt och i god tro för att begränsa eventuella höga risker för säkerhet och grundläggande rättigheter som kan uppstå i samband med utvecklings- och försöksverksamhet i sandlådan. Deltagarnas agerande i sandlådan bör beaktas när de behöriga myndigheterna beslutar om påförande av administrativa sanktionsavgifter enligt artikel 83.2 i förordning 2016/679 och artikel 57 i direktiv 2016/680.

(73)För att främja och skydda innovation är det viktigt att särskild hänsyn tas till småskaliga leverantörer och användare av AI-system. I detta syfte bör medlemsstaterna ta fram initiativ som riktar sig till dessa aktörer, bland annat vad gäller medvetandehöjande och information. De småskaliga leverantörernas särskilda intressen bör också beaktas när de anmälda organen fastställer avgifterna för bedömning av överensstämmelse. Kostnaderna för översättning av obligatorisk dokumentation och kommunikation med myndigheter kan utgöra betydande kostnader för leverantörer och andra aktörer, i synnerhet mer småskaliga sådana. Medlemsstaterna bör eventuellt säkerställa att ett av de språk som fastställs och godtas av dem för relevant dokumentation från aktörer och för kommunikation med aktörer är ett språk som i huvudsak förstås av största möjliga antal användare i gränsöverskridande situationer.

(74)För att minimera risker för genomförandet som följer av bristande kunskap och expertis på marknaden, och för att främja leverantörernas och de anmälda organens uppfyllande av sina skyldigheter enligt denna förordning, bör plattformen för efterfrågestyrd AI, de europeiska digitala innovationsknutpunkterna och de test- och försöksanläggningar som inrättas av kommissionen och medlemsstaterna på nationell nivå och EU-nivå bidra till genomförandet av denna förordning. Inom sina respektive uppdrag och kompetensområden kan de i synnerhet tillhandahålla tekniskt och vetenskapligt stöd till leverantörer och anmälda organ.

(75)Det är lämpligt att kommissionen i möjligaste mån underlättar tillgången till test- och experimentanläggningar för organ, grupper eller laboratorier som inrättats eller ackrediterats i enlighet med relevant unionslagstiftning om harmonisering och som utför uppgifter inom ramen för bedömning av överensstämmelse för produkter eller utrustning som omfattas av unionens lagstiftning om harmonisering. Detta gäller i synnerhet för expertpaneler, expertlaboratorier och referenslaboratorier på området medicintekniska produkter i enlighet med förordning (EU) 2017/745 och förordning (EU) 2017/746.

(76)För att främja ett smidigt, effektivt och harmoniserat genomförande av denna förordning bör en europeisk nämnd för artificiell intelligens inrättas. Nämnden bör ansvara för ett antal rådgivande uppgifter, däribland att utfärda yttranden, rekommendationer, råd eller vägledning om frågor som rör genomförandet av denna förordning, inbegripet när det gäller tekniska specifikationer eller befintliga standarder avseende kraven i denna förordning och råd och bistånd till kommissionen om specifika frågor som rör artificiell intelligens.

(77)EU-länderna har en central roll i tillämpningen och kontrollen av efterlevnaden av denna förordning. I detta hänseende bör varje medlemsstat utse en eller flera nationella behöriga myndigheter för att övervaka tillämpningen och genomförandet av denna förordning. För att öka den organisatoriska effektiviteten från medlemsstaternas sida och inrätta en officiell kontaktpunkt för kontakterna med allmänheten och andra motparter på medlemsstatsnivå och unionsnivå bör en nationell myndighet utses till nationell tillsynsmyndighet i varje medlemsstat.

(78)För att säkerställa att leverantörer av AI-system med hög risk kan beakta erfarenheterna från användning av AI-system med hög risk för att förbättra sina system och utformnings- och utvecklingsprocessen, eller kan vidta eventuella korrigerande åtgärder i rätt tid, bör alla leverantörer ha ett system för övervakning av produkter som släppts ut på marknaden. Detta system är också viktigt för att säkerställa att eventuella risker som härrör från AI-system som fortsätter sin ”inlärning” efter att de släppts ut på marknaden eller tagits i bruk kan hanteras på ett mer effektivt sätt och i rätt tid. I detta sammanhang bör leverantörerna också åläggas att ha ett system för rapportering till de berörda myndigheterna av alla allvarliga incidenter eller överträdelser av nationell lagstiftning och unionslagstiftning som skyddar grundläggande rättigheter som orsakas av användningen av deras AI-system.

(79)För att säkerställa en ändamålsenlig och effektiv kontroll av uppfyllandet av de krav och skyldigheter som fastställs i denna förordning, som utgör en del av unionens harmoniseringslagstiftning, bör det system för marknadskontroll och överensstämmelse för produkter som inrättas genom förordning (EU) 2019/1020 gälla i sin helhet. När det är nödvändigt för deras uppdrag bör nationella offentliga myndigheter eller organ, som övervakar tillämpningen av unionslagstiftning som skyddar grundläggande rättigheter, inbegripet likabehandlingsorgan, också ha tillgång till all dokumentation som skapas i enlighet med denna förordning.

(80)Unionslagstiftningen om finansiella tjänster omfattar regler och krav för interna styrelseformer och riskhantering som är tillämpliga på reglerade finansiella institut i samband med tillhandahållandet av dessa tjänster, även när de använder AI-system. För att säkerställa en enhetlig tillämpning och kontroll av efterlevnaden av skyldigheterna enligt denna förordning och relevanta regler och krav i unionslagstiftningen för finansiella tjänster, bör de myndigheter som ansvarar för tillsynen och kontrollen av efterlevnaden av lagstiftningen om finansiella tjänster, inbegripet i förekommande fall Europeiska centralbanken, utses till behöriga myndigheter för tillsynen över genomförandet av denna förordning, även med avseende på marknadskontroll, när det gäller AI-system som tillhandahålls eller används av reglerade och övervakade finansiella institut. För att ytterligare öka konsekvensen mellan denna förordning och de regler som är tillämpliga på kreditinstitut som regleras genom Europaparlamentets och rådets direktiv 2013/36/EU är det också lämpligt att i de befintliga skyldigheterna och förfarandena enligt direktiv 2013/36/EU integrera förfarandet för bedömning av överensstämmelse och några av leverantörernas förfarandemässiga skyldigheter vad gäller riskhantering, övervakning av produkter som släppts ut på marknaden och dokumentation. För att undvika överlappningar bör begränsade undantag också förutses när det gäller leverantörernas kvalitetsledningssystem och de övervakningsskyldigheter som gäller för användare av AI-system med hög risk i den utsträckning som dessa är tillämpliga på kreditinstitut som regleras genom direktiv 2013/36/EU.

(81)Utvecklingen av andra AI-system än AI-system med hög risk i enlighet med kraven i denna förordning kan leda till en ökad användning av tillförlitlig artificiell intelligens i unionen. Leverantörer av AI-system som inte utgör hög risk bör uppmuntras att ta fram uppförandekoder avsedda att främja en frivillig tillämpning av de krav vars tillämpning är obligatorisk för AI-system med hög risk. Leverantörerna bör också uppmuntras att på frivillig grund tillämpa ytterligare krav avseende exempelvis miljöhållbarhet, tillgänglighet för personer med funktionsnedsättning, berörda parters deltagande i utformningen och utvecklingen av AI-system samt mångfald i utvecklingsteamen. Kommissionen kan utveckla initiativ, även på sektorsbasis, för att minska de tekniska hindren för gränsöverskridande utbyte av data för AI-utveckling, däribland vad gäller infrastruktur för dataåtkomst samt semantisk och teknisk interoperabilitet för olika typer av data.

(82)Det är viktigt att AI-system som avser produkter som inte utgör hög risk enligt denna förordning och som därmed inte måste uppfylla kraven i förordningen ändå är säkra när de släpps ut på marknaden eller tas i bruk. För att bidra till detta mål skulle Europaparlamentets och rådets direktiv 2001/95/EG tillämpas som ett skyddsnät.

(83)För att säkerställa ett förtroendefullt och konstruktivt samarbete mellan behöriga myndigheter på unionsnivå och nationell nivå bör alla parter som är involverade i tillämpningen av denna förordning respektera konfidentialiteten för information och data som de erhåller i utförandet av sina uppgifter.

(84)Medlemsstaterna bör vidta alla nödvändiga åtgärder för att säkerställa att bestämmelserna i denna förordning genomförs, bland annat genom att fastställa effektiva, proportionella och avskräckande sanktioner för åsidosättande av dem. För vissa specifika överträdelser bör medlemsstaterna beakta de marginaler och kriterier som fastställs i denna förordning. Europeiska datatillsynsmannen bör ha befogenhet att ålägga böter för unionens institutioner, byråer och organ som omfattas av denna förordning.

(85)För att säkerställa att regelverket vid behov kan anpassas bör befogenheten att anta akter i enlighet med artikel 290 i EUF-fördraget delegeras till kommissionen när det gäller ändring av de tekniker och metoder som anges i bilaga I för definition av AI-system, unionens lagstiftning om harmonisering som förtecknas i bilaga II, AI-system med hög risk som förtecknas i bilaga III, bestämmelserna om teknisk dokumentation som förtecknas i bilaga IV, innehållet i EU-försäkran om överensstämmelse i bilaga V, bestämmelserna om förfaranden för bedömning av överensstämmelse i bilagorna VI och VII och bestämmelserna om fastställande av de AI-system med hög risk som omfattas av det förfarande för bedömning av överensstämmelse som baseras på en bedömning av kvalitetsledningssystemet och en bedömning av den tekniska dokumentationen. Det är särskilt viktigt att kommissionen genomför lämpliga samråd under sitt förberedande arbete, inklusive på expertnivå, och att dessa samråd genomförs i enlighet med principerna i det interinstitutionella avtalet om bättre lagstiftning av den 13 april 2016. För att säkerställa lika stor delaktighet i förberedelsen av delegerade akter erhåller Europaparlamentet och rådet alla handlingar samtidigt som medlemsstaternas experter, och deras experter ges systematiskt tillträde till möten i kommissionens expertgrupper som arbetar med förberedelse av delegerade akter.

(86)För att säkerställa enhetliga villkor för genomförandet av denna förordning bör kommissionen tilldelas genomförandebefogenheter. Dessa befogenheter bör utövas i enlighet med Europaparlamentets och rådets förordning (EU) nr 182/2011.

(87)Eftersom målet för denna förordning inte i tillräcklig utsträckning kan uppnås av medlemsstaterna utan snarare, på grund av åtgärdens omfattning och verkningar, kan uppnås bättre på unionsnivå, kan unionen vidta åtgärder i enlighet med subsidiaritetsprincipen i artikel 5 i EU-fördraget. I enlighet med proportionalitetsprincipen i samma artikel går denna förordning inte utöver vad som är nödvändigt för att uppnå detta mål.

(88)Denna förordning bör tillämpas från och med den … [Publikationsbyrån: för in det datum som fastställs i artikel 85]. Infrastrukturen för styrning och systemet för bedömning av överensstämmelse bör dock vara operativa före det datumet, därför bör bestämmelserna om anmälda organ och styrningsstruktur tillämpas från och med den … [Publikationsbyrån: för in datumet – tre månader från denna förordnings ikraftträdande]. Medlemsstaterna bör också fastställa och meddela kommissionen reglerna om sanktioner, inklusive administrativa sanktionsavgifter, och säkerställa att de genomförs korrekt och effektivt senast den dag då denna förordning börjar tillämpas. Därför bör bestämmelserna om sanktioner tillämpas från och med den [Publikationsbyrån: för in datumet – tolv månader från denna förordnings ikraftträdande].

(89)Europeiska datatillsynsmannen och Europeiska dataskyddsstyrelsen har hörts i enlighet med artikel 42.2 i förordning (EU) nr 2018/1725 och avgav ett yttrande den […]”.

HÄRIGENOM FÖRESKRIVS FÖLJANDE.