EUROPESE COMMISSIE Brussel, 21.4.2021 COM(2021) 206 final 2021/0106(COD) Voorstel voor een VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}



TOELICHTING 1.ACHTERGROND VAN HET VOORSTEL 1.1.Motivering en doel van het voorstel Deze toelichting hoort bij het voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie). Artificiële intelligentie (AI), ook wel kunstmatige intelligentie (KI) genoemd, is een snel evoluerende verzameling van technologieën die een brede waaier van economische en maatschappelijke voordelen kan opleveren in alle industrieën en sociale activiteiten. Door voorspellingen te verbeteren, verrichtingen en de toewijzing van middelen te optimaliseren en de dienstverlening te personaliseren kan het gebruik van artificiële intelligentie helpen om gunstige sociale en ecologische resultaten te behalen en belangrijke concurrentievoordelen op te leveren voor het bedrijfsleven en de Europese economie. Dergelijke maatregelen zijn vooral nodig in sectoren met een grote impact, zoals klimaatverandering, milieu en gezondheid, de overheidssector, financiën, mobiliteit, binnenlandse zaken en landbouw. Dezelfde elementen en technieken achter de sociaaleconomische voordelen van AI, kunnen echter ook nieuwe risico’s of negatieve gevolgen voor het individu of de samenleving met zich meebrengen. Gezien de snelheid van de technologische veranderingen en de mogelijke uitdagingen, is de EU vastbesloten te streven naar een evenwichtige aanpak. Het is in het belang van de EU om haar technologische leiderspositie te behouden en ervoor te zorgen dat Europeanen kunnen genieten van nieuwe technologieën, ontwikkeld en functionerend volgens de waarden, grondrechten en beginselen van de Unie. Met dit voorstel komt voorzitter Von der Leyen de politieke verbintenis na die zij in haar politieke richtsnoeren voor de Commissie 2019-2024 “Een Unie die de lat hoger legt” heeft aangekondigd, namelijk dat de Commissie wetgeving zal voorleggen voor een gecoördineerde Europese aanpak van de menselijke en ethische implicaties van AI. In aansluiting op die aankondiging heeft de Commissie op 19 februari 2020 het “Witboek over kunstmatige intelligentie — een Europese benadering op basis van excellentie en vertrouwen” gepubliceerd. In het witboek worden beleidsopties uiteengezet om een tweeledige doelstelling te verwezenlijken, namelijk de invoering van AI bevorderen en de risico’s in verband met bepaalde toepassingen van dergelijke technologie aanpakken. Met het onderhavige voorstel wordt beoogd de tweede doelstelling voor de ontwikkeling van een ecosysteem van vertrouwen te verwezenlijken door een rechtskader voor betrouwbare AI voor te stellen. Het voorstel is gebaseerd op de waarden en grondrechten van de EU en heeft tot doel mensen en andere gebruikers het vertrouwen te geven om op AI gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen. AI moet een instrument zijn voor mensen en een positieve kracht in de samenleving, met als uiteindelijk doel het menselijk welbevinden te vergroten. De regels voor AI-toepassingen die op de markt van de Unie beschikbaar zijn of anderszins gevolgen hebben voor personen in de Unie, moeten dan ook mensgericht zijn, zodat de bevolking erop kan vertrouwen dat de technologie op een veilige manier wordt gebruikt, in overeenstemming met de wet en met respect voor de grondrechten. Na de bekendmaking van het witboek heeft de Commissie een brede raadpleging van belanghebbenden georganiseerd, die op grote belangstelling kon rekenen. De vele geïnteresseerde belanghebbenden bleken voorstander te zijn van regelgeving om de uitdagingen aan te pakken en de bezorgdheid over het toenemende gebruik van AI weg te nemen. Dit voorstel is ook een reactie op de uitdrukkelijke verzoeken van het Europees Parlement (EP) en de Europese Raad, die herhaaldelijk hebben aangedrongen op wetgevingsmaatregelen voor een goed functionerende interne markt voor artificiële-intelligentiesystemen (“AI-systemen”) waarin zowel de voordelen als de risico’s van AI op het niveau van de Unie adequaat worden behandeld. Met dit voorstel wordt de doelstelling van de Unie gesteund om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad, en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement. In 2017 heeft de Europese Raad verklaard dat “dringend moet worden ingespeeld op nieuwe trends”, met inbegrip van “vraagstukken als kunstmatige intelligentie (…) waarbij er tegelijkertijd een hoog niveau van gegevensbescherming, digitale rechten en ethische normen wordt gewaarborgd”. In zijn conclusies van 2019 over het gecoördineerd plan inzake de ontwikkeling en het gebruik van kunstmatige intelligentie “made in Europe” wees de Raad er voorts op hoe belangrijk het is dat de rechten van de Europese burgers ten volle worden geëerbiedigd. De Raad riep ook op tot een herziening van de bestaande wetgeving ter zake, zodat deze geschikt is voor de nieuwe kansen en uitdagingen die AI te bieden heeft. De Europese Raad heeft ook opgeroepen om een duidelijke definitie te geven aan AI-toepassingen met een hoog risico. In de meest recente conclusies van 21 oktober 2020 werd er voorts op aangedrongen de ondoorzichtigheid, complexiteit, vertekening (bias), een zekere mate van onvoorspelbaarheid en gedeeltelijk autonoom gedrag van bepaalde AI-systemen aan te pakken, zodat zij verenigbaar zijn met de grondrechten en om de handhaving van de wettelijke voorschriften te vergemakkelijken. Ook het Europees Parlement heeft al een aanzienlijke hoeveelheid werk verzet op het gebied van AI. In oktober 2020 heeft het een aantal resoluties over AI vastgesteld, onder meer over ethiek, aansprakelijkheid en auteursrecht. In 2021 kwamen daar resoluties bij over AI in strafzaken en in onderwijs, cultuur en de audiovisuele sector. De resolutie van het EP over een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën bevat een specifieke aanbeveling aan de Commissie om wetgevingsmaatregelen voor te stellen om de kansen en voordelen van AI te benutten, maar ook om de bescherming van ethische beginselen te waarborgen. De resolutie bevat een tekst van het wetgevingsvoorstel voor een verordening betreffende ethische beginselen voor de ontwikkeling, de uitrol en het gebruik van artificiële intelligentie, robotica en aanverwante technologieën. In lijn met de politieke verbintenis die Commissievoorzitter Von der Leyen in haar politieke richtsnoeren is aangegaan met betrekking tot de resoluties die het Europees Parlement op grond van artikel 225 VWEU heeft vastgesteld, wordt in dit voorstel rekening gehouden met bovengenoemde resolutie van het Europees Parlement, met volledige inachtneming van de beginselen van evenredigheid, subsidiariteit en betere regelgeving. Tegen deze politieke achtergrond stelt de Commissie het regelgevingskader inzake artificiële intelligentie voor, met de volgende specifieke doelstellingen: ·ervoor zorgen dat AI-systemen die in de Unie in de handel worden gebracht en gebruikt, veilig zijn en de bestaande wetgeving inzake grondrechten en waarden van de Unie eerbiedigen; ·rechtszekerheid garanderen om investeringen en innovatie in AI te vergemakkelijken; ·het beheer en de doeltreffende handhaving van de bestaande wetgeving inzake grondrechten en veiligheidsvoorschriften die van toepassing zijn op AI-systemen, verbeteren; ·de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-toepassingen vergemakkelijken en marktversnippering voorkomen. Om die doelstellingen te verwezenlijken, wordt in dit voorstel een evenwichtige en evenredige horizontale regelgevingsaanpak voor AI voorgesteld die beperkt blijft tot de noodzakelijke minimumvereisten om de risico’s en problemen in verband met AI aan te pakken, zonder de technologische ontwikkeling onnodig te beperken of te belemmeren of anderszins de kosten van het in de handel brengen van AI-oplossingen onevenredig te verhogen. Het voorstel voorziet in een robuust en flexibel rechtskader. Enerzijds is het alomvattend en toekomstbestendig in zijn fundamentele regelgevingskeuzen, met inbegrip van de op beginselen gebaseerde voorschriften waaraan AI-systemen moeten voldoen. Anderzijds wordt een evenredig regelgevingssysteem ingevoerd dat is gebaseerd op een welomschreven, risicogebaseerde regelgevingsaanpak die geen onnodige handelsbeperkingen oplegt, waarbij juridische interventies worden toegesneden op concrete situaties waarin er een gegronde reden tot bezorgdheid is of waarin een dergelijke bezorgdheid redelijkerwijs in de nabije toekomst kan worden verwacht. Tegelijkertijd omvat het rechtskader flexibele mechanismen zodat het dynamisch kan worden aangepast naarmate de technologie evolueert en zich nieuwe zorgwekkende situaties voordoen. Het voorstel bevat geharmoniseerde regels voor de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen in de Unie volgens een evenredige, risicogebaseerde aanpak. Er wordt één toekomstbestendige definitie van AI voorgesteld. Bepaalde bijzonder schadelijke AI-praktijken worden verboden omdat zij strijdig zijn met de waarden van de Unie, terwijl specifieke beperkingen en waarborgen worden voorgesteld met betrekking tot bepaalde gebruiksvormen van biometrische systemen voor identificatie op afstand ten behoeve van de rechtshandhaving. Het voorstel bevat een robuuste risicomethodologie om AI-systemen te definiëren die een “hoog risico” voor de gezondheid en veiligheid of de grondrechten van personen met zich meebrengen. Die AI-systemen zullen moeten voldoen aan een reeks horizontale, dwingende voorschriften voor betrouwbare AI en zullen conformiteitsbeoordelingsprocedures moeten volgen voordat zij in de Unie in de handel kunnen worden gebracht. Voorspelbare, evenredige en duidelijke verplichtingen worden ook opgelegd aan de aanbieders en gebruikers van die systemen om de veiligheid en de naleving van de bestaande wetgeving ter bescherming van de grondrechten gedurende de hele levenscyclus van AI-systemen te waarborgen. Voor sommige specifieke AI-systemen worden alleen minimale transparantieverplichtingen voorgesteld, met name wanneer chatbots of “deep fakes” worden gebruikt. De voorgestelde regels zullen worden gehandhaafd door middel van een governancesysteem op het niveau van de lidstaten, dat voortbouwt op reeds bestaande structuren, en een samenwerkingsmechanisme op het niveau van de Unie door de oprichting van een Europees Comité voor artificiële intelligentie. Er worden ook aanvullende maatregelen voorgesteld om innovatie te ondersteunen, met name door middel van AI-testomgevingen voor regelgeving en andere maatregelen om de regeldruk te verminderen en kleine en middelgrote ondernemingen (“kmo’s”) en startende ondernemingen te ondersteunen. 1.2.Verenigbaarheid met bestaande bepalingen op het beleidsterrein Vanwege het horizontale karakter moet het voorstel volledig verenigbaar zijn met de bestaande Uniewetgeving die van toepassing is op sectoren waar reeds gebruik wordt gemaakt of in de nabije toekomst waarschijnlijk gebruik zal worden gemaakt van AI-systemen met een hoog risico.

Er wordt ook gezorgd voor verenigbaarheid met het Handvest van de grondrechten van de EU en de bestaande secundaire Uniewetgeving inzake gegevensbescherming, consumentenbescherming, non-discriminatie en gelijkheid van mannen en vrouwen. Het voorstel doet geen afbreuk aan en vormt een aanvulling op de algemene verordening gegevensbescherming (Verordening (EU) 2016/679) en de Richtlijn rechtshandhaving (Richtlijn (EU) 2016/680) met een reeks geharmoniseerde regels die van toepassing zijn op het ontwerp, de ontwikkeling en het gebruik van bepaalde AI-systemen met een hoog risico, en beperkingen op bepaalde toepassingen van biometrische systemen voor identificatie op afstand. Voorts vult het voorstel de bestaande Uniewetgeving inzake non-discriminatie aan met specifieke voorschriften die het risico op algoritmische discriminatie tot een minimum moeten beperken, met name wat betreft het ontwerp en de kwaliteit van datareeksen die voor de ontwikkeling van AI-systemen worden gebruikt, aangevuld met verplichtingen inzake tests, risicobeheer, documentatie en menselijk toezicht gedurende de hele levenscyclus van de AI-systemen. Het voorstel doet geen afbreuk aan de toepassing van het mededingingsrecht van de Unie. Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten van producten zijn, zal dit voorstel in de bestaande sectorale veiligheidswetgeving worden geïntegreerd om de verenigbaarheid te garanderen, doublures te vermijden en de extra lasten tot een minimum te beperken. Met name wat betreft AI-systemen met een hoog risico die verband houden met producten die onder het nieuwe wetgevingskader (NWK) vallen (bv. machines, medische hulpmiddelen, speelgoed), zullen de in dit voorstel opgenomen voorschriften voor AI-systemen worden gecontroleerd in het kader van de bestaande overeenstemmingsbeoordelingen overeenkomstig de desbetreffende NWK-wetgeving. Wat de interactie tussen de eisen betreft, zullen de typische veiligheidsrisico’s van AI-systemen onder de eisen van dit voorstel vallen, terwijl de NWK-wetgeving tot doel heeft de algemene veiligheid van het eindproduct te waarborgen en bijgevolg specifieke eisen kan bevatten betreffende de veilige integratie van een AI-systeem in het eindproduct. Het voorstel voor een machineverordening, dat op dezelfde dag als dit voorstel wordt vastgesteld, sluit volledig aan bij deze aanpak. Het onderhavige voorstel zal niet direct van toepassing zijn op AI-systemen met een hoog risico die verband houden met producten die onder de relevante wetgeving “oude aanpak” vallen (bv. luchtvaart, auto’s). Met de in dit voorstel vervatte essentiële ex-antevereisten voor AI-systemen met een hoog risico zal evenwel rekening moeten worden gehouden bij de vaststelling van de desbetreffende uitvoerings- of gedelegeerde wetgeving uit hoofde van die handelingen. AI-systemen die door gereguleerde kredietinstellingen beschikbaar worden gesteld of gebruikt, zullen onder de bevoegdheid vallen van de autoriteiten die verantwoordelijk zijn voor het toezicht op de Uniewetgeving inzake financiële diensten om na te gaan of de vereisten in dit voorstel worden nageleefd, teneinde een coherente handhaving van de verplichtingen uit hoofde van dit voorstel en de Uniewetgeving inzake financiële diensten te garanderen voor AI-systemen die tot op zekere hoogte impliciet zijn gereguleerd in het interne governancesysteem van kredietinstellingen. Om de verenigbaarheid verder te verbeteren, worden de conformiteitsbeoordeling en een aantal van de procedurele verplichtingen van de aanbieders in het kader van dit voorstel geïntegreerd in de procedures van Richtlijn 2013/36/EU betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht. Dit voorstel is ook verenigbaar met de toepasselijke Uniewetgeving inzake diensten, met inbegrip van diensten als tussenpersoon die worden gereguleerd door Richtlijn 2000/31/EG inzake elektronische handel en het recente voorstel van de Commissie voor de wet inzake digitale diensten. Wat betreft AI-systemen die een onderdeel vormen van grootschalige IT-systemen op het gebied van vrijheid, veiligheid en recht, beheerd door het Agentschap van de Europese Unie voor het operationeel beheer van grootschalige IT-systemen (eu-LISA), is het voorstel niet van toepassing op AI-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór het verstrijken van een jaar na de datum van toepassing van deze verordening, tenzij de vervanging of wijziging van die rechtshandelingen tot een significante wijziging in het ontwerp of het beoogde doel van het betrokken AI-systeem of de betrokken AI-systemen leidt. 1.3.Verenigbaarheid met andere beleidsterreinen van de Unie Het voorstel maakt deel uit van een breder pakket maatregelen om de problemen in verband met de ontwikkeling en het gebruik van AI aan te pakken, zoals onderzocht in het witboek over AI. Er wordt daarom gezorgd voor verenigbaarheid en complementariteit met andere lopende of geplande initiatieven van de Commissie die ook tot doel hebben deze problemen aan te pakken, met inbegrip van de herziening van de sectorale productwetgeving (bv. de machinerichtlijn, de richtlijn inzake algemene productveiligheid) en initiatieven die betrekking hebben op aansprakelijkheidskwesties in verband met nieuwe technologieën, waaronder AI-systemen. Deze initiatieven zijn een voortzetting van en vormen een aanvulling op dit voorstel, teneinde juridische duidelijkheid te scheppen en de ontwikkeling van een ecosysteem van vertrouwen in AI in Europa te bevorderen. Het voorstel is ook in overeenstemming met de digitale strategie van de Commissie, in die zin dat het bijdraagt tot de bevordering van technologie die werkt voor de mensen, een van de drie belangrijkste pijlers van de beleidsoriëntatie en de doelstellingen die zijn aangekondigd in de mededeling “De digitale toekomst van Europa vormgeven”. In het voorstel wordt een coherent, doeltreffend en evenredig kader vastgesteld zodat AI wordt ontwikkeld op een manier die de rechten van de mensen eerbiedigt en hun vertrouwen wint, zodat Europa klaar is voor het digitale tijdperk en we van de komende tien jaar het digitale decennium kunnen maken. Voorts is de bevordering van AI-gestuurde innovatie nauw verbonden met de datagovernanceverordening, de richtlijn open data en andere initiatieven in het kader van de EU-datastrategie voor betrouwbare mechanismen en diensten om data die essentieel zijn voor de ontwikkeling van kwalitatief hoogstaande, datagestuurde AI-modellen te hergebruiken, te delen en te bundelen. Met dit voorstel wordt ook de rol van de Unie om mee vorm te geven aan internationale normen en standaarden en om betrouwbare AI te bevorderen die strookt met de waarden en belangen van de Unie, aanzienlijk versterkt. Het verschaft de Unie een krachtige basis om met haar externe partners, met inbegrip van derde landen, en op internationale fora verder te onderhandelen over AI-aangelegenheden. 2.RECHTSGRONDSLAG, SUBSIDIARITEIT EN EVENREDIGHEID 2.1.Rechtsgrondslag De rechtsgrondslag van het voorstel is in de eerste plaats artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU), dat voorziet in de vaststelling van maatregelen om de oprichting en werking van de interne markt te waarborgen. Het onderhavige voorstel vormt een kernonderdeel van de EU-strategie voor een digitale eengemaakte markt. Het is in de eerste plaats bedoeld om de goede werking van de interne markt te waarborgen door geharmoniseerde regels vast te leggen, met name voor de ontwikkeling, het in de Unie in de handel brengen en het gebruik van producten en diensten die gebruikmaken van AI-technologieën of die als autonome AI-systemen worden aangeboden. In sommige lidstaten worden al nationale regels overwogen om ervoor te zorgen dat AI veilig is en wordt ontwikkeld en gebruikt met respect voor de verplichtingen inzake de grondrechten. Dit zal waarschijnlijk tot twee grote problemen leiden: i) een versnippering van de interne markt op essentiële punten, met name wat betreft de eisen voor AI-producten en -diensten, het in de handel brengen ervan en hun gebruik, de aansprakelijkheid en het toezicht door de overheid, en ii) een aanzienlijke vermindering van de rechtszekerheid voor zowel aanbieders als gebruikers van AI-systemen als het gaat over de wijze waarop bestaande en nieuwe regels in de Unie op die systemen van toepassing zullen zijn. Gezien het vele verkeer van producten en diensten over de grenzen heen, kunnen deze twee problemen het best worden opgelost door harmonisatiewetgeving op EU-niveau. In het voorstel worden dan ook gemeenschappelijke, dwingende voorschriften vastgesteld die van toepassing zijn op het ontwerp en de ontwikkeling van bepaalde AI-systemen voordat deze in de handel worden gebracht. Deze voorschriften zullen verder worden geoperationaliseerd via geharmoniseerde technische normen. In het voorstel is ook rekening gehouden met de situatie nadat AI-systemen in de handel zijn gebracht, door de wijze waarop de ex-postcontroles worden uitgevoerd, te harmoniseren. Aangezien dit voorstel voorts bepaalde specifieke regels bevat betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens, met name beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. 2.2.Subsidiariteit (bij niet-exclusieve bevoegdheid) Door de aard van AI, die vaak steunt op grote en gevarieerde datasets en die ingebed kan zijn in elk product dat of elke dienst die vrij circuleert op de interne markt, kunnen de doelstellingen van dit voorstel niet op doeltreffende wijze door de lidstaten alleen worden verwezenlijkt. Bovendien zou een lappendeken van mogelijk uiteenlopende nationale regels het naadloze verkeer van producten en diensten die verband houden met AI-systemen in de EU belemmeren en niet doeltreffend zijn om de veiligheid en de bescherming van de grondrechten en de waarden van de Unie in de verschillende lidstaten te waarborgen. Een aanpak van de problemen op het nationale niveau zal alleen maar leiden tot extra rechtsonzekerheid en belemmeringen, en zal de marktpenetratie van AI vertragen. De doelstellingen van dit voorstel kunnen beter op het niveau van de Unie worden verwezenlijkt om een verdere versnippering van de eengemaakte markt in potentieel tegenstrijdige nationale kaders te voorkomen, aangezien die het vrije verkeer van de goederen en diensten waarin AI is ingebed, alleen maar zouden belemmeren. Een robuust Europees regelgevingskader voor betrouwbare AI zal ook zorgen voor een gelijk speelveld, en zal ook alle mensen beschermen en tegelijkertijd het concurrentievermogen en de industriële basis in Europa op het gebied van AI versterken. Alleen door een gezamenlijk optreden op het niveau van de Unie kan ook de digitale soevereiniteit van de Unie worden beschermd en kunnen de instrumenten en regelgevende bevoegdheden van de Unie worden ingezet om wereldwijde regels en normen vorm te geven. 2.3.Evenredigheid

Het voorstel bouwt voort op bestaande rechtskaders en is evenredig en noodzakelijk om de doelstellingen te verwezenlijken, aangezien het een risicogebaseerde aanpak volgt en alleen regeldruk oplegt wanneer een AI-systeem waarschijnlijk een hoog risico oplevert voor de grondrechten en de veiligheid. Voor andere AI-systemen zonder een hoog risico worden slechts zeer beperkte transparantieverplichtingen opgelegd, bijvoorbeeld de verstrekking van informatie om aan te geven dat een AI-systeem wordt gebruikt voor interacties met mensen. Voor AI-systemen met een hoog risico zijn de eisen inzake het gebruik van data van hoge kwaliteit, documentatie en traceerbaarheid, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid strikt noodzakelijk om de risico’s voor de grondrechten en de veiligheid te beperken die door AI worden gesteld en die niet door andere bestaande rechtskaders wordt gedekt. Dankzij geharmoniseerde normen en ondersteunende richtsnoeren en nalevingsinstrumenten zullen aanbieders en gebruikers beter in staat zijn de in het voorstel vastgestelde voorschriften na te leven en hun kosten tot een minimum te beperken. De kosten voor de marktdeelnemers staan in verhouding tot de beoogde doelstellingen en tot de economische en reputatievoordelen die de marktdeelnemers van dit voorstel mogen verwachten. 2.4.Keuze van het instrument De keuze voor een verordening als rechtsinstrument wordt gerechtvaardigd door de noodzaak van een uniforme toepassing van de nieuwe regels, zoals de definitie van AI, het verbod op bepaalde schadelijke op AI gebaseerde praktijken en de indeling van bepaalde AI-systemen. Door de directe toepasbaarheid van een verordening, overeenkomstig artikel 288 VWEU, zal er minder juridische versnippering zijn en zal de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-systemen eenvoudiger worden. Dit wordt met name verwezenlijkt door de invoering van een geharmoniseerde verzameling van kernvereisten voor AI-systemen met een hoog risico, en van verplichtingen voor aanbieders en gebruikers van die systemen, waardoor de bescherming van de grondrechten wordt verbeterd en zowel marktdeelnemers als consumenten rechtszekerheid wordt geboden. Tegelijkertijd zijn de bepalingen van de verordening niet onnodig prescriptief en laten zij ruimte voor de lidstaten om uiteenlopende maatregelen te nemen voor elementen die de doelstellingen van het initiatief niet ondermijnen, met name de interne organisatie van het markttoezichtsysteem en de toepassing van maatregelen om innovatie te bevorderen. 3.EVALUATIE, RAADPLEGING VAN BELANGHEBBENDEN EN EFFECTBEOORDELING 3.1.Raadpleging van belanghebbenden Dit voorstel is het resultaat van een uitgebreid overleg met de voornaamste belanghebbenden, waarbij de Commissie de algemene beginselen en minimumnormen voor raadpleging van belanghebbenden heeft toegepast. Samen met de bekendmaking van het witboek over artificiële intelligentie is op 19 februari 2020 een onlineraadpleging van het publiek gestart, die liep tot 14 juni 2020. Die raadpleging was bedoeld om standpunten en meningen over het witboek te verzamelen. Zij was gericht op alle belanghebbende partijen uit de openbare en particuliere sector, met inbegrip van regeringen, lokale overheden, commerciële en niet-commerciële organisaties, sociale partners, deskundigen, academici en burgers. Na alle ontvangen reacties te hebben bestudeerd, heeft de Commissie een samenvatting ervan en de afzonderlijke reacties op haar website bekendgemaakt. In totaal werden 1 215 bijdragen ontvangen, waarvan 352 van bedrijven of bedrijfsorganisaties/-verenigingen, 406 van natuurlijke personen (92 % natuurlijke personen uit de EU), 152 namens academische/onderzoeksinstellingen, en 73 van overheidsinstanties. Het maatschappelijk middenveld werd vertegenwoordigd door 160 respondenten (waaronder 9 consumentenorganisaties, 129 niet-gouvernementele organisaties en 22 vakbonden); 72 respondenten leverden een bijdrage als “overige”. Van de 352 vertegenwoordigers van het bedrijfsleven en de industrie waren er 222 ondernemingen en vertegenwoordigers uit het bedrijfsleven, waarvan 41,5 % micro-, kleine en middelgrote ondernemingen. De rest waren bedrijfsverenigingen. In totaal was 84 % van de antwoorden van het bedrijfsleven en de industrie afkomstig uit de EU-27. Afhankelijk van de vraag hebben tussen 81 en 598 van de respondenten gebruikgemaakt van de mogelijkheid om opmerkingen toe te voegen als vrije tekst. Via de website van de EU-enquête werden meer dan 450 standpuntnota’s ingediend, hetzij als aanvulling op de antwoorden op de vragenlijst (in meer dan 400 gevallen), hetzij als op zichzelf staande bijdragen (in meer dan 50 van de gevallen). Over het algemeen zijn de belanghebbenden het erover eens dat actie moet worden ondernomen. Een grote meerderheid van de belanghebbenden is het ermee eens dat er lacunes in de wetgeving bestaan of dat nieuwe wetgeving nodig is. Verscheidene belanghebbenden hebben de Commissie er echter op gewezen dat overlappingen, tegenstrijdige verplichtingen en overregulering moeten worden vermeden. In veel van de opmerkingen werd het belang van een technologieneutraal en evenredig regelgevingskader onderstreept. De belanghebbenden vroegen veelal om een enge, duidelijke en nauwkeurige definitie van AI. Zij wezen ook op het belang om, naast de verduidelijking van de term “AI”, ook een definitie te geven aan “risico”, “hoog risico”, “laag risico”, “biometrische identificatie op afstand” en “schade”. De meeste respondenten zijn uitdrukkelijk voorstander van de risicogebaseerde aanpak. Het gebruik van een risicogebaseerd kader werd als een betere optie beschouwd dan een algemene regelgeving voor alle AI-systemen. De soorten risico’s en dreigingen moeten per sector en per geval worden vastgesteld. Bij de berekening van de risico’s moet ook rekening worden gehouden met de gevolgen voor de rechten en de veiligheid. Testomgevingen voor regelgeving kunnen zeer nuttig zijn voor de bevordering van AI en worden toegejuicht door bepaalde belanghebbenden, met name de bedrijfsverenigingen. Van degenen die hun mening over de handhavingsmodellen hebben gegeven, was meer dan 50 %, met name bij de bedrijfsverenigingen, voorstander van een combinatie van een zelf uitgevoerde ex-anterisicobeoordeling en ex-posthandhavingsmaatregelen voor AI-systemen met een hoog risico. 3.2.Bijeenbrengen en gebruik van expertise Het voorstel is gebaseerd op twee jaar analyse en een nauwe betrokkenheid van belanghebbenden, waaronder academici, bedrijven, sociale partners, niet-gouvernementele organisaties, lidstaten en burgers. De voorbereiding startte in 2018 met de oprichting van een deskundigengroep op hoog niveau inzake AI. De groep was inclusief en breed samengesteld met 52 vooraanstaande deskundigen, en had als opdracht de Commissie te adviseren over de uitvoering van haar strategie inzake artificiële intelligentie. In april 2019 sprak de Commissie haar steun uit voor de kernvereisten die waren opgesomd in de ethische richtsnoeren van de deskundigengroep op hoog niveau voor een betrouwbare AI, en die herzien waren om rekening te houden met meer dan 500 bijdragen van belanghebbenden. De kernvereisten weerspiegelen een wijdverspreide en gemeenschappelijke aanpak, zoals blijkt uit de overvloed aan ethische codes en beginselen die door tal van particuliere en overheidsorganisaties in Europa en daarbuiten zijn uitgewerkt, waaruit blijkt dat bij de ontwikkeling en het gebruik van AI moet worden uitgegaan van bepaalde essentiële, op waarden gerichte beginselen. De Assessment List for Trustworthy Artificial Intelligence (Altai) heeft deze eisen operationeel gemaakt in een proefproject met meer dan 350 organisaties. Daarnaast is de AI Alliance opgericht, een platform voor ongeveer 4 000 belanghebbenden om te debatteren over de technologische en maatschappelijke implicaties van AI. In het kader daarvan wordt jaarlijks de AI Assembly georganiseerd. In het witboek over AI is deze inclusieve aanpak verder ontwikkeld en zijn de reacties van meer dan 1 250 belanghebbenden, waaronder meer dan 450 aanvullende standpuntnota’s, verwerkt. Naar aanleiding daarvan heeft de Commissie een eerste effectbeoordeling gepubliceerd, die op haar beurt meer dan 130 reacties heeft opgeleverd. Er zijn ook aanvullende workshops en evenementen met belanghebbenden georganiseerd. De resultaten daarvan dienen als ondersteuning voor de analyse die is opgenomen in de effectbeoordeling en voor de in dit voorstel gemaakte beleidskeuzes. Er werd ook een extern onderzoek besteld dat in de effectbeoordeling zal worden opgenomen. 3.3.Effectbeoordeling In overeenstemming met haar beleid inzake “betere regelgeving” heeft de Commissie voor dit voorstel een effectbeoordeling uitgevoerd die door de Raad voor regelgevingstoetsing van de Commissie is onderzocht. Op 16 december 2020 heeft een vergadering met de Raad voor regelgevingstoetsing plaatsgevonden, waaruit een negatief advies is voortgevloeid. Na een grondige herziening van de effectbeoordeling om rekening te houden met de opmerkingen, werd de effectbeoordeling opnieuw ingediend en heeft de Raad voor regelgevingstoetsing op 21 maart 2021 een positief advies uitgebracht. De adviezen van de Raad voor regelgevingstoetsing, de aanbevelingen en een toelichting over de manier waarop daarmee rekening is gehouden, zijn opgenomen in bijlage 1 bij de effectbeoordeling.

De Commissie heeft verschillende beleidsopties onderzocht om de algemene doelstelling van het voorstel te verwezenlijken, namelijk de goede werking van de eengemaakte markt garanderen door de juiste voorwaarden te scheppen voor de ontwikkeling en het gebruik van betrouwbare AI in de Unie. Er werden vier beleidsopties met telkens een verschillende mate van regelgevend ingrijpen beoordeeld: ·Optie 1: EU-wetgevingsinstrument tot instelling van een vrijwillige etiketteringsregeling; ·Optie 2: een sectorale ad-hocaanpak; ·Optie 3: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak; ·Optie 3+: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak + gedragscodes voor AI-systemen zonder hoog risico; ·Optie 4: horizontaal EU-wetgevingsinstrument tot vaststelling van dwingende voorschriften voor alle AI-systemen, ongeacht het risico dat zij inhouden. Volgens de gebruikelijke methode van de Commissie werden de economische en maatschappelijke gevolgen van elke beleidsoptie beoordeeld, met bijzondere aandacht voor de effecten op de grondrechten. De voorkeursoptie is optie 3+, een regelgevingskader uitsluitend voor AI-systemen met een hoog risico, met de mogelijkheid voor alle aanbieders van AI-systemen zonder hoog risico om een gedragscode te volgen. De eisen hebben betrekking op data, documentatie en traceerbaarheid, informatieverstrekking en transparantie, menselijk toezicht, robuustheid en nauwkeurigheid, en zouden verplicht zijn voor AI-systemen met een hoog risico. Bedrijven die gedragscodes voor andere AI-systemen invoeren, zouden dat vrijwillig doen. De voorkeursoptie werd geschikt bevonden om de doelstellingen van dit voorstel op de meest doeltreffende manier te verwezenlijken. Door met deze voorkeursoptie de ontwikkelaars en gebruikers van AI een beperkte maar doeltreffende reeks maatregelen op te leggen, wordt het risico op schendingen van de grondrechten en van de veiligheid van mensen beperkt. Tevens worden een doeltreffend toezicht en een doeltreffende handhaving bevorderd, doordat de eisen alleen gelden voor systemen waar het risico op dergelijke schendingen groot is. Daardoor blijven de nalevingskosten tot een minimum beperkt en wordt vermeden dat hogere prijzen en nalevingskosten voor onnodige vertraging zorgen in de invoering van AI. Om mogelijke nadelen voor kmo’s te ondervangen, bevat deze optie verschillende bepalingen om kmo’s te helpen bij de naleving en om hun kosten te verminderen, waaronder de oprichting van testomgevingen voor regelgeving en de verplichting om bij de vaststelling van vergoedingen voor conformiteitsbeoordelingen rekening te houden met de belangen van kmo’s. De voorkeursoptie zal het vertrouwen van de mensen in AI vergroten, bedrijven zullen meer rechtszekerheid hebben en de lidstaten zullen geen reden zien om unilaterale maatregelen te nemen die de eengemaakte markt zouden kunnen versnipperen. Door de grotere vraag als gevolg van het grotere vertrouwen, het grotere aanbod als gevolg van de rechtszekerheid en de afwezigheid van belemmeringen voor het grensoverschrijdende verkeer van AI-systemen, zal de eengemaakte markt voor AI naar alle waarschijnlijkheid tot bloei komen. De Europese Unie zal blijven werken aan de ontwikkeling van een snel groeiend AI-ecosysteem van innovatieve diensten en producten waarin AI-technologie is geïntegreerd of van autonome AI-systemen, wat zal resulteren in meer digitale autonomie. Bedrijven of overheidsinstanties die AI-toepassingen met een groot risico voor de veiligheid of de grondrechten van burgers ontwikkelen of gebruiken, zouden aan specifieke eisen en verplichtingen moeten voldoen. Naleving van deze eisen zou voor de levering van een gemiddeld AI-systeem met een hoog risico van ongeveer 170 000 EUR tegen 2025 ongeveer 6 000 tot 7 000 EUR kosten met zich meebrengen. Voor AI-gebruikers zouden er ook jaarlijkse kosten zijn voor de tijd die nodig is om te zorgen voor menselijk toezicht, afhankelijk van het type gebruik. Die kosten zijn geraamd op ongeveer 5 000 tot 8 000 EUR per jaar. De verificatiekosten kunnen oplopen tot nog eens 3 000 tot 7 500 EUR voor aanbieders van AI met een hoog risico. Bedrijven of overheidsinstanties die AI-toepassingen ontwikkelen of gebruiken die geen hoog risico inhouden, zouden slechts minimale informatieverplichtingen hebben. Zij zouden er echter voor kunnen kiezen zich bij anderen aan te sluiten en samen een gedragscode vast te stellen om passende vereisten na te leven en ervoor te zorgen dat hun AI-systemen betrouwbaar zijn. In dat geval zouden de kosten ten hoogste even hoog zijn als voor AI-systemen met een hoog risico, maar hoogstwaarschijnlijk lager. De gevolgen van de beleidsopties voor de verschillende categorieën belanghebbenden (marktdeelnemers/bedrijven; conformiteitsbeoordelingsinstanties, normalisatie-instellingen en andere overheidsinstanties; natuurlijke personen/burgers; onderzoekers) worden uitvoerig toegelicht in bijlage 3 bij de effectbeoordeling ter ondersteuning van dit voorstel. 3.4.Resultaatgerichtheid en vereenvoudiging In het onderhavige voorstel worden verplichtingen vastgesteld die gelden voor aanbieders en gebruikers van AI-systemen met een hoog risico. Voor aanbieders die dergelijke systemen ontwikkelen en op de markt van de Unie brengen, zal het rechtszekerheid scheppen en ervoor zorgen dat er geen belemmeringen ontstaan voor de grensoverschrijdende levering van AI-gerelateerde diensten en producten. Voor bedrijven die AI gebruiken, zal dit het vertrouwen van hun klanten bevorderen. De nationale overheidsdiensten kunnen aan de hand van dit voorstel het vertrouwen van het publiek in het gebruik van AI aanwakkeren en de handhavingsmechanismen versterken (door de invoering van een Europees coördinatiemechanisme dat in de passende capaciteit voorziet en audits van de AI-systemen vergemakkelijkt met nieuwe eisen inzake documentatie, traceerbaarheid en transparantie). Voorts zal het kader specifieke maatregelen bevatten om innovatie te ondersteunen, waaronder testomgevingen voor regelgeving en specifieke maatregelen ter ondersteuning van kleinschalige gebruikers en aanbieders van AI-systemen met een hoog risico om aan de nieuwe regels te voldoen. Het voorstel is er ook specifiek op gericht om het concurrentievermogen van Europa en de industriële basis op het gebied van AI te versterken. Er wordt voor volledige verenigbaarheid gezorgd met de bestaande sectorale Uniewetgeving die van toepassing is op AI-systemen (bv. inzake producten en diensten) om meer duidelijkheid te verschaffen en de handhaving van de nieuwe regels te vereenvoudigen. 3.5.Grondrechten Het gebruik van AI met haar specifieke kenmerken (bv. ondoorzichtigheid, complexiteit, afhankelijkheid van data, autonoom gedrag) kan een aantal grondrechten die in het EU-Handvest van de grondrechten (“het Handvest”) zijn verankerd, negatief beïnvloeden. Met dit voorstel wordt ernaar gestreefd een hoog niveau van bescherming te garanderen voor die grondrechten en verschillende risicobronnen aan te pakken door middel van een duidelijk omschreven, risicogebaseerde aanpak. Aan de hand van een reeks eisen voor betrouwbare AI en evenredige verplichtingen voor alle deelnemers aan de waardeketen, zal met het voorstel de bescherming van de door het Handvest beschermde rechten worden versterkt en bevorderd: het recht op menselijke waardigheid (artikel 1), de eerbiediging van het privéleven en de bescherming van persoonsgegevens (artikelen 7 en 8), non-discriminatie (artikel 21) en gelijkheid van vrouwen en mannen (artikel 23). Het is de bedoeling om te voorkomen dat het recht van vrije meningsuiting (artikel 11) en de vrijheid van vergadering (artikel 12) worden beknot en om het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, en het vermoeden van onschuld en rechten van de verdediging (artikelen 47 en 48), alsook het algemene beginsel van behoorlijk bestuur te beschermen. Voorts zal het voorstel, voor zover het op bepaalde gebieden van toepassing is, een positieve invloed hebben op de rechten van een aantal bijzondere groepen, zoals het recht van werknemers op rechtvaardige en billijke arbeidsomstandigheden en -voorwaarden (artikel 31), een hoog niveau van consumentenbescherming (artikel 28), de rechten van het kind (artikel 24) en de integratie van personen met een handicap (artikel 26). Het recht op een hoog niveau van milieubescherming en op verbetering van de kwaliteit van het milieu (artikel 37) is eveneens relevant, ook met betrekking tot de gezondheid en veiligheid van mensen. De verplichtingen inzake voorafgaande tests, risicobeheer en menselijk toezicht zullen ook helpen om andere grondrechten te eerbiedigen door het risico op verkeerde of partijdige beslissingen als gevolg van het gebruik van AI op kritieke gebieden zoals onderwijs en opleiding, werkgelegenheid, essentiële diensten, rechtshandhaving en justitie, tot een minimum te beperken. Mochten er toch inbreuken op de grondrechten worden gepleegd, dan zullen de getroffen personen daadwerkelijk schadeloos kunnen worden gesteld dankzij de transparantie en traceerbaarheid van de AI-systemen, gekoppeld aan strenge ex-postcontroles. Met dit voorstel worden een aantal beperkingen opgelegd aan de vrijheid van ondernemerschap (artikel 16) en de vrijheid van kunsten en wetenschap (artikel 13) zodat rekening worden gehouden met dwingende redenen van algemeen belang, zoals gezondheid, veiligheid, consumentenbescherming en de bescherming van andere grondrechten (“verantwoorde innovatie”) wanneer AI-technologie met een hoog risico wordt ontwikkeld en gebruikt. Deze beperkingen zijn evenredig en beperkt tot het minimum dat noodzakelijk is om ernstige veiligheidsrisico’s en waarschijnlijke inbreuken op de grondrechten te voorkomen en te beperken. De strengere transparantieverplichtingen zullen ook het recht op bescherming van intellectuele eigendom (artikel 17, lid 2) niet onevenredig aantasten, aangezien zij beperkt zullen blijven tot de minimale informatie die nodig is opdat personen hun recht op een doeltreffende voorziening in rechte kunnen uitoefenen en tot de noodzakelijke transparantie ten aanzien van toezichthoudende en handhavingsautoriteiten, overeenkomstig hun mandaten. Elke openbaarmaking van informatie zal worden uitgevoerd in overeenstemming met de relevante wetgeving ter zake, waaronder Richtlijn 2016/943 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan. Wanneer overheidsinstanties en aangemelde instanties toegang moeten krijgen tot vertrouwelijke informatie of broncode om na te gaan of materiële verplichtingen zijn nageleefd, zijn zij gebonden aan geheimhoudingsverplichtingen. 4.GEVOLGEN VOOR DE BEGROTING

De lidstaten zullen toezichthoudende autoriteiten moeten aanwijzen die belast zijn met de uitvoering van de wettelijke vereisten. Hun toezichthoudende functie kan worden gebaseerd op bestaande regelingen, bijvoorbeeld als het gaat om conformiteitsbeoordelingsinstanties of markttoezicht, maar zal wel voldoende technologische deskundigheid en personele en financiële middelen vereisen. Afhankelijk van de reeds bestaande structuur in elke lidstaat zou dit kunnen neerkomen op 1 tot 25 voltijdequivalenten per lidstaat. Een gedetailleerd overzicht van de betrokken kosten is te vinden in het financieel memorandum bij dit voorstel. 5.OVERIGE ELEMENTEN 5.1.Uitvoeringsplanning en regelingen betreffende controle, evaluatie en rapportage Een robuust controle- en evaluatiemechanisme is van cruciaal belang om de specifieke doelstellingen van het voorstel op doeltreffende wijze te verwezenlijken. De Commissie wordt belast met het toezicht op de gevolgen van het voorstel. Zij zal een systeem opzetten om autonome AI-toepassingen met een hoog risico te registreren in een openbare databank voor de hele EU. Deze registratie zal de bevoegde autoriteiten, gebruikers en andere belangstellenden tevens in staat stellen om na te gaan of het AI-systeem met een hoog risico voldoet aan de in het voorstel vastgestelde vereisten en om een beter toezicht uit te oefenen op AI-systemen die een hoog risico inhouden voor de grondrechten. Om deze databank van informatie te voorzien, zullen aanbieders van AI verplicht zijn om zinvolle informatie te verstrekken over hun systemen en over de conformiteitsbeoordeling die op deze systemen is uitgevoerd. Voorts zullen aanbieders van AI verplicht zijn de nationale bevoegde autoriteiten in kennis te stellen van ernstige incidenten of storingen die een inbreuk vormen op de grondrechten, zodra zij daarvan op de hoogte zijn, alsook van terugroepingen of het uit de handel nemen van AI-systemen. De nationale bevoegde autoriteiten zullen dan de incidenten of storingen onderzoeken, alle nodige informatie verzamelen en die informatie regelmatig met adequate metadata aan de Commissie overmaken. De Commissie zal deze informatie over de incidenten aanvullen met een uitgebreide analyse van de totale AI-markt. De Commissie zal vijf jaar na de datum waarop het voorgestelde AI-kader van toepassing wordt, een evaluatie- en herzieningsverslag publiceren. 5.2.Artikelsgewijze toelichting 5.2.1.TOEPASSINGSGEBIED EN DEFINITIES (TITEL I) Titel I bevat de definitie van het voorwerp van de verordening en het toepassingsgebied van de nieuwe regels die betrekking hebben op het in de handel brengen, de inbedrijfstelling en het gebruik van AI-systemen. Ook de overige in het instrument gebruikte definities worden daarin gedefinieerd. De definitie van AI-systeem binnen het rechtskader beoogt zo technologieneutraal en toekomstbestendig mogelijk te zijn, rekening houdend met de snelle technologische en marktgerelateerde ontwikkelingen op het gebied van AI. Om de nodige rechtszekerheid te bieden, wordt titel I aangevuld met bijlage I, waarin een gedetailleerde lijst van benaderingen en technieken voor de ontwikkeling van AI is opgenomen, die door de Commissie in overeenstemming met nieuwe technologische ontwikkelingen moet worden aangepast. Ook de belangrijkste deelnemers aan de AI-waardeketen zijn duidelijk gedefinieerd, zoals aanbieders en gebruikers van AI-systemen, waaronder zowel openbare als particuliere marktdeelnemers vallen om een gelijk speelveld te garanderen. 5.2.2.VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE (TITEL II) Titel II bevat een lijst van verboden AI. De verordening volgt een risicogebaseerde aanpak, waarbij een onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een laag of minimaal risico met zich meebrengen. De lijst van verboden praktijken in titel II bevat alle AI-systemen waarvan het gebruik onaanvaardbaar wordt geacht omdat het strijdig is met de waarden van de Unie, bijvoorbeeld vanwege een schending van grondrechten. Het verbod heeft betrekking op praktijken die een aanzienlijk potentieel hebben om personen via subliminale technieken, zonder dat ze zich daarvan bewust zijn, te manipuleren of misbruik te maken van de kwetsbaarheid van specifieke kwetsbare groepen zoals kinderen of personen met een handicap, teneinde hun gedrag wezenlijk te verstoren op een wijze die hen of anderen psychisch of fysiek letsel kan toebrengen. Andere manipulatie- of uitbuitingspraktijken ten aanzien van volwassenen die door AI-systemen zouden kunnen worden vergemakkelijkt, kunnen onder de bestaande wetgeving inzake gegevensbescherming, consumentenbescherming en digitale diensten vallen, die waarborgt dat natuurlijke personen naar behoren worden geïnformeerd en de vrije keuze hebben om niet te worden onderworpen aan profilering of andere praktijken die hun gedrag kunnen beïnvloeden. Het voorstel verbiedt ook op AI gebaseerde “sociale scoring” voor algemene doeleinden door overheidsinstanties. Tot slot is ook het gebruik van “realtime” biometrische systemen voor identificatie op afstand in openbare ruimten met het oog op de rechtshandhaving verboden, tenzij in een beperkt aantal uitzonderlijke gevallen. 5.2.3.AI-SYSTEMEN MET EEN HOOG RISICO (TITEL III) Titel III bevat specifieke regels voor AI-systemen die een hoog risico voor de gezondheid en veiligheid of de fundamentele rechten van natuurlijke personen inhouden. In het kader van een risicogebaseerde aanpak worden deze AI-systemen met een hoog risico toegelaten op de Europese markt, mits zij voldoen aan bepaalde dwingende voorschriften en vooraf een conformiteitsbeoordeling ondergaan. AI-systemen met een hoog risico worden als dusdanig ingedeeld op basis van het beoogde doel van het AI-systeem, in overeenstemming met de bestaande wetgeving inzake productveiligheid. De indeling als AI-systeem met een hoog risico hangt bijgevolg niet alleen af van de functie die het systeem vervult, maar ook van het specifieke doel en de modaliteiten waarvoor dat systeem wordt gebruikt. In hoofdstuk 1 van titel III worden de indelingsregels vastgesteld en wordt een onderscheid gemaakt tussen twee hoofdcategorieën van AI-systemen met een hoog risico: ·AI-systemen die zijn bedoeld om te worden gebruikt als veiligheidscomponent van producten die vooraf een conformiteitsbeoordeling door derden moeten ondergaan; ·andere autonome AI-systemen met hoofdzakelijk implicaties op het gebied van de grondrechten die uitdrukkelijk in bijlage III zijn vermeld. Deze lijst van AI-systemen met een hoog risico in bijlage III bevat een beperkt aantal AI-systemen waarvan de risico’s zich reeds hebben gemanifesteerd of zich in de nabije toekomst waarschijnlijk zullen manifesteren. Om ervoor te zorgen dat de verordening kan worden aangepast aan opkomende gebruiksvormen en toepassingen van AI, kan de Commissie de lijst van AI-systemen met een hoog risico die binnen bepaalde vooraf bepaalde gebieden worden gebruikt, uitbreiden door een reeks criteria en een risicobeoordelingsmethode toe te passen. Hoofdstuk 2 bevat de wettelijke voorschriften voor AI-systemen met een hoog risico met betrekking tot data en databeheer, documentatie en het bijhouden van gegevens, transparantie en informatieverstrekking aan gebruikers, menselijk toezicht, robuustheid, nauwkeurigheid en beveiliging. De voorgestelde minimumvereisten zijn voor veel toegewijde marktdeelnemers al erg geavanceerd en vormen het resultaat van twee jaar voorbereidend werk, afgeleid van de ethische richtsnoeren van de deskundigengroep op hoog niveau en door meer dan 350 organisaties getest. Zij sluiten ook grotendeels aan bij andere internationale aanbevelingen en beginselen, wat garandeert dat het voorgestelde AI-kader verenigbaar is met de bestaande kaders van de internationale handelspartners van de EU. De precieze technische oplossingen om aan die eisen te voldoen, kunnen worden aangeboden in de vorm van normen of andere technische specificaties, dan wel anderszins worden ontwikkeld op basis van algemene technische of wetenschappelijke kennis, naar goeddunken van de aanbieder van het AI-systeem. Deze flexibiliteit is bijzonder belangrijk, omdat zij aanbieders van AI-systemen in staat stelt de manier te kiezen waarop zij aan de eisen voldoen, rekening houdend met de stand van de techniek en de technologische en wetenschappelijke vooruitgang op dit gebied. In hoofdstuk 3 wordt een duidelijke reeks horizontale verplichtingen opgelegd aan aanbieders van AI-systemen met een hoog risico. Er worden ook evenredige verplichtingen opgelegd aan gebruikers en andere deelnemers aan de AI-waardeketen (bv. importeurs, distributeurs, gemachtigden).

In hoofdstuk 4 wordt het kader geschetst waarbinnen aangemelde instanties als onafhankelijke derde partij bij conformiteitsbeoordelingsprocedures worden betrokken, terwijl in hoofdstuk 5 de conformiteitsbeoordelingsprocedures die voor elk type AI-systeem met hoog risico moeten worden gevolgd, in detail worden toegelicht. Door te werken met conformiteitsbeoordelingen wordt beoogd de lasten voor marktdeelnemers evenals voor aangemelde instanties, die hun capaciteit geleidelijk aan moeten uitbreiden, tot een minimum te beperken. AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponenten van producten die onder het nieuwe wetgevingskader vallen (bv. machines, speelgoed, medische hulpmiddelen enzovoort), worden onderworpen aan dezelfde ex-ante- en ex-postconformiteitsmechanismen en -handhavingsmechanismen als de producten waarvan zij een component zijn. Het belangrijkste verschil is dat de ex-ante- en ex-postmechanismen niet alleen de naleving van de in de sectorale wetgeving vastgestelde vereisten, maar ook van de in deze verordening vastgestelde vereisten zullen garanderen. Wat de in bijlage III bedoelde autonome AI-systemen met een hoog risico betreft, zal een nieuw nalevings- en handhavingssysteem worden ingesteld. Hierbij wordt het model van het nieuwe wetgevingskader gevolgd, dat wordt uitgevoerd door middel van interne controles door de aanbieders, met uitzondering van biometrische systemen voor identificatie op afstand, die aan een conformiteitsbeoordeling door een derde worden onderworpen. Een uitgebreide ex-anteconformiteitsbeoordeling door middel van interne controles, gecombineerd met een strenge ex-posthandhaving, zou voor die systemen een doeltreffende en redelijke oplossing kunnen zijn, aangezien de regelgevende maatregelen zich in een vroege fase bevinden en het feit dat de AI-sector zeer innovatief is en de deskundigheid voor audits nu pas wordt opgebouwd. Een beoordeling aan de hand van interne controles voor “autonome” AI-systemen met een hoog risico vereist een volledige, doeltreffende en naar behoren gedocumenteerde ex-antenaleving van alle voorschriften in de verordening en naleving van robuuste kwaliteits- en risicobeheerssystemen en monitoring na het in de handel brengen. Nadat de aanbieder de relevante conformiteitsbeoordeling heeft uitgevoerd, moet hij deze autonome AI-systemen met een hoog risico registreren in een EU-databank die door de Commissie zal worden beheerd om de publieke transparantie en het publieke toezicht te vergroten en het ex-posttoezicht door de bevoegde autoriteiten te versterken. Daarentegen zal voor de conformiteitsbeoordeling van AI-systemen die veiligheidscomponenten van producten zijn, ten behoeve van de verenigbaarheid met bestaande wetgeving inzake productveiligheid, een systeem worden gehanteerd met conformiteitsbeoordelingsprocedures van derden die reeds zijn vastgesteld in het kader van de desbetreffende sectorale wetgeving inzake productveiligheid. Hernieuwde ex-anteconformiteitsbeoordelingen zullen nodig zijn in geval van substantiële wijzigingen van de AI-systemen (en met name wijzigingen die verder gaan dan wat vooraf door de aanbieder in zijn technische documentatie is bepaald en tijdens de ex-anteconformiteitsbeoordeling is gecontroleerd). 5.2.4.TRANSPARANTIEVERPLICHTINGEN VOOR BEPAALDE AI-SYSTEMEN (TITEL IV) Titel IV heeft betrekking op bepaalde AI-systemen waarmee rekening moet worden gehouden gezien de specifieke risico’s op manipulatie die zij inhouden. Er zullen transparantieverplichtingen gelden voor systemen die i) interageren met mensen, ii) worden gebruikt om emoties te detecteren of mensen in te delen in (sociale) categorieën op basis van biometrische gegevens, of iii) inhoud genereren of manipuleren (“deep fakes”). Wanneer personen interageren met een AI-systeem of hun emoties of kenmerken door geautomatiseerde hulpmiddelen worden herkend, moeten zij daarvan op de hoogte worden gebracht. Als een AI-systeem wordt gebruikt om beeld-, audio- of videomateriaal te genereren of te manipuleren dat een merkbare gelijkenis vertoont met authentieke inhoud, moet het verplicht zijn om bekend te maken dat de inhoud door geautomatiseerde hulpmiddelen is gegenereerd, behoudens uitzonderingen voor legitieme doeleinden (rechtshandhaving, vrijheid van meningsuiting). Dit geeft personen de mogelijkheid weloverwogen keuzes te maken of afstand te nemen van een bepaalde situatie. 5.2.5.MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE (TITEL V) De inhoud van titel V draagt bij aan de doelstelling om een rechtskader tot stand te brengen dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is. Daartoe worden de nationale bevoegde autoriteiten aangemoedigd om testomgevingen voor regelgeving op te zetten en wordt een basiskader vastgesteld voor governance, toezicht en aansprakelijkheid. AI-testomgevingen voor regelgeving zijn gecontroleerde omgevingen waarin innovatieve technologieën gedurende een beperkte tijd kunnen worden getest op basis van een met de bevoegde autoriteiten overeengekomen testplan. Titel V bevat ook maatregelen om de regeldruk voor de kmo’s en startende ondernemingen te verlichten. 5.2.6.GOVERNANCE EN UITVOERING (TITELS VI, VII EN VII) In titel VI worden de governancesystemen op het niveau van de Unie en op nationaal niveau ingesteld. Op het niveau van de Unie voorziet het voorstel in de oprichting van een Europees Comité voor artificiële intelligentie (het “Comité”), dat is samengesteld uit vertegenwoordigers van de lidstaten en de Commissie. Het Comité zal een vlotte, doeltreffende en geharmoniseerde uitvoering van deze verordening vergemakkelijken door bij te dragen aan de vlotte samenwerking tussen de nationale toezichthoudende autoriteiten en de Commissie, en advies en expertise ter beschikking te stellen van de Commissie. De raad zal ook beste praktijken verzamelen en uitwisselen tussen de lidstaten. Op nationaal niveau zullen de lidstaten een of meer nationale bevoegde autoriteiten moeten aanwijzen, waaronder de nationale toezichthoudende autoriteit, die belast worden met het toezicht op de toepassing en uitvoering van de verordening. De Europese Toezichthouder voor gegevensbescherming treedt op als de bevoegde autoriteit voor het toezicht op de instellingen, agentschappen en organen van de Unie wanneer zij binnen het toepassingsgebied van deze verordening vallen. Titel VII is bedoeld om het toezicht door de Commissie en de nationale autoriteiten te vergemakkelijken door een EU-databank op te richten voor autonome AI-systemen met een hoog risico die voornamelijk gevolgen hebben voor de grondrechten. De databank zal worden beheerd door de Commissie en van data worden voorzien door de aanbieders van de AI-systemen, die verplicht zullen zijn hun systemen te registreren alvorens ze in de handel te brengen of anderszins in gebruik te nemen. Titel VIII bevat de monitoring- en rapportageverplichtingen voor aanbieders van AI-systemen met betrekking tot de monitoring na het in de handel brengen en de rapportage van en het onderzoek naar AI-gerelateerde incidenten en storingen. De markttoezichtautoriteiten zullen ook de markt controleren en nagaan of alle reeds in de handel gebrachte AI-systemen met een hoog risico voldoen aan de verplichtingen en vereisten. De markttoezichtautoriteiten beschikken over alle bevoegdheden uit hoofde van Verordening (EU) 2019/1020 betreffende markttoezicht. Via ex-posthandhaving wordt ervoor gezorgd dat overheidsinstanties, zodra het AI-systeem in de handel is gebracht, over de bevoegdheden en middelen beschikken om in te grijpen wanneer AI-systemen onverwachte risico’s met zich meebrengen die een snel ingrijpen rechtvaardigen. Zij zien er ook op toe dat de marktdeelnemers hun relevante verplichtingen uit hoofde van de verordening naleven. Het voorstel voorziet niet in de automatische oprichting van extra instanties of autoriteiten op het niveau van de lidstaten. De lidstaten kunnen derhalve bestaande sectorale autoriteiten aanwijzen (en een beroep doen op de deskundigheid van die autoriteiten), die de bevoegdheid voor het toezicht op en de handhaving van de bepalingen van de verordening op zich zullen nemen. Dit alles doet geen afbreuk aan het bestaande systeem en de bestaande verdeling van bevoegdheden in de lidstaten voor de ex-posthandhaving van de verplichtingen betreffende de grondrechten. Indien nodig voor hun mandaat zullen de bestaande toezichthoudende en handhavingsautoriteiten ook bevoegd zijn om alle in het kader van deze verordening bijgehouden documentatie op te vragen en in te zien en, indien nodig, de markttoezichtautoriteiten te verzoeken het AI-systeem met een hoog risico aan technische tests te onderwerpen. 5.2.7.GEDRAGSCODES (TITEL IX) In titel IX wordt een kader voor gedragscodes omschreven die aanbieders van AI-systemen zonder hoog risico ertoe moeten aanzetten de dwingende voorschriften voor AI-systemen met een hoog risico (zoals vastgelegd in titel III) vrijwillig toe te passen. Aanbieders van AI-systemen zonder hoog risico kunnen de gedragscodes zelf opstellen en toepassen. In deze codes kunnen ook vrijwillige verbintenissen zijn opgenomen met betrekking tot bijvoorbeeld milieuduurzaamheid, toegankelijkheid voor personen met een handicap, inspraak van belanghebbenden tijdens het ontwerp en de ontwikkeling van AI-systemen, en diversiteit binnen de ontwikkelingsteams. 5.2.8.SLOTBEPALINGEN (TITELS X, XI EN XII) In titel X wordt de aandacht gevestigd op de verplichting van alle partijen om de vertrouwelijkheid van informatie en data te eerbiedigen en zijn regels opgenomen voor de uitwisseling van de informatie die tijdens de uitvoering van de verordening is verkregen. Titel X bevat ook maatregelen om te zorgen voor de doeltreffende uitvoering van de verordening door middel van doeltreffende, evenredige en afschrikkende sancties voor inbreuken op de bepalingen. Titel XI bevat regels voor de uitoefening van de bevoegdheidsdelegatie en de uitvoeringsbevoegdheden. Het voorstel geeft de Commissie de bevoegdheid om in voorkomend geval uitvoeringshandelingen vast te stellen om de uniforme toepassing van de verordening te waarborgen, of gedelegeerde handelingen om de lijsten in de bijlagen I tot en met VII bij te werken of aan te vullen. Titel XII bevat de verplichting voor de Commissie om regelmatig na te gaan of bijlage III moet worden bijgewerkt en om regelmatig verslag uit te brengen over de evaluatie en herziening van de verordening. Dit deel bevat ook de slotbepalingen, waaronder een gedifferentieerde overgangsperiode voor de begindatum van de toepasselijkheid van de verordening, teneinde een soepele uitvoering voor alle betrokken partijen te vergemakkelijken. 2021/0106 (COD) Voorstel voor een

VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE, Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114, Gezien het voorstel van de Europese Commissie, Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen, Gezien het advies van het Europees Economisch en Sociaal Comité, Gezien het advies van het Comité van de Regio’s, Handelend volgens de gewone wetgevingsprocedure, Overwegende hetgeen volgt: (1)Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie. Deze verordening streeft een aantal dwingende redenen van algemeen belang na, zoals een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan. (2)Artificiële-intelligentiesystemen (AI-systemen) kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd, terwijl verschillen die het vrije verkeer van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, met beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend om deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen. (3)Artificiële intelligentie is een snel evoluerende verzameling van technologieën die kan bijdragen aan een brede waaier van economische en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, onderwijs en opleiding, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, en klimaatmitigatie en -adaptatie. (4)Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, risico’s opleveren en schade toebrengen aan de openbare belangen en rechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn. (5)Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen en de inbedrijfstelling van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Door die regels vast te stellen, steunt deze verordening de doelstelling van de Unie om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad, en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement. (6)Het begrip “AI-systeem” moet duidelijk worden gedefinieerd om rechtszekerheid te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op toekomstige technologische ontwikkelingen te kunnen inspelen. De definitie moet gebaseerd zijn op de belangrijkste functionele kenmerken van de software, met name het vermogen om, voor een bepaalde reeks door de mens gedefinieerde doelstellingen, een output te genereren zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee het systeem in wisselwerking staat, zowel in een fysieke als een digitale dimensie. AI-systemen kunnen zodanig worden ontworpen dat zij in verschillende mate autonoom kunnen functioneren en als zelfstandig onderdeel of als component van een product kunnen worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed). De definitie van AI-systeem moet worden aangevuld met een lijst van specifieke technieken en benaderingen voor de ontwikkeling ervan, die in het licht van de technologische en marktontwikkelingen moet worden bijgewerkt door middel van gedelegeerde handelingen van de Commissie tot wijziging van die lijst. (7)Het in deze verordening gebruikte begrip biometrische gegevens sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad, artikel 3, lid 18, van Verordening (EU) 2018/1725 van het Europees Parlement en de Raad en artikel 3, lid 13, van Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad. (8)Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens. Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen. (9)Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie. (10)Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruikers van AI-systemen.

(11)Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruikers van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output in de Unie wordt gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds. (12)Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of gebruiker van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten]. (13)Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest van de grondrechten van de Europese Unie (het Handvest), niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie. (14)Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren. (15)Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind. (16)Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek. (17)AI-systemen die door of in naam van overheidsinstanties worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren de betrouwbaarheid van natuurlijke personen op basis van hun sociale gedrag in meerdere contexten of op basis van bekende of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden. (18)Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten. (19)Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in drie limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik alleen noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar mogelijke slachtoffers van misdrijven, waaronder vermiste kinderen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag; en de opsporing, lokalisatie, identificatie of vervolging van daders of verdachten van de in Kaderbesluit 2002/584/JBZ van de Raad bedoelde strafbare feiten indien deze in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumstraf van minstens drie jaar, en indien zij in het recht van die lidstaat zijn omschreven. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt er op toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van biometrische systemen voor identificatie op afstand in real time te rechtvaardigen. Bovendien zullen sommige van de 32 in Kaderbesluit 2002/584/JBZ van de Raad genoemde strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zal zijn voor de praktische uitvoering van de opsporing, lokalisatie, identificatie of vervolging van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen. (20)Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die drie limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Voorts moet het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving aan passende beperkingen in tijd en ruimte worden onderworpen, met name gelet op het bewijs of de aanwijzingen met betrekking tot de bedreigingen, de slachtoffers of de dader. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de drie bovenvermelde situaties. (21)Voor elk gebruik van een biometrisch systeem voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving moet een uitdrukkelijke en specifieke toestemming van een rechterlijke instantie of van een onafhankelijke administratieve autoriteit van een lidstaat vereist zijn. Die toestemming moet in beginsel vóór het gebruik worden verkregen, behalve in naar behoren gemotiveerde spoedeisende gevallen, dat wil zeggen situaties waarin het wegens de noodzaak om de systemen in kwestie te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik een toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en vastgesteld in de context van elk individueel dringend gebruik door de rechtshandhavingsautoriteit zelf. Bovendien moet de rechtshandhavingsautoriteit in dergelijke situaties zo spoedig mogelijk een toestemming trachten te verkrijgen, met vermelding van de redenen waarom zij die niet eerder heeft kunnen vragen. (22)Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk is indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen. (23)Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, behoudens bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mag een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het door deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke data in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn 2016/680. Het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader voor dergelijk gebruik ten behoeve van de rechtshandhaving dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van een toelating uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die daaraan uitvoering kunnen geven. (24)Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving zoals geregeld in deze verordening, ook wanneer die systemen in openbare ruimten door bevoegde autoriteiten worden gebruikt voor andere doeleinden dan de rechtshandhaving, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing. (25)Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd. (26)Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken. (27)AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht of in bedrijf worden gesteld als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren. (28)AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als onderdelen van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn. De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is een bijzonder relevante factor voor de indeling van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen. (29)Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad, Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad, Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad, Richtlijn 2014/90/EU van het Europees Parlement en de Raad, Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad, Verordening (EU) 2018/858 van het Europees Parlement en de Raad, Verordening (EU) 2018/1139 van het Europees Parlement en de Raad, en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad, moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt. (30)Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31)De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad en Verordening (EU) 2017/746 van het Europees Parlement en de Raad, waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico. (32)Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in de verordening beschreven, specifieke en vooraf bepaalde gebieden. Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd. (33)Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en discriminerende effecten met zich meebrengen. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Daarom moeten biometrische systemen voor identificatie op afstand “in realtime” en “achteraf” als systemen met een hoog risico worden aangemerkt. Gezien de risico’s die zij inhouden, moeten voor beide soorten systemen voor biometrische identificatie op afstand specifieke eisen inzake menselijk toezicht en het bijhouden van logbestanden gelden. (34)Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van het wegverkeer en de water-, gas-, verwarmings- en elektriciteitsvoorziening als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren. (35)AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden. (36)AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen. Relevante werkgerelateerde contractuele betrekkingen moeten werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Deze personen worden in beginsel niet beschouwd als gebruikers in de zin van deze verordening. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook gevolgen hebben voor hun rechten op gegevensbescherming