Art. 60 AI Act

Article 60 — Testen van AI-systemen met een hoog risico onder reële omstandigheden buiten AI-testomgevingen voor regelgeving

1. AI-systemen met een hoog risico kunnen onder reële omstandigheden buiten AI-testomgevingen voor regelgeving worden getest door aanbieders of potentiële aanbieders van in bijlage III vermelde AI-systemen met een hoog risico in overeenstemming met dit artikel en het in dit artikel bedoelde plan voor tests onder reële omstandigheden, onverminderd de verbodsbepalingen krachtens artikel 5. De Commissie specificeert, door middel van uitvoeringshandelingen, de precieze onderdelen van het plan voor tests onder reële omstandigheden. Die uitvoeringshandelingen worden vastgesteld volgens de in artikel 98, lid 2, bedoelde onderzoeksprocedure. Dit lid doet geen afbreuk aan Unie- of nationale wetgeving voor het testen onder reële omstandigheden van AI-systemen met een hoog risico die verband houden met producten die onder de in bijlage I vermelde harmonisatiewetgeving van de Unie vallen.

2. Aanbieders of potentiële aanbieders kunnen zelf of in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken onder reële omstandigheden tests uitvoeren op in bijlage III bedoelde AI-systemen met een hoog risico op elk moment vóór het in de handel brengen of in gebruik nemen van het AI-systeem.

3. Het testen van AI-systemen met een hoog risico onder reële omstandigheden uit hoofde van dit artikel doet geen afbreuk aan de ethische toetsing die op grond van het Unie- of nationale recht is vereist.

4. Aanbieders of potentiële aanbieders mogen alleen testen onder reële omstandigheden als is voldaan aan alle volgende voorwaarden:
a) de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest;
b) de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming;
c) de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5;
d) de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen;
e) gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast;
f) het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is;
g) proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd;
h) indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd;
i) de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist;
j) op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren;
k) de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd.

5. Proefpersonen van het testen onder reële omstandigheden of hun wettelijke vertegenwoordiger, al naargelang het geval, kunnen zich, zonder nadelige gevolgen en zonder enige rechtvaardiging, te allen tijde uit het testen terugtrekken door hun geïnformeerde toestemming in te trekken, waarna zij om de onmiddellijke en permanente verwijdering van hun persoonsgegevens kunnen verzoeken. De intrekking van de geïnformeerde toestemming heeft geen gevolgen voor de reeds uitgevoerde activiteiten.

6. Overeenkomstig artikel 75 verlenen de lidstaten hun markttoezichtautoriteiten de bevoegdheid om aanbieders en potentiële aanbieders te verplichten informatie te verstrekken, om onaangekondigde inspecties op afstand of ter plaatse uit te voeren en om toezicht te houden op de uitvoering van het testen onder reële omstandigheden en de aanverwante AI-systemen met een hoog risico. Markttoezichtautoriteiten gebruiken deze bevoegdheden om ervoor te zorgen dat het testen onder reële omstandigheden zich veilig kan ontwikkelen.

7. Elk ernstig incident dat tijdens het testen onder reële omstandigheden wordt vastgesteld, wordt gemeld bij de nationale markttoezichtautoriteit overeenkomstig artikel 73. De aanbieder of potentiële aanbieder neemt onmiddellijke risicobeperkende maatregelen of, bij gebreke daarvan, schorst het testen onder reële omstandigheden totdat dergelijke risicobeperkende maatregelen zijn getroffen, of beëindigt anders het testen. De aanbieder of potentiële aanbieder stelt een procedure vast voor het onmiddellijk terugroepen van het AI-systeem bij een dergelijke beëindiging van het testen onder reële omstandigheden.

8. Aanbieders of potentiële aanbieders stellen de nationale markttoezichtautoriteit in de lidstaat waar er onder reële omstandigheden moet worden getest, in kennis van de opschorting of beëindiging van het testen onder reële omstandigheden en van de eindresultaten.

9. De aanbieder of potentiële aanbieder zijn aansprakelijk op grond van het toepasselijke Unie- en nationale aansprakelijkheidsrecht voor schade die tijdens het testen onder reële omstandigheden wordt veroorzaakt.