Recital (59) AI Act

Gezien hun rol en verantwoordelijkheid worden maatregelen van rechtshandhavings-instanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen deze leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende eisen wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Met het oog op de aard van de activiteiten en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties te worden gebruikt voor het beoordelen van het risico dat een natuurlijk persoon potentieel slachtoffer van strafbare feiten wordt, zoals leugendetectortests en vergelijkbare instrumenten, voor het beoordelen van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten en, voor zover niet verboden op grond van deze verordening, voor het beoordelen van het risico dat een natuurlijk persoon een inbreuk pleegt of recidive pleegt, niet uitsluitend op basis van de profilering van natuurlijke personen of de beoordeling van persoonlijkheidskenmerken of het criminele gedrag van natuurlijke personen of groepen in het verleden, voor profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten en door financiële-inlichtingeneenheden die administratieve taken uitvoeren en informatie analyseren overeenkomstig de antiwitwaswetgeving van de Unie, mogen niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavingsinstanties en andere relevante autoriteiten mag geen factor van ongelijkheid of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet worden genegeerd, met name het probleem om betekenisvolle informatie over de werking van die systemen te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door natuurlijke personen tegen wie een onderzoek loopt.