Bijlage 3 - inventarisatie projectgroep normering en toezicht algoritmen
In deze bijlage is het resultaat van de ambtelijke projectgroep normering en toezicht algoritmen
beschreven: de in de hoofdbrief geïntroduceerde inventarisatie van openstaande
beleidsvraagstukken (onder meer voortkomend uit afgerond onderzoek) op het gebied van
normering en toezicht algoritmen.
Werkwijze projectgroep
Bij deze inventarisatie zijn de kabinetsreacties op onderzoeken die ingaan op normering en
toezicht algoritmen als referentiepunt genomen. Het betreft de volgende kabinetsreacties:
-

-

Kabinetsreactie op drietal onderzoeken naar algoritmen: “Juridische aspecten van algoritmen
die besluiten nemen”, “Onvoorziene effecten van zelflerende algoritmen” en “De modernisering
van het Nederlandse Procesrecht in het licht van big data”1
Kabinetsreactie op “Algoritmen en grondrechten”2
Kabinetsreactie “Toezicht op het gebruik van algoritmen door de overheid”3
Kamerbrief “Transparantie van algoritmen in gebruik bij de overheid”4
Kamerbrief ‘Wettelijke waarborgen tegen de risico´s van data-analyse voor de overheid’5

De projectgroep heeft verder gekeken naar de uitkomsten van andere afgeronde onderzoeken en
(binnenkort) beschikbaar (ondersteunend) instrumentarium6. Uit de afgeronde onderzoeken is
voor zowel het thema normering, als het thema toezicht, een samenvattend, concluderend beeld
geschetst. Tevens is een consultatieronde gehouden onder externe stakeholders uit de
wetenschap, medeoverheden, toezichthouders, bedrijfsleven en het maatschappelijk middenveld.
Normering van algoritmen
Het bestaande onderzoek leert dat algoritmen in het licht van mensenrechten, waaronder nondiscriminatie, gegevensbescherming en rechtsbescherming niet in een juridisch vacuüm vallen,
maar dat deze wel verdere aanscherping en invulling behoeven. Zo zal er in veel gevallen bij de
inzet van algoritmen in een context met hoge risico’s voor burgers, sprake zijn van verwerking van
persoonsgegevens. Daarmee valt het algoritme binnen de werkingssfeer van de AVG. Er zijn in de
onderzoeken enkele knelpunten geïdentificeerd, zoals de uitleg van het begrip ‘geautomatiseerde
besluitvorming’, de mogelijkheid om te testen met ‘bijzondere persoonsgegevens’ en de
bewijspositie in de context van productaansprakelijkheid. Er bestaat onduidelijkheid over de
definitie van ‘persoonsgegevens’ en daarmee over de reikwijdte van de bescherming van de AVG.
Het kabinet heeft reeds aangegeven in het verder verhelderen ook een rol voor de wetgever te
zien; niet alleen voor rechters en toezichthouders7.
Bij verdere verheldering van bestaande normen spelen ook softlaw instrumenten een belangrijke
rol. Zo zijn er veel publieke en private ethische codes, richtsnoeren, standaarden en keurmerken.
Er ontbreekt momenteel een goed overzicht hiervan en een analyse in hoeverre deze volstaan8.
Zo’n overzicht kan bijdragen aan het verhelderen van normen en regels en gebruikt worden bij
bijvoorbeeld het inkoop- en aanbestedingsbeleid en lifecycle management. Ook ontstaat er zo voor
uitvoerders meer helderheid over hoe en welke instrumenten ze het best kunnen toepassen.

Kamerstuk 32 761 en 26 643, nr. 169.
Kamerstuk 26 643, nr. 601.
3
Kamerstuk 35 212, nr. 3.
4
Kamerstuk 26 643 en 32761, nr. 570.
5
Kamerstukken II 2019/20, 26 643/32761, nr. 641
6
Het betreft in ieder geval de volgende onderzoeken: “Algoritmen en grondrechten” (UU), “Algoritmen:
praktische richtlijnen” (Waag), “Europese richtsnoeren voor betrouwbare AI”, “Impactassessment op
mensrechten en algoritmen” (BZK), Handreiking “Systeemprincipes voor non-discriminatie” (BZK),
“Onderzoeksstudie rondom consumentenrecht en ecologische duurzaamheid” (RUG) en “Aandacht voor
Algoritmen” (ARK).
7
Kamerstuk 2020-2021, 35 510, nr. 49
8
Een eerste aanzet voor het opstellen van een overzicht is terug te vinden in de hoofdbrief.
1
2

Vanuit de EU zijn t.a.v. de normering van algoritmen op 21 april 2021 regelgevende voorstellen
gepubliceerd. In het Witboek over AI uit februari 2020 geeft de Europese Commissie aan dat wordt
nagedacht over een eigen kader voor zogenaamde hoog risicotoepassingen, naast (en aanvullend)
op de bestaande EU-kaders. Ook de Raad van Europa heeft in december 2020 een
haalbaarheidsstudie naar een bindend of niet-bindend instrument m.b.t. AI afgerond. In EUverband wordt verder onderzocht of de kaders voor productaansprakelijkheid moeten worden
aangepast om hun toepasbaarheid op (zelflerende) algoritmen te verzekeren. De voorgestelde
Digital Services Act laat zien dat er t.a.v. specifieke vraagstukken behoefte kan zijn aan gerichte
regulering, zoals de waarborgen die zouden moeten gelden t.a.v. de moderatie van content op
sociale media platformen. Gezien (de snelheid van) de maatschappelijke en technologische
ontwikkeling blijft periodieke evaluatie en monitoring van het normenstelsel nodig.
Openstaand beleidsvraagstuk:


De geïdentificeerde knelpunten in het juridisch kader zullen een plek moeten krijgen in
nationale regelgeving, waarbij gekeken wordt naar de samenhang met de Europese
voorstellen. Daarnaast zal overzicht en samenhang gecreëerd moeten worden in bestaand
(beleids)instrumentarium.

Bij de bestudering van het onderzoek bleek verder dat het bevorderen van transparantie en
uitlegbaarheid van algoritmen en/of hun toepassingen van groot belang is. Ook in de inbreng van
de externe consultatie en in de lopende trajecten in de EU komt het belang van transparantie
veelvuldig naar voren. Dit betreft zowel transparantie over de inzet van algoritmen alsook over
hun werking en (potentiële) impact in zowel de publieke als private sector. Het belang van
transparantie wordt onderschreven in verschillende recent gepubliceerde stukken met betrekking
tot algoritmen en artificiële intelligentie. Het is bijvoorbeeld een van de zeven vereisten voor
betrouwbare AI van de Europese Commissie en het is een van de hoofddoelen van de ‘Richtlijnen
voor het toepassen van Algoritmen door Overheden’. Daarnaast is het een van de aanbevelingen
van het rapport ‘Aandacht voor Algoritmen’ van de Algemene Rekenkamer.
Een belangrijke bron voor transparantievereisten is de AVG. De transparantie- en
informatieverplichtingen uit de AVG zijn bedoeld om personen te informeren van wie
persoonsgegevens worden verwerkt, juist ook wanneer deze verwerking het karakter van
geautomatiseerde besluitvorming heeft. Denk daarbij aan het inzagerecht en correctierecht en het
privacystatement. Er kunnen redenen zijn, bijvoorbeeld nationale veiligheid, om informatie niet te
verstrekken. Voor de overheid specifiek geldt het kader van de Algemene Wet Bestuursrecht. Uit
jurisprudentie is op te maken dat een bestuursorgaan op verzoek van een belanghebbende de
keuzes, aannames en gegevens van een geautomatiseerd proces inzichtelijk moet maken. Ook zou
de Wet openbaarheid van bestuur (Wob) door een burger kunnen worden benut om inzicht te
vragen in een algoritme. Naast het privacykader en het bestuursrecht zijn ook in het
consumentenrecht transparantievereisten opgenomen. Zo regelt het transparantievereiste uit de
“richtlijn oneerlijke bedingen” en de “richtlijn consumentenrechten” meerdere
informatieverplichtingen. De “richtlijn modernisering consumentenbescherming” (2019/2161/EU)
introduceert daarnaast nieuwe informatieverplichtingen voor online handelaren in het algemeen en
voor onlinemarktplaatsen in het bijzonder. Deze richtlijn treedt op 28 mei 2022 in werking.
Specifiek voor deep learning algoritmen, die onder de noemer van artificiële intelligentie (AI) hun
intrede doen, kan het zogenoemde ‘black-box’-probleem spelen, waardoor de interne werking
technisch niet meer goed uitlegbaar is, ook niet wanneer de programmeercode open source
beschikbaar is gesteld. In het onderzoek van de Algemene Rekenkamer wordt geconcludeerd dat
vooralsnog de bij de overheid (beperkt) aangetroffen AI-algoritmen nog steeds voldoende
inzichtelijk en uitlegbaar zijn.

Openstaande beleidsvraagstukken:




Er zijn reeds een aantal bestaande verplichtingen voor de private en de publieke sector die
bijdragen aan transparantie van algoritmen. Er is nog evenwel weinig inzicht in hoe deze
bestaande verplichtingen vanuit een burgerperspectief concreet uitwerken.
Er kan gekeken worden naar (praktische) mogelijkheden – zoals open source,
verwerkingsregisters, meldplicht - om actieve transparantie en uitlegbaarheid te vergroten en
(meer) te stimuleren, binnen en buiten de overheid.

Toezicht op Algoritmen
Voor burgers is het van belang dat ze kunnen vertrouwen op goed werkende en interne en externe
controlemechanismen. Onafhankelijk toezicht is daar een onderdeel van. Ook moeten burgers
laagdrempelig terecht kunnen bij een instantie met klachten over het gebruik van algoritmen.
Er is een breed scala aan toezichthouders actief. Die zijn sectoraal dan wel sectoroverstijgend
actief en soms specifiek voor de overheid. Bij het grootste deel van toezichthouders is toenemende
aandacht voor toezicht op algoritmen. Voor toezicht specifiek op de overheid is geconcludeerd dat
er geen juridische lacunes zijn waargenomen in de toezichtstaken en -bevoegdheden met
betrekking tot algoritmegebruik. Een nieuwe toezichthouder wordt vooralsnog dan ook niet als
noodzakelijk geacht. Wel is het van belang voor zowel publiek als privaat toezicht dat
toezichthouders vanuit hun eigen expertise en toezichtsdomein toezicht houden. Daarbij is
samenwerking van groot belang. In het voorjaar van 2020 is de werkgroep toezicht op AI
opgericht. Deze werkgroep draagt eraan bij dat de samenwerking tussen toezichthouders een
meer structurele vorm krijgt.
Het effect van toezicht kan zijn dat er herstel plaats dient te vinden. Zo moeten de data die zijn
gebaseerd op het gebruik van dit algoritme worden verwijderd of gecorrigeerd, wanneer
geconstateerd is dat het gebruik van een algoritme in strijd was met wetgeving. Dit kan gaan om
meerdere administraties, systemen of organisaties en is een complex en arbeidsintensief proces.
Openstaande beleidsvraagstukken:






Het generieke, sector overstijgende toezicht voor zowel overheid als private sector kan nog
verder worden versterkt. In aanvulling op reeds lopende acties is blijvende aandacht nodig
voor de beschikbare capaciteit van toezichthouders en de samenwerking tussen de
toezichthouders.
Het herstel van bij toezicht onjuist gebleken bronbestanden en verwijderen van vervuilde data
is een complexe taak. Nader onderzoek om een manier te ontwikkelen waarop dit doelmatig en
technisch realiseerbaar is, is aan de orde. De staatssecretaris van BZK heeft bij motie van
Kamerlid Marijnissen (SP) c.s. een voorstel gedaan hoe overal binnen overheidsinstellingen
vervuilde data, risicomodellen en het gebruik van nationaliteit kan worden opgeruimd9.
De diverse normenkaders, standaarden en instrumenten die vanuit toezicht worden
ontwikkeld, moeten voor uitvoeringsorganisaties te hanteren zijn. Daarom is het van belang
om een samenhangend, effectief en uitvoerbaar algoritmekader te ontwikkelen met
betrokkenheid van uitvoeringsorganisaties.

Afronding en vervolg
Het bovenstaande beeld is het resultaat van een eerste inventarisatie, brede consultatie en
analyse. Het geeft daarmee een actueel beeld van de belangrijkste thema’s en conclusies op het
gebied van verantwoord algoritmegebruik en is een eerste stap naar een samenhangende agenda.
De inventarisatie biedt naast een nationaal overzicht ook een basis voor de internationale inzet,
waarvan het in 2021 verwachte EU-beleid op het gebied van AI het meest in het oog springende
is. Het onderzoeks- en beleidsterrein t.a.v. normering en toezicht algoritmen staat niet stil en is
continu in ontwikkeling, daarom is het goed om ook de lopende of reeds geplande onderzoeken
9

Kamerstuk 35510 nr. 21.

nog kort aan te stippen. Het kabinet zal van de onderzoeksresultaten uiteraard met interesse
kennisnemen en waar nodig implicaties voor het bestaande kader en beleid (opnieuw)
inventariseren.













Het kabinet heeft het Wetenschappelijke Raad voor het Regeringsbeleid (WRR) gevraagd om
een overkoepelend, multidisciplinair onderzoek te verrichten naar de impact van Artificiële
Intelligentie (AI) op publieke waarden. De uitkomsten worden eind 2021 verwacht.
De Autoriteit Consument & Markt (ACM) onderzoekt in een pilot met een marktpartij hoe zij de
werking kan controleren van algoritmen die door marktpartijen worden gebruikt. De ACM kijkt
ook wat nodig is om dit onderzoek te kunnen verrichten, bijvoorbeeld ten aanzien van
benodigde expertise, ICT-infrastructuur, analyse tools en forensische standaarden.
De Nederlandse AI Coalitie is bezig met een inventarisatie van bestaande normatieve kaders
en riskassessments bij Nederlandse bedrijven.
In een aantal maatschappelijke co-creatie omgevingen (ELSA-labs: Ethical Legal and Societal
Aspects) wordt onderzocht welke normen en waarden in het gedrang komen door de inzet van
AI en de impact daarvan op de samenleving. Het doel van deze labs is om betere methodes te
ontwikkelen om burgers te betrekken bij de ontwikkeling van AI.
In opdracht van het ministerie van BZK is in het Calculemus-FLINT-project een systematiek
uitgewerkt om de juridische bronnen, zoals wetgeving waar uitvoering door de overheid op
gebaseerd is, expliciet te maken. Het doel is een directe koppeling te maken tussen de
juridische grondslag en de dienstverlening.
Onder leiding van Agentschap Telecom en in samenwerking met de Inspectieraad is er een
werkgroep Toezicht op AI gestart waarin 20 toezichthouders deelnemen (autoriteiten,
rijksinspecties en toezichthoudende diensten). Deze werkgroep heeft tot doel om de kwaliteit
van het toezicht door de toezichthouders op het terrein van AI te vergroten, onderling ieders
scope en interacties tussen de toezichtsvelden af te stemmen en samenwerking te bevorderen.
De Auditdienst Rijk (ADR) zal de komende jaren audits doen naar het gebruik van algoritmen
door organisaties binnen de rijksoverheid op basis van het daarvoor ontwikkelde
toetsingskader.