Rapportage Onderzoek ‘Haalbaarheid van
stemprinter en stemmenteller’

Auteur:
Versie:
Documentdatum:

Atos Consulting
1.0
mei 2017

Atos, het Atos logo, Atos Consulting, Atos Worldgrid, Worldline, BlueKiwi, Bull, Canopy the Open Cloud Company, Yunano,
Zero Email, Zero Email Certified en The Zero Email Company zijn geregistreerde handelsmerken van de Atos groep. Mei 2017
© Copyright 2017, Atos Consulting N.V.
Alle rechten voorbehouden. Reproductie, geheel of gedeeltelijk, zonder schriftelijke toestemming van Atos is verboden.
Wanneer u vragen of opmerkingen heeft over dit document kunt u deze richten aan Atos Consulting,

Vertrouwelijk

Inhoud
1

Inleiding ................................................................................................... 3

1.1

Aanleiding .............................................................................................................. 3

1.2

Onderzoeksvragen................................................................................................... 3

1.3

Aanpak en activiteiten ............................................................................................. 3

1.4

Bijlage ................................................................................................................... 5

2

Stemprinter en stemmenteller ..................................................................... 6

2.1

Stemprinter ............................................................................................................ 6

2.2

Stemmenteller ........................................................................................................ 6

3

Respons .................................................................................................... 8

3.1

Inleiding................................................................................................................. 8

3.2

Toelichting werkwijze ............................................................................................... 8

3.3

Haalbaarheid van de specificaties ............................................................................ 10

3.3.1 Transparantie ten aanzien van stemprinter en stemmenteller ..................................... 10
3.3.2 Documentatie over stemprinter en stemmenteller ..................................................... 11
3.3.3 Functionaliteit en bediening algemeen ..................................................................... 12
3.3.4 Functionaliteit en bediening stemprinter ................................................................... 15
3.3.5 Functionaliteit en bediening stemmenteller ............................................................... 18
3.3.6 Stembiljet dat door stemprinter wordt geprint .......................................................... 22
3.3.7 Apparatuur ........................................................................................................... 24
3.3.8 Standaarden en normen ......................................................................................... 25
3.3.9 Prestaties ............................................................................................................. 27
3.3.10 Beveiliging - Common Criteria................................................................................. 29
3.3.11 Beveiliging - compromitterende straling ................................................................... 33
3.3.12 Beleid ten aanzien van beveiliging ........................................................................... 34
3.3.13 Ontwikkelproces van stemprinters, stemmentellers en elektronische tokens ................. 34
3.3.14 Doorvoeren van wijzigingen aan de stemprinter, de stemmenteller en elektronisch
tokens ................................................................................................................. 35
3.3.15 Fysieke distributie en onderhoud ............................................................................. 36
3.3.16 Ondersteuning ...................................................................................................... 36
3.4

Doorlooptijden en kosten ....................................................................................... 37

3.4.1
3.4.2

Doorlooptijden ...................................................................................................... 38
Kosten ................................................................................................................. 42

4

Alternatieven die door marktpartijen zijn aangedragen ..................................45

4.1

Marktpartij D ........................................................................................................ 45

4.1.1
4.1.2

Karakteristieken alternatief marktpartij D ................................................................. 45
Doorlooptijden en kosten ....................................................................................... 48

4.2

Marktpartij E......................................................................................................... 52

4.3

Marktpartij F ......................................................................................................... 52

4.4

Alternatieven voor individuele specificaties ............................................................... 53

Bijlage A Onderzoek ‘Haalbaarheid van stemprinter en stemmenteller’
Beantwoordingsdocument ..........................................................................55

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

2 van 123

Vertrouwelijk

1

Inleiding
Deze rapportage bevat het resultaat van de opdracht die Atos Consulting (hierna te noemen Atos)
heeft uitgevoerd in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties
(hierna te noemen BZK), inhoudende een onderzoek om na te gaan of de specificaties voor een
stemprinter en stemmenteller te realiseren zijn.

1.1

Aanleiding
De Nederlandse overheid onderzoekt de haalbaarheid van de invoering van het elektronische
stemmen en tellen in het stemlokaal met behulp van een stemprinter en stemmenteller.
De onafhankelijke Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft aan
de minister van Binnenlandse Zaken en Koninkrijksrelaties geadviseerd over de specificaties voor
de stemprinter en stemmenteller. Er moet onderzocht worden of de specificaties te realiseren zijn.
Zo nee, waarom niet en zo ja, tegen welke kosten. Een antwoord op die vragen is nodig om tot
een finaal oordeel te kunnen komen over de haalbaarheid van de invoering van de stemprinter en
stemmenteller die door de commissie Van Beek is geadviseerd.

1.2

Onderzoeksvragen
Het onderzoek moet antwoord geven op de volgende vragen:
•

Kunnen stemprinters en/of stemmentellers worden ontwikkeld die voldoen aan de
specificaties?

1.3

•

Hoeveel zou dat kunnen kosten (zowel aan initiële kosten als structurele kosten)?

•

Hoeveel tijd kan de ontwikkeling en productie in beslag gaan nemen?

Aanpak en activiteiten
Om antwoord te krijgen op de onderzoeksvragen is een marktuitvraag uitgevoerd. Daarvoor is de
volgende aanpak gevolgd.

Stap 1
Op basis van de specificaties voor een stemprinter en stemmenteller (en bijbehorende bijlagen) is
een (zowel Nederlands- als Engelstalig) beantwoordingsdocument opgesteld. Het
beantwoordingsdocument is als bijlage A gevoegd bij deze rapportage.
De beantwoording bestaat uit drie delen.
•

Deel 1: Specificaties stemprinter en stemmenteller
De specificaties voor de stemprinter en de stemmenteller zijn onderverdeeld in meerdere
categorieën. Per categorie kan worden aangegeven of de specificaties niet haalbaar zijn en als

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

3 van 123

Vertrouwelijk

dat het geval is wat daar de reden voor is. Tevens is gevraagd om aannames die zijn
gehanteerd bij het beoordelen van de haalbaarheid expliciet te vermelden.
•

Deel 2: Specifieke vragen over bepaalde specificaties en thema’s
Het beoordelingsdocument kent inhoudelijke vragen over de volgende onderwerpen:
o

Gebruik van standaardcomponenten en beschikbaarheid van broncode en
hardwarediagrammen daarvan

o

Het openbaar maken van broncode

o

Verwijderen van stemkeuzen uit de stemprinter

o

Nauwkeurigheid van de stemprinter en stemmenteller

o

Snelheid van
elektronisch tellen van papieren stembiljetten,
op- en afbouwen van de stemprinter en stemmenteller,
configureren van de stemprinter en stemmenteller, en
printen van het stembiljet.

•

o

Voorvouwen van en echtheidskenmerk in het stembiljet

o

Waarborgen van het stemgeheim bij de stemprinter

o

Gewicht van de stemprinter en stemmenteller

o

Inbraakdetectie van de stemprinter en stemmenteller

o

Beschikbaarheid van reserveonderdelen

o

Locaties van werkzaamheden voor ontwikkeling, productie en onderhoud

Deel 3: Vragen over doorlooptijd en kosten

Aan marktpartijen is de mogelijkheid geboden om ook informatie te verstrekken over andere
oplossingen voor de stemprinter en stemmenteller c.q. over alternatieven voor de genoemde
specificatie(s).

Stap 2
Nagegaan is welke marktpartijen antwoord zouden kunnen geven op de vragen. Hierbij zijn drie
categorieën onderkend: leveranciers van scanners/printers, leveranciers van stemapparatuur en
system integrators. Via een belronde is de eerste interesse gepeild en zijn relevante
aanspreekpunten en hun contactgegevens verkregen. Dit resulteerde in 23 marktpartijen.

Stap 3
De uitnodiging om deel te nemen aan het onderzoek (door invulling van het
beantwoordingsdocument) is op 19 juli 2016 toegestuurd aan 23 marktpartijen. Daarnaast is de
uitnodiging tot deelname gepubliceerd op internet. Via online advertenties op de websites van de
Automatiseringsgids en ZDNet is geattendeerd op het onderzoek. Voor deze websites is gekozen
vanwege het geografisch bereik (respectievelijk Nederland en Europa) en het bereik onder de
doelgroep van IT-leveranciers.

Stap 4
Er is tot en met 10 oktober 2016 de tijd gegeven om het beantwoordingsdocument in te vullen.
Gedurende deze periode is regelmatig telefonisch en per mail contact geweest met de
marktpartijen om deelname te stimuleren en voortgang te monitoren.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

4 van 123

Vertrouwelijk

Onderstaand overzicht geeft aan wat de respons is geweest op de uitvraag:
Informatie met
betrekking tot de
haalbaarheidsstudie

Aantal

Toelichting

Benaderde marktpartijen

23

9 leveranciers van scanners/printers, 10 leveranciers van
stemapparatuur en 4 system integrators.

Zelf aangemeld

1

Een marktpartij heeft zelf via de online advertenties kennis
genomen van de studie en zich aangemeld voor deelname.

Aantal marktpartijen dat een
antwoord heeft ingediend

6

Vier marktpartijen hebben hun beantwoording conform het
opgestelde beantwoordingsdocument ingediend.
Eén van deze vier marktpartijen heeft daarnaast een alternatieve
oplossing ingediend.
Twee marktpartijen hebben alleen een alternatieve oplossing
ingediend zonder gebruikmaking van het opgestelde
beantwoordingsdocument en zonder referentie aan de
specificaties.

Bedankt voor deelname

14

6 leveranciers van scanners/printers, 5 leveranciers van
stemapparatuur en 3 system integrators hebben met opgaaf van
redenen afgezien van deelname. Vermelde redenen waren:
• Behoort niet tot productlijn/niet de juiste productkennis
• Acht dit meer iets voor een system integrator waarbij
betreffende marktpartij in de toekomst eventueel zou kunnen
bijdragen
• Onvoldoende capaciteit beschikbaar voor deze (gedetailleerde)
studie/andere prioriteiten
• Focus op Noord-Amerika

Geen reactie

4

Van 1 leverancier van scanners/printers, 2 leveranciers van
stemapparatuur en 1 system integrator is geen reactie
ontvangen, ook niet na herhaaldelijk telefonisch en mail contact.

Stap 5
De ontvangen beantwoordingsdocumenten hebben aanleiding gegeven tot het stellen van enkele
nadere vragen. In de periode van 1 tot en met 16 december 2016 zijn deze vragen beantwoord.

Stap 6
De ontvangen beantwoordingsdocumenten en antwoorden op nadere vragen zijn geanalyseerd en
geverifieerd. Paragraaf 3.2 licht de gevolgde werkwijze toe.

1.4

Bijlage
Bij het rapport hoort de volgende bijlage:
•

Bijlage A: Onderzoek ‘Haalbaarheid van stemprinter en stemmenteller’
Beantwoordingsdocument.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

5 van 123

Vertrouwelijk

2

Stemprinter en stemmenteller

2.1

Stemprinter
De stemprinter is bedoeld om door de kiezer gebruikt te worden in een stemlokaal waar een
stembureau toezicht houdt op het verloop van de verkiezing(en). De stemprinter is de
verzamelnaam voor alle apparatuur en programmatuur waarmee de kiezer in staat wordt gesteld
om een keuze te maken voor een verkiezing (lijstverkiezing of referendum), de keuze te
bevestigen en een papieren stembiljet te printen. Een kiezer die het door de stemprinter geprinte
papieren stembiljet controleert en meent dat het stembiljet niet juist is, kan de mogelijkheid
krijgen om dit te melden bij het stembureau waarna het stembureau de kiezer de mogelijkheid
kan geven om opnieuw een keuze met de stemprinter te maken.
Na het papieren stembiljet te hebben gecontroleerd, vouwt de kiezer het stembiljet op de
voorgevouwen plek en deponeert de kiezer het stembiljet in een fysieke (niet elektronische)
stembus. De stembus maakt geen onderdeel uit van de stemprinter.
De stemprinter mag geen gegevens bevatten die gerelateerd kunnen worden aan de identiteit van
een individuele kiezer. De keuze die de kiezer maakt op een stemprinter moet opgeslagen worden
om een stembiljet te kunnen printen waar de keuze op staat. Na het printen wordt de keuze, met
gebruikmaking van verwijdertechnieken die gangbaar zijn, zodanig gewist dat alleen met
forensische methoden zo mogelijk sporen van de stemkeuze te achterhalen zijn. Hiermee, maar
ook met de maatregelen die moeten worden genomen om het afgeven van zogenaamde
compromitterende straling te beperken, moet het stemgeheim van de kiezer zo optimaal mogelijk
worden gewaarborgd.
De stemprinter wordt niet gebruikt om de stem vast te leggen en te tellen. Als de stemprinter, om
welke reden dan ook, tijdens het gebruik een keuze op het stembiljet print die niet de keuze is die
de kiezer heeft gemaakt, dan wordt dat alleen opgemerkt als de kiezer het stembiljet goed
controleert.

2.2

Stemmenteller
De stemmenteller is het verzamelbegrip waarmee alle apparatuur en programmatuur wordt
bedoeld waarmee:
•

papieren stembiljetten worden gescand;

•

het gescande stembiljet waarop een stemkeuze wordt erkend wordt geteld;

•

op een gescand en geteld stembiljet een volgnummer wordt geprint;

•

de gescande stembiljetten worden uitgevoerd in de daarvoor bestemde uitvoerbakken;

•

het telresultaat wordt gegenereerd zowel in papieren- als in elektronische vorm. Het
papieren telresultaat is een bijlage bij het proces-verbaal dat door het stembureau wordt
ondertekend en openbaar wordt gemaakt door het op internet te zetten.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

6 van 123

Vertrouwelijk

De stemmenteller wordt door leden van het stembureau bediend als het elektronisch tellen van de
stembiljetten in het stemlokaal plaatsvindt. Indien daar aanleiding toe is - bijvoorbeeld als er een
verschil is tussen het aantal toegelaten kiezers en het aantal uitgebrachte stemmen – dan kan
door het stembureau opnieuw een telling met de stemmenteller plaatsvinden. In het geval het
centraal stembureau tot een hertelling besluit en bij die hertelling de papieren stembiljetten
elektronisch worden geteld, dan zal de bediening van de stemmenteller plaatsvinden door daartoe
aangewezen personen.
De stemmenteller moet stembiljetten kunnen tellen die door een stemprinter zijn geprint.
Daarnaast moet de stemmenteller ook stembiljetten kunnen tellen die handmatig zijn ingevuld.
De stemmenteller moet derhalve zowel stembiljetten kunnen tellen die door een stemprinter zijn
geprint als een handmatig ingevuld stembiljet, maar niet beide door elkaar voor eenzelfde
stemming.
De stemmenteller moet het mogelijk maken om de stembiljetten nauwkeurig te tellen. Verder zou
het tellen met de stemmenteller sneller moeten verlopen dan het handmatig tellen van de
(huidige) papieren stembiljetten.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

7 van 123

Vertrouwelijk

3

Respons

3.1

Inleiding
Zoals in paragraaf 1.4 is vermeld, is van zes marktpartijen een respons ontvangen. Hieronder
volgt per marktpartij een korte toelichting daarop.
Marktpartij

3.2

Toelichting

A

Marktpartij A heeft het beantwoordingsdocument deels ingevuld voor de
stemprinter en stemmenteller. De antwoorden op een deel van de vragen
ontbreken en er is geen raming van kosten en van doorlooptijden opgegeven.

B

Marktpartij B, bestaand uit een samenwerking van drie partijen, heeft het
beantwoordingsdocument ingevuld voor de stemprinter en stemmenteller.
Deze marktpartij heeft zowel de haalbaarheid van de specificaties als de
vragen daarover beantwoord. Het deel over kosten en doorlooptijd is niet
opgegeven.

C

Marktpartij C, bestaand uit een samenwerking van twee partijen - waarvan de
penvoerder dezelfde is als bij marktpartij B -, heeft het
beantwoordingsdocument ingevuld voor de stemprinter en stemmenteller.
Deze marktpartij heeft het beantwoordingsdocument volledig ingevuld.

D

Marktpartij D heeft het beantwoordingsdocument ingevuld voor de
stemprinter en stemmenteller. Deze marktpartij heeft het
beantwoordingsdocument volledig ingevuld.
Marktpartij D heeft ook een alternatief verstrekt dat uitgaat van andere
specificaties. Dit alternatief is (separaat) beschreven in hoofdstuk 4.

E

Marktpartij E, bestaand uit een samenwerking van twee partijen, heeft het
beantwoordingsdocument niet ingevuld, maar een alternatief ingediend voor
de stemmenteller. Dit alternatief is (separaat) beschreven in hoofdstuk 4.

F

Marktpartij F heeft het beantwoordingsdocument niet ingevuld, maar een
alternatief ingediend voor de stemprinter en stemmenteller. Dit alternatief is
(separaat) beschreven in hoofdstuk 4.

Toelichting werkwijze
De specificaties voor de stemprinter en stemmenteller zijn onderverdeeld in de volgende
categorieën:
A. Transparantie ten aanzien van stemprinter en stemmenteller
B. Documentatie over stemprinter en stemmenteller
C. Functionaliteit en bediening algemeen
D. Functionaliteit en bediening stemprinter
E.

Functionaliteit en bediening stemmenteller

F.

Stembiljet dat door stemprinter wordt geprint

G. Apparatuur
H. Standaarden en normen
I.

Prestaties

J.

Beveiliging - Common Criteria
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

8 van 123

Vertrouwelijk

K. Beveiliging - compromitterende straling
L.

Beleid ten aanzien van beveiliging

M. Ontwikkelproces van stemprinters, stemmentellers en elektronische tokens
N. Doorvoeren van wijzigingen aan de stemprinter, de stemmenteller en elektronisch tokens
O. Fysieke distributie en onderhoud
P.

Ondersteuning

Er is gevraagd om per categorie aan te geven of de specificaties niet haalbaar zijn en als dat het
geval is wat daar de reden voor is. Tevens is gevraagd om aannames die zijn gehanteerd bij het
beoordelen van de haalbaarheid expliciet te vermelden. In het geval de specificatie haalbaar
wordt geacht, is geen nadere onderbouwing gevraagd.
Over enkele specificaties zijn gerichte inhoudelijke vragen gesteld. Dit is gebeurd om inhoudelijk
te kunnen toetsen of de juiste veronderstellingen ten grondslag liggen aan het gegeven oordeel
over de haalbaarheid.

Analyse en verificatie
De verificatie en analyse van de ontvangen reacties heeft als volgt plaatsgevonden:
1. als alle specificaties in de categorie haalbaar worden geacht door de marktpartij en de
marktpartij heeft geen aannames, opmerkingen, et cetera vermeld, dan is in de analyse “geen
opmerkingen” vermeld;
2. zijn over de specificaties van een categorie een of meerdere inhoudelijke vragen gesteld, dan
is in de analyse gecontroleerd:
•

of de marktpartij het antwoord overtuigend heeft onderbouwd en

•

of de marktpartij bronvermeldingen heeft gegeven van documenten waar de
onderbouwing zich op baseert. Atos heeft geverifieerd of de opgegeven bronnen
daadwerkelijk de onderbouwing geven die door de marktpartij is vermeld.

3. als een of meer van de specificaties van een categorie niet haalbaar worden geacht door de
marktpartij, behoort daarvoor een onderbouwing te zijn geleverd. In de analyse is
gecontroleerd of de markpartij het niet haalbaar achten overtuigend heeft onderbouwd.
De volgende paragrafen bevatten, per categorie van specificaties, het resultaat van de
marktuitvraag en de analyse daarvan. De opbouw per paragraaf is steeds dezelfde, dat wil
zeggen:
•

Korte toelichting op de specificaties in de betreffende categorie, zodat duidelijk is waar de
specificaties betrekking op hebben.

•

De door marktpartijen gegeven antwoorden.

•

Tabel waarin het oordeel over de haalbaarheid van de categorie van specificaties per
marktpartij is vermeld.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

9 van 123

Vertrouwelijk

Deze tabel ziet er als volgt uit.

Marktpartij

X

Haalbaarheid volgens
Marktpartij

Atos

Ja/Nee

Ja/Nee

Analyse

Waarbij:
X

= de marktpartij (A, B, C of D)

Haalbaarheid volgens
marktpartij

= het antwoord dat de marktpartij heeft gegeven op de vraag of de
betreffende categorie van specificaties haalbaar is (ja of nee)

Haalbaarheid volgens
Atos

= de conclusie die Atos trekt over de haalbaarheid bij de betreffende
marktpartij van de betreffende categorie van specificaties

Analyse

= onderbouwing van de conclusie over de haalbaarheid.

Uitdrukkelijk wordt er op gewezen dat bovenstaande tabel het oordeel bevat van de haalbaarheid
per categorie. De categorie van specificaties is slechts als haalbaar aangemerkt als alle
specificaties in die categorie haalbaar zijn. Het is dus mogelijk dat een categorie met tientallen
specificaties als ’niet haalbaar’ wordt gekwalificeerd omdat 1 specificatie dat niet is. Als de
categorie specificaties ‘niet haalbaar is volgens Atos, geeft de kolom Analyse daarom altijd aan
welke specificaties uit de categorie met welke reden niet haalbaar zijn.

3.3

Haalbaarheid van de specificaties
Het resultaat van de marktverkenning met betrekking tot haalbaarheid van de specificaties is
hierna per categorie van specificaties weergegeven zoals in voorgaande paragraaf is beschreven.

3.3.1

Transparantie ten aanzien van stemprinter en stemmenteller
De specificaties in deze categorie gaan over de transparantie van ontwikkeling, productie,
implementatie, onderhoud en ondersteuning van de stemprinter en stemmenteller. De
specificaties beogen onder meer dat de leverancier(s) volledige openheid betrachten ten opzichte
van de overheid. Verder beogen de specificaties dat de overheid onderzoeken en audits kan
(laten) uitvoeren en de broncode en documentatie van/over de stemprinter en de stemmenteller
openbaar kan maken. Ook is gespecificeerd dat de overheid locaties moet kunnen bezoeken die
gebruikt worden voor ontwikkeling, productie, onderhoud, test en distributie van de stemprinters,
stemmentellers en tokens. Met betrekking tot deze laatste specificatie is de marktpartijen een
specifieke vraag gesteld, te weten waar (in welk land) de marktpartij de werkzaamheden voor de
ontwikkeling, productie en onderhoud van stemprinter en/of stemmenteller voorziet.

Locaties van de werkzaamheden
De vraag waar (in welk land) de marktpartij de werkzaamheden voor de ontwikkeling, productie
en onderhoud van stemprinter en/of stemmenteller voorziet, is beantwoord door marktpartijen B,
C en D. Marktpartij A heeft de vraag niet beantwoord.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

10 van 123

Vertrouwelijk

Marktpartij B gaat uit van de leveranciers binnen haar samenwerkingsverband. Dat betekent dat
de ontwikkeling en productie in Europa maar buiten Nederland wordt voorzien en onderhoud door
een Europese partij. Marktpartij C voorziet de ontwikkeling en productie van hardware buiten
Europa en onderhoud in Europa. Marktpartij D voorziet de ontwikkeling, productie en het
onderhoud in Nederland.

Haalbaarheid
Marktpartij

3.3.2

Haalbaarheid
volgens

Analyse

Marktpartij

Atos

A

Nee

Nee

De marktpartij acht de specificatie dat de broncode openbaar moet
zijn, niet haalbaar. Zij stelt dat deze eis waarschijnlijk het aantal
en de kwaliteit van aanbieders van de stemprinter en
stemmenteller zal beperken, omdat het tot gevolg kan hebben dat
aanbieders hun producten niet meer kunnen verkopen. Zonder
doorlopende inkomsten kunnen zij geen vakkundige ingenieurs in
dienst houden wat hun vermogen tot het leveren van garanties en
productverbeteringen zal belemmeren. Deze veronderstellingen
zijn verder niet onderbouwd.

B

Ja

Nee

Hoewel de marktpartij alle specificaties haalbaar acht, blijkt uit
beantwoordingen bij paragraaf 3.3.8 en 3.3.10 over het openbaar
moeten zijn van broncodes, dat de marktpartij dat niet haalbaar
acht. OCR-programmatuur van derden, nodig voor het herkennen
van stemkeuzen, bevat volgens marktpartij B commercieel
vertrouwelijke methoden en algoritmen en kan derhalve niet
openbaar gemaakt worden. Atos concludeert daarom dat de
specificatie op het onderdeel openbaar moeten zijn van de
broncode voor deze marktpartij niet haalbaar is.

C

Nee

Nee

Omdat de betrokken hardwareleverancier geen broncode verstrekt,
acht de marktpartij de specificatie dat de broncode openbaar moet
zijn, niet haalbaar. Uit de beantwoordingen bij paragraaf 3.3.10
blijkt ook dat van standaardcomponenten geen broncodes
beschikbaar zullen zijn.

D

Ja

Nee

De marktpartij stelt dat alle specificaties haalbaar zijn. Daarbij
merkt zij op dat door het toepassen van de NATO-norm SDIP-27/1
A bepaalde aspecten die TEMPEST1 gerelateerd zijn (zoals
testplannen voor het meten van compromitterende straling,
meetapparatuur en de meetwaarden) niet openbaar gemaakt
mogen worden. Hoewel de marktpartij alle specificaties haalbaar
acht, kan met inachtneming van de opmerking over het niet
openbaar kunnen maken van hiervoor genoemde TEMPESTgerelateerde aspecten geconcludeerd worden, dat niet zeker is dat
de specificatie haalbaar is.

Documentatie over stemprinter en stemmenteller
Gespecificeerd is dat de documentatie te allen tijde volledig, actueel en begrijpelijk moet zijn.
Tevens wordt vereist dat de documentatie in de Nederlandse taal dient te zijn gesteld.

1 TEMPEST: Transient Electromagnetic Pulse Surveillance Technology: technologie die zich bezighoudt met het afvangen van

de elektromagnetische straling van technische apparaten om te beschermen tegen afluisteren
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

11 van 123

Vertrouwelijk

Haalbaarheid
Marktpartij

A

3.3.3

Haalbaarheid volgens
Marktpartij

Atos

Ja

Ja

Analyse

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

Geen opmerkingen.

Functionaliteit en bediening algemeen
De specificaties in deze categorie gaan over de aspecten van de functionaliteit en bediening die
zowel op stemprinter als stemmenteller van toepassing zijn. Het gaat daarbij om specificaties ten
aanzien van:
•

het stand-alone kunnen opereren van stemprinter en stemmenteller;

•

geschiktheid voor uiteenlopende omstandigheden in de Nederlandse stemlokalen;

•

de gebruikersinterface;

•

de tijd en middelen nodig om de stemprinter en stemmenteller op te stellen en te af te
bouwen;

•

de status- en foutmeldingen;

•

functionaliteit voor beheer en onderhoud;

•

faciliteiten ten behoeve van verantwoording en controle, in het bijzonder de logfile.

De specificaties geven aan dat het mogelijk moet zijn voor 1 persoon om een stemprinter en een
stemmenteller op te stellen, of weer af te bouwen, in maximaal 5 minuten. Er is gevraagd om
zowel de snelheid van opstellen en klaarmaken voor gebruik als het afbouwen nader uit te werken
en te onderbouwen. Daarnaast is gevraagd naar de mogelijke tijd die het zou kunnen duren om
een stemprinter en stemmenteller te configureren met verkiezingsgegevens en naar de tijd die
het kan duren om een software update te installeren. Hier zijn in de specificaties geen nadere
voorwaarden aan gesteld.

Snelheid van opstellen en afbouwen van stemprinter en stemmenteller
Alle markpartijen hebben de vraag over benodigde tijd voor gereed maken beantwoord, voor het
afbouwen hebben marktpartijen B, C en D deze beantwoord.
Marktpartij A geeft aan dat het klaarmaken voor gebruik van een stemprinter en stemmenteller
door 1 persoon binnen de gespecificeerde 5 minuten theoretisch haalbaar. Deze partij stelt echter
dat in de praktijk er rekening mee moet worden gehouden dat dit 10 à 15 minuten kan vergen.
Een nadere uitwerking hiervan wordt niet gegeven. Voor het afbouwen en configureren heeft
marktpartij A geen opgave gedaan. Hoewel marktpartij A aangeeft dat de specificaties op dit punt
haalbaar zijn, beoordeelt Atos dit als onzeker.
Marktpartij B geeft aan dat gereed maken binnen 5 minuten – inclusief opstarten waaronder zelftest– mogelijk is, uitgaand van een ‘alles-in-1’ ontwerp (dat wil zeggen zonder gebruik te maken

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

12 van 123

Vertrouwelijk

van aan elkaar te koppelen losse delen) voor de stemprinter en stemmenteller. Ook het afbouwen
kan binnen 5 minuten, mits stembureauleden hiervoor zijn getraind en voorzien van instructies.
Marktpartij C geeft aan dat het binnen 5 minuten gereed maken en afbouwen mogelijk is, zowel
voor de stemprinter als de stemmenteller. De apparaten kunnen worden voorzien van wielen,
zodat ze ondanks het verwachte gewicht door 1 persoon verplaatst kunnen worden. Voor optillen
van stemprinter en stemmenteller zijn echter wel meerdere personen nodig. Voor het opstarten
inclusief zelftest van de stemprinter en stemmenteller komt hier naar schatting van marktpartij C
nog maximaal 5 minuten bij. Hoewel marktpartij C aangeeft dat de specificaties haalbaar zijn, is
dat op deze punten dus niet het geval.
Marktpartij D geeft aan dat gereed maken binnen 5 minuten door 1 persoon haalbaar is voor de
stemprinter. Hierbij wordt er van uitgegaan dat de stemprinter uit één deel bestaat. Voor de
stemmenteller wordt dit echter niet haalbaar geacht. Als de stemmenteller zo geïntegreerd
mogelijk is, zal het wellicht nog mogelijk zijn deze binnen 5 minuten gereed te maken, echter de
stemmenteller heeft een zodanig verwacht gewicht dat twee mensen nodig zijn om te tillen. Om
dezelfde reden is het afbouwen van de stemmenteller binnen 5 minuten wel mogelijk, maar niet
door 1 persoon. Voor de stemprinter wordt het binnen 5 minuten door 1 persoon afbouwen wel
haalbaar geacht. De marktpartij geeft aan dat opstarten inclusief zelftest minstens 45 seconden
en maximaal 3 minuten duurt en door een geoefende gebruiker deels parallel gedaan kan worden
aan het klaarmaken voor gebruik. Atos acht het onzeker of daarmee binnen de gevraagde
maximum tijd van 5 minuten wordt gebleven.
Onderbouwing en verificatie
Marktpartijen B, C en D hebben hun antwoorden onderbouwd. Marktpartij B baseert zich op eigen
ervaringen met stemcomputers, onder andere in een land buiten Europa, geldautomaten en
andere automaten uit de bancaire sector. Marktpartij C baseert zich op eigen ervaringen, onder
andere in een land buiten Europa met stemcomputers en op reguliere opstarttijden van een A4
MFD2 voor de stemprinter en een A3 MFD voor de stemmenteller. Marktpartij D baseert zich op
eigen ervaringen en op ervaringen met stemprinters in een West-Europees land. Atos heeft
kunnen verifiëren dat marktpartijen B, C en D ervaringen hebben in de vermelde landen, maar
niet kunnen vaststellen of de genoemde tijden voor gereed maken, afbouw en configuratie juist
zijn. Verdere verificatie van de antwoorden door Atos heeft niet kunnen plaatsvinden door het
ontbreken van bronvermeldingen onafhankelijk van de marktpartij zelf, waardoor niet is
vastgesteld of de antwoorden juist zijn.

Snelheid van configureren van stemprinter en stemmenteller
Marktpartijen B, C en D hebben de vraag naar de mogelijke configuratiesnelheid beantwoord.
Marktpartij A heeft deze vraag niet beantwoord.
Zowel voor het configureren van een stemprinter en stemmenteller met verkiezingsgegevens als
voor een complete software update, verwacht marktpartij B 5 minuten nodig te hebben. Zij neemt
daarbij aan dat de stemprinter en stemmenteller al is opgestart, de gebruiker geoefend is en de
snelheid waarmee data wordt overgedragen van het externe medium 60 MB/s is. Deze snelheid

2

MFD: multi-function device, een apparaat dat kan printen, scannen en kopiëren
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

13 van 123

Vertrouwelijk

correspondeert echter met een gebruik van USB2.0 en is niet haalbaar bij gebruik van DVD’s
(gewoonlijk beperkt tot 22 MB/s), waar de specificatie om vraagt.
Marktpartij C vermeldt 15 minuten voor configuratie voor een verkiezingsdag, 15 minuten voor
een beperkte software update en een uur voor een volledige software update. Zij gaat uit van een
geoefende gebruiker.
Marktpartij D geeft aan voor het configureren van een stemprinter en een stemmenteller voor een
verkiezingsdag respectievelijk 16 en 14 minuten nodig te hebben Voor een software update
vermeldt zij 7 minuten. Bij de berekeningen maakt de marktpartij het voorbehoud dat een
volledig uitgewerkte berekening pas gemaakt kan worden als de definitieve programmatuur is
ontwikkeld en gecertificeerd.
Voor het configureren van de stemprinter en stemmenteller met verkiezingsgegevens lopen de
schattingen dus uiteen van 5 tot 16 minuten. Voor een software update komt daar tussen de 5
minuten en 1 uur bij.
Onderbouwing en verificatie
Marktpartijen B en C onderbouwen hun antwoorden niet. Marktpartij D onderbouwt haar antwoord
met een berekening, waarvan de parameters zijn ontleend aan een door deze marktpartij, naar zij
aangeven op hoofdlijnen vergelijkbaar, in een West-Europees land geleverd systeem. Atos heeft
het bestaan van deze referentie geverifieerd, maar de genoemde configuratietijden niet kunnen
vaststellen.

Haalbaarheid
Marktpartij

A

Haalbaarheid volgens
Marktpartij

Atos

Ja

Nee

Analyse

Hoewel de marktpartij aangeeft dat de specificaties haalbaar zijn,
is het onzeker of de specificatie dat 1 persoon de stemprinter en
stemmenteller op kan stellen, of weer afbouwen, in maximaal 5
minuten, haalbaar is. Zie onder ‘Snelheid van opstellen en
klaarmaken voor gebruik en afbouwen’.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Nee

Hoewel de marktpartij aangeeft dat de specificaties haalbaar zijn,
wordt op de vraag of het voor 1 persoon mogelijk is om de
stemprinter en stemmenteller op te stellen, of weer afbouwen, in
maximaal 5 minuten, aangegeven dat dit niet haalbaar is. Zie
onder ‘Snelheid van opstellen, klaarmaken voor gebruik en
afbouwen’.

D

Ja

Nee

Hoewel de marktpartij aangeeft dat de specificaties haalbaar zijn,
is het onzeker of de specificatie dat of stemprinter en
stemmenteller klaar voor gebruik kan zijn binnen 5 minuten
haalbaar is. Daarnaast wordt gesteld dat het niet mogelijk is de
stemmenteller op te stellen, of weer af te bouwen, door 1 persoon.
Zie onder ‘Snelheid van opstellen, klaarmaken voor gebruik en
verwijderen’.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

14 van 123

Vertrouwelijk

3.3.4

Functionaliteit en bediening stemprinter
De specificaties in deze categorie gaan onder andere over:
•

het gebruik van een touchscreen, een fysiek toetsenbord en audio-ondersteuning;

•

de wijze waarop de gebruikersinterface de stappen ondersteunt die de kiezer moet doorlopen
om een keuze te maken en te bevestigen;

•

het printen van het papieren stembiljet;

•

het gebruik van het elektronisch token voor activering van de stemprinter voor het maken
van een stemkeuze;

•

dat per token precies één stembiljet wordt geprint en dat het stembiljet uitsluitend de
uitgebrachte stem bevat.

Bij deze categorie zijn inhoudelijke vragen gesteld, te weten over:
•

Snelheid printen stembiljet
Een element in deze categorie specificaties is de maximaal benodigde printtijd van 3 seconden
voor een stembiljet, zonder merkbare opwarmtijd. Marktpartijen is gevraagd welke tijd zij
nodig achten om een stembiljet af te drukken.

•

Nauwkeurigheid van de stemprinter
Een element in deze categorie specificaties is de nauwkeurigheid van de stemprinter.
Marktpartijen is gevraagd hoe wordt afgedwongen dat met een token altijd maar 1 stembiljet
kan worden geprint en dat altijd de stemkeuze die de kiezer heeft bevestigd wordt geprint
(met foutmarge 0) en waar en voor welke toepassing de marktpartij dergelijke mechanismen
eerder heeft toegepast.

•

Waarborgen van het stemgeheim
Een element in deze categorie specificaties is een zodanige opstelling en constructie van de
stemprinter dat niemand anders dan de kiezer kan zien welke stemkeuze door de kiezer
wordt/is gemaakt. Marktpartijen is gevraagd hoe bij een opstelling van drie stemprinters
naast elkaar in een stemlokaal wordt gerealiseerd dat de kiezers niet over en weer kunnen
zien welke keuze een kiezer maakt.

Snelheid printen stembiljet
De vraag over de benodigde tijd om een stembiljet te printen is door marktpartijen B, C en D
beantwoord. Marktpartij A heeft de vraag niet beantwoord.
Marktpartij B geeft aan dat de printtijd 2 seconden bedraagt uitgaande van laser printtechnologie
voor A4-formaat papier. Daarbij wordt uitgegaan van ongeveer 10 seconden wachttijd tussen de
printopdracht en het starten van de printer. Deze partij stelt dat de tijd pas precies kan worden
bepaald tijdens de ontwikkelfase. De specificatie stelt een maximum printtijd van 3 seconden,
inclusief opstarttijd. Uit het antwoord blijkt niet dat dit haalbaar zal zijn.
Marktpartij C noemt ook enkele seconden als printtijd. Zij maakt het voorbehoud dat de
opstarttijd voor de 1e pagina voor dubbelzijdig printen op een gangbaar A4 printer 15 seconden
is. Na hoeveel tijd de printer weer 15 seconden opstarttijd nodig heeft, hangt af van de tijd die in
het apparaat wordt ingesteld voordat de printer in energiebesparingsstand gaat. Ook hier blijkt de
gespecificeerde maximum printtijd niet haalbaar.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

15 van 123

Vertrouwelijk

Marktpartij D stelt dat op A4-formaat dubbelzijdig afdrukken binnen 3 seconden niet mogelijk is.
Verder wordt gemeld dat alleen met thermisch printen dergelijke snelheden gehaald kunnen
worden. Uitgaand van de maximale dubbelzijdige printsnelheid voor thermisch printen, berekent
de marktpartij dat om binnen de gespecificeerde 3 seconden afdruktijd te blijven een
papierformaat van maximaal 130mm breed en 450mm lang is toegestaan.
Onderbouwing en verificatie
Marktpartijen B en C verwijzen in hun onderbouwing naar eigen ervaringen met stemcomputers.
Marktpartij D verwijst naar een productvideo voor dubbelzijdig thermisch printen. De genoemde
printtijden heeft Atos niet kunnen verifiëren.

Nauwkeurigheid van de stemprinter
De specificatie over functionaliteit en bediening van de stemprinter stelt een aantal eisen aan de
nauwkeurigheid van de stemprinter:
a)

Met 1 elektronisch token mag precies maar 1 stembiljet worden geprint.

b)

Het stembiljet bevat altijd alleen de stemkeuze die de kiezer heeft bevestigd.

De marktpartijen is gevraagd toe te lichten hoe deze eisen (technisch) worden afgedwongen (met
foutmarge 0) en waar en waarvoor de marktpartij een dergelijk mechanisme eerder heeft
toegepast.
De vraag over het (technisch) afdwingen van de vereiste nauwkeurigheid is door marktpartijen B,
C en D beantwoord en onderbouwd. Marktpartij A heeft de vraag niet beantwoord.
Om technisch af te dwingen dat per token precies één stembiljet wordt geprint, noemen alle drie
de marktpartijen dat als de smartcard door de stemprinter wordt herkend als valide, een
stemsessie wordt vrijgegeven waarin softwarematig afgedwongen wordt dat precies één
stembiljet zal worden geprint.
Om technisch af te dwingen dat het stembiljet altijd alleen de stemkeuze bevat die de kiezer heeft
bevestigd, geven marktpartijen B en C aan dat de printopdracht pas gegeven wordt als de
stemkeuze is bevestigd. Ook marktpartij D geeft aan dat de applicatie dit afdwingt en verwijst er
daarnaast naar dat de kiezer zijn stembiljet handmatig moet controleren. Door marktpartijen B en
C is vermeld hoe met een aantal bijzondere situaties (bijvoorbeeld systeemfouten) wordt
omgegaan:
•

In geval van stroomuitval of een systeemfout voordat de smartcard is ingeslikt, wordt de
transactie afgebroken en moet deze opnieuw gestart worden door de smartcard opnieuw in te
voeren.

•

In geval van stroomuitval of een systeemfout nadat de smartcard is ingeslikt, is een nieuwe
smartcard nodig om de transactie opnieuw te starten.

•

In geval van stroomuitval tijdens het printproces moet de noodstroomvoorziening voldoende
capaciteit hebben om ervoor te zorgen dat het printproces afgemaakt kan worden.

Marktpartij C merkt op dat het printproces wordt gemonitord waarbij, hoewel het een zeer
betrouwbaar proces is, 0% fout niet haalbaar is, bijvoorbeeld door papierstoringen.
Marktpartij D geeft aan dat de stemprinter blokkeert als kritische fouten voor het correct
afdrukken van de keuze optreden. Pas na ingrijpen van buitenaf, kan er weer geprint worden.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

16 van 123

Vertrouwelijk

Onderbouwing en verificatie
Marktpartijen B, C en D hebben hun antwoorden beperkt onderbouwd en niet expliciet gemaakt
hoe de programmatuur afdwingt dat 1 token altijd leidt tot precies 1 stembiljet. Marktpartij B
verwijst naar wereldwijde ervaringen met stemcomputers, waaronder een specifiek traject in een
land buiten Europa, waarin ze deze werkwijze heeft toegepast. Marktpartij C verwijst naar haar
standaard printapparatuur. Marktpartij D verwijst naar haar uitgebreide ervaring met afgedrukte
stembiljetten in verschillende landen, waaronder een met name genoemd referentieproject. Zij
vermeldt daarnaast dat haar systemen voorafgaand aan de certificering aan zeer omvangrijke
nauwkeurigheidstests worden onderworpen.
Atos heeft kunnen verifiëren dat marktpartijen B, C en D ervaringen hebben in de vermelde
landen, maar niet kunnen vaststellen of de genoemde mechanismen zijn toegepast en effectief
zijn. Verdere verificatie van de antwoorden door Atos heeft niet kunnen plaatsvinden door het
ontbreken van bronvermeldingen onafhankelijk van de marktpartij zelf.

Waarborgen van het stemgeheim
De vraag hoe te realiseren is dat de kiezers niet over en weer kunnen zien welke keuze een kiezer
maakt op de stemprinter, is door marktpartijen B, C en D beantwoord. Marktpartij A heeft de
vraag niet beantwoord. Om het stemgeheim te waarborgen noemen marktpartijen B, C en D alle
als ontwerp om de stemprinter te voorzien van verticale panelen of privacyschermen. Daarnaast
noemt marktpartij D het opstellen van een voorschrift voor een optimale stembureau-indeling ter
bevordering van privacy.
Onderbouwing en verificatie
Marktpartijen B, C en D hebben hun antwoorden onderbouwd. Marktpartijen B en C verwijzen
naar meerdere ervaringen met stemcomputers, waaronder bij een specifiek traject in een land
buiten Europa. Marktpartij D verwijst eveneens naar een specifiek traject in een land buiten
Europa. Atos heeft kunnen verifiëren dat marktpartijen B, C en D ervaringen hebben in de
vermelde landen, maar niet kunnen vaststellen of de genoemde ontwerpen zijn toegepast anders
dan op basis van door de marktpartijen aangeleverde foto’s.

Haalbaarheid
Marktpartij

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Ja

Nee

Marktpartij A heeft de vragen over de benodigde printtijd voor een
stembiljet, nauwkeurigheid en waarborgen van het stemgeheim
niet beantwoord. Hoewel de marktpartij alle specificaties haalbaar
acht, meent Atos dat dit onzeker is. Marktpartij A gaat, evenals
marktpartij B en C, uit van standaardcomponenten voor de printer.
De specificatie dat het printen van een stembiljet maximaal 3
seconden (inclusief opstarttijd) mag duren, acht zowel marktpartij
B als C niet haalbaar. Het is aannemelijk dat dit ook voor
marktpartij A niet haalbaar is.

B

Ja

Nee

Hoewel de marktpartij alle specificaties haalbaar acht, blijkt uit het
antwoord op de vraag over de benodigde printtijd, dat de
specificatie dat dit maximaal 3 seconden (inclusief opstarttijd) mag
duren, niet haalbaar wordt geacht. Daarnaast is de vraag over de
nauwkeurigheid van de stemprinter beperkt onderbouwd, waarmee
Atos de haalbaarheid van met name de specificatie dat altijd de

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

17 van 123

Vertrouwelijk

Marktpartij

Haalbaarheid volgens
Marktpartij

Analyse

Atos
stemkeuze die de kiezer heeft bevestigd wordt geprint, onzeker
acht.

3.3.5

C

Ja

Nee

Hoewel de marktpartij alle specificaties haalbaar acht, blijkt uit het
antwoord op de vraag over de benodigde printtijd, dat de
specificatie dat dit maximaal 3 seconden (inclusief opstarttijd) mag
duren, niet haalbaar wordt geacht. Daarnaast is de vraag over de
nauwkeurigheid van de stemprinter beperkt onderbouwd en blijkt
uit het antwoord dat het niet haalbaar wordt geacht altijd alleen de
stemkeuze die de kiezer heeft bevestigd te printen.
Atos acht de specificatie daarom niet haalbaar.

D

Ja

Nee

Hoewel de marktpartij alle specificaties haalbaar acht, blijkt uit het
antwoord op de vraag over de benodigde printtijd, dat de
specificatie dat dit maximaal 3 seconden (inclusief opstarttijd) mag
duren, niet haalbaar wordt geacht voor stembiljetten op A4formaat. Omdat gespecificeerd is dat een stembiljet A4-formaat of
kleiner is, wordt deze specificatie niet haalbaar geacht. Daarnaast
is ook hier de vraag over de nauwkeurigheid van de stemprinter
beperkt onderbouwd, waarmee Atos de haalbaarheid van met
name de specificatie dat altijd de stemkeuze die de kiezer heeft
bevestigd wordt geprint, onzeker acht.

Functionaliteit en bediening stemmenteller
De specificaties in deze categorie gaan over de functionaliteit en bediening die specifiek op de
stemmenteller betrekking hebben. Het gaat onder andere om specificaties ten aanzien van:
•

de wijze waarop geprinte stembiljetten aan de stemmenteller kunnen worden aangeboden;

•

de wijze waarop door de stemmenteller getelde stembiljetten in uitvoerbakken worden
geplaatst, in het bijzonder dat getelde en niet-getelde biljetten in aparte uitvoerbakken
komen;

•

de informatie over het resultaat van de telling die op de telstrook wordt geprint;

•

de meldingen aan de bediener van de stemmenteller;

•

de wijze waarop de stemmenteller de stembiljetten scant;

•

de wijze waarop de stemmenteller een volgnummer aan ieder stembiljet toekent en op dat
stembiljet print;

•

de print en elektronische opslag van het resultaat van de telling;

•

de nauwkeurigheid van het stemmen tellen, in het bijzonder dat:
A. maximaal 1% van de gescande stembiljetten ten onrechte als niet te tellen mag
worden doorgevoerd;
B. geen enkele stem foutief mag worden herkend;
C. ongetelde stembiljetten niet in de uitvoerbak met getelde stembiljetten mogen
komen;
D. de stemmenteller het stembiljet nooit zodanig mag beschadigen dat het handmatig
niet meer te beoordelen is;
E.

de stemmenteller niets mag wijzigen aan het gescande stembiljet anders dan het
afdrukken van een volgnummer.

Over de specificaties genoemd onder A tot en met E zijn inhoudelijke vragen gesteld. Daarnaast is
gevraagd hoeveel stembiljetten een stemmenteller per uur correct zou kunnen tellen.
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

18 van 123

Vertrouwelijk

Nauwkeurigheid stemmenteller
A. Marktpartijen A en D geven aan dat het haalbaar is om maximaal 1% van de gescande
stembiljetten onterecht als niet te tellen door te voeren. Marktpartij B geeft aan dat het onder
optimale condities haalbaar is, maar in de praktijk niet, bijvoorbeeld door vlekken in het
papier. Marktpartij C geeft aan dat het haalbaar zou kunnen zijn, maar dat testen nodig zijn
met voorgevouwen en ongevouwen stembiljetten om de nauwkeurigheid vast te stellen. Ook
marktpartij A stelt dat nog uitgebreide testen nodig zijn om te garanderen dat de foutmarge
maximaal 1% is.
B. Marktpartijen B en C geven aan dat een foutmarge van 0% op foutief herkennen van een
stem niet haalbaar is, omdat niet het hele proces kan worden beheerst. Als oorzaken worden
genoemd vlekjes op het stembiljet, omgevingsfactoren, verkeerd gebruik en onverwachte
situaties voor de stemmenteller. Marktpartij A heeft deze vraag niet beantwoord.
Zowel marktpartij B als D merkt op dat het streven om nooit een stem foutief te herkennen
(nauwkeurigheidspecificatie B) een ongunstige invloed heeft op het aantal stemmen dat zal
worden aangemerkt als niet te tellen (nauwkeurigheidspecificatie A), en andersom.
Programmatuur die strikte regels hanteert om te bepalen wat de keuze van de kiezer was,
zodat een stem nooit foutief herkend wordt, zal veel stemmen als niet te tellen beoordelen,
terwijl de stemkeuze voor de mens wel herkenbaar is. Markpartij D trekt daarom de conclusie
dat 0% foutief herkennen haalbaar is, maar niet zonder dat het aantal als niet te tellen
beoordeelde stemmen heel hoog wordt. Andersom kan de kans op het onterecht doorvoeren
van herkenbare stemmen als niet te tellen laag worden gehouden door minder strikte regels
voor het herkennen te hanteren, maar dit zal het percentage foutief herkende stemmen
verhogen.
Voor met de stemprinter geprinte stembiljetten geldt dat een hogere nauwkeurigheid te
realiseren is dan voor handmatig door de kiezer ingevulde stembiljetten, omdat de karakters
met een constante kwaliteit worden geprint en beter te herkennen zijn.

C. Dat ongetelde stembiljetten niet in de uitvoerbak met getelde stembiljetten terecht mogen
komen achten marktpartijen B en D haalbaar. Marktpartij D geeft daarbij aan dat er strakke
en eenduidig gedefinieerde criteria worden opgesteld op basis waarvan biljetten naar twee
uitvoerbakken kunnen worden gesorteerd. Voor marktpartij C is dit niet haalbaar omdat de
stemmenteller die deze marktpartij op het oog heeft niet twee uitvoerbakken heeft.
Marktpartij A heeft deze vraag niet beantwoord.
D. Marktpartijen B, C en D achten het niet haalbaar dat de stemmenteller het stembiljet nooit
zodanig beschadigt dat de stemkeuze niet meer te beoordelen is. Oorzaken zijn de manier
van invoeren, conditie van het stembiljet en het vastlopen in de stemmenteller. Marktpartij D
merkt op dat voor door de stemprinter afgedrukte stembiljetten de kans lager is dat het
stembiljet zo onleesbaar wordt dat het niet meer handmatig beoordeeld kan worden, omdat
meer stemkeuzegegevens op het biljet kunnen worden geprint (zoals volledige lijst- en

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

19 van 123

Vertrouwelijk

kandidaatnummer en naam) waaruit de stemkeuze is af te leiden. Marktpartij A heeft deze
vraag niet beantwoord.
E.

Marktpartijen B, C en D geven aan dat het haalbaar is dat de stemmenteller niets wijzigt aan
het gescande stembiljet anders dan het afdrukken van een volgnummer. Marktpartij B geeft
aan dat de stemmenteller geen mechanisme heeft om dat deel van het stembiljet dat de
stemkeuze bevat te wijzigen of te wissen. Marktpartij C geeft aan dat haar stemmenteller
geen markering aanbrengt op het stembiljet tijdens het scannen. Marktpartij D geeft aan dat
het printmechanisme in de scanner zich op een locatie bevindt waardoor bedrukken van de
ruimte op het stembiljet bedoeld voor de stemkeuze onmogelijk is. Marktpartij A heeft deze
vraag niet beantwoord.

Onderbouwing en verificatie
Marktpartij A heeft alleen geantwoord op de eerste nauwkeurigheidspecificaties en dat antwoord
niet onderbouwd. Marktpartijen B, C en D hebben de haalbaarheid van alle vijf
nauwkeurigheidspecificaties beoordeeld en hun antwoord onderbouwd. Marktpartij B verwijst naar
eigen ervaringen, in het bijzonder met herkenningsprogrammatuur (zoals die gebruikt wordt om
een stemkeuze te herkennen) die ook gebruikt wordt in verschillende overheidsoplossingen zoals
het verwerken van belastingaangiftes en in de bancaire sector. Marktpartij C verwijst naar eigen
ervaringen. Marktpartij D verwijst naar toepassingen in de financiële sector, waar bijvoorbeeld bij
het verwerken van cheques en acceptgirokaarten met een hoge nauwkeurigheid met
herkenningsprogrammatuur karakters herkend moeten worden, en bij centrale telcentra voor
verkiezingen in een groot Europees land.
Verificatie van de antwoorden door Atos heeft niet kunnen plaatsvinden door het ontbreken van
bronvermeldingen die afkomstig zijn van een onafhankelijke partij.

Snelheid tellen stembiljetten
Marktpartij

Telsnelheid
stembiljetten

Toelichting

A

‘Tafelmodel’:
900 per uur
Kleinste scanner:
1.200 – 3.400 per uur
Grootste scanner:
10.600 – 46.800 per uur

Uitgaand van standaard scanners die werken in combinatie met
maatwerk telprogrammatuur van marktpartij A.
Weergegeven snelheid is exclusief het printen van een
volgnummer en/of doorvoeren naar twee aparte uitvoerbakken.
Het tellen van een stembiljet dat gevouwen is kost 10% meer
tijd om te verwerken dan een stembiljet dat ongevouwen door
de kiezer in de stembus is gestopt.

B

Geen opgave.

Omdat een stemmenteller die aan de specificaties voldoet nog
ontwikkeld moet worden, kan marktpartij B nu geen informatie
over telsnelheden gegeven. Snelheid van herkenning hangt ook
af van het ontwerp van het stembiljet.

C

2.640 per uur

Uitgaand van standaard scanner.
Weergeven snelheid is exclusief het printen van een
volgnummer en/of doorvoeren naar twee aparte uitvoerbakken
De invoerbak kan 110 stembiljetten op A4-formaat bevatten in
plaats van de gespecificeerde 500 stembiljetten.
Telsnelheid is exclusief de tijd die nodig is om de invoerbak te
vullen met te tellen stembiljetten.

D

1.800 - 6.900 per uur

Geen toelichting gegeven.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

20 van 123

Vertrouwelijk

Marktpartijen A, B en C geven aan dat er geen verschil in telsnelheid is tussen stembiljetten
waarop de stemkeuze door de kiezer met de hand is ingevuld en stembiljetten die door een
stemprinter zijn geprint. Marktpartij D geeft aan dat een door een stemprinter geprint stembiljet
met herkenningsprogrammatuur mogelijk sneller te verwerken is dan een door de kiezer ingevuld
stembiljet. Marktpartij D vermeldt dat diverse factoren van invloed kunnen zijn op de snelheid,
zoals kwaliteit, conditie en afmetingen van het papier, contrast papier met bedrukking,
stembiljetontwerp, de soort herkenningstechnologie en dubbel- of enkelzijdig scannen.
Onderbouwing en verificatie
Alle marktpartijen hebben de gegeven antwoorden onderbouwd. Marktpartij A verwijst naar eigen
ervaringen in een bepaald land. Marktpartij B verwijst naar eigen ervaringen. Marktpartij C
baseert haar telsnelheden op het timen met stopwatch in een gecontroleerde
laboratoriumomgeving en verwijst naar productspecificaties. Marktpartij D verwijst naar
ervaringen met scantechnologie in bepaalde landen.
Atos heeft kunnen verifiëren dat marktpartijen A en D ervaringen hebben in de vermelde landen,
maar niet kunnen vaststellen dat de vermelde telsnelheden juist zijn. De door marktpartij C
vermelde telsnelheden van bestaande apparaattypes heeft Atos kunnen verifiëren in de
productspecificaties. Verdere verificatie van de antwoorden door Atos heeft niet kunnen
plaatsvinden door het ontbreken van bronvermeldingen die afkomstig zijn van een onafhankelijke
partij.

Haalbaarheid
Marktpartij

Analyse

Haalbaarheid
volgens
Marktpartij

Atos

A

Nee

Nee

Marktpartij A gaat niet uit van de twee gespecificeerde
uitvoerbakken, te weten één voor getelde en één voor ongetelde
stemmen. Ook wordt er van uitgegaan dat er geen volgnummer op
het stembiljet wordt geprint. In plaats daarvan wordt er uitgegaan
van een standaard scanner die alle stembiljetten scant en
doorvoert naar dezelfde uitvoerbak. De beoordeling – ook van
stembiljetten die niet automatisch geteld kunnen worden - vindt
vervolgens plaats aan de hand van de digitale scans.

B

Ja

Nee

De gespecificeerde nauwkeurigheid van tellen is onder ideale
condities haalbaar, maar in de praktijk niet volledig. Zie onder
‘Nauwkeurigheid van de stemmenteller’.

C

Nee

Nee

De gespecificeerde nauwkeurigheid van tellen is onder ideale
condities haalbaar, maar in de praktijk waarschijnlijk niet. Zie
onder ‘Nauwkeurigheid van de stemmenteller’.
Daarnaast biedt de stemmenteller die deze marktpartij voor ogen
heeft geen ondersteuning voor het printen van een volgnummer en
evenmin voor het verdelen van gescande stembiljetten over twee
uitvoerbakken voor getelde en ongetelde stembiljetten. Marktpartij
C stelt in plaats daarvan voor dat de niet getelde stembiljetten
steeds handmatig worden uitgenomen.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

21 van 123

Vertrouwelijk

Marktpartij

D

Analyse

Haalbaarheid
volgens
Marktpartij

Atos

Ja

Nee

Hoewel de markpartij stelt dat foutief herkennen van een stem en
onterecht een stembiljet als niet te tellen doorvoeren
(nauwkeurigheidspecificaties A en C) haalbaar zijn, maakt de
toelichting duidelijk dat tussen de beide specificaties een
wisselwerking bestaat die het onzeker maakt of beide specificaties
haalbaar zijn.
De marktpartij geeft daarnaast aan dat niet volledig te vermijden
is dat papier dusdanig wordt beschadigd dat de stem onherkenbaar
wordt (nauwkeurigheidspecificatie D). Daarnaast maakt
marktpartij D het voorbehoud dat door de beperkte ruimte op het
papier er een limiet is aan het aantal keren dat opnieuw geteld en
een volgnummer afgedrukt kan worden, omdat op een gegeven
moment alle mogelijke posities voor een volgnummer bezet zullen
zijn.

Overige opmerkingen door marktpartijen
De marktpartijen hebben bij deze categorie van specificaties nog enkele suggesties gedaan die
niet van invloed zijn op de haalbaarheid maar die wel noemenswaardig zijn:
•

Marktpartij D geeft aan dat de stemmenteller zowel grijswaarden als in kleur kan scannen.
Het verdient volgens deze partij aanbeveling van tevoren op een duidelijke wijze vast te
stellen welke kleuren gebruikt mogen worden. De kleurherkenningssoftware vereist dat
boven- en ondergrens RGB-waarden voor de toegestane kleuren worden ingesteld.

•

De specificaties geven aan dat de stemmenteller een volgnummer toewijst aan en print op
door de stemmenteller getelde stembiljetten na het scannen. Marktpartij D beveelt aan om
door de stemmenteller op alle stembiljetten voor het scannen een volgnummer te printen,
zodat een onweerlegbare relatie ontstaat tussen fysieke stembiljet en het image in de
scanner.

•

De specificaties geven aan dat de invoerbak stapels van 1-500 stembiljetten aan moet kunnen
en de beide uitvoerbakken ten minste 500. Marktpartij D geeft aan dat als de eveneens
gespecificeerde werkwijze wordt gevolgd dat de stemmenteller pauzeert na iedere verwerking
van 100 biljetten om de verwerkte biljetten uit de uitvoerbak te kunnen halen, het niet nodig
is om de uitvoerbakken een capaciteit te geven van ten minste 500 biljetten. Deze redenering
gaat echter niet op voor de uitvoerbak voor niet getelde stembiljetten, omdat de specificaties
niet stellen dat de niet getelde stembiljetten per 100 worden uitgenomen.

3.3.6

Stembiljet dat door stemprinter wordt geprint
De specificaties in deze categorie gaan over het stembiljet, in het bijzonder over het formaat, de
voorvouw en het echtheidskenmerk.
Over de voorvouw en het echtheidskenmerk zijn inhoudelijke vragen gesteld. Gevraagd is of het
voorvouwen van het stembiljet gevolgen kan hebben voor het correct functioneren van de
stemprinter. Gevraagd is verder of een echtheidskenmerk op het stembiljet gevolgen kan hebben
op het correct functioneren van de stemmenteller.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

22 van 123

Vertrouwelijk

Invloed voorvouw en echtheidskenmerk
Marktpartijen B, C en D hebben de vragen over de invloed van het voorvouwen en
echtheidskenmerk beantwoord. Marktpartij A heeft deze vragen niet beantwoord.
Marktpartij B meldt dat de voorvouw gevolgen kan hebben omdat de geprinte tekst dicht bij de
vouwlijn mogelijk minder van kwaliteit zal zijn. Dat kan ook gevolgen hebben voor de
nauwkeurigheid van het tellen. Bij het ontwerpen van het stembiljet dient hier rekening mee te
worden gehouden. Marktpartij B meldt dat scanners zo ontwikkeld zijn dat een echtheidskenmerk
geen negatieve gevolgen kan hebben op de correcte werking.
Marktpartij C geeft aan dat de specificaties haalbaar zijn, omdat de printer respectievelijk scanner
die men voor ogen heeft rekening houdt met voorvouw en echtheidskenmerk.
Marktpartij D stelt dat het voorvouwen van een stembiljet geen invloed heeft op het correct
functioneren van de stemprinter. Wel geeft ook deze partij aan dat in het ontwerp van het
stembiljet rekening moet worden gehouden met de positie van de vouwlijn en positie van het
echtheidskenmerk voor het correct functioneren van de stemmenteller. Het echtheidskenmerk
moet een vaste positie op het stembiljet hebben en op deze positie mogen door de stemprinter
geen teksten worden geprint. Dit om te bewerkstelligen dat de stemmenteller de positie van het
echtheidskenmerk kan negeren.
Onderbouwing en verificatie
•

Volgens marktpartijen C en D heeft het voorvouwen van een stembiljet geen invloed op het
correct functioneren van de printer. Zij verwijzen daarbij respectievelijk naar
productspecificaties van de voorgestelde standaard printer en naar de vele toepassingen op
zogenaamd ‘fanfold’ papier van de ingezette technologie.

•

Marktpartijen B, C en D geven alle aan dat het echtheidskenmerk zoals gespecificeerd geen
invloed zal hebben op de nauwkeurigheid of snelheid van tellen door de stemmenteller.
Marktpartij D stelt daarbij wel een voorwaarde aan het ontwerp van het stembiljet.
Marktpartijen B en C verwijzen naar productspecificaties van de voorgestelde standaard
printers.

De verwijzing naar de genoemde productspecificaties, de toepassing van thermisch printen in
combinatie met voorgevouwen papier en enkele van de genoemde publiek gepubliceerde
toepassingen heeft Atos kunnen verifiëren.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

23 van 123

Vertrouwelijk

Haalbaarheid
Marktpartij

3.3.7

Analyse

Haalbaarheid
volgens
Marktpartij

Atos

A

Ja

Ja

Geen opmerkingen.

B

Ja

Ja

De specificaties ten aanzien van het gebruik van een
voorgevouwen stembiljet zijn haalbaar onder voorwaarden. Zie
onder ‘Invloed voorvouw en echtheidskenmerk’.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

De specificaties ten aanzien van het gebruik van een
voorgevouwen stembiljet en een echtheidskenmerk zijn haalbaar
onder voorwaarden. Zie ‘Invloed voorvouw en echtheidskenmerk’

Apparatuur
De specificaties in deze categorie gaan over de fysieke karakteristieken van de apparatuur, in het
bijzonder de omgevingscondities (temperatuur, luchtvochtigheid, netspanning) bij opslag en
gebruik, de verpakking, de aanwezigheid van een zichtbaar identificatienummer en het
geproduceerde geluidsniveau.
Daarnaast is de marktpartijen gevraagd naar het mogelijke gewicht van een stemprinter en
stemmenteller. Het gewicht is van belang in het kader van de voorbereiding van de verkiezingen
in het bijzonder voor het transport, laden, lossen, gereed maken en afbouwen in de stemlokalen.

Gewicht van stemteller en stemmenteller
Van marktpartijen B, C en D is informatie ontvangen over het mogelijke gewicht van een
stemprinter en stemmenteller, inclusief en exclusief transportbehuizing. Marktpartij A heeft de
vraag over het gewicht niet beantwoord.
Apparaat

Marktpartij B

Marktpartij C

Marktpartij D

1 Stemprinter

>15 kg

52 kg
exclusief aanraakscherm,
noodstroomvoorziening en
toetsenbord

24 kg

Transport
behuizing van
1 stemprinter

>3 kg

15 kg

8 à 9 kg

1 Stemmenteller

20 kg
waaronder:
scanner 7 kg
noodstroomvoorziening 10 kg

152 kg
exclusief aanraakscherm,
noodstroomvoorziening en
toetsenbord

49 kg

Transport
behuizing van
1 stemmenteller

3 à 5 kg

15 kg

14 à 18 kg

Op basis van de beantwoordingen kan worden geconstateerd dat het gewicht van één stemprinter
exclusief transportbehuizing kan liggen tussen 15 en 52 kg en van één stemmenteller tussen 20
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

24 van 123

Vertrouwelijk

en 152 kg. Inclusief transportbehuizing ligt het gewicht van één stemprinter tussen 18 en 67 kg
en van één stemmenteller tussen 23 en 167 kg.
Onderbouwing en verificatie
De marktpartijen hebben hun antwoorden gedeeltelijk onderbouwd. Marktpartij B baseert haar
antwoord op de eigen ervaringen met stemcomputers, scanners en betaalautomaatonderdelen.
Marktpartij C baseert haar antwoord op specifieke bestaande apparaattypes en verwijst naar de
bijbehorende productspecificaties. Marktpartij D baseert zich op de componenten die men voor
ogen heeft. De vermelde gewichten van bestaande apparaattypes heeft Atos kunnen verifiëren in
de productspecificaties. Verdere verificatie van de antwoorden door Atos heeft niet kunnen
plaatsvinden door het ontbreken van bronvermeldingen die afkomstig zijn van een onafhankelijke
partij.

Haalbaarheid
Marktpartij

3.3.8

Analyse

Haalbaarheid
volgens
Marktpartij

Atos

A

Ja

Ja

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

Marktpartij D geeft aan dat de specificaties haalbaar zijn, maar dat
om te voldoen aan het gespecificeerde maximale geluidsniveau
van 42 dBa aanvullende geluidsisolerende maatregelen ten
opzichte van de bestaande oplossing nodig zijn.

Standaarden en normen
De specificaties in deze categorie gaan over:

•
•

het gebruik van open standaarden;
het gebruik van open source programmatuur, dat wil zeggen software waarvan de broncode
publiekelijk beschikbaar is;

•

het voldoen aan een aantal standaarden ten aanzien van kwaliteitszorg (ISO-9001),
informatiebeveiliging (ISO 27001), energie-efficiëntie (Energy Star), toegankelijkheid van de
user interface (WAI richtlijnen) en toepasselijke wet- en regelgeving.

In een specifieke vraag is de marktpartijen gevraagd toe te lichten waarop zij hun antwoord over
de haalbaarheid van het gebruik van open source programmatuur baseren.

Open Source
Alle marktpartijen hebben de vraag over de haalbaarheid van het gebruik van open source
beantwoord.
Marktpartij A maakt hetzelfde voorbehoud bij het publiekelijk beschikbaar stellen van alle
broncode als genoemd in paragraaf 3.3.1. en geeft aan dat open source programmatuur
economisch niet haalbaar is. Zij noemt hiervoor een aantal factoren:

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

25 van 123

Vertrouwelijk

De complexiteit van stemsystemen en regels daarvoor: elk land en bevoegd gezag heeft eigen

•

wetten en regelgeving.
•

De schaarste aan ontwikkelaars die gespecialiseerd zijn in de ontwikkeling van stemsystemen.

•

De benodigde tijd en investeringen om deze stemprinter en stemmenteller te ontwikkelen.

•

Het gebrek aan een levensvatbaar verdienmodel voor open source programmatuur: bij het
openbaar maken van broncode kunnen investeringen in innovatieve oplossingen niet terug
worden verdiend en kunnen concurrenten de oplossing ook gaan gebruiken.

Marktpartij B vermeldt dat het publiekelijk beschikbaar stellen van programmatuur die van derden
wordt betrokken of software ontwikkelomgevingen, zoals OCR/ICR programmatuur (voor het
herkennen van stemkeuzen) en compilers, niet haalbaar is. Zij geven daarbij aan dat een audit
van de betreffende broncode door een derde partij onder een geheimhoudingsverklaring wel
mogelijk is.
Marktpartij C geeft aan dat de specificaties ten aanzien van het publiekelijk beschikbaar stellen
van alle broncode niet haalbaar zijn. Als onderbouwing vermeldt zij dat een van de twee partijen
binnen de samenwerking haar broncode niet publiekelijk beschikbaar stelt en evenmin vrijgeeft
voor Common Criteria evaluatie door een onafhankelijke partij. De andere betrokken partij stelt
haar broncode alleen publiekelijk beschikbaar onder nadere overeen te komen voorwaarden.
Marktpartij D acht deze specificaties wel haalbaar en geeft aan dat zij recent in een WestEuropees land aan soortgelijke eisen heeft voldaan.
Onderbouwing en verificatie
Alle marktpartijen hebben hun antwoord ten aanzien van het gebruik van open source
programmatuur onderbouwd. Marktpartijen B en C verwijzen daarbij naar eigen ervaring zonder
deze concreet, dus verifieerbaar, te maken. Marktpartij D verwijst naar ervaringen in een
specifiek West-Europees land.
Atos heeft kunnen verifiëren dat marktpartij D daar inderdaad stemsystemen heeft geleverd en
dat de broncode publiekelijk beschikbaar is gesteld. Atos heeft niet kunnen verifiëren of deze
broncode authentiek en volledig is, noch in hoeverre deze stemsystemen voldoen aan de
specificaties.

Haalbaarheid
Marktpartij

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Nee

Nee

De specificaties ten aanzien van het gebruik van Open Source
programmatuur zijn volgens marktpartij A niet haalbaar, zie
hierboven onder ‘Open Source’.

B

Nee

Nee

De specificaties ten aanzien van het gebruik van Open Source
programmatuur zijn volgens marktpartij B niet haalbaar, zie
hierboven onder ‘Open Source’.

C

Nee

Nee

De specificaties ten aanzien van het gebruik van Open Source
programmatuur zijn volgens marktpartij C niet haalbaar, zie
hierboven onder ‘Open Source’.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

26 van 123

Vertrouwelijk

Marktpartij

D

3.3.9

Haalbaarheid volgens
Marktpartij

Atos

Ja

Onzeker

Analyse

De specificaties ten aanzien van het gebruik van Open Source
programmatuur zijn volgens marktpartij D haalbaar, echter Atos
heeft deze uitspraak niet volledig kunnen verifiëren.

Prestaties
De specificaties in deze categorie gaan vooral over de operationele beschikbaarheid en levensduur
van de apparatuur. Het gaat onder andere om specificaties ten aanzien van:

•

de minimale operationele beschikbaarheid van de apparatuur op een verkiezingsdag van
99.8%;

•
•

het benodigde onderhoud;
de minimale levensduur in termen van jaren, aantal geprinte stembiljetten, aantal geprinte
telstroken en aantal gescande stembiljetten;

•
•

energiegebruik;
beschikbaarheid van identieke reserveonderdelen.

Ten aanzien van het laatste punt, de beschikbaarheid van identieke reserveonderdelen, is de
specificatie dat gedurende een periode van 8 jaar identieke onderdelen beschikbaar moeten zijn.
Die specificatie is nodig omdat zowel de Common Criteria certificering (voor de stemprinter en
stemmenteller) als SDIP 27/1 level A (voor de stemprinter) eisen dat iedere individuele
stemprinter en stemmenteller identiek is aan de geëvalueerde versies. Een andere reden is het
voorkomen dat er verschillende versies van stemprinters en stemmentellers in omloop zouden
zijn. Dat beperkt de beheerlasten en de complexiteit bij het voorbereiden van een verkiezing. De
marktpartijen is gevraagd hun antwoord over de haalbaarheid van het voor 8 jaar beschikbaar
hebben van identieke reserve onderdelen te onderbouwen.

Reserveonderdelen voor stemprinter en stemmenteller
Alle marktpartijen hebben de vraag over beschikbaarheid van reserveonderdelen beantwoord.
Marktpartij A acht de specificatie ten aanzien van het hebben van identieke reserveonderdelen
gedurende acht jaar theoretisch haalbaar, echter adviseert gebruik te maken van standaard,
commercieel verkrijgbare hardwarecomponenten zoals printers, scanners en laptops. Deze
kunnen makkelijker worden vervangen en er kan gedurende de gebruiksperiode gebruik worden
gemaakt van technologische verbeteringen en vernieuwingen. De marktpartij werkt niet uit welke
impact hercertificering en vervanging van apparatuur in deze opzet zal hebben op kosten en
doorlooptijden.
Marktpartij B geeft aan dat vooral gebruik gemaakt zal worden van standaardcomponenten. De
gewenste beschikbaarheid van reserveonderdelen moet als ontwerpeis worden meegenomen voor
de te selecteren componenten.
Marktpartij C geeft aan dat het gevraagde standaard ondersteuningsbeleid is.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

27 van 123

Vertrouwelijk

Marktpartij D geeft aan dat het een bestaande praktijk is dat er een reserveonderdelenvoorziening wordt opgezet, bijvoorbeeld in de vorm van een onderhoudscontract, waarmee
verzekerd kan worden dat de juiste onderdelen in de vereiste aantallen beschikbaar blijven
gedurende de technische levensduur.
Marktpartijen A en B geven beide aan gebruik te willen maken van standaardcomponenten. Het
door marktpartij C vermelde standaard ondersteuningsbeleid heeft ook betrekking op
standaardcomponenten. Atos wijst hier op de samenhang met de Common Criteria EAL-4+
certificering. Het gebruik van standaardcomponenten is waarschijnlijk niet mogelijk bij een
Common Criteria EAL-4+ certificering, omdat bijvoorbeeld voor deze certificering de broncode van
de componenten beschikbaar moet zijn. Marktpartijen A, B en C hebben bij de haalbaarheid van
de specificaties ten aanzien van Common Criteria certificering (paragraaf 3.3.10) aangegeven dat
het beschikbaar stellen van de broncode niet haalbaar is.
Onderbouwing en verificatie
Alle marktpartijen hebben hun voorbehouden en aannames onderbouwd. Op diverse
gemeentelijke websites in een Europees land heeft Atos kunnen verifiëren dat
onderhoudscontracten zijn afgesloten met marktpartij D. De contracten zelf zijn niet openbaar.
Derhalve heeft Atos de juistheid van de gegeven antwoorden niet kunnen verifiëren.

Haalbaarheid
Marktpartij

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Ja

Nee

De specificatie over het beschikbaar moeten zijn van identieke
reserveonderdelen acht Atos niet haalbaar, omdat wordt uitgegaan
van standaard componenten waarmee door ontbreken van broncode
geen Common Criteria EAL-4+ certificering mogelijk is.

B

Ja

Nee

De specificaties stellen dat de stemprinter en stemmenteller bij
stroomuitval nog minstens 10 minuten moet kunnen functioneren
alvorens de programmatuur, waaronder ook het besturingssysteem,
wordt gestopt en het apparaat uitgeschakeld. De marktpartij
hanteert daarbij de aanname dat de noodstroomsystemen die men
voor ogen heeft geïntegreerd zullen zijn in de stemprinter en
stemmenteller.
De specificatie over het beschikbaar moeten zijn van identieke
reserveonderdelen acht Atos niet haalbaar, omdat wordt uitgegaan
van standaard componenten waarmee door ontbreken van broncode
geen Common Criteria EAL-4+ certificering mogelijk is.

C

Ja

Nee

De specificatie over het beschikbaar moeten zijn van identieke
reserveonderdelen acht Atos niet haalbaar, omdat wordt uitgegaan
van standaard componenten waarmee door ontbreken van broncode
geen Common Criteria EAL-4+ certificering mogelijk is.

D

Ja

Onzeker

De marktpartij geeft aan dat het beschikbaar hebben van identieke
reserveonderdelen haalbaar is en verwijst daarbij naar staande
praktijk in diverse onderhoudscontracten. Atos heeft geen inzage in
deze contracten en de uitspraak dus niet kunnen verifiëren.
Daarnaast is het onzeker of de marktpartij van alle onderdelen de
voor Common Criteria EAL-4+ certificering vereiste broncodes kan
leveren (zie paragraaf 3.3.10). Atos acht daarom de haalbaarheid
van deze specificatie onzeker.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

28 van 123

Vertrouwelijk

3.3.10

Beveiliging - Common Criteria
De specificaties in deze categorie gaan over het volgens Common Criteria certificeren van de
stemprinter en stemmenteller conform daarvoor opgestelde en gecertificeerde Protection Profiles.
De Protection Profiles geven het kader voor de beveiligingsmaatregelen die moeten worden
toegepast op de stemprinter en stemmenteller. De Protection Profiles gaan er onder meer van uit
dat
•

de stemprinter/stemmenteller beschermd zijn tegen manipulatie;

•

het niet mogelijk moet zijn om beveiligingsmaatregelen te omzeilen.

Bij drie elementen uit de specificaties is een vraag gesteld:
•
Gebruik van standaardaardcomponenten
Een element uit de Common Criteria certificering is dat het evaluerend laboratorium een
broncode-analyse zal moeten uitvoeren van alle onderdelen van een stemprinter en
stemmenteller. Hiervoor moet de broncode van alle onderdelen van een stemprinter en
stemmenteller voor de evaluator beschikbaar zijn. Marktpartijen is gevraagd de haalbaarheid
hiervan te onderbouwen.
•

Methodieken voor het verwijderen van de stemkeuze
Een element uit de Protection Pofiles is dat na het printen van het stembiljet, de informatie
over de stemkeuzes moeten worden gewist op zo’n manier dat met gebruik van hulpmiddelen
geen sporen van de keuzes van de kiezer meer te achterhalen zijn. Fabrikanten van systemen
of componenten richten zich doorgaans op het voorkomen van dataverlies. Voor het
ontwikkelen van een stemprinter is juist géén permanente opslag gewenst. Marktpartijen is
gevraagd de haalbaarheid hiervan te onderbouwen.

•

Inbraakdetectie van de stemprinter en stemmenteller
Een element uit de Protection Profiles is dat er een mechanisme voor inbraakdetectie moet
zijn dat een inbraak in de stemprinter en stemmenteller detecteert en dat het vervolgens
onmogelijk maakt de stemprinter/stemmenteller te gebruiken voor het printen van
stembiljetten c.q. het tellen ervan. De inbraakdetectie moet bestand zijn tegen aanvallen met
een hoog aanvalsniveau. Marktpartijen is gevraagd de haalbaarheid hiervan te onderbouwen.

Gebruik van standaardcomponenten
Marktpartijen is gevraagd voor welke onderdelen van de stemprinter en stemmenteller ze
standaard- dan wel maatwerkcomponenten voorzien en of voor standaardcomponenten de
broncodes en hardware diagrammen beschikbaar zijn.
Alle marktpartijen hebben deze vraag beantwoord.
Marktpartij A gaat uit van het gebruik van standaardcomponenten omdat deze makkelijker
kunnen worden vervangen en er kan gedurende de gebruiksperiode, na certificering, gebruik
worden gemaakt van technologische verbeteringen en vernieuwingen. Ze doet geen uitspraak
over beschikbaarheid van broncodes of hardware diagrammen daarvan. De specificatie over
beschikbaarheid van alle broncodes wordt dus niet haalbaar geacht.
Marktpartij B gaat uit van standaardcomponenten voor onderdelen waarvoor geen specifieke
eisen gelden (touchscreen, fysieke knoppen, koptelefoon, smartcardlezer, printer en
noodstroomvoorziening). Er wordt uitgegaan van maatwerk voor de scanner om stembiljetten te
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

29 van 123

Vertrouwelijk

digitaliseren, verwerkingseenheid, interne security module, afsluitbare (transport-) behuizing en
overige software. Als besturingssysteem kan zowel een standaard- als maatwerkoplossing worden
toegepast. Van de standaardcomponenten zijn geen broncode of hardware diagrammen
beschikbaar. De specificatie over beschikbaarheid van alle broncodes wordt dus niet haalbaar
geacht.
Marktpartij C gaat voor alle onderdelen uit van standaardcomponenten, met uitzondering van het
besturingssysteem, de afsluitbare (transport-)behuizing en overige software. Van de
standaardcomponenten zijn de broncode en hardware diagrammen niet beschikbaar. Een van de
twee partners in de samenwerking stelt in het geheel geen broncode ter beschikking. De
specificatie over beschikbaarheid van alle broncodes wordt dus niet haalbaar geacht.
Marktpartij D gaat volledig uit van maatwerkcomponenten waarvan de broncode beschikbaar is.
Onderbouwing en verificatie
Marktpartij A heeft haar antwoord niet onderbouwd. Marktpartijen B en C hebben aangegeven een
EAL4+ certificering niet haalbaar te achten. Bij het uitgaan van maatwerkcomponenten, wat
marktpartij D doet, was in de uitvraag geen verdere onderbouwing gevraagd. Atos heeft niet
kunnen verifiëren of daadwerkelijk geen standaardcomponenten zullen worden gebruikt, waarmee
het onzeker is of van alle componenten broncodes beschikbaar zijn.

Methodieken voor het verwijderen van de stemkeuze
Toepassing van verwijdermethodieken is vereist om zeker te stellen dat na het printen van het
stembiljet de stemkeuze in de stemprinter wordt gewist op zo’n manier dat ook met gebruik van
hulpmiddelen geen sporen van de keuzes van de kiezer meer te achterhalen zijn. Marktpartijen is
gevraagd welke verwijdermethodieken te gebruiken zijn om dit zeker te stellen en welke ervaring
de marktpartij daarmee heeft. Marktpartijen B, C en D hebben de vraag naar
verwijdermethodieken beantwoord. Marktpartij A heeft deze vraag niet beantwoord.
Marktpartijen B en C vermelden dat de programmatuur alleen de stemkeuze opslaat in het
vluchtige intern geheugen van de stemprinter waarna deze wordt verwijderd en overschreven
nadat een stembiljet is geprint. Zij geven aan dat zij elke verwijdermethode kunnen toepassen die
het juist wissen garandeert, maar noemen geen specifieke methodieken. Marktpartij C noemt nog
een specifieke functionaliteit in haar apparatuur waarbij geheugendelen die tijdelijke gegevens
bevatten worden verwijderd en met een specifiek datapatroon overschreven. Ook marktpartij D
geeft aan dat de stemkeuze alleen in het vluchtige intern geheugen van het moederbord en de
printer wordt opgeslagen en dat de applicatie de stemkeuze zal vernietigen en het geheugen weer
vrijgeven aan het besturingssysteem.
Onderbouwing en verificatie
Marktpartijen B en C onderbouwen een deel van hun antwoorden door te verwijzen naar
uitgebreide audit processen die in andere projecten hebben plaats gevonden. Deze audits
omvatten review van documentatie, architectuur, broncode, geautomatiseerde statische analyse
en Q&A. Marktpartij C verwijst naar de productspecificaties behorend bij de genoemde toepassing.
Marktpartij D verwijst naar een specifiek project in een land in West-Europa waar dit mechanisme
is toegepast.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

30 van 123

Vertrouwelijk

Atos heeft kunnen vaststellen dat het specifieke project dat marktpartij D noemt heeft
plaatsgevonden. Of de genoemde verwijdermethodiek is toegepast kon niet geverifieerd worden
omdat de rapporten van het controleorgaan waarnaar wordt verwezen, geheim zijn. Atos heeft de
functionaliteit die marktpartij C noemt, kunnen verifiëren in de productspecificaties, maar de
adequate werking daarvan niet kunnen vaststellen.

Inbraakdetectie van de stemprinter en stemmenteller
De Protection Profiles voor de stemprinter en stemmenteller bevatten de eis dat er een
mechanisme voor inbraakdetectie moet zijn dat een inbraak in de stemprinter en stemmenteller
detecteert en dat het vervolgens onmogelijk maakt de stemprinter/stemmenteller te gebruiken
voor het printen van stembiljetten c.q. het tellen ervan. De inbraakdetectie moet bestand zijn
tegen aanvallen met een hoog aanvalsniveau. Marktpartijen is gevraagd of dergelijke
mechanismen bekend zijn en of deze bestand zijn tegen aanvallen met een hoog aanvalsniveau.
Marktpartijen B, C en D hebben deze vraag beantwoord. Marktpartij A heeft deze vraag niet
beantwoord.
Marktpartij B en D zeggen dergelijke mechanismen te kennen en verwijzen naar toepassingen in
stemcomputers, geldautomaten en apparaten om monitor, toetsenbord en muis te delen. Deze
apparaten zijn getest op het bestand zijn tegen een hoog aanvalspotentieel. De marktpartijen
hebben geen uitspraak gedaan of deze apparaten Common Criteria gecertificeerd zijn op EAL-4+
niveau. Marktpartij C zegt deze mechanismen niet te kennen maar de toepassing daarvan wel
haalbaar te achten.
Onderbouwing en verificatie
Marktpartijen B en D hebben hun antwoorden onderbouwd. Marktpartij B verwijst naar eigen
ervaringen met genoemde toepassingen, marktpartij D verwijst naar apparaten om monitor,
toetsenbord en muis te delen die EAL4+ gecertificeerd zijn. Atos heeft de verwijzing van
marktpartij D kunnen verifiëren bij de Common Criteria Portal3 en vastgesteld dat genoemde
apparaten op EAL4+ niveau gecertificeerd zijn. Deze producten zijn qua omvang veel kleiner dan
een stemprinter/stemmenteller en ook technisch minder complex. Daarnaast gelden voor
stemprinters en stemmentellers hogere fysieke beveiligingsvereisten. Uit de certificaten voor de
genoemde producten blijkt ook dat deze niet getest zijn op bestand zijn tegen een hoog
aanvalspotentieel. Verificatie van de antwoorden van marktpartij B door Atos heeft niet kunnen
plaatsvinden door het ontbreken van bronvermeldingen onafhankelijk van de marktpartij zelf.

3 Certification Report EAL 4+ Evaluation of High Security Labs Secure DVI KVM Switch.

https://www.commoncriteriaportal.org/files/epfiles/383-4-195%20CR%20v1.0e.pdf
Certification Report EAL 4+ Evaluation of Belkin® Secure DVI KVM Switch
https://www.commoncriteriaportal.org/files/epfiles/belkin-cert-eng.pdf
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

31 van 123

Vertrouwelijk

Haalbaarheid
Marktpartij

Analyse

Haalbaarheid
volgens
Marktpartij

Atos

A

Ja

Nee

Hoewel de marktpartij alle specificaties haalbaar acht, blijkt uit het
antwoord op de vraag naar beschikbaarheid van broncodes dat de
marktpartij uitgaat van het gebruik van standaardcomponenten.
Het is onwaarschijnlijk dat van alle standaardcomponenten
broncodes beschikbaar zullen zijn. Dit is voor een Common Criteria
certificering op EAL4+ niveau wel vereist. Daarnaast geeft de
marktpartij aan dat met standaardcomponenten gedurende de
levensloop technische verbeteringen kunnen worden doorgevoerd.
Het gebruik van gewijzigde of nieuwe componenten zou steeds
hercertificering (en in geval van de stemprinter ook testen op
compromitterende straling) vereisen, waaraan de marktpartij
voorbij gaat.

B

Nee

Nee

De marktpartij acht een EAL4+ Common Criteria certificering niet
haalbaar om de volgende redenen:
•
mechanische onderdelen zullen niet volledig identiek zijn door
toleranties in productie en materialen; dit geldt ook voor
verbruiksmaterialen, bijvoorbeeld toner en inkt;
•
er wordt deels uitgegaan van standaardcomponenten.
Certificering daarvan op EAL4+ niveau is niet waarschijnlijk
voor zowel apparatuur als programmatuur. Van de
standaardcomponenten is geen broncode beschikbaar.
Daarnaast zullen de leveranciers van standaardcomponenten
de overheid mogelijk geen toegang geven tot ontwikkel- en
productiefaciliteiten vanwege zorgen om industriële spionage;
•
zowel de protection profiles als specificaties zouden kunnen
wijzigen gedurende het project wat waarschijnlijk extra
ontwikkeling en hercertificering vergt waarvoor niet verwacht
kan worden dat leveranciers deze kosten dragen.

C

Nee

Nee

Marktpartij C acht een EAL4+ Common Criteria certificering niet
haalbaar om de volgende redenen:
•
OCR-programmatuur (voor het herkennen van stemkeuze)
bevat vertrouwelijke algoritmen en is niet beschikbaar voor de
Common Criteria evaluatie;
•
de broncode van maatwerk wordt niet ter beschikking gesteld.
Daarnaast blijkt uit het antwoord op de vraag naar
beschikbaarheid van broncodes dat de marktpartij grotendeels
uitgaat van het gebruik van standaardcomponenten waarvan
broncodes niet beschikbaar zullen zijn. Dit is voor een Common
Criteria certificering op EAL4+ niveau wel vereist. Tot slot blijkt dat
marktpartij C een inbraakdetectie voor fysieke bescherming van de
stemprinter en stemmenteller haalbaar acht, maar niet bekend is
met mechanismen om hieraan te voldoen. Atos acht de
haalbaarheid van deze specificatie daarom onzeker.

D

Ja

Nee

De marktpartij acht een EAL4+ Common Criteria certificering
haalbaar. Over de specificatie dat de overheid inzage krijgt in alle
documentatie, evaluatierapporten en observatierapporten die met
evaluator en certificerende instantie worden uitgewisseld en zij
deze zonder enige beperking openbaar kan maken, neemt de
marktpartij aan dat de overheid voor de Common Criteria
certificering een evaluator aanwijst die akkoord gaat met het
openbaar maken van genoemde documentatie. Deze aanname is
niet onlogisch aangezien de marktpartij dit niet kan garanderen.
Niet alleen de evaluator maar ook het zogenaamde
certificatieschema4 moet openbaar maken toestaan. Normaal

4 Een certificatieschema bevat de procedures die gelden om in een specifiek land de beveiliging van IT-producten te

certificeren door de certificerende instantie in dat land gebaseerd op de Common Criteria.
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

32 van 123

Vertrouwelijk

Marktpartij

Analyse

Haalbaarheid
volgens
Marktpartij

Atos
gesproken beperkt het schema het beschikbaar stellen van deze
documentatie tot de marktpartij, de evaluator en de sponsor (deze
rol kan de overheid vervullen). Openbaar maken zal daardoor
mogelijk moeilijk te realiseren zijn.
Wat betreft fysieke bescherming van de stemprinter en
stemmenteller, blijkt dat marktpartij D een inbraakdetectie voor
fysieke bescherming haalbaar acht. Voor de producten waaraan de
marktpartij refereert, gelden echter minder stringente fysieke
beveiligingsvereisten.
Hoewel de marktpartij de specificaties haalbaar acht en de
antwoorden laten zien dat zij zich verdiept heeft in een aantal
aspecten dat nodig is voor Common Criteria certificering, acht
Atos een EAL4+ Common Criteria certificering niet haalbaar omdat
de marktpartij geen ervaring lijkt te hebben met Common Criteria
certificering. Common Criteria-experts zijn van mening dat het
hebben van ervaring met Common Criteria certificering op een
niveau van EAL4 of hoger noodzakelijk is om een stemprinter en
stemmenteller te ontwikkelen die Common Criteria gecertificeerd
zullen kunnen worden.

3.3.11

Beveiliging - compromitterende straling
De specificaties in deze categorie geven aan dat de stemprinter dient te voldoen aan de NATO
standaard SDIP-27/1 Level A voor bescherming tegen compromitterende straling, het
zogenaamde TEMPEST gedrag. Daarnaast beschrijven de specificaties enkele specifieke
aandachtspunten om aan de NATO norm te kunnen voldoen, zoals dat de bescherming van de
stemprinter tegen compromitterende straling bestand moet zijn tegen omstandigheden bij opslag,
transport en gebruik in een stemlokaal en dat bij het vervangen van (defecte) componenten er
opnieuw een test in een meetlaboratorium moet plaatsvinden. Bij de specificaties behoort een
bijlage met richtlijnen die inzicht geeft hoe de stemprinter kan worden geconstrueerd, zodanig dat
het gewenste TEMPEST gedrag wordt gerealiseerd.

Haalbaarheid
Marktpartij

A

Haalbaarheid volgens
Marktpartij

Atos

Ja

-

B

Ja

-

C

Ja

-

D

Ja

-

Opmerking

Omdat onderbouwing van de haalbaarheid door marktpartijen niet
beschikbaar is, heeft Atos geen analyse gedaan en de haalbaarheid
van deze specificatie kunnen beoordelen.

Opmerkingen door marktpartijen
•

Marktpartijen B en C merken op dat voldoen aan de NATO norm voor bescherming tegen
compromitterende straling hoge kosten met zich meebrengt.

•

Marktpartij D geeft aan dat zij het gespecificeerde bescherming tegen compromitterende
straling kan realiseren, maar daarbij op onderdelen zal afwijken van de bijlage bij de
specificatie ‘Richtlijnen voorkoming compromitterende straling’ als kan worden aangetoond
dat ook zonder een richtlijn daaruit te volgen aan de specificaties kan worden voldaan.
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

33 van 123

Vertrouwelijk

Marktpartij D denkt een stemprinter te kunnen ontwikkelen die geen meetbare straling
afgeeft. De marktpartij onderbouwt deze uitspraak echter niet. De juistheid daarvan is dan
ook niet vast te stellen.

3.3.12

Beleid ten aanzien van beveiliging
De specificaties in deze categorie gaan over beleid, procedures en maatregelen ten aanzien van
informatiebeveiliging. Het gaat onder andere om specificaties ten aanzien van:
•

de implementatie van maatregelen zoals geïdentificeerd in dreigings- en risicoanalyses;

•

afhandeling en rapportage van beveiligingsincidenten;

•

toegang tot locaties waar ontwikkeling, onderhoud of ondersteuning aan de apparatuur plaats
vindt;

•

backup;

•

opslag van apparatuur waaronder ook elektronische tokens;

•

verwijdering van data op af te stoten apparatuur en media;

•

maatregelen om de risico’s die samenhangen met fysieke oorzaken, zoals brand en
stroomuitval, te beperken;
de gebruikte Public Key Infrastructure5.

•

Haalbaarheid
Marktpartij

3.3.13

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Ja

Ja

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

Geen opmerkingen.

Ontwikkelproces van stemprinters, stemmentellers en elektronische tokens
De specificaties in deze categorie gaan over de inrichting van het proces voor ontwerp,
documentatie, programmering, configuratiebeheer, test en acceptatie van de apparatuur en
software in stemprinter en stemmenteller.

5 Public Key Infrastructure (PKI): het geheel van apparatuur, programmatuur en procedures waarmee uitgifte en beheer van

certificaten wordt gerealiseerd zodat betrouwbare elektronische communicatie mogelijk is.
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

34 van 123

Vertrouwelijk

Haalbaarheid
Marktpartij

3.3.14

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Ja

Ja

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

De specificaties stellen dat de testomgeving toegankelijk moet zijn
voor personen die daartoe door de overheid zijn aangewezen. Door
marktpartij D wordt aangenomen dat voor toegang door de
overheid tot de testomgeving die voor SDIP-27/1 A testen wordt
gebruikt de overheid daartoe bevoegde medewerkers van de
Nederlandse TEMPEST autoriteit aanwijst. Naar het oordeel van
Atos leidt deze aanname niet tot problemen met de haalbaarheid
van de specificaties.

Doorvoeren van wijzigingen aan de stemprinter, de stemmenteller en
elektronisch tokens
De specificaties in deze categorie gaan over de wijze waarop wijzigingen aan de apparatuur
worden doorgevoerd. De specificaties betreffen onder andere:
•

toestemming bij wijzigingen door de overheid die als opdrachtgever optreedt;

•

de inrichting van een continu proces om maatregelen tegen nieuwe beveiligingsrisico’s door te
voeren;

•

testen en certificeren van wijzigingen;

•

de wijze waarop softwarewijzigingen worden gedistribueerd, waarvoor gebruik van DVD’s is
gespecificeerd.

Haalbaarheid
Marktpartij

Haalbaarheid volgens

Analyse

Marktpartij

Atos

A

Ja

Ja

B

Ja

Ja

Geen opmerkingen.

C

Ja

Onzeker

De manier van programmatuur upgrades die men voor ogen heeft
gebruikt USB of netwerkverbinding. De specificatie gaat uit van
gebruik van DVD’s. Marktpartij C weet niet of dat haalbaar is. Atos
acht de haalbaarheid daarom onzeker.

D

Ja

Ja

De marktpartij verwacht dat op enig moment in de
gebruiksperiode van de apparatuur DVD’s worden uitgefaseerd en
merkt op dat er dus een tijdige laatste bestelling DVD’s nodig zal
zijn om in de behoefte aan DVD’s te blijven voorzien. Naar het
oordeel van Atos leidt deze opmerking niet tot problemen met de
haalbaarheid van de specificaties.

Geen opmerkingen.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

35 van 123

Vertrouwelijk

3.3.15

Fysieke distributie en onderhoud
De specificaties in deze categorie gaan over de wijze waarop de apparatuur kan worden
gedistribueerd naar gemeenten en op Bonaire, Sint Eustatius en Saba, en hoe het onderhoud ter
plekke plaatsvindt.

Haalbaarheid
Marktpartij

Haalbaarheid volgens
Marktpartij

Atos

A

Ja

Ja

Analyse

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

Geen opmerkingen.

Opmerkingen van marktpartijen
Marktpartij A merkt op dat door de inzet van standaard componenten deze door nieuwe en
verbeterde versies vervangen kunnen worden en dat daarmee ook de leverbaarheid van
verbruiksartikelen zoals toner en inkt eenvoudiger wordt. Het inzetten van nieuwe versies gaat
echter voorbij aan de specificatie van acht jaar leverbaarheid van identieke reserveonderdelen en
de dan vereiste Common Criteria (her)certificering.
Ongevraagd hebben marktpartijen B en C hun antwoord onderbouwd door te verwijzen naar niet
nader benoemde ervaringen in de opzet van logistieke coördinatie en onderhoud voor diverse
nationale verkiezingen. Verificatie hiervan door Atos heeft niet kunnen plaatsvinden door het
ontbreken van concrete bronnen.

3.3.16

Ondersteuning
De specificaties in deze categorie gaan over de ondersteuning aan gemeenten en openbare
lichamen bij het gebruik van de apparatuur. Specificaties gaan onder andere over:
•
•

de registratie van contactgegevens en locaties van apparatuur;
de wijze waarop de serviceorganisatie vragen, klachten en problemen behandelt en zo nodig
ter plekke oplost;

•

registratie van de vragen, klachten en problemen;

•

de telefonische bereikbaarheid van de serviceorganisatie.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

36 van 123

Vertrouwelijk

Haalbaarheid
Marktpartij

A

Haalbaarheid volgens
Marktpartij

Atos

Ja

Ja

Analyse

Geen opmerkingen.

B

Ja

Ja

Geen opmerkingen.

C

Ja

Ja

Geen opmerkingen.

D

Ja

Ja

Geen opmerkingen.

Marktpartijen B, C en D hebben hun antwoord toegelicht met een concrete referentie.
•

Marktpartijen B en C refereren aan ondersteuning van een nationale verkiezing in een WestEuropees land.

•

Marktpartij D voert als referentie een recente nationale verkiezing op in een land buiten
Europa.

Onderbouwing en verificatie
Atos heeft geverifieerd dat de marktpartijen inderdaad de door hen genoemde verkiezingen
hebben ondersteund. In hoeverre de geleverde ondersteuning in die landen heeft voldaan aan wat
de betreffende landen hebben gespecificeerd is door Atos niet verifieerd.

3.4

Doorlooptijden en kosten
Indien de Nederlandse overheid besluit tot invoering van stemprinters en stemmentellers dan is
de aanname dat dit geleidelijk zal gebeuren, conform hetgeen de commissie Van Beek heeft
geadviseerd. De commissie Van Beek gaat uit van het uitvoeren van (een aantal) experimenten
voordat de stemprinter en stemmenteller landelijk worden ingevoerd. Voor het kunnen houden
van experimenten is een wettelijke grondslag noodzakelijk.
In het beantwoordingsdocument is aangegeven dat de doorlooptijd voor de ontwikkeling,
productie en distributie van stemprinters en stemmentellers voor een eerste experiment moet
worden berekend vanaf het moment dat de opdracht is gegeven (door het ondertekenen van een
contract) en loopt tot en met het moment dat stemprinters en alle stemmentellers worden
bezorgd bij de gemeenten.
Voor volgende experimenten en landelijke uitrol loopt de berekening vanaf het moment dat
overheid opdracht geeft voor het leveren van de betreffende stemprinters en stemmentellers tot
en met het moment van bezorging daarvan bij de gemeenten.

Te hanteren indicatieve aantallen ten behoeve van doorlooptijd- en kostenramingen
Ten behoeve van de raming van doorlooptijden en kosten is in onderstaande tabel indicatief het
aantal stemprinters en stemmentellers genoemd dat nodig zou kunnen zijn voor de experimenten.
Verder zijn indicatieve aantallen vermeld voor het geval in elk stembureau stemprinters en
stemmentellers gebruikt zouden worden.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

37 van 123

Vertrouwelijk

3.4.1

Aantal

1e
Experiment

2e
Experiment

3e
Experiment

Landelijke invoering

Gemeenten /
Openbare lichamen

5
gemeenten

45 gemeenten

150
gemeenten

390 gemeenten en
3 openbare lichamen

Stembureaus

100

1.800

3.500

Tussen de 9.000 en 10.000

Stemprinters

350

6.000

12.500

35.000

Stemmentellers

120

2.100

4.000

12.500

Elektronische tokens

2.200

396.000

770.000

2.200.000

Doorlooptijden
In het kader van dit onderzoek is gevraagd doorlooptijden op te geven voor de ontwikkeling,
productie en distributie van stemprinter en stemmenteller. Zowel de Common Criteria certificering
(voor de stemprinter en stemmenteller) als SDIP 27/1 level A (voor de stemprinter) eisen dat
iedere individuele stemprinter en stemmenteller identiek is aan de geëvalueerde versie. Omdat
van tevoren niet bekend is of de experimenten zullen leiden tot aanpassingen aan de apparaten,
is gevraagd naar ramingen voor twee scenario’s:
•

het scenario waarin na experimenten geen aanpassingen aan de stemprinter en
stemmenteller nodig zijn. In dat geval is geen Common Criteria hercertificering en niet
opnieuw testen voor SDIP 27/1 Level A vereist;

•

het scenario waarin na experimenten wel aanpassingen aan de stemprinter en stemmenteller
nodig zijn. In dat geval is wel een Common Criteria hercertificering en opnieuw testen voor
SDIP 27/1 Level A vereist.

De beide scenario’s zijn gelijk tot en met het eerste experiment waarbij altijd een Common
Criteria certificering en testen voor SDIP 27/1 Level A zijn vereist en verschillen vanaf het tweede
experiment.
De door de marktpartijen opgegeven doorlooptijden zijn weergegeven in de volgende tabellen:
I. Doorlooptijd voor ontwikkeling, productie en distributie voor het eerste experiment inclusief

een Common Criteria certificering en testen voor SDIP 27/1 Level A, gelijk in beide scenario’s.
II. Doorlooptijd voor ontwikkeling, productie en distributie voor het eerste scenario, vanaf het
tweede experiment, waarbij na experimenten geen Common Criteria hercertificering en geen
testen/meten voor SDIP 27/1 Level A nodig zijn.
III. Doorlooptijd voor ontwikkeling, productie en distributie voor het tweede scenario, vanaf het
tweede experiment, waarbij na experimenten wel Common Criteria hercertificering en wel
opnieuw testen/meten voor SDIP 27/1 Level A nodig zijn.
IV. Doorlooptijd voor specifieke onderdelen voor stemprinter en stemmenteller.
Markpartij A heeft in haar beantwoording geen doorlooptijden gegeven. Marktpartij B heeft enkele
indicatieve doorlooptijden gegeven, maar niet op het gevraagde detailniveau. Marktpartijen C en
D hebben de gevraagde doorlooptijden op het gevraagde detailniveau gegeven. In onderstaande
tabellen zijn de ontvangen antwoorden van marktpartijen B, C en D verzameld. Tijden zijn in
maanden, tenzij anders aangegeven.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

38 van 123

Vertrouwelijk

I. Ontwikkeling, productie en distributie voor 1e experiment
Alle tijden in maanden

Marktpartij B

Marktpartij C

Marktpartij D

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

6-9

9-12

~136

~13

15-21

15-21

Alle tijden in maanden

Na experimenten geen Common Criteria hercertificering en geen testen/
meten voor SDIP 27/1 Level A
Marktpartij B

Marktpartij C

Marktpartij D

II. Ontwikkeling,
productie en distributie

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

2e experiment

Geen opgave

Geen opgave

~5

~5

4-5

4-5

Geen opgave

Geen opgave

~5

~5

4-5

4-5

Geen opgave

Geen opgave

~5

~5

4-5

4-5

e

3 experiment
Alle gemeenten/openbare
lichamen

Alle tijden in maanden

Na experimenten wel Common Criteria hercertificering en wel testen/
meten voor SDIP 27/1 Level A
Marktpartij B

Marktpartij C

Marktpartij D

III. Ontwikkeling,
productie en distributie

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

2e experiment

Geen opgave

Geen opgave

~13

~13

5,5-6,5

5,5-6,5

Geen opgave

Geen opgave

~13

~13

5,5-6,5

5,5-6,5

Geen opgave

Geen opgave

~13

~13

5,5-6,5

5,5-6,5

e

3 experiment
Alle gemeenten/openbare
lichamen

6

Hier en in andere tabellen betekent het symbool ~ ‘ongeveer’.
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

39 van 123

Vertrouwelijk

Alle tijden in maanden, tenzij anders aangegeven
IV. Doorlooptijd voor specifieke
onderdelen voor stemprinter en
stemmenteller

Marktpartij B

Marktpartij C

Marktpartij D

Doorlooptijd Doorlooptijd Doorlooptijd Doorlooptijd Doorlooptijd Doorlooptijd
stemprinter stemmenteller stemprinter stemmenteller stemprinter stemmenteller
(min-max)
(min-max)
(min-max)
(min-max)
(min-max)
(min-max)

het maken van systeemontwerpen en
systeemdocumentatie die voldoet aan de

6-9

9-12

~13

~13

6-11

6-11

6-9

9-12

~13

~13

9-10

9-10

NVT

~3

NVT

2-3
weken

NVT

NVT

~3

NVT

<1 dag

NVT

~13-15

~13-15

2-5

2-5

Common Criteria vereisten
het uitvoeren van testen door het
evaluerend laboratorium voor de Common
Criteria certificering
het op prototypes van een stemprinter
uitvoeren van testen/metingen om vast te
stellen dat aan SDIP 27/1 Level A norm
wordt voldaan
de individuele meting van een exemplaar
van de stemprinter om vast te stellen dat
aan SDIP 27/1 Level A norm wordt voldaan
maken en testen van een software update
om stemprinters en stemmentellers te
beschermen tegen de laatst bekende
veiligheidsrisico’s, inclusief een eventuele
Common Criteria hercertificering
na landelijke invoering ten behoeve van een
verkiezing maken en naar
gemeenten/openbare lichamen verspreiden
van DVD’s met software updates en
verkiezingsgegevens, inclusief het daarover
~1-2

zetten van een digitale handtekening, te

1-2 weken

rekenen vanaf het door de bevoegde
autoriteit vaststellen van de
verkiezingsgegevens tot het bij de laatste
gemeente/openbaar lichaam aankomen van
de DVD’s
na landelijke invoering ten behoeve van een
verkiezing aan gemeenten/openbare
lichamen leveren van stembiljetten, te
rekenen vanaf het door de overheid
vaststellen van het te gebruiken

NVT

~2

NVT

2-5
weken

NVT

echtheidskenmerk tot het bij de laatste
gemeente/openbaar lichaam aankomen van
de stembiljetten.

De volgende kanttekeningen zijn te maken bij de hiervoor vermelde doorlooptijden:
•

Marktpartij B heeft de tabel slechts zeer beperkt ingevuld. Deze partij stelt een oplossing voor
die grotendeels is opgebouwd uit standaard componenten. De vereiste EAL4+ Common
Criteria certificering zal door gebruik van standaardcomponenten waarvan geen broncode
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

40 van 123

Vertrouwelijk

beschikbaar is niet haalbaar zijn. De afgegeven doorlooptijden betreffen uitsluitend
ontwikkeling van de oplossing.
•

Marktpartij C
o

gaat uit van EAL3 Common Criteria certificering in plaats van de gevraagde EAL4+
certificering en in-huis testen door één van betrokken partijen in de samenwerking;

o

geeft doorlooptijden waarin acceptatietesten door de overheid, volgens de
specificaties 3-5 maanden voor het eerste experiment en 2 maanden voor latere
experimenten en de landelijke uitrol, niet zijn meegenomen.

•

Na ieder experiment vindt een evaluatie plaats. Marktpartij D neemt in haar opgave aan dat
deze evaluaties geen aanleiding zullen zijn voor majeure wijzigingen in de functionaliteit van
stemprinter en stemmenteller zoals geëvalueerd of voor majeure wijzigingen in de protection
profile voor de stemprinter en stemmenteller.

•

Marktpartij D zegt in de opgegeven doorlooptijden rekening gehouden te hebben met een
doorlooptijd van 1 à 2 weken voor acceptatietesten door de overheid. De doorlooptijd van de
acceptatietesten door de overheid zullen echter (veel) langer duren. Het
beantwoordingsdocument gaat uit van minimaal 3 tot maximaal 5 maanden. Het is niet aan
een marktpartij om te bepalen hoe lang een opdrachtgever doet over een acceptatietraject en
hoe dat traject wordt vormgegeven.

•

Common Criteria en SDIP 27/A certificering dekken slechts een beperkt deel van de
specificaties af. Daarnaast kan overheidstoezicht tijdens het productieproces niet in de plaats
komen van een gedegen en gestructureerde acceptatietest.

Verificatie en beoordeling
Marktpartij A heeft in haar beantwoording geen doorlooptijden gegeven.
Marktpartij B heeft enkele indicatieve doorlooptijden gegeven. De afgegeven doorlooptijden
betreffen uitsluitend de ontwikkeling van de oplossing. Atos heeft deze doorlooptijden niet kunnen
verifiëren. De marktpartij houdt in haar opgaven geen rekening met andere onderdelen van de
doorlooptijd dan ontwikkeling, zoals Common Criteria Certificering, SDIP 27/1 testen en
acceptatietesten door de overheid. De volledige doorlooptijden zullen dus aanmerkelijk hoger
uitvallen dan de opgegeven waarden.
Atos heeft de door marktpartij C afgegeven doorlooptijden niet kunnen verifiëren. De gegeven
doorlooptijden zijn exclusief doorlooptijd voor acceptatietesten door de overheid, volgens de
beantwoordingsdocument 3-5 maanden voor het eerste experiment en 2 maanden voor latere
experimenten en de landelijke uitrol. Deze moeten dus bij de afgegeven doorlooptijden worden
opgeteld.
Marktpartij D verwijst voor onderdelen van haar opgave van doorlooptijden naar niet nader
gespecificeerde ervaringen in andere landen. Atos heeft deze doorlooptijden dus niet kunnen
verifiëren. De marktpartij heeft in de bepaling van de afgegeven doorlooptijden rekening
gehouden met een doorlooptijd van 1 à 2 weken voor acceptatietesten door de overheid. Het
beantwoordingsdocument gaat echter uit van 3-5 maanden voor het eerste experiment en 2
maanden voor volgende experimenten en de landelijke uitrol. De markpartij is van mening dat
een gebruikelijke doorlooptijd van 1 à 2 weken voor acceptatietesten meer dan toereikend is,
omdat een zeer intensieve Common Criteria type certificering en een SDIP 27/a certificeringstest

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

41 van 123

Vertrouwelijk

per stemprinter is doorlopen. Tevens geven zij aan dat zij over een ISO9001:2015 gecertificeerd
kwaliteitssysteem beschikken en de productie in Nederland plaats vindt in een ABDO
gecertificeerde productieomgeving, waardoor aangenomen wordt dat er tijdens het
productieproces overheidstoezicht is of kan zijn. Dit toezicht waarborgt dat er conform alle
relevante product- en productie-eisen wordt geproduceerd. De toegevoegde waarde van al deze
kwalificatie-eisen is er volgens de marktpartij juist op gericht om dan minder omvangrijk en
intensief te hoeven acceptatietesten. Atos heeft de door de marktpartij genoemde doorlooptijd
van 1 à 2 weken voor acceptatietesten niet kunnen verifiëren maar acht deze niet realistisch.
Common Criteria en SDIP 27/A certificering dekken slechts een beperkt deel van de specificaties
af. Daarnaast kan overheidstoezicht tijdens het productieproces niet in de plaats komen van een
gedegen en gestructureerde acceptatietest.

3.4.2

Kosten
Aan de markt is gevraagd de kosten voor de ontwikkeling, productie en distributie van
stemprinter en stemmenteller aan te geven.
De door de marktpartijen opgegeven doorlooptijden zijn weergegeven in de volgende tabellen:
I.

Kosten voor ontwikkeling, productie en distributie voor het eerste experiment, gelijk in beide
scenario’s.

II. Kosten voor ontwikkeling, productie en distributie voor het eerste scenario, vanaf het tweede
experiment, waarbij na experimenten geen Common Criteria hercertificering en geen
testen/meten voor SDIP 27/1 Level A nodig zijn.
III. Kosten voor ontwikkeling, productie en distributie voor het tweede scenario, vanaf het tweede
experiment, waarbij na experimenten wel Common Criteria hercertificering en wel opnieuw
testen/meten voor SDIP 27/1 Level A nodig zijn.
IV. Kosten voor onderhoud en ondersteuning (niet van toepassing voor elektronisch token).
Markpartijen A en B hebben in hun beantwoordingen geen kosten gegeven. Marktpartijen C en D
hebben de gevraagde kosten op het gevraagde detailniveau gegeven. In onderstaande tabellen
zijn de ontvangen antwoorden van marktpartijen C en D verzameld. Alle vermelde kosten zijn in
Euro inclusief Nederlandse BTW (21%).

I. Ontwikkeling, productie en distributie voor 1e experiment
Alle bedragen in Euro inclusief BTW

Marktpartij C

Marktpartij D

Kosten per
stemprinter

Kosten per
stemmenteller

Kosten per
token

7.082-14.163

7.850-15.699

75-150

Kosten per
Kosten per
stemprinter stemmenteller
12.737

36.144

Paraaf

© Copyright 2017, Atos Consulting N.V.

Kosten per
token
2,42

Paraaf
Atos Consulting

42 van 123

Vertrouwelijk

Alle bedragen in Euro

Na experimenten geen Common Criteria hercertificering en geen testen/
meten voor SDIP 27/1 Level A

inclusief BTW

Marktpartij C

Marktpartij D

II. Ontwikkeling,
productie en
distributie

Kosten per
Kosten per
stemprinter stemmenteller

2e experiment

4.092-8.196

4.401-8.802

50-100

5.428

13.949

2,18

4.092-8.196

4.401-8.802

50-100

5.426

13.950

2,18

4.092-8.196

4.401-8.802

50-100

5.298

12.108

1,82

e

3 experiment
Alle gemeenten/

Kosten per
token

Kosten per
Kosten per
stemprinter stemmenteller

Kosten per
token

openbare lichamen

Alle bedragen in Euro

Na experimenten wel Common Criteria hercertificering en wel testen/
meten voor SDIP 27/1 Level A

inclusief BTW

Marktpartij C

Marktpartij D

III. Ontwikkeling,
productie en
distributie

Kosten per
Kosten per
stemprinter stemmenteller

Kosten per
token

2e experiment

6.138-12.294 6.602-13.203

75-150

5.578

13.949

2,18

6.138-12.294 6.602-13.203

75-150

5.576

13.950

2,18

6.138-12.294 6.602-13.203

75-150

5.448

12.108

1,82

e

3 experiment
Alle gemeenten/

Kosten per
Kosten per
stemprinter stemmenteller

Kosten per
token

openbare lichamen

Alle bedragen in Euro

Marktpartij C

Marktpartij D

inclusief BTW

IV. Onderhoud en
ondersteuning

Kosten per
Kosten per
Kosten per
Kosten per
stemprinter stemmenteller stemprinter stemmenteller

1e experiment

750

750

148,91

148,91

2e experiment

650

650

49,85

49,85

600

600

40,35

40,35

500

500

33,04

33,04

e

3 experiment
Alle gemeenten/
openbare lichamen

De vermelde kosten van de verschillende marktpartijen zijn niet (volledig) met elkaar te
vergelijken, omdat ze verschillende aannames en voorbehouden hanteren. De volgende
kanttekeningen zijn te maken:
•

Marktpartij C geeft aan dat de kosten uitgaan van een EAL3 Common Criteria certificering, in
plaats van de gevraagde EAL4+ certificering.

•

Marktpartij D geeft aan dat:
o

alle ontwikkelkosten (met uitzondering van de kosten voor Common Criteria-certificering)

o

in de kosten voor onderhoud en ondersteuning vanaf het tweede experiment er van wordt

zijn verrekend in de kosten van het eerste experiment;
uitgegaan dat ook de apparatuur vanuit eerdere experimenten wordt onderhouden;
o

de kosten voor de initiële Common Criteria certificering van 1.149.500 euro (inclusief
BTW) voor stemprinter en stemmenteller samen, niet zijn opgenomen in de opgave;

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

43 van 123

Vertrouwelijk

o

de kosten voor Common Criteria hercertificering niet zijn opgenomen in de opgave. De
omvang van deze kosten is afhankelijk van de aard en omvang van de doorgevoerde
wijzigingen. In de ervaring van de marktpartij zijn, uitgaande van een gedegen eerste
ontwerp, wijzigingen meestal beperkt in aantal en aard en blijven de kosten beperkt tot
maximaal ongeveer 18.000 euro (inclusief BTW);

o

de kosten voor de stemmenteller relatief hoog zijn omdat alle specificaties voor de
stemmenteller zijn gevolgd, in het bijzonder die over het correct kunnen verwerken van
een grote stapel / hoeveelheid documenten, waardoor alleen basisscanners in aanmerking
komen die elders eigenlijk uitsluitend gebruikt worden in zogenaamde CCOS (Central
Counting Optical Scanning) toepassingen. Hierbij wordt niet in het stembureau geteld,
maar in een centraal telcentrum. Zij zijn kostbaar omdat zij aan hoge eisen ten aanzien
van de verwerkingssnelheid moeten voldoen. De hierbij doorgaans benodigde apparatuur
is daarnaast zwaar en groot in omvang;

o

de kosten voor het onderhoud van de documentatie niet zijn inbegrepen in de
kostenopgave. De kosten zullen variëren tussen 1.200 euro en maximaal 12.000 euro
(inclusief BTW) per verkiezing voor de stemprinter en stemmenteller samen.

Verificatie en beoordeling
Marktpartij A en B hebben in hun beantwoording geen kosten gegeven.
De door marktpartij C vermelde kosten zijn slechts ruwe indicaties: onder- en bovengrenzen
liggen een factor 2 uiteen. Daarnaast gaat de kostenopgave uit van Common Criteriacertificering op EAL3-niveau. Voor certificering op het vereiste EAL-4+ niveau zullen de kosten
aanzienlijk hoger zijn.
Atos heeft de kostenopgave van marktpartij D niet kunnen verifiëren. De marktpartij heeft in
de kostenopgave de kosten voor Common Criteria certificering en hercertificering
verbijzonderd. Gebaseerd op een Common Criteria-expert die Atos heeft geraadpleegd, acht
Atos deze kosten een realistische inschatting voor het totaal van de externe kosten voor het
evaluerend laboratorium en de interne kosten voor de marktpartij zelf voor bijvoorbeeld
systeemontwerpen en -documentatie.
Het is opmerkelijk dat er in het productportfolio van marktpartij D een koppeling lijkt te zijn
tussen het hebben van voldoende grote in- en uitvoerbakken en andere kenmerken van de
stemmenteller zoals de verwerkingsnelheid, die een keuze voor een overigens minder
geschikte stemmenteller afdwingt. De specificaties leggen niet vast welke verwerkingssnelheid
vereist is, maar de door marktpartij D voorgestelde stemmenteller is bedoeld voor situaties
die een hogere verwerkingssnelheid vergen dan uit de specificaties zou kunnen worden
opgemaakt.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

44 van 123

Vertrouwelijk

4

Alternatieven die door marktpartijen zijn aangedragen

4.1

Marktpartij D
Zoals eerder in deze rapportage vermeld, heeft marktpartij D een alternatief aangedragen voor de
stemprinter en stemmenteller bestaande uit één stemprinter en één stemmenteller per
stembureau. Dit alternatief is gebaseerd op andere specificaties dan de specificaties die voor de
stemprinter en stemmenteller zijn opgesteld door de Deskundigengroep Elektronisch stemmen en
tellen in het stemlokaal, die ten grondslag liggen aan de uitgevoerde marktuitvraag.
Hieronder zijn de karakteristieken van dit alternatief in beeld gebracht. Daarbij wordt ook vermeld
waarom de Deskundigengroep Elektronisch stemmen en tellen en/of de commissie Van Beek voor
de specificaties van de stemprinter en stemmenteller andere keuzes hebben geadviseerd aan de
minister van BZK.

4.1.1

Karakteristieken alternatief marktpartij D
1. De stemprinter is via een vaste kabel gekoppeld aan een zogenaamde voorzitterseenheid en
wordt bediend door het stembureau. De kiezer hoeft dus de stemprinter niet te bedienen met
gebruikmaking van een token.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft uitdrukkelijk de
keuze gemaakt om de stemprinter niet te laten bedienen door leden van het stemlokaal. Die
keuze heeft de Deskundigengroep gemaakt omdat bediening door het stembureau zal leiden
tot discussies over mogelijke doorbrekingen van het stemgeheim. Er zou namelijk kunnen
worden betoogd dat het stembureau kan “meekijken” en zo kan achterhalen welke keuzes de
kiezer maakt. Deze discussie speelde ook (in beperkte mate) bij de stemmachines die tot
2008 werden gebruikt en door het stembureau werden bediend. Verder heeft een verbinding
tussen stembureau en stemprinter het risico dat op deze interface ingebroken kan worden
waardoor er een (extra) mogelijkheid bestaat om de keuze van de kiezer te achterhalen en/of
om de werking van de stemprinter te manipuleren.
2. De stemprinter bevat een aanraakscherm dat zo groot is, 27 inch ipv de gespecificeerde 24
inch, dat 80 kandidaten op één scherm getoond kunnen worden. Er zijn dan minder stappen
nodig om de schermen te doorlopen. Hierdoor en doordat het stembureau de stemprinter
bedient, kan in 1 stemlokaal volstaan worden met 1 stemprinter.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft, voor het
opstellen van de specificaties, een test laten uitvoeren om te kunnen bepalen hoe de
gebruikersinterface voor de stemprinter er uit zou moeten zien. Die test heeft uitgewezen dat
het tonen van 80 kandidaten op één scherm niet op voorhand de beste oplossing is. De
voorkeur gaat uit naar een grotere weergave van teksten en de mogelijkheid foto’s van
kandidaten te tonen.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

45 van 123

Vertrouwelijk

Verder moet bij een groot scherm ook gewaakt worden voor het stemgeheim. Immers in het
stemlokaal zijn het stembureau en andere kiezers aanwezig. Het moet niet mogelijk zijn dat
die kunnen waarnemen welke keuze een kiezer maakt.
De commissie Van Beek heeft een berekening gemaakt van het aantal stemprinters dat nodig
zou zijn per stemlokaal. De commissie heeft daarbij rekening gehouden met het feit dat op
één dag meer dan een verkiezing kan plaatsvinden (zoals de combinatie van verkiezingen
voor de leden van provinciale staten en de besturen van de waterschappen). De conclusie van
de commissie Van Beek is geweest dat één stemprinter per stemlokaal niet zal volstaan.
3. De stemprinter kan stembiljetten alleen enkelzijdig bedrukken.
Dubbelzijdig bedrukken van stembiljetten door de stemprinter is echter noodzakelijk om op de
achterkant van het stembiljet de verkiezing te vermelden. Het is immers mogelijk dat op één
dag meerdere verkiezingen worden gehouden (zoals de verkiezing van de leden van
provinciale staten en besturen van waterschappen). Omdat het stembiljet (dicht) gevouwen
moet worden (waarborgen stemgeheim), moet op de achterkant zichtbaar zijn op welke
verkiezing het stembiljet betrekking heeft. Als de stemprinter niet dubbelzijdig kan printen,
leidt dit er toe dat de stemprinter evenveel papierlades moet hebben als dat er verkiezingen
zijn. Dat maakt de stemprinter complexer.
4. In de stemmenteller kunnen stapels van maximaal 100 stembiljetten worden ingevoerd. De
stemmenteller voorziet elk stembiljet tijdens het doorvoeren en nog vóór het scannen en
tellen van een volgnummer en niet alleen de getelde stembiljetten na het doorvoeren en
scannen.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft een test laten
doen (met personen die ervaring hebben als stembureaulid) om na te gaan welke specificaties
voor de stemmenteller nodig zijn wil de bediening door het stembureau zo optimaal mogelijk
kunnen verlopen én om de steekproefsgewijze controle van getelde stembiljetten te
faciliteren. Uitkomst van die test is dat de stemmenteller de stembiljetten in bundels van 100
stembiljetten zou moeten uitvoeren. Gekozen is voor een invoerbak die 500 stembiljetten kan
bevatten, zodat stembiljetten in handzame stapels (zonder deze eerst te tellen) ingevoerd
kunnen worden. Het stembureau dient bij voorkeur zo weinig mogelijk keren de invoerbak te
vullen ook om verstoringen bij het scannen te voorkomen.
5. Programmatuur (besturingssysteem en applicaties) en configuratiegegevens van de verkiezing
worden in het stemlokaal via een specifiek ontworpen geheugenmodule in het geheugen van
de stemprinter en stemmenteller geladen.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal is van mening dat het
configureren van de stemprinters en stemmentellers in het stemlokaal, vlak voordat de
stemming wordt geopend, te risicovol is. Als er dan problemen worden ontdekt, zal de
stemming niet kunnen beginnen waardoor kiezers niet kunnen stemmen. Daarom heeft de
Deskundigengroep geadviseerd de stemprinters en stemmenteller voorafgaand aan het

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

46 van 123

Vertrouwelijk

transport naar de stemlokalen door de gemeenten te laten configureren en te testen zodat er
nog voldoende tijd is, voor de dag van stemming, om eventuele problemen op te lossen.
6. De stemprinter en stemmenteller bevatten geen log waarin alle gebeurtenissen en gegevens
die zijn verwerkt (met uitzondering van naar stemkeuze te herleiden gegevens) worden
opgeslagen ten behoeve van een analyse van de goede werking van de stemprinter en
stemmenteller na afloop van een verkiezing. In plaats daarvan kunnen deze gegevens in het
vluchtige geheugen worden opgeslagen en na sluiten stemming/telling worden afgedrukt.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft gespecificeerd
dat er een log van gebeurtenissen moet worden bijgehouden zodat een analyse van de goede
werking van stemprinters en stemmentellers mogelijk is. Dat is uiteraard voor de
transparantie en controleerbaarheid van essentieel belang.
Als de gebeurtenissen alleen in het vluchtige geheugen worden opgeslagen, zullen deze
gebeurtenissen bijvoorbeeld bij stroomuitval verloren gaan waardoor probleemanalyse
achteraf niet meer mogelijk is.
7. Het stembiljet heeft het formaat van een “boarding pass”.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft geadviseerd om
rekening te houden met mogelijke verschillende formaten voor het stembiljet, bijvoorbeeld
ook met een stembiljet op A4 formaat.
8. Een noodstroomvoorziening is niet nodig om een stemprinter of stemmenteller gecontroleerd
uit te schakelen.
Het niet hebben van een noodstroomvoorziening kan er toe leiden dat een stemprinter
vastloopt op een stembiljet dat net wordt geprint en een stemmenteller zal half doorgevoerde
stembiljetten bevatten. Stemprinters en stemmenteller in die situatie weer op gang krijgen
zonder apparatuur en stembiljetten onherstelbaar te beschadigen is bijzonder lastig, zeker
voor daarop niet geoefende stembureauleden. Dat is de reden waarom de Deskundigengroep
Elektronisch stemmen en tellen in het stemlokaal heeft geadviseerd dat een stemprinter en
stemmenteller bij stroomuitval nog minstens 10 minuten moeten functioneren alvorens
zichzelf af te sluiten en uit te schakelen.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

47 van 123

Vertrouwelijk

4.1.2

Doorlooptijden en kosten
In onderstaande tabellen zijn de door marktpartij D vermelde doorlooptijden voor deze
alternatieve oplossing gegeven. Tijden zijn in maanden tenzij anders aangegeven.

I. Ontwikkeling, productie en
distributie voor 1e experiment
Tijden in maanden
Marktpartij D
Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

11-15

11-15

Tijden in maanden

Na experimenten geen Common
Criteria hercertificering en geen
testen/ meten voor SDIP 27/1
Level A
Marktpartij D
Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

4-5

4-5

3 experiment

4-5

4-5

Alle gemeenten/ openbare
lichamen

4-5

4-5

II. Ontwikkeling, productie
en distributie
2e experiment
e

Tijden in maanden

Na experimenten wel Common
Criteria hercertificering en wel
testen/ meten voor SDIP 27/1
Level A
Marktpartij D
Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

5,5-6,5

5,5-6,5

3 experiment

5,5-6,5

5,5-6,5

Alle gemeenten/ openbare
lichamen

5,5-6,5

5,5-6,5

III. Ontwikkeling, productie
en distributie
2e experiment
e

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

48 van 123

Vertrouwelijk

Marktpartij D

Tijden in maanden, tenzij anders aangegeven
IV. Doorlooptijd voor specifieke onderdelen voor stemprinter en
stemmenteller

Doorlooptijd
stemprinter
(min-max)

Doorlooptijd
stemmenteller
(min-max)

het maken van systeemontwerpen en systeemdocumentatie die voldoet
aan de Common Criteria vereisten

5-8

5-8

het uitvoeren van testen door het evaluerend laboratorium voor de
Common Criteria certificering

6-7

6-7

1 week

NVT

> 30/dag

NVT

2-5

2-5

het op prototypes van een stemprinter uitvoeren van testen/metingen
om vast te stellen dat aan SDIP 27/1 Level A norm wordt voldaan
de individuele meting van een exemplaar van de stemprinter om vast te
stellen dat aan SDIP 27/1 Level A norm wordt voldaan
maken en testen van een software update om stemprinters en
stemmentellers te beschermen tegen de laatst bekende
veiligheidsrisico’s, inclusief een eventuele Common Criteria
hercertificering
na landelijke invoering ten behoeve van een verkiezing maken en naar
gemeenten/openbare lichamen verspreiden van DVD’s met software
updates en verkiezingsgegevens, inclusief het daarover zetten van een
digitale handtekening, te rekenen vanaf het door de bevoegde autoriteit
vaststellen van de verkiezingsgegevens tot het bij de laatste
gemeente/openbaar lichaam aankomen van de DVD’s
na landelijke invoering ten behoeve van een verkiezing aan
gemeenten/openbare lichamen leveren van stembiljetten, te rekenen
vanaf het door de overheid vaststellen van het te gebruiken
echtheidskenmerk tot het bij de laatste gemeente/openbaar lichaam
aankomen van de stembiljetten.

1-1,5 week

2-5 weken

NVT

Voor deze doorlooptijden is dezelfde aanname van toepassing als marktpartij D maakt bij de
oplossing die wel voldoet aan de specificaties, namelijk dat er geen majeure wijzigingen in
functionaliteit of protection profiles zullen zijn naar aanleiding van de evaluaties van de
experimenten.
Daarnaast neemt marktpartij D aan dat de overheid bereid is een alternatieve geheugendrager
(dus geen DVD’s) te beoordelen op basis van een aanvullende analyse van voor- en nadelen. Het
door marktpartij D voorgestelde alternatief maakt gebruik van 1 geheugenmodule, bevattende
software en configuratiegegevens van de verkiezing, per stembureau, met 3 reserves per
gemeente.
Hieronder zijn de door marktpartij D vermelde kosten voor deze alternatieve oplossing gegeven.
Alle vermelde kosten zijn in Euro inclusief Nederlandse BTW (21%).

I. Ontwikkeling, productie en distributie
voor 1e experiment
Alle bedragen in Euro inclusief BTW
Marktpartij D
Kosten per
stemprinter

Kosten per
stemmenteller

Kosten per
token

26.733

26.964

3,03

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

49 van 123

Vertrouwelijk

Na experimenten geen Common Criteria
hercertificering en geen testen/meten
voor SDIP 27/1 Level A

Alle bedragen in Euro inclusief
BTW

Marktpartij D
Kosten per
stemprinter

Kosten per
stemmenteller

Kosten per
token

5.330

5.239

2,42

3 experiment

5.330

5.239

2,42

Alle gemeenten/ openbare
lichamen

5.033

4.851

2,42

II. Ontwikkeling, productie
en distributie
2e experiment
e

Alle bedragen in Euro inclusief
BTW

Na experimenten wel Common Criteria
hercertificering en wel testen/meten voor
SDIP 27/1 Level A
Marktpartij D
Kosten per
stemprinter

Kosten per
stemmenteller

Kosten per
token

2e experiment

5.480

5.239

2,42

3e experiment

5.480

5.239

2,42

Alle gemeenten/ openbare
lichamen

5.184

4.851

2,42

III. Ontwikkeling,
productie en distributie

Alle bedragen in Euro inclusief
BTW
IV. Onderhoud en
ondersteuning

Marktpartij D
Kosten per
stemprinter

Kosten per
stemmenteller

166,88

166,88

e

42,00

42,00

e

3 experiment

43,09

43,09

Alle gemeenten/ openbare
lichamen

35,57

35,57

1e experiment
2 experiment

Daarbij gelden de volgende kanttekeningen:
•

alle ontwikkelkosten (met uitzondering van de kosten voor Common Criteria-certificering) zijn
verrekend in de kosten van het eerste experiment;

•

in de kosten voor onderhoud en ondersteuning vanaf het tweede experiment wordt er van
uitgegaan dat ook de apparatuur vanuit eerdere experimenten wordt onderhouden;

•

de kosten voor Common Criteria certificering van 786.500 euro (inclusief BTW) voor
stemprinter en stemmenteller samen, zijn niet opgenomen in de opgave;

•

de kosten voor Common Criteria hercertificering zijn niet opgenomen in de opgave. De
omvang van deze kosten is afhankelijk van de aard en omvang van de doorgevoerde
wijzigingen. In de ervaring van de marktpartij zijn, uitgaande van een gedegen eerste
ontwerp, wijzigingen meestal beperkt in aantal en aard en blijven de kosten beperkt tot
maximaal ongeveer 18.000 euro (inclusief BTW);

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

50 van 123

Vertrouwelijk

•

de kosten voor het onderhoud van de documentatie zijn niet inbegrepen in de kostenopgave.
De kosten zullen variëren tussen 1.200 euro en maximaal 12.000 euro (inclusief BTW) per
verkiezing voor de stemprinter en stemmenteller samen;

•

1 stemprinter per stembureau benodigd, met 12,5% reserve;

•

1 stemmenteller per stembureau benodigd, met 10% reserve;

•

2 autorisatietokens per stembureau benodigd, met 10% reserve.

De specificaties gaan bij landelijke invoering uit van tussen de 9.000 en 10.000 stembureaus
waarvoor 35.000 stemprinters, 12.500 stemmentellers en 2.200.000 tokens nodig zijn. Het door
deze marktpartij gepresenteerde alternatief gaat dus uit van aanzienlijk lagere aantallen
benodigde stemprinters en tokens dan in de opgave conform de specificaties.
Verificatie en beoordeling
Marktpartij D verwijst voor onderdelen van haar opgave van doorlooptijden naar niet nader
gespecificeerde ervaringen in andere landen. Atos heeft deze doorlooptijden dus niet kunnen
verifiëren. De marktpartij heeft in de bepaling van de afgegeven doorlooptijden rekening
gehouden met een doorlooptijd van 1 à 2 weken voor acceptatietesten door de overheid. Het
beantwoordingsdocument gaat echter uit van 3-5 maanden voor het eerste experiment en 2
maanden voor volgende experimenten en de landelijke uitrol. De markpartij is van mening dat
een gebruikelijke doorlooptijd van 1 à 2 weken voor acceptatietesten meer dan toereikend is,
omdat een zeer intensieve Common Criteria type certificering en een SDIP 27/a certificeringstest
per stemprinter is doorlopen. Tevens geven zij aan dat zij over een ISO9001:2015 gecertificeerd
kwaliteitssysteem beschikken en de productie in Nederland plaats vindt in een ABDO
gecertificeerde productieomgeving, waardoor aangenomen wordt dat er tijdens het
productieproces overheidstoezicht is of kan zijn. Dit toezicht waarborgt dat er conform alle
relevante product- en productie-eisen wordt geproduceerd. De toegevoegde waarde van al deze
kwalificatie-eisen is er volgens de marktpartij juist op gericht om dan minder omvangrijk en
intensief te hoeven acceptatietesten. Atos heeft de door de marktpartij genoemde doorlooptijd
van 1 à 2 weken voor acceptatietesten niet kunnen verifiëren maar acht deze niet realistisch.
Common Criteria en SDIP 27/A certificering dekken slechts een beperkt deel van de specificaties
af. Daarnaast kan overheidstoezicht tijdens het productieproces niet in de plaats komen van een
gedegen en gestructureerde acceptatietest.
Zoals getoond in tabel IV geeft marktpartij D doorlooptijden voor het uitvoeren van testen door
het evaluerend laboratorium voor de Common Criteria certificering. Deze doorlooptijden zijn
onderdeel van de doorlooptijden in tabellen I en III. Atos oordeelt dat deze doorlooptijden
haalbaar zijn voor ervaren ontwikkelaars. Aangezien marktpartij D echter geen of weinig ervaring
lijkt te hebben met Common Criteria certificering, zullen de doorlooptijden naar verwachting
hoger uitvallen.
Atos heeft de kostenopgave van marktpartij D niet kunnen verifiëren. De marktpartij heeft in de
kostenopgave de kosten voor Common Criteria certificering en hercertificering verbijzonderd.
Gebaseerd op een Common Criteria-expert die Atos heeft geraadpleegd, acht Atos deze kosten
een realistische inschatting voor het totaal van de externe kosten voor het evaluerend
laboratorium en de interne kosten voor de marktpartij zelf voor bijvoorbeeld systeemontwerpen
en -documentatie.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

51 van 123

Vertrouwelijk

Merk op dat marktpartij D in dit alternatief werkt met in- en uitvoerbakken waarin maximaal 100
stembiljetten passen (punt 4 zoals vermeld in paragraaf 4.1.1). Hierdoor is de marktpartij
blijkbaar in staat uit haar productportfolio een stemmenteller in te zetten die aanzienlijk
goedkoper is dan de stemmenteller die de basis vormt voor de voorgestelde oplossing als aan alle
specificaties wordt voldaan.

4.2

Marktpartij E
Zoals eerder in deze rapportage vermeld, heeft marktpartij E een alternatief aangedragen voor de
stemmenteller. Het alternatief bestaat uit een stemmenteller gebaseerd op standaard
scannermodellen die marktpartij E thans commercieel levert. De scanners worden aangestuurd
door maatwerk software om stemmen te herkennen en te tellen. De marktpartij heeft een korte
beschrijving van de producten gegeven, maar geen informatie verstrekt in welke mate zij met het
voorgestelde alternatief aan de gestelde specificaties voldoet. Zij gaat in het geheel niet in op de
vereiste Common Criteria EAL-4+ certificering.
De Deskundigengroep Elektronisch stemmen en tellen in het stemlokaal heeft gespecificeerd dat
een stemprinter en stemmenteller Common Criteria gecertificeerd moet worden conform de
daarvoor opgestelde en gecertificeerde Protection Profiles. Deskundigen op het gebied van
Common Criteria certificering zijn van mening dat het hebben van ervaring met Common Criteria
certificering op een niveau van EAL 4 of hoger noodzakelijk is om een stemprinter en
stemmenteller te ontwikkelen die Common Criteria gecertificeerd zullen kunnen worden.

4.3

Marktpartij F
Zoals eerder in deze rapportage vermeld, heeft marktpartij F een alternatief aangedragen dat
bestaat uit een voorstel om het uitbrengen en tellen van stemmen volledig te digitaliseren en
daarmee plaats- en tijdsonafhankelijk te maken. Als tussenstap naar een volledig digitaal
stemproces, stelt de marktpartij een stemzuil voor op de stemlocaties. Deze stemzuil zou zowel
de controle van de kiesgerechtigheid uitvoeren, het uitbrengen van de stem faciliteren en het
tellen van de uitgebrachte stemmen verzorgen. De marktpartij heeft dit alternatief niet
uitgewerkt.
Het voorstel om het stemproces volledig te digitaliseren gaat voorbij aan de adviezen zoals
opgesteld door de Commissie van Beek, waaronder de fundamentele keuze om een papieren
bewijs aan de kiezer af te geven omdat anders het stemproces voor de kiezer niet transparant en
controleerbaar is. Deze vorm van elektronisch stemmen is daarom door de Commissie volstrekt
ongeschikt bevonden.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

52 van 123

Vertrouwelijk

4.4

Alternatieven voor individuele specificaties
De marktpartijen hebben bij sommige specificaties suggesties en adviezen aangedragen om af te
wijken van de specificatie. Waar het in de vorige paragraaf gaat om een samenhangend
alternatief voor stemprinter en stemmenteller dat op een groot aantal punten afwijkt van de
specificaties, betreft het hier alternatieven voor individuele specificaties. In deze paragraaf zijn
deze suggesties en adviezen verzameld.
1. Marktpartij A beveelt aan om barcodes op het stembiljet toe te staan om informatie over een
specifieke verkiezing aan de stemmenteller over te brengen. De marktpartij geeft aan dat een
dergelijke barcode geen enkele informatie over de kiezer overbrengt, dus de vertrouwelijkheid
van de stemkeuze niet in gevaar brengt.
De commissie Van Beek heeft geadviseerd op het stembiljet geen barcodes te printen, omdat
een barcode door de kiezer niet is te lezen c.q. begrijpen. De kiezer moet er dan op
vertrouwen dat de barcode en de leesbare tekst identiek zijn. Door het niet afdrukken van
een barcode wordt bovendien voorkomen dat er (als gevolg van programmeerfouten of
manipulatie) verschillen zijn tussen de barcode en de leesbare tekst op het stembiljet.
2. Marktpartij B beschrijft een alternatief waarbij een stemmenteller geïntegreerd is met de
stembus. De kiezer neemt zelf het stembiljet uit de printer en voert het in de scanner
(stemmenteller) in. Als de stemmenteller de stemkeuze herkent, wordt het resultaat
versleuteld opgeslagen en het stembiljet in de stembus geplaatst. Als de stemmenteller de
stemkeuze niet herkent, wordt dat gesignaleerd zodat een medewerker van het stembureau
kan onderzoeken wat het probleem is en een passende maatregel nemen, bijvoorbeeld een
nieuw token uitreiken aan de kiezer. De marktpartij geeft aan dat deze oplossing enkele
voordelen heeft:

•

Er is geen apart telproces na afloop van de stemperiode. Dit bespaart dus op handmatig
werk voor medewerkers van het stembureau en er zijn ook geen kostbare bulk scanners
nodig.

•
•

De resultaten van de stemming zijn onmiddellijk na afloop van de stemming beschikbaar.
Onherkenbare stemkeuzes worden gesignaleerd op een moment dat correctie nog
mogelijk is.

De commissie Van Beek adviseert om de kiezer niet zelf zijn stembiljet te laten scannen.
Voordeel van zelf scannen is uiteraard dat na afloop van de stemming de uitslag sneller
beschikbaar is. Dit voordeel weegt in de visie van de commissie Van Beek niet op tegen een
aantal nadelen.

•

De zogenaamde compromitterende straling wordt niet alleen door een stemprinter
gegenereerd, maar ook tijdens het scanproces. Om te voorkomen dat op deze wijze het
stemgeheim wordt geschonden, zou ook de scanner moeten worden voorzien van
bescherming tegen compromitterende straling. Dit werkt kostenverhogend.

•

Bij zelf scannen moeten maatregelen worden genomen om te voorkomen dat de stemmen
in volgorde van uitbrengen worden opgeslagen. Dan wordt het mogelijk te achterhalen
wat de kiezer heeft gestemd door de volgorde waarin kiezers zich hebben aangemeld te
vergelijken met de volgorde waarin de scanner de stemmen heeft geteld. Dit is te
Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

53 van 123

Vertrouwelijk

voorkomen door de scanner de stemmen versleuteld op te laten slaan, maar ook dit werkt
kostenverhogend en is voor kiezers niet transparant/controleerbaar.

•

Tijdens het scannen door de kiezer kunnen technische problemen ontstaan, omdat de
kiezer bijvoorbeeld zijn biljet verkeerd invoert of omdat de apparatuur om andere redenen
uitvalt. Het verlenen van bijstand aan de kiezer zonder dat daarmee zijn stemgeheim
wordt geschonden, zal niet eenvoudig zijn.

•

Er ontstaat een nieuw risico dat de stemming moet worden geschorst als de
scanapparatuur het begeeft.

3. Marktpartij D merkt op dat ca. 7 kg kan worden bespaard op het door deze marktpartij voor
de stemprinter genoemde gewicht van 24 kg als van enkelzijdig printen kan worden uitgegaan
in plaats van het gespecificeerde dubbelzijdig printen.
Zoals bij behandeling van het alternatief van marktpartij D al is vermeld, is dubbelzijdig
bedrukken van stembiljetten door de stemprinter noodzakelijk om op de achterkant van het
stembiljet de verkiezing te vermelden. Het is mogelijk dat op één dag meerdere verkiezingen
worden gehouden (zoals de verkiezing van de leden van provinciale staten en besturen van
waterschappen). Omdat het stembiljet (dicht) gevouwen moet worden (waarborgen
stemgeheim), moet op de achterkant zichtbaar zijn op welke verkiezing het stembiljet
betrekking heeft. Als de stemprinter niet dubbelzijdig kan printen, leidt dit er toe dat de
stemprinter evenveel papierlades moet hebben als dat er verkiezingen zijn. Dat maakt de
stemprinter complexer en zwaarder.

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

54 van 123

Vertrouwelijk

Bijlage A

Onderzoek ‘Haalbaarheid van stemprinter
en stemmenteller’
Beantwoordingsdocument

Paraaf

© Copyright 2017, Atos Consulting N.V.

Paraaf
Atos Consulting

55 van 123

Onderzoek ‘Haalbaarheid van stemprinter
en stemmenteller’
Beantwoordingsdocument

Author:
Version:
Document date:

Atos Consulting
1.0
July 2016

© Copyright 2017, Atos Consulting N.V.

Inhoudsopgave
Inhoudsopgave ..........................................................................................................................................................1
Invulformulier Basisgegevens (markt)partij ....................................................................................................2
Begrippenlijst .............................................................................................................................................................3
Inleiding .......................................................................................................................................................................7
Invulinstructie ............................................................................................................................................................8
Korte introductie van de stemprinter en stemmenteller ............................................................................. 10
Verkiezingen in Nederland.................................................................................................................................... 13
Deel 1 - Specificaties stemprinter en stemmenteller ................................................................................... 15
Deel 2 - Specifieke vragen .................................................................................................................................... 44
Deel 3 – Vragen over doorlooptijd en kosten ................................................................................................. 60

1

Invulformulier Basisgegevens (markt)partij
Gelieve onderstaande tabel met uw gegevens in te vullen.

1.

Naam (markt)partij

Invullen naam (markt)partij

2.

Contactpersoon

Invullen naam contactpersoon

3.

Functie contactpersoon

Invullen functie contactpersoon

4.

Contactgegevens contactpersoon
(telefoonnummer en e-mailadres)

Invullen contactgegevens contactpersoon

5.

Voor welk onderdeel vult u het
beantwoordingsdocument in?

Stemprinter
Stemmenteller

(Geef svp aan welke optie van
toepassing is.)

Stemprinter en stemmenteller

2

Begrippenlijst
Alertering
Melding van een beveiligingsprobleem in standaard programmatuur of apparatuur.
Apparatuur
Geheel van fysieke onderdelen die een stemprinter of stemmenteller vormen.
Blanco stem
Een door een kiezer uitgebrachte stem waarbij op het stembiljet geen kandidaat wordt gekozen of geen
antwoord wordt gegeven op een referendumvraag.
Calamiteit
Een gebeurtenis die ernstige gevolgen kan hebben voor de ontwikkeling, de productie, het onderhoud, de
ondersteuning van het gebruik en het gebruik zelf van de stemprinters en stemmentellers.
Common criteria (CC)
De Common Criteria vormen een instrument voor het evalueren en beoordelen van de informatiebeveiliging
van IT-producten en -systemen door een combinatie van de beoordeling van het betreffende product, de
documentatie van het systeem en testen in de praktijk.
Configureren
Het wijzigen van instellingen op de stemprinter of een stemmenteller, zoals verkiezingsgegevens.
Documentatie
Alle documenten die worden opgesteld voor het ontwikkelen, produceren, onderhouden, wijzigen, testen,
distribueren van de stemprinters, stemmentellers en elektronische tokens.
Elektronische token
Het middel in de vorm van een smartcard dat wordt gebruikt om een stemprinter of een stemmenteller te
kunnen gebruiken.
Experiment bij verkiezingen
Bij een experiment mag op grond van een specifieke experimentwet worden afgeweken van (onderdelen
van) de Kieswet. Als bij een verkiezing een experiment wordt gehouden dan telt de uitkomst mee voor de
uitslag van de betreffende verkiezing. Dit in tegenstelling tot een test.
Foutsituaties
Situaties die niet bij de goede werking van de stemprinter en stemmenteller horen.
Fysieke knoppen
Toetsen waarmee een stemprinter door een kiezer kan worden bediend om een stemkeuze te maken,
zonder gebruik te maken van het aanraakscherm.
Functionaliteit
De mogelijkheden die een gebruiker heeft met een stemprinter of een stemmenteller.
Gebruikersinterface
De wijze waarop de stemprinter of stemmenteller door een gebruiker wordt bediend.

3

Handmatig ingevuld model stembiljet
Een stembiljet van papier, dat de kiezer met een voorgeschreven kleur potlood handmatig moet invullen,
waarop de keuze van één kiezer voor één verkiezing is weergegeven.
Hertelling
De situatie waarin het centraal stembureau besluit de uitgebrachte stemmen nogmaals te laten tellen nadat
de voorlopige uitslag bekend is gemaakt.
Incident
Een gebeurtenis die negatieve gevolgen heeft voor de werking van stemprinters en stemmentellers of de
ontwikkeling, onderhoud en ondersteuning daarvan.
Kandidaat
Een persoon die zich kandidaat heeft gesteld voor een verkiezing. Die kandidaat kan zich eerst aansluiten
bij een politieke partij of een nieuwe partij oprichten, maar dat is niet noodzakelijk. Zowel politieke
groeperingen als personen kunnen meedoen met de verkiezingen door een kandidatenlijst in te leveren. Op
deze lijst staan alle mensen die gekozen kunnen worden.
Lijstverkiezing
Verkiezing waarbij een stem uitgebracht kan worden op één kandidaat van een lijst (politieke partij).
Matig fysiek geweld
Het bestand zijn van de stemprinter en stemmenteller tegen te verwachten gebruikersomstandigheden
zoals: vervoeren, verplaatsen, verschuiven, aanstoten, duwen en klap op geven, etc.
Melding
Een signaal van de stemprinter en stemmenteller om een status aan te geven of aan te geven dat er actie
nodig is van de gebruiker om ervoor te zorgen dat de stemprinter en stemmenteller goed blijven
functioneren. De stemprinter geeft bijvoorbeeld een melding als de voorraad papier waar de keuze van de
kiezer op wordt geprint aangevuld moet worden.
Moedervel
Een moedervel van het stembiljet bevat voorgedrukte (stem)vakjes en merktekens op alle door de waar te
nemen responsposities, in casu alle mogelijke stemvakjes voor lijsten, en alle mogelijke stemvakjes voor
kandidaten.
Open source
Open source beschrijft de praktijk dat de bronmaterialen (de source) van het eindproduct publiekelijk
beschikbaar zijn.
Open standaarden
Een open standaard (of norm) is publiekelijk beschikbaar. De specificaties van de standaard mogen vrij van
licentierechten worden toegepast, gebruikt en gehanteerd. Open standaarden waarborgen de
uitwisselbaarheid tussen verschillende informatiesystemen. Open standaarden vergroten de keuzevrijheid
en beperken daarmee de afhankelijkheden van leveranciers.

4

Optical Character Recognition (OCR)
Uit een afbeelding door middel van patroonherkenning de tekens uit de afbeelding herkennen en opslaan.
Overheid
De instantie of instanties binnen de overheid die verantwoordelijk is/zijn voor de wet- en regelgeving. het
beleid, de organisatie en de uitvoering van verkiezingen.
Public Key Infrastructure (PKI)
Het geheel van apparatuur, programmatuur en procedures waarmee uitgifte en beheer van certificaten
wordt gerealiseerd zodat betrouwbare elektronische communicatie mogelijk is.
Protection profile
In een Protection Profile (PP) wordt een set implementatie-onafhankelijk beveiligingsvereisten en
doelstellingen voor een bepaald type IT-producten of -systemen gedefinieerd.
Raadgevend referendum
Een referendum is het voorleggen van een vraag met betrekking tot wet- en regelgeving aan de
kiesgerechtigden.
Referendumvraag
De vraag die bij een referendum op het stembiljet staat. De kiezer kan voor, tegen of blanco stemmen.
Stembiljet
Papier waar de stemkeuze van één kiezer voor één verkiezing op wordt of is weergegeven. Het stembiljet
bevat geen barcode.
Stembureau
Het stembureau is het orgaan dat in een stemlokaal toezicht houdt op het verloop van de verkiezing, de
uitgebrachte stemmen telt en een proces-verbaal opmaakt waarin verantwoording wordt afgelegd over het
verloop van de verkiezing en de uitkomst van de bij het stembureau uitgebrachte stemmen.
Stembureaunummer
Het nummer dat de gemeente aan een stembureau toekent.
Stemlokaal
De fysieke locatie waar een stembureau zitting houdt en waar voor een verkiezing een stem kan worden
uitgebracht. Binnen één gemeente kan de kiezer bij het de verkiezingen zelf bepalen waar hij/zij gaat
stemmen. Bij verkiezingen waar op 1 dag in alle gemeenten kan worden gestemd zijn er ca 10.000
stemlokalen in gebruik. De gemeenten bepalen waar een stemlokaal wordt ingericht.
Stemkeuze
De stem van de kiezer op een kandidaat van een partij of het antwoord op een referendumvraag. Een
blanco stem is ook een stemkeuze.
Stemmenteller
Computer waarmee stembiljetten worden geteld en het resultaat daarvan wordt geprint en op een extern
medium wordt opgeslagen.

5

Stemming
De stemming is de periode waarin er gestemd kan worden. In Nederland is dat van 07.30 uur tot 21.00 uur.
Stemprinter
Computer waarmee de kiezer een stemkeuze maakt en op een stembiljet print.
Telstrook
Bevat op papier het resultaat van het scannen en tellen van stembiljetten. Zowel totalen als de herkende
stemkeuze per geteld stembiljet.
Toegelaten kiezers
De kiezers die zich persoonlijk of per volmacht bij het stembureau te kennen hebben gegeven een stem uit
te willen brengen en daartoe ook de gelegenheid hebben gehad. Het aantal toegelaten kiezers wordt
bepaald door het aantal ingeleverde stempassen en kiezerspassen te tellen.
Verbruiksmaterialen
Materialen die door een stemprinter en stemmenteller worden verbruikt, zoals papier en inkt of
tonercartridges.
Verkiezingen
De verkiezingen die zijn geregeld in de Kieswet, in de Tijdelijke Referendumwet en verkiezingen van
gemeenten die zijn geregeld in gemeentelijke verordeningen die zijn gebaseerd op de Gemeentewet.
Volmachtstem
Een kiezer die gelijk met zijn eigen stem met een volmacht van een andere kiezer gelijk daarvoor een stem
uitbrengt. Een kiezer mag tegelijk met zijn eigen stem maximaal 2 volmachtstemmen uitbrengen.

6

Inleiding
Dit document bevat een beschrijving van de specificaties die zouden kunnen gelden voor een stemprinter
en een stemmenteller. De specificaties zijn opgesteld in het kader van een haalbaarheidsonderzoek dat
wordt uitgevoerd door de Nederlandse overheid. Dit onderzoek heeft tot doel om na te gaan of een
invoering van een stemprinter en een stemmenteller haalbaar is. Er wordt daarbij gekeken naar de
technische, financiële, organisatorisch en juridische haalbaarheid.
Een onderdeel van het haalbaarheidsonderzoek van de Nederlandse overheid is het vragen aan de markt of
het realiseren van de specificaties mogelijk is, zo nee waarom niet en zo ja tegen welke kosten en
doorlooptijd.
Deze marktuitvraag is uitdrukkelijk geen voorfase van een nog uit te voeren aanbesteding.
Dit document bevat een aantal bijlagen, te weten:
•

Protection Profile stemprinter (Ballot printer Protection Profile)

•

Protection Profile stemmenteller (Vote counter Protection Profile)

•

Methode bepalen effectiviteit van maatregelen tegen compromitterende straling
(Ballot printer – performance of eavesdropping protection – radio-frequency emissions)

•

Richtlijnen voorkoming compromitterende straling (Ballot printer – protection against eavesdropping
attacks – guidance for system designers)

•

Verwijdermethoden

•

Voorbeeld specificatie voor gebruikersinterface voor stemprinter

•

Locaties stemlokalen in Nederland

•

Verkiezingskalender Tweede Kamer

7

Invulinstructie
Dit hoofdstuk beschrijft hoe u deel kunt nemen aan het onderzoek met betrekking tot de haalbaarheid van
de stemprinter en stemmenteller. Onder meer wordt uitgelegd welke documentatie beschikbaar is over de
specificaties van de stemprinter en stemmenteller, op welke wijze u de vragen kunt beantwoorden en welke
documenten u daarvoor kunt gebruiken.
Het onderzoek
Dit onderzoek bestaat uit de beantwoording van diverse vragen over de specificaties voor de stemprinter en
de stemmenteller in dit beantwoordingsdocument. U kunt kiezen of u de vragen over de specificaties wilt
beantwoorden voor alleen de stemprinter, alleen de stemmenteller of voor beide. Afhankelijk van uw keuze
hoeft u alleen die vragen te beantwoorden die betrekking hebben op uw keuze. Dit wordt duidelijk
aangegeven in dit beantwoordingsdocument.
De beantwoording bestaat uit drie delen.
•

Deel 1: Specificaties stemprinter en stemmenteller
De specificaties voor de stemprinter en de stemmenteller zijn onderverdeeld in meerdere onderdelen.
Per onderdeel kunt u aangeven welke specificaties u niet realiseerbaar acht en waarom niet. Indien u
voor de specificaties die u realiseerbaar acht bepaalde aannames hanteert, dan verzoeken wij u deze
expliciet te vermelden.

•

Deel 2: Specifieke vragen over bepaalde specificaties en thema’s
Dit betreft de beantwoording van een aantal open vragen die uitvoerige, inhoudelijke beantwoording
vereisen.

•

Deel 3: Vragen over doorlooptijd en kosten
Dit betreft de beantwoording van een aantal open vragen die uitvoerige, inhoudelijke beantwoording
vereisen.

Instructie deelname aan het onderzoek
Om deel te nemen aan dit onderzoek neemt u de volgende stappen:
1. Bevestigen deelname aan het onderzoek
We verzoeken u uw deelname aan dit onderzoek bij het Atos Consulting Onderzoeksteam te bevestigen.
Dit kunt u doen door een e-mail te versturen naar XXX. Als titel voor het mailbericht gebruikt u:
‘Bevestiging deelname onderzoek Stemprinter en stemmenteller’.
2. Bestuderen documentatie rondom de specificaties
Alle beschikbare informatie voor beantwoording van de vragen van het onderzoek kunt u vinden op de
website ‘Feasibility study of the ballot printer and vote counter’. Deze documentatie kunt u downloaden
en bestuderen alvorens u de vragen over de specificaties gaat beantwoorden.
3. Invullen van het ‘Beantwoordingsdocument’
Dit beantwoordingsdocument bevat de specificaties van de stemprinter en stemmenteller. Het betreft
een MS-Word document waarin u direct uw beantwoording kunt verwerken, in de Engelse of
Nederlandse taal. Onderdeel van dit beantwoordingsdocument is een formulier waarin u uw
contactgegevens kunt invullen. Dit is wenselijk zodat we u zo nodig kunnen contacteren in relatie tot uw
beantwoording van de vragen over de specificaties. Daarnaast kunt u in dit formulier aangeven of u het
beantwoordingsdocument wilt invullen voor de specificaties voor de stemprinter, de stemmenteller of
voor beide. U vindt het ‘Invulformulier Basisgegevens (markt)partij’ vooraan in dit document.

8

4. Versturen van het ‘Beantwoordingsdocument’ naar onderzoeksteam
Het ingevulde beantwoordingsdocument en relevante bijlagen kunt u tot 16 september 2016 om 17:00
(CET) per e-mail versturen naar XXX. Als titel voor het mailbericht gebruikt u: ‘Beantwoording
vragenlijst onderzoek Stemprinter en stemmenteller’.
Contactgegevens
Dit onderzoek wordt uitgevoerd door Atos Consulting in opdracht van het ministerie van Binnenlandse
Zaken en Koninkrijksrelaties. Voor eventuele vragen met betrekking tot dit onderzoek kunt u contact
opnemen met:
Atos Consulting Onderzoeksteam
E-mail: XXX

9

Korte introductie van de stemprinter en stemmenteller
Stemprinter
De stemprinter is bedoeld om door de kiezer gebruikt te worden in een stemlokaal waar een stembureau
toezicht houdt op het verloop van de verkiezing(en). De stemprinter is de verzamelnaam voor alle
apparatuur en programmatuur waarmee de kiezer in staat wordt gesteld om een keuze te maken voor een
verkiezing (lijstverkiezing of referendum), de keuze te bevestigen en een papieren stembiljet te printen.
Een kiezer die het door de stemprinter geprinte papieren stembiljet controleert en meent dat het stembiljet
niet juist is, kan de mogelijkheid krijgen om dit te melden bij het stembureau waarna het stembureau de
kiezer de mogelijkheid kan geven om opnieuw een keuze met de stemprinter te maken.
Na het papieren stembiljet te hebben gecontroleerd, vouwt de kiezer het stembiljet op de voorgevouwen
plek en deponeert hij het stembiljet in een fysieke stembus. De stembus maakt geen onderdeel uit van de
stemprinter.
Het gebruik van de stemprinter om een papieren stembiljet te printen maakt het mogelijk om bij het
stemmen het papieren stemproces leidend te laten zijn. Dat is zo, omdat de kiezer de mogelijkheid heeft
het geprinte papieren stembiljet te lezen en dan vast te stellen of op het papier staat wat hij/zij
daadwerkelijk heeft willen stemmen. De stemprinter wordt niet gebruikt om de stem vast te leggen en te
tellen. Als de stemprinter, om welke reden dan ook, tijdens het gebruik een keuze op het stembiljet print
die niet de keuze is die de kiezer heeft gemaakt, dan wordt dat alleen opgemerkt als de kiezers het
stembiljet goed controleert.
De stemprinter mag geen gegevens bevatten die gerelateerd kunnen worden aan de identiteit van een
individuele kiezer. De keuze die de kiezer maakt op een stemprinter moet opgeslagen worden om een
stembiljet te kunnen printen waar de keuze op staat. Na het printen wordt de keuze zodanig gewist met
gebruikmaking van de verwijdertechnieken die gangbaar zijn dat alleen met forensische methoden sporen
van de stemkeuze te achterhalen kunnen zijn. Hiermee, maar ook met de maatregelen die moeten worden
genomen om het afgeven van zogenaamde compromitterende straling te beperken, moet het stemgeheim
van de kiezer zo optimaal mogelijk worden gewaarborgd.

Stemmenteller
De stemmenteller is het verzamelbegrip waarmee alle apparatuur en programmatuur wordt bedoeld
waarmee:
•

papieren stembiljetten worden gescand;

•

het gescande stembiljet wordt geteld;

•

op een gescand en geteld stembiljet een volgnummer wordt geprint;

•

de gescande stembiljetten worden uitgevoerd in de daarvoor bestemde uitvoerbakken;

•

het telresultaat wordt gegenereerd zowel in papieren- als in elektronische vorm. Het papieren
telresultaat is een bijlage bij het proces-verbaal dat door het stembureau wordt ondertekend en
openbaar wordt gemaakt door het op internet te zetten.

De stemmenteller wordt door leden van het stembureau bediend als het elektronisch tellen van de
stembiljetten in het stemlokaal plaatsvindt. Indien daar aanleiding toe is - bijvoorbeeld als er een verschil is
tussen het aantal toegelaten kiezers en het aantal uitgebrachte stemmen – dan kan door het stembureau
opnieuw een telling met de stemmenteller plaatsvinden. In het geval het centraal stembureau tot een

10

hertelling besluit en bij die hertelling de papieren stembiljetten elektronisch worden geteld, dan zal de
bediening van de stemmenteller plaatsvinden door andere daartoe aangewezen personen.
De stemmenteller moet stembiljetten kunnen tellen die door een stemprinter zijn geprint. Daarnaast moet
de stemmenteller ook stembiljetten kunnen tellen die handmatig zijn ingevuld.
De stemmenteller moet derhalve zowel stembiljetten kunnen tellen die door een stemprinter zijn geprint als
een handmatig ingevuld stembiljet, maar niet beide door elkaar voor eenzelfde stemming.
De stemmenteller moet het mogelijk maken om de stembiljetten nauwkeurig te tellen. Verder moet het
tellen met de stemmenteller sneller zijn dan het handmatig tellen van de (huidige) papieren stembiljetten.
Bij de stemmenteller wordt aan het principe dat het papier leidend is, invulling gegeven door een
handmatige steekproefcontrole uit te voeren op de juiste verwerking van de elektronisch getelde
stembiljetten. Als de uitkomst van deze controle daar aanleiding toe geeft moeten de stembiljetten alsnog
handmatig worden geteld.
Common Criteria certificering
De stemprinter en stemmenteller moeten Common Criteria gecertificeerd worden conform daarvoor
opgestelde en gecertificeerde Protection Profiles. Bij dit document zijn Protection Profiles bijgevoegd die zijn
opgesteld ten behoeve van het onderzoek van de Nederlandse overheid naar de haalbaarheid van de
stemprinter en stemmenteller. Deze Protection Profiles zijn niet gecertificeerd.
De Protection Profiles gaan uit van een bescherming tegen de meest geavanceerde aanvaller die de
Common Criteria onderkent, een zogenaamd “High Attack Potential”.
De Common Crriteria certificering van volledige systemen is zeker nog geen gemeengoed. Het aantal
bedrijven dat ervaring heeft met Common Criteria certificeringen is daarom relatief gering. Deskundigen op
het gebied van Common Criteria certificering zijn van mening dat het hebben van ervaring met Common
Criteria certificering op een niveau van EAL 4 of hoger noodzakelijk is om een stemprinter en stemmenteller
te ontwikkelen die Common Criteria gecertificeerd zullen kunnen worden.
Volgens de Common Criteria vinden voor de certificering controles en testen door het evaluerend
laboratorium plaats op prototypes. Door fouten of wijzigingen in het productieproces (bewust of onbewust)
is niet uit te sluiten dat de exemplaren die vervolgens worden geproduceerd om geleverd te worden niet
identiek zijn aan de prototypes die zijn gecertificeerd. Om dat risico uit te sluiten is in de Protection Profiles
bepaald dat, na de certificering, een evaluerend laboratorium voor elk geproduceerd exemplaar vaststelt
dat deze identiek is aan het geëvalueerde exemplaar.
Onafhankelijke instantie
Zou de Nederlandse overheid besluiten tot de invoering van de stemprinter en stemmenteller dan zullen de
specificaties die gelden voor deze systemen onderhouden moeten worden. Onafhankelijke deskundigen
zullen daar de overheid over adviseren. De onafhankelijke deskundigen zullen daartoe dreiging- en risicoanalyses uitvoeren en op basis daarvan vaststellen of bijvoorbeeld de protection profiles voor de Common
Criteria aangepast dienen te worden. Indien er wijzigingen in de apparatuur en/of programmatuur van de
stemprinter en/of stemmenteller moeten worden aangebracht bepalen de onafhankelijke deskundigen of
een nieuwe certificering noodzakelijk is.
De uitkomsten van de toets worden door de overheid openbaar gemaakt. Ter voorkoming van

11

misverstanden wordt er uitdrukkelijk op gewezen dat de onafhankelijke deskundigen niet verward mogen
worden met de certificerende instantie(s).
Invoering
Indien de Nederlandse overheid besluit tot invoering van stemprinters en stemmentellers dan
is de aanname dat dit (heel) geleidelijk zal gebeuren. In eerste instantie zal er heel kleinschalig
geëxperimenteerd worden waarbij uiteraard de gebruikte stemprinters en stemmentellers aan alle
specificaties (inclusief Common Criteria certificering en voldoen aan SDIP 27/1 Level A) zullen moeten
voldoen. Voorafgaand aan een experiment zal er door de Nederlandse overheid heel grondig getest worden
om te kunnen bepalen of de stemprinter en stemmenteller bij een echte verkiezing ingezet kunnen worden.
Experimenten worden geëvalueerd. Uit de evaluatie zullen verbeterpunten komen die in stemprinters en
stemmentellers doorgevoerd moeten worden. Als de aanpassing invloed heeft op de beveiliging, dan is een
Common Criteria hercertifiering nodig en bij aanpassingen in apparatuur van een stemprinter ook een
nieuwe SDIP 27/1 certificeringstest en individuele metingen van alle stemprinters. Bij volgende
experimenten herhaalt zich dit proces.
De aanname is dat bij een uiteindelijke landelijke invoering in heel Nederland dezelfde stemprinters en
stemmentellers worden gebruikt.

12

Verkiezingen in Nederland
Hieronder worden de verkiezingen vermeld waarvoor de stemprinter en stemmenteller gebruikt zullen
kunnen worden als wordt besloten die systemen in te voeren, te weten:
•

Verkiezing van de gemeenteraden
Deze verkiezing vindt 1 keer per 4 jaar plaats.

•

Verkiezing van de leden van Provinciale Staten
Deze verkiezing vindt 1 keer per 4 jaar plaats.

•

De verkiezing van de Eilandsraden van Bonaire, Sint Eustatius en Saba
Deze verkiezing vindt alleen in deze drie openbare lichamen plaats 1 keer in de 4 jaar.
Deze verkiezing vindt op dezelfde dag plaats als de verkiezing van de Provinciale Staten in de
gemeenten. In de openbare lichamen wordt de verkiezing van de Provinciale Staten niet gehouden.

•

De verkiezing van de besturen van de waterschappen
Deze verkiezing vindt 1 keer per 4 jaar plaats op dezelfde dag als de verkiezing van de leden van
Provinciale Staten. De verkiezing vindt niet plaats in de openbare lichamen Bonaire, Sint Eustatius en
Saba.

•

De verkiezing van de leden van het Europees Parlement
Deze verkiezing vindt 1 keer in de 5 jaar plaats.

•

De verkiezing van de leden van de Tweede Kamer
Deze verkiezing vindt in beginsel 1 keer in de 4 jaar plaats. Echter indien het kabinet valt kan er
tussentijds een verkiezing van de Tweede Kamer plaatsvinden. Ter illustratie hebben in de periode 2000
tot en met 2014 5 verkiezingen van de leden van de Tweede Kamer plaatsgevonden, te weten in 2002,
2003, 2006, 2010 en 2012.

•

Landelijke raadgevende referenda
De wet raadgevend referendum maakt het mogelijk dat er landelijke raadgevende referenda worden
gehouden. Of en zo ja, hoeveel raadgevende referenda plaats vinden en wanneer is onvoorspelbaar.
Het is mogelijk dat er meerdere raadgevende referenda tegelijk plaatsvinden. Het is ook mogelijk dat er
raadgevende referenda plaatsvinden in combinatie met de verkiezingen die op basis van de Kieswet
plaatsvinden. Het is ook mogelijk dat tegelijk met een of meer raadgevende referenda ook een of meer
lokale referenda plaatsvinden.

•

Lokale verkiezingen
Gemeenten kunnen besluiten lokale verkiezingen te houden voor bijvoorbeeld gebiedscommissies. In de
praktijk worden die verkiezingen veelal gehouden op de dag dat de verkiezingen gehouden worden voor
de gemeenteraden.

•

Lokale referenda
Gemeenten kunnen besluiten lokale referenda te houden en wanneer die gehouden moeten worden.

De Nederlandse wet- en regelgeving bepaalt gedetailleerd welke formele stappen gezet moeten worden om
een verkiezing te organiseren en om de uitslag ervan formeel te kunnen bepalen.
De wet- en regelgeving bepaalt voor een aantal van deze stappen de (fatale) termijnen die moeten worden
aangehouden. Bij dit document is een aantal verkiezingskalenders bijgevoegd aan de hand waarvan de
tijdlijnen worden geïllustreerd die gelden bij verkiezingen.
In Nederland worden landelijke verkiezingen geëvalueerd door het ministerie van Binnenlandse Zaken en
Koninkrijksrelaties. De evaluaties zijn bedoeld om na te gaan hoe een verkiezing is verlopen en om te
bezien wat er bij toekomstige verkiezingen beter kan.

13

Lijsten, kandidaten en stemmen
In Nederland geldt voor lijstverkiezingen geen maximum aan het aantal partijen dat deel kan nemen. De
Kieswet hanteert het begrip ‘lijst” in plaats van de term (politieke) partij. In dit stuk wordt verder
gesproken over partij, omdat dit het begrip is dat in de praktijk wordt gebruikt.
Het komt regelmatig voor dat bij een verkiezing meer dan 20 partijen deelnemen. Per partij kunnen
maximaal 80 kandidaten verkiesbaar zijn.
Een kiezer mag voor een verkiezing zelf 1 stem uitbrengen. Daarnaast kan een kiezer tegelijk met zijn
eigen stem maximaal 2 stemmen voor 2 andere kiezers uitbrengen indien hij daartoe is gemachtigd
(volmachtstemmen). Tussen de 10 en 15% van de stemmen wordt als volmachtstem uitgebracht.
Gekozen kan worden voor een partij/kandidaat of blanco. Bij een referendumverkiezing kan men
voor/tegen/blanco stemmen. Een blanco stem is in Nederland een geldige stem.
Stemlokalen in Nederland
In Nederland bepalen de gemeenten waar een stemlokaal wordt ingericht. Er gelden thans geen eisen cq
specificaties voor de stemlokalen. Bij een landelijke verkiezing worden in Nederland ca 10.000 stembureaus
ingericht. Meestal is er 1 stembureau per stemlokaal. Het komt echter voor dat er meer dan 1 stembureau
in 1 stemlokaal zitting heeft.
In 2004 is Nederland begonnen met het experimenteren met het stemmen in een stemlokaal van eigen
keuze. In 2007 is dat landelijk ingevoerd. Dit betekent dat een kiezer binnen de eigen gemeente zelf kan
bepalen in welk stemlokaal hij/zij stemt. Als gevolg hiervan is niet meer van te voren te voorspellen hoeveel
kiezers er (maximaal) een stem zullen uitbrengen in één bepaald stemlokaal.
Omdat kiezers zelf kunnen bepalen waar ze willen stemmen, proberen gemeenten stemlokalen in te richten
op plaatsen waar (relatief) veel kiezers gebruik van kunnen maken. Zo zijn de afgelopen jaren op steeds
meer treinstations stemlokalen gekomen. Ook worden er steeds vaker stemlokalen ingericht in winkels en in
winkelcomplexen. Gemeenten proberen ook, om meer kiezers te trekken, stemlokalen in te richten op
bijzondere locaties, zoals in musea.
De eventuele invoering van een stemprinter en stemmenteller dient bij voorkeur geen (nieuwe)
belemmeringen op te werpen voor het aanwijzen van stemlokalen door de gemeenten. Bijgevoegd bij dit
document is een beeld van de locaties waar in Nederland stemlokalen worden gevestigd.

14

Deel 1 - Specificaties stemprinter en stemmenteller
Hieronder zijn de specificaties weergegeven voor de stemprinter en stemmenteller. De specificaties hebben
betrekking op:
A. Transparantie ten aanzien van stemprinter en stemmenteller
B. Documentatie over stemprinter en stemmenteller
C. Functionaliteit en bediening algemeen
D. Functionaliteit en bediening stemprinter
E.

Functionaliteit en bediening stemmenteller

F.

Stembiljet dat door stemprinter wordt geprint

G. Apparatuur
H. Standaarden en normen
I.

Prestaties

J.

Beveiliging - Common Criteria

K. Beveiliging - compromitterende straling
L.

Beleid ten aanzien van beveiliging

M. Ontwikkelproces van stemprinters, stemmentellers en elektronische tokens
N. Doorvoeren van wijzigingen aan de stemprinter, de stemmenteller en elektronisch tokens
O. Fysieke distributie en onderhoud
P.

Ondersteuning

Antwoordinstructie:
•

Na elk onderdeel A tot en met P staat een kader met de vraag ‘Wat uit de voorgaande specificatie
acht u niet realiseerbaar en waarom niet?’. U wordt verzocht deze vraag per onderdeel van
specificaties te beantwoorden, waar nodig specifiek voor stemprinter en/of stemmenteller in een
separaat kader.

•

Als u voor wat u realiseerbaar acht uitgaat van specifieke aannames, wordt u verzocht die te
vermelden in het antwoordkader.

A. Transparantie ten aanzien van stemprinter en stemmenteller
A1.

De stemprinter en stemmenteller zijn zonder beperkingen te gebruiken. Licenties van gebruikte
standaardcomponenten mogen (bijvoorbeeld) niet leiden tot beperkingen bij het gebruik en de inzet van
stemprinters en stemmentellers.

A2.

Uitgangspunten, ontwerpkeuzen etc. die worden gehanteerd cq gemaakt in het kader van de ontwikkeling,
de productie, het doorvoeren van wijzigingen, het onderhoud en de ondersteuning van het gebruik van de
stemprinters, stemmentellers en elektronische tokens worden altijd gedocumenteerd. Dit geldt ook in het
geval het gaat om toepassing van standaarden. Te maken keuzen worden altijd aan de overheid
voorgelegd.

A3.

De locatie(s) die gebruikt worden voor het ontwikkelen, produceren, onderhouden, wijzigen, testen en
distribueren van de stemprinters, stemmentellers en elektronische tokens zijn toegankelijk voor
medewerkers van de overheid of voor personen die in opdracht van de overheid handelen. Verzoeken van
de overheid om de locaties te bezoeken kunnen niet geweigerd worden.

A4.

Alles (w.o. ontwerpen, documentatie, de broncode van programmatuur, de ontwikkelomgeving, specificaties
van apparatuur, werkinstructies, registraties, etc.) dat zal worden ontwikkeld/ opgesteld/ gewijzigd/

15

bijgehouden moet worden, dan wel zal gaan worden ingezet is voor de overheid (dan wel voor partijen die
namens de overheid opereren) volledig toegankelijk en kan , zonder dat daar toestemming voor nodig is,
door de overheid openbaar worden gemaakt.
A5.

De overheid kan op elk moment onderzoeken, testen, audits, reviews, broncode-analyses, contraexpertises, etc. laten uitvoeren onder andere om de goede werking van de programmatuur en de
apparatuur vast te stellen. De uitkomsten daarvan kunnen zonder restricties door de overheid openbaar
worden gemaakt.

Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel wordt ook de specifieke vraag 16 gesteld.

B. Documentatie over stemprinter en stemmenteller
B1.

In systeem- en gebruikershandleidingen moet de werking van de functionaliteiten van de geleverde
apparatuur en programmatuur zijn beschreven. Alle foutmeldingen/ foutcodes die kunnen voorkomen
moeten in deze documenten zijn opgenomen en de betekenis en oplossing moet zijn beschreven.

B2.

Documentatie die wordt opgesteld voor het ontwikkelen, produceren, onderhouden, wijzigen, testen,
distribueren en gebruiken van de stemprinters, stemmentellers en elektronische tokens dient altijd actueel
te zijn, dat wil zeggen wat in de documentatie staat moet overeenkomen met de implementatie. Het actueel
zijn van de documentatie moet controleerbaar zijn voor de overheid onder meer aan de hand van het
gevoerde versiebeheer.

B3.

De documentatie dient begrijpelijk te zijn voor de personen die de documentatie moeten gebruiken,
waaronder gebruikshandleidingen voor medewerkers van gemeenten en (voorzover van toepassing) leden
van stembureaus. De documentatie moet in het Nederlands zijn gesteld. Om vast te stellen dat de
documentatie begrijpelijk is worden door de overheid gebruikerstesten gehouden. De overheid bepaalt de
wijze waarop de gebruikerstesten worden georganiseerd.
Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

16

Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

C. Functionaliteit en bediening algemeen
C1.

De stemprinter en stemmenteller functioneren geheel op zichzelf (stand-alone) en zijn niet verbonden met
andere apparatuur, uitgezonderd de tijdelijke verbinding met elektronische tokens op het moment dat deze
worden gebruikt voor het activeren van de stemprinter en stemmenteller.

C2.

Deze specificaties bevatten (bijlage ”Voorbeeld specificatie voor gebruikersinterface voor stemprinter”) een
indicatief voorbeeld van de gebruikersinterface voor de stemprinter inclusief indeling en opmaak stembiljet.
De gebruikersinterface voor de stemmenprinter en stemmenteller wordt ontworpen door de overheid
(inclusief de eigenschappen van de apparatuur voor de gebruikersinterface en de indeling en opmaak van
het door de stemprinter te printen stembiljet). Het ontwerpen gebeurt in meerdere iteraties waarbij
simulaties worden gebruikt om testen met gebruikers uit te voeren. De uitkomsten van de testen kunnen
tot aanpassing in het ontwerp leiden.

C3.

De stemprinter en stemmenteller moet in de diversiteit van stemlokalen die in Nederland voorkomen
gebruikt kunnen worden. Een illustratie van de diversiteit aan stemlokalen is te vinden in de bijlage
“Locaties stemlokalen in Nederland”

C4.

Eén stemprinter of één stemmenteller moet door 1 persoon binnen 5 minuten gereed gemaakt voor gebruik
en afgebouwd kunnen worden. Dit is inclusief de tijd die nodig is om de stemprinter of stemmenteller uit de
(transport-)behuizing te halen en weer in te pakken.

C5.

Om een stemprinter van blanco stembiljettenpapier te voorzien, om een stemmenteller van papier te
voorzien voor het printen van het telresultaat en om (andere) verbruiksmaterialen te vervangen is geen
gereedschap nodig.

C6.

Voor meldingen die door de stemprinter en stemmenteller worden gegeven geldt:
a) De status van een stemprinter en stemmenteller moet voor de gebruiker zichtbaar.
b) Foutmeldingen zijn geformuleerd in begrijpelijke processtappen zodat de gebruiker weet wat er moet
gebeuren.
c)

Uit de melding moet eenduidig blijken of een probleem door een handeling van de gebruiker is te
verhelpen danwel wie moet worden ingeschakeld (voor een kiezer is dat het stembureau en voor het
stembureau of een medewerker van gemeente/openbaar lichaam is dat de service-organisatie).

d) De urgentie moet eenduidig uit de melding blijken, bijvoorbeeld door kleuren te gebruiken.
C7.

De stemprinter en stemmenteller beschikken over de volgende beheer- en onderhoudfunctionaliteit:
a) Uitlezen van een elektronisch token waarna stemprinter en stemmenteller kunnen worden
geconfigureerd tbv een of meerdere verkiezingen.
b) Configureren door ambtenaren van de gemeente/openbaar lichaam van een stemprinter/stemmenteller
met de gegevens voor een of meerdere verkiezingen. De configuratie met verkiezingsgegevens kan
alleen plaatsvinden als de stemprinter/stemmenteller de vereiste samenstelling van apparatuur en

17

programmatuur heeft (uitgedrukt in een versienummer) die in de verkiezingsgegevens is vermeld, dit
om te voorkomen dat tijdens verkiezingen een niet bijgewerkte stemprinter/stemmenteller wordt
gebruikt.
c)

Instellen door ambtenaren van de gemeente/openbaar lichaam van de elektronische tokens waarmee
stembureauleden, ambtenaren van de gemeenten en de service-organisatie van
stemprinters/stemmentellers toegang krijgen tot de stemprinter/stemmenteller.

d) Instellen/wijzigen door ambtenaren van de gemeente/openbaar lichaam voor welke verkiezing(en) de
stemprinter kan worden gebruikt en voor welke verkiezingen de stembiljetten door de stemmenteller
kunnen worden geteld.
e) Instellen/wijzigen door ambtenaren van de gemeente/openbaar lichaam van de elektronische tokens
waarmee de stemprinter voor een verkiezing wordt geactiveerd.
f)

Invoeren/wijzigen door ambtenaren van de gemeente/openbaar lichaam van het nummer van het
stemlokaal waar een stemprinter/stemmenteller zal worden gebruikt (wordt geprint op stembiljet).

g) Het door ambtenaren van de gemeente/openbaar lichaam en de service-organisatie van
stemprinters/stemmentellers wissen (deconfigureren) van de log en verkiezingsgegevens. Wissen van
log en verkiezingsgegevens is pas mogelijk na het aantal dagen na de verkiezing dat in de
verkiezingsgegevens is vermeld. Wissen mag namelijk pas plaatsvinden nadat de uitslag van de
verkiezing onherroepelijk is geworden. De gewiste log en verkiezingsgegevens mogen na wissen niet
meer door gebruikers van stemprinter/stemmenteller ingezien kunnen worden.
h) Voorzien door ambtenaren van de gemeente/openbaar lichaam van een stemprinter/stemmenteller van
updates van programmatuur en instellingen.
C8.

De stemprinter en stemmenteller beschikken over de volgende verantwoordings- en controlefunctionaliteit:
a) De stemprinter en stemmenteller houden een log bij met alle gebeurtenissen en gegevens die zijn
verwerkt, waaronder de handelingen die met de stemprinter/stemmenteller zijn uitgevoerd, de
verwerking die heeft plaatsgevonden, de foutsituaties die zijn opgetreden en de beveiliging gerelateerde
gebeurtenissen, met uitzondering van de gebeurtenissen en gegevens waaruit een stemkeuze is te
herleiden.
b) Door ambtenaren van de gemeente/openbaar lichaam en de service-organisatie van
stemprinters/stemmentellers de log van de stemprinter/stemmenteller kan worden gekopieerd.
c)

Door ambtenaren van de gemeente/openbaar lichaam en de service-organisatie van
stemprinters/stemmentellers de programmatuur, instellingen in de programmatuur en
verkiezingsgegevens kunnen van de stemprinter/stemmenteller worden gekopieerd.
Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel worden ook de specifieke vragen 7, 8 en 9 gesteld.

18

D. Functionaliteit en bediening stemprinter
D1.

Ter verduidelijking van de hiernavolgende functionaliteiten is hieronder uitgeschreven hoe de kiezer met de
stemprinter een keuze zou kunnen maken.
a) De stemprinter kent de volgende vier wijzen van bedienen:
1. Aanraakschermmodus: de kiezer kan door het scherm aan te raken de geboden keuzes maken cq
bevestigen. Dit is voor een kiezer de standaard wijze van bedienen.
2. Aanraakschermmodus met audio-ondersteuning: de kiezer krijgt via de koptelefoon voorgelezen
hoe hij de stemprinter kan bedienen en welke opties er mogelijk zijn. Door vervolgens het scherm
aan te raken kan de kiezer de geboden keuzes maken cq bevestigen.
3. Scherm met fysieke knoppen modus: de kiezer bedient de stemprinter met de fysieke knoppen. De
keuzes en terugkoppeling worden aangeboden via het scherm.
4. Audio-interactiemodus: de kiezer bedient de stemprinter alleen met fysieke knoppen en via een
koptelefoon uitgesproken teksten. Via de koptelefoon wordt een instructie gegeven over de keuzes
die een kiezer kan maken en hoe de kiezer door de keuzen moet lopen en een keuze kan
bevestigen.
b) De kiezer krijgt na het invoeren van het elektronisch token voor de activering te zien/te horen voor
welke verkiezing een stemkeuze gemaakt kan worden.
c)

Voor een lijstverkiezing moet een kiezer eerst een partij selecteren en vervolgens van die partij een
kandidaat. In plaats van een partij te selecteren kan de kiezer ook een keuze maken voor een blanco
stem. Op het aanraakscherm wordt er van uitgegaan dat kandidaten van een partij per 20 worden
weergegeven, met opties om indien van toepassing de volgende en/of vorige 20 weer te geven.

d) Voor een referendum krijgt de kiezer de referendumvraag te zien/horen en moet deze een keuze maken
uit de opties voor, tegen of blanco.
e) Alvorens een stembiljet te printen moet de stemkeuze eerst nog worden bevestigd.
f)

De kiezer heeft totdat een stemkeuze is bevestigd de optie om een stap terug te gaan.

g) Na printen van het stembiljet moet de kiezer die niet werkt in de audio-interactiemodus aangeven of
het geprinte stembiljet juist is of onjuist. Geeft de kiezer aan dat het stembiljet onjuist is, dan krijgt de
kiezer de melding om zich met het geprinte stembiljet te melden bij het stembureau.
h) Geeft de kiezer aan dat het stembiljet juist is, dan wordt aan de kiezer gevraagd of hij nog een
elektronisch token heeft om een volgende stemkeuze mee te maken. De kiezer kan alleen nog een
elektronisch token hebben als op 1 dag meer dan 1 verkiezing wordt gehouden of als de kiezer nog
volmachtstemmen kan uitbrengen. Geeft de kiezer aan niet nog een elektronisch token te hebben, dan
krijgt de kiezer het verzoek het geprinte stembiljet dan wel de geprinte stembiljetten in de fysieke
stembus te doen om zijn stem uit te brengen.
D2.

De stemprinter beschikt over de volgende functionaliteit:
a) Uitlezen en inslikken van het elektronisch token waarmee de stemprinter door een kiezer wordt
geactiveerd voor het maken van een stemkeuze voor een verkiezing.
b) Maakt gebruik van een 24inch drukgevoelig aanraakscherm met landscape oriëntatie en antireflectiescherm.
c)

Moet te bedienen zijn met het aanraakscherm en met fysieke knoppen.

d) Bij bediening met aanraakscherm mogelijkheid tot ondersteuning met audio.
e) Mogelijkheid tot bediening van de stemprinter met enkel de fysieke knoppen in combinatie met audio
zonder gebruik te maken van weergave op het aanraakscherm.
f)

Tonen aan kiezer voor welke verkiezing een stemkeuze gemaakt kan worden.

g) Door de kiezer selecteren van een partij, waarbij alle partijen op 1 scherm worden getoond.

19

h) Binnen een geselecteerde partij selecteren van een kandidaat. Omdat in Nederland partijen maximaal
80 kandidaten verkiesbaar mogen stellen worden de kandidaten niet op 1 scherm getoond, maar in
opeenvolgende schermen. Uitgegaan wordt van 20 kandidaten op 1 scherm.
i)

Kiezen voor blanco stem.

j)

Kiezen van voor, tegen of blanco als antwoord op een referendumvraag.

k) Tonen van de gemaakte stemkeuze. De stemprinter moet de keuze van de kiezer tonen en niet iets
anders.
l)

Bevestigen door de kiezer van de gemaakte stemkeuze.

m) Printen op het stembiljet in kleur van de verkiezingsgegevens (dubbelzijdig) en de stemkeuze die de
kiezer heeft bevestigd. Om te zorgen dat na dubbelvouwen van het stembiljet aan de buitenkant te zien
is voor welke verkiezing het stembiljet is worden de verkiezingsgegevens op zowel de voorkant als
achterkant van het stembiljet geprint. De verkiezingsgegevens zijn: naam van de verkiezing, datum van
de verkiezing en nummer van het stembureau. Verder wordt op de voorkant van het stembiljet de
stemkeuze geprint:
o

bij een lijstverkiezing: gekozen lijst (+ eventueel logo gekozen lijst), gekozen kandidaat (+
eventueel foto gekozen kandidaat) of blanco.

o

bij een referendum: referendumvraag, voor of tegen of blanco.

n) De stembiljetten moeten met de kant waar de stemkeuze op staat naar onder worden uitgevoerd, zodat
de kiezer het stembiljet moet uitnemen om de geprinte stemkeuze te zien en te controleren.
o) Voorlezen van teksten en instructies (audio-ondersteuning) via een koptelefoon;
p) De koptelefoon moet een zogenaamde “studio koptelefoon” zijn die in staat is om maximaal het
omgevingsgeluid te dempen en het geluid dat uit de koptelefoon “ontsnapt” te minimaliseren.
q) Het volume van de koptelefoon moet instelbaar zijn door de kiezer, bij voorkeur op de koptelefoon zelf
en anders met fysieke knoppen.
r)

Detecteren en melding geven (visueel en auditief) dat voorraad papier waarop stembiljet wordt geprint
op is en bijgevuld moet worden.

s)

Detecteren en melding geven over problemen en/of foutsituaties.

t)

Bij stroomuitval melding geven en de programmatuur, waaronder het besturingssysteem, afsluiten en
daarna stemprinter uitzetten.

u) De printer in de stemprinter (waarmee het stembiljet wordt geprint) start direct na het door de kiezer
bevestigen van de stemkeuze. Er dient geen merkbare opwarmtijd te zijn van de printer. Het printen
van één stembiljet zou, te rekenen vanaf het moment van bevestigen van de keuze door de kiezer tot
het moment dat het stembiljet uit de stemprinter genomen kan worden, maximaal 3 seconden moeten
duren.
v) De stemprinter is zowel zittend als staand te gebruiken. De schermhoek moet voor deze uiteenlopende
gebruikssituaties geoptimaliseerd zijn.
w) Meekijken op het beeldscherm en de fysieke knoppen van de stemprinter moet voorkomen worden. De
totale opstelling en constructie van de stemprinter is zodanig gemaakt dat iemand anders dan de kiezer
niet kan zien welke stemkeuze door de kiezer wordt/is gemaakt. Dit moet zodanig uitgevoerd worden
dat ook als de stemprinters naast elkaar worden geplaatst het niet mogelijk is mee te kijken met wat
een kiezer op de stemprinter doet door kiezers die bezig zijn op de aanpalende stemprinters.
x) Mogelijkheid voor stembureauleden om zonder gebruik van gereedschap de elektronische tokens
waarmee een stemprinter voor een kiezer wordt geactiveerd uit de stemprinter te halen om de
elektronische tokens opnieuw voor activering te gebruiken
y) De stemprinter kan een voorraad van minimaal 1.000 te beprinten stembiljetten bevatten.
D3.

De stemprinter moet de volgende nauwkeurigheid hebben:
a) Met 1 elektronisch token mag precies maar 1 stembiljet worden geprint.
b) Het stembiljet bevat altijd alleen de stemkeuze die de kiezer heeft bevestigd.

20

Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel worden ook de specifieke vragen 4, 10 en 12 gesteld.

E. Functionaliteit en bediening stemmenteller
De overheid ontwerpt de gebruikersinterface van de stemmenteller. Een indicatief voorbeeld van een
specificatie van de gebruikersinterface is hieronder weergegeven. Waar dat ter verduidelijking van de
specificatie een toegevoegde waarde heeft, is een grafische weergave opgenomen.
E1. Invoer stemmenteller
a)

De stemmenteller kan stembiljetten verwerken die
gevouwen zijn geweest en handmatig zijn
opengevouwen.

b)

Stembiljetten moeten stapelsgewijs ingevoerd kunnen
worden. Een stapel kan minimaal 1 en maximaal 500
stembiljetten bevatten.

c)

De stemmenteller heeft een fysieke beperking die er
voor zorgt dat er niet meer stembiljetten ingevoerd
kunnen worden dan de maximale invoercapaciteit (zie
A).

d)

De stemmenteller heeft een visuele markering voor de
maximale invoercapaciteit (zie B).

e)

In een stapel stembiljetten die in de stemmenteller
wordt ingevoerd mogen de stembiljetten ten opzichte
van elkaar iets verschoven zijn. De stembiljetten in
een stapel hoeven enkel handmatig zonder
hulpmiddelen recht op elkaar gebracht te worden,
door met twee handen de stapel stembiljetten losjes

21

vast te houden en de stapel achtereenvolgens in beide
richtingen aan te slaan op een vlakke tafel.

f)

De stemmenteller dient een invoerlade te hebben met
een vormgeving en geleiding die helpt bij het recht op
elkaar leggen van de stembiljetten.

22

E2. Uitvoer stemmenteller
a)

De uitvoerbakken (op afbeelding aan de rechterkant)
hebben een kleurcodering. Groen voor de uitvoerbak
met de getelde stembiljetten en rood voor de bak met
de stembiljetten die ongeteld zijn doorgevoerd.

b)

De uitvoerbak bak met de stembiljetten die ongeteld
zijn doorgevoerd moet deels transparant zijn, zodat
zichtbaar is dat er stembiljetten in de uitvoerbak
zitten.

c)

De stapel nog te tellen stembiljetten in de invoerbak
en de stapels getelde en niet getelde stembiljetten in
de uitvoerbakken moeten voor de bediener van de
stemmenteller zichtbaar zijn.

d)

De uitvoerbak met de stembiljetten die ongeteld zijn
doorgevoerd moet afgesloten zijn tot het moment dat
de bediener van de stemmenteller ingevoerd heeft dat
geen stembiljetten van een stembus meer te scannen
zijn. De andere situatie waarin de uitvoerbak open
gemaakt moet kunnen worden is als de stemmenteller
de melding geeft dat de uitvoerbak vol dreigt te raken.

e)

De uitvoerbakken dienen een capaciteit te hebben van

f)

De stemmenteller geeft tijdens het telproces

in ieder geval 500 stembiljetten.
terugkoppeling over het aantal getelde en het aantal
ongeteld doorgevoerde stembiljetten.
g)

De stembiljetten moeten met de zijde waarop de
stemkeuze staat naar onder uitgevoerd worden naar
de uitvoerbak.

E3. Telstrook met het telresultaat
a)

De telstrook heeft het formaat A4 of een ander kleiner
standaardformaat.

b)

De telstrook dient voor een lijstverkiezing de volgende
informatie te bevatten:
•

Het nummer van het stembureau waarvan de
stembiljetten zijn geteld;

23

•

De naam van de verkiezing;

•

De datum van de verkiezing;

•

Het aantal voor die verkiezing getelde
stembiljetten;

•

Het aantal niet getelde stembiljetten;

•

Het aantal getelde stemmen per partij;

•

Het aantal getelde stemmen per kandidaat van een
partij;

•

In het geval van een handmatig ingevuld model
stembiljet dat toestaat wel een partij maar geen
kandidaat in te vullen: het aantal stemmen per
partij waarbij geen kandidaat is gekozen;

•
c)

Het aantal getelde blanco stembiljetten.

De telstrook dient bij een lijstverkiezing voor elk
geteld stembiljet de volgende informatie te bevatten:
•

Het aan het stembiljet toekende volgnummer;

•

Het nummer van de partij;

•

Het nummer van de kandidaat, of in het geval het
model stembiljet toestaat geen kandidaat in te
vullen wordt het nummer van de kandidaat leeg
gelaten;

•

d)

Of de vermelding blanco.

De telstrook dient voor een referendumverkiezing de
volgende informatie te bevatten:
•

Het nummer van het stembureau waarvan de

•

De naam van het referendum;

stembiljetten zijn geteld;
•

De datum van het referendum;

•

Het aantal voor het referendum getelde

•

Het aantal niet getelde stembiljetten;

stembiljetten;

e)

•

Het aantal getelde stemmen voor;

•

Het aantal getelde stemmen tegen;

•

Het aantal getelde blanco stemmen.

De telstrook dient bij een referendumverkiezing voor
elk geteld stembiljet de volgende informatie te
bevatten:
•

Het aan het stembiljet toekende volgnummer;

•

Voor, tegen of blanco.

24

E4. Meldingen van de stemmenteller
a)

De stemmenteller heeft een display voor meldingen
aan de bediener van de stemmenteller.

b)

De stemmenteller dient “zorgen” over het functioneren
van de stemmenteller bij de bediener van de
stemmenteller weg te nemen door tijdens het
elektronisch telproces stapsgewijs positieve feedback
te geven over de voortgang.

c)

Detecteert de stemmenteller een storing, dan wordt
het telproces gepauzeerd en de status via een display
gemeld aan de bediener van de stemmenteller.

E5.

De stemmenteller beschikt over de volgende functionaliteit:
a) Maakt voor het herkennen van een stemkeuze en andere gegevens op een stembiljet gebruik van
Optical Character Recognition (OCR).
b) De stemmenteller dient minimaal 1 invoerbak en 2 uitvoerbakken te hebben: 1 invoerbak voor te
scannen en tellen stembiljetten, 1 uitvoerbak voor de stembiljetten die door de stemmenteller zijn
geteld en 1 uitvoerbak voor stembiljetten die ongeteld zijn doorgevoerd.
c)

Uitlezen van een elektronische token waarna de stemmenteller voor het tellen van stembiljetten kan
worden gebruikt door het stembureau.

d) Het door de bediener van de stemmenteller invoeren van het stembureaunummer waarvoor
stembiljetten worden geteld. Standaard is dat het stembureaunummer dat bij de configuratie
voorafgaand aan de verkiezing is ingesteld.
e) Het door de bediener van de stemmenteller selecteren van de verkiezing en de bijbehorende datum
verkiezing waarvoor stembiljetten worden geteld.
f)

Het (zo nodig tweezijdig) scannen van een stembiljet dat door een stemprinter is gegenereerd en het
scannen van een stembiljet waar de kiezer, bijvoorbeeld door het inkleuren of aankruisen van een
vakje, handmatig een keuze op heeft bepaald.

g) Om te zorgen dat stembiljetten allemaal op dezelfde wijze worden uitgevoerd moeten stembiljetten op
een voorgeschreven wijze worden ingevoerd zodat de stemmenteller een stembiljet niet hoeft te
kunnen (om)draaien als deze niet goed is ingevoerd. De stemmenteller moet detecteren dat het
stembiljet op de voorgeschreven wijze is ingevoerd. Indien dat niet het geval is, dan moet het
stembiljet doorgevoeren naar uitvoerbak voor niet getelde stembiljetten.
h) Controleren dat op een stembiljet de geselecteerde verkiezing en de bijbehorende datum van de
verkiezing is vermeld waarvoor het stembiljet geteld wordt. Indien op het stembiljet niet de verkiezing
en bijbehorende datum van de verkiezing is vermeld waarvoor wordt geteld, dan het stembiljet
doorvoeren naar uitvoerbak voor niet getelde stembiljetten.

25

i)

Voor een door de stemprinter geprint model stembiljet controleren dat het stembureaunummer op het
stembiljet overeenkomt met het stembureaunummer dat in de stemmenteller is ingesteld/ingevoerd.
Komt dit stembureaunummer niet overeen, dan wordt het stembiljet doorgevoerd naar de uitvoerbak
voor niet getelde stembiljetten.

j)

Controleren dat het stembiljet – afgezien van de aangebrachte stemkeuze en eerder aangebrachte
volgnummers – niet afwijkt van het moedervel van het stembiljet. Is er wel een afwijking, dan wordt
het stembiljet doorgevoerd naar de uitvoerbak voor niet getelde stembiljetten.

k) Indien meerdere keren tellingen van de stembiljetten uit een stembus plaatsvinden, moet bij elke telling
het aan een stembiljet toegekende volgnummer op een andere plek worden geprint. Aan de hand van
de al aanwezige volgnummers op het eerste te tellen stembiljet uit een telling bepaalt de stemmenteller
op welke positie het volgnummer voor de nieuwe telling op een geteld stembiljet moet worden geprint.
l)

Detecteren dat er nog geen volgnummer staat op de positie waar het volgnummer moet worden
geprint. Staat er al wel een volgnummer, dan het stembiljet doorvoeren naar uitvoerbak voor niet
getelde stembiljetten.

m) Een handmatig ingevuld stembiljet dat niet met een voorgeschreven kleur is ingevuld doorvoeren naar
de uitvoerbak voor niet getelde stembiljetten.
n) Bepalen van de op een stembiljet uitgebrachte stem (lijst en kandidaat, referendum keuze dan wel
blanco). Als de stemkeuze niet eenduidig bepaald kan worden, dan wordt het stembiljet doorgevoerd
naar de uitvoerbak voor niet getelde stembiljetten.
o) Als de uitkomst van alle controles die de stemmenteller uitvoert op het gescande stembiljet succesvol
zijn en de stemmenteller eenduidig de keuze op het stembiljet kan bepalen, dan wordt aan het
stembiljet een oplopend volgnummer toegekend en geprint op de zijde van het stembiljet waarop de
stemkeuze staat, waarna het stembiljet wordt doorgevoerd naar de uitvoerbak met getelde
stembiljetten.
p) Het aan een stembiljet toegekend volgnummer, datum/tijd en de herkende stemkeuze wordt
opgeslagen in de stemmenteller.
q) De stembiljetten die door de stemmenteller in de uitvoerbak voor getelde stembiljetten worden
geplaatst moeten juist zijn geteld
r)

Ten behoeve van een controle van getelde stembiljetten, moet de stemmenteller de getelde
stembiljetten in stapels (batches) met een vaste grootte van 100 uitvoeren naar de uitvoerbak voor
getelde stembiljetten. De stemmenteller dient te pauzeren na het tellen van 1 batch van 100 getelde
stembiljetten, zodat de bediener van de stemmenteller de stapel uit de uitvoerbak voor getelde
stembiljetten kan halen.

s)

Geeft melding (visueel en auditief) als invoerbak leeg is en bijgevuld kan worden.

t)

Geeft melding (visueel en auditief) als invoerbak te veel stembiljetten bevat.

u) Geeft melding (visueel en auditief) als een stapel getelde stembiljetten uit de uitvoerbak voor getelde
stembiljetten gehaald kan worden.
v) Geeft melding (visueel en auditief) als de uitvoerbak voor niet getelde stembiljetten vol is en geleegd
moet worden.
w) De bediener van de stemmenteller moet kunnen invoeren dat er geen stembiljetten van een stembus
meer te scannen zijn.
x) Bij lijstverkiezing: Bepalen van het aantal getelde stembiljetten, het aantal stemmen per partij, per
partij het aantal stemmen per kandidaat en het aantal blanco stemmen.
y) Bij Referendum: Bepalen van het aantal getelde stembiljetten, het aantal stemmen voor, tegen en
blanco.
z)

Opslaan telresultaat.

aa) Kopiëren van het telresultaat in eml-formaat (election markup language) naar een extern opslag
medium.

26

bb) Afdrukken van het telresultaat op papier met als bijlage van elke geteld stembiljet het toegekende
volgnummer en de herkende stemkeuze.
cc) Opnieuw afdrukken van een (eerder) telresultaat op papier, inclusief bijlage met daarop van elke geteld
stembiljet het toegekende volgnummer en de herkende stemkeuze.
dd) Detecteren en melding geven (visueel en auditief) dat papier voor printen telresultaat op is en bijgevuld
moet worden.
ee) Detecteren en melding geven over problemen en/of foutsituaties.
ff) Bij stroomuitval melding geven en de programmatuur, waaronder het besturingssysteem, afsluiten en
daarna stemmenteller uitzetten.
E6.

De stemmenteller moet de volgende nauwkeurigheid hebben:
a) De stemmenteller mag maximaal 1% van de gescande stembiljetten met een te herkennen stemkeuze
onterecht doorvoeren naar de uitvoerbak met niet getelde stembiljetten.
b) De stemmenteller mag niet onterecht een stemkeuze herkennen.
c)

Er mogen geen stembiljetten in de uitvoerbak voor getelde stembiljetten terecht komen die niet door de
stemmenteller geteld zijn.

d) De stemmenteller mag stembiljetten niet zodanig beschadigen dat visuele beoordeling van het
stembiljet door het stembureau niet meer mogelijk is.
e) De stemmenteller mag niets aan gescande stembiljetten veranderen, met uitzondering van het op
getelde stembiljetten afdrukken van een volgnummer.
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel worden ook de specifieke vragen 5 en 6 gesteld.

F. Stembiljet dat door stemprinter wordt geprint
F1.

Het stembiljet dat door de stemprinter wordt geprint heeft een door de overheid te bepalen formaat.
Uitgegaan kan worden van A4 of een kleiner standaardformaat.

F2.

Het stembiljet heeft een echtheidskenmerk. Voor het echtheidskenmerk van een stembiljet kan worden
uitgegaan van een hologramfolie met bedrukking of een perforatie. Het echtheidskenmerk mag de werking
van een stemprinter en stemmenteller niet negatief beïnvloeden. Het echtheidskenmerk moet visueel door
een mens zonder hulpmiddelen te controleren zijn. De vorm van de hologramfolie (en/of de bedrukking)
danwel de vorm van de perforatie kan per verkiezing verschillen en wordt door de overheid bepaald.

F3.

Het stembiljet bevat geen barcode.

F4.

Het papier waarop de keuze van de kiezer wordt geprint is voorgevouwen.

27

Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel wordt ook de specifieke vraag 11 gesteld.

G. Apparatuur
G1.

De stemprinter en stemmenteller moeten, in verband met eventueel gebruik bij verkiezingen in Caribisch
Nederland, kunnen functioneren bij verschillende klimatologische (waaronder tropische) omstandigheden,
verschillende voltages (minimaal 110V en maximaal 240V) en netfrequenties (minimaal 50Hz en maximaal
60Hz). De apparatuur moet kunnen functioneren bij omgevingstemperaturen tussen de 10 en 35˚C en een
relatieve vochtigheid tussen de 10 en 85% (niet condenserend).

G2.

De stemprinter en stemmenteller moeten opgeslagen kunnen worden bij omgevingstemperaturen tussen de
5 en 45˚C en een relatieve vochtigheid tussen de 10 en 85% (niet condenserend).

G3.

Iedere stemprinter, stemmenteller en elektronische token is voorzien van een uniek zichtbaar nummer.

G4.

De stemprinter en stemmenteller worden geleverd met een afsluitbare (transport-)behuizing waarin de
stemprinter en stemmenteller in diens onderdelen vervoerd en opgeslagen kan worden.

G5.

In gebruik produceert een stemprinter en stemmenteller op 1 meter afstand niet meer dan 42dBa aan
geluid, exclusief het geluid dat de stemprinter of stemmenteller produceert voor auditieve meldingen en
tijdens printen.
Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

28

NB. Over dit onderdeel wordt ook de specifieke vraag 13 gesteld.

H. Standaarden en normen
H1.

Uitsluitend open standaarden worden toegepast.

H2.

De programmatuur – ook de maatwerk programmatuur - is uitsluitend open source. De ontwikkelde
maatwerk programmatuur wordt eigendom van de overheid.

H3.

Voor de elektronische representatie van verkiezingsgegevens en telresultaten wordt het EML-NL formaat
gebruikt (zie https://www.kiesraad.nl/artikel/eml-standaard).

H4.

De werkzaamheden voor de ontwikkeling, onderhoud en ondersteuning van stemprinters, stemmentellers
en elektronische tokens moet plaatsvinden onder een geldige ISO 9001 certificering. Deze ISO-9001certificering moet ook het onderhouden en ondersteunen van ICT-systemen omvatten. Het ISO-certificaat
moet zijn afgegeven door een daartoe geaccrediteerde auditor.

H5.

De werkzaamheden voor de ontwikkeling, onderhoud en ondersteuning van stemprinters, stemmentellers
en elektronische tokens moet plaatsvinden onder een geldig ISO 27001 certificering voor de
informatiebeveiliging, die het onderhouden en ondersteunen van ICT-systemen omvat. Het ISO-certificaat
moet zijn afgegeven door een daartoe geaccrediteerde auditor.

H6.

De apparatuur is CE-gemarkeerd of aantoonbaar gelijkwaardig en voldoet aan alle van toepassing zijnde
Europese richtlijnen en Nederlandse regelgeving m.b.t. gezondheid, veiligheid, welzijn, omgeving en milieu,
waaronder ook RoHS II.

H7.

De apparatuur moet voldoen aan de eisen van Energy Star, conform het besluit van de Europese Commissie
2009/489/EG over energie-efficiëntie voor computerapparatuur.

H8.

De gebruikersinterface voldoet aan de richtlijnen van het Web Accessibility Initiative (WAI).
Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel wordt ook de specifieke vraag 2 gesteld.

29

I. Prestaties
I1.

Stemprinters en stemmentellers moeten gemiddeld gedurende de verkiezingsdag een beschikbaarheid
hebben van minimaal 99,8%.

I2.

De stemprinter en stemmenteller zijn bestand tegen matig fysiek geweld.

I3.

De stemprinter en stemmenteller zijn geschikt om gedurende de verkiezingsdag volcontinue en
ononderbroken aan te staan, dat wil zeggen: de stemprinter minimaal 14 uur achtereen actief in gebruik en
de stemmenteller minimaal 5 uur vol continue actief in gebruik.

I4.

De apparatuur heeft een hoog energie-efficiënte voeding, met tenminste 85% efficiency bij 50%
systeembelasting.

I5.

De stemprinter en stemmenteller kunnen bij stroomuitval nog minstens 10 minuten functioneren alvorens
de programmatuur waaronder ook het besturingssysteem af te sluiten en het apparaat uit te schakelen.

I6.

Een stemprinter en een stemmenteller hebben een stroomverbruik van maximaal 500watt.

I7.

De werking van de stemprinter en stemmenteller wordt niet beïnvloed door de aanwezigheid in de directe
omgeving van andere apparatuur, zoals smartphones en draadloze smartcards.

I8.

De stemprinter en stemmenteller moeten schoon te maken zijn met schoonmaakmiddelen die gangbaar,
d.w.z. veelvoorkomend, en vrij verkrijgbaar zijn.

I9.

De stemprinter en stemmenteller moeten onderhoudsarm zijn, dat wil zeggen dat het onderhoud alleen
bestaat uit schoonmaken en het vervangen van verbruiksmaterialen (zoals bijvoorbeeld inktcardtridges en
papier).

I10.

De stemprinter en stemmenteller moeten gedurende 8 jaar gebruikt kunnen worden voor gemiddeld 10 (al
dan niet gelijktijdige) verkiezingen per jaar.

I11.

De stemprinter kan minimaal 100.000 stemprints maken.

I12.

De stemmenteller kan minimaal 1.200.000 keer een stembiljet scannen, tellen en voorzien van een
volgnummer.

I13.

De stemmenteller kan minimaal 400 keer een telstrook printen van een minimaal 100 pagina’s.

I14.

In de 8 jaar van gebruik moeten de stemprinters en stemmentellers met gebreken/ defecten/ storingen
gerepareerd of vervangen kunnen worden. Om dit te realiseren dient een afdoende voorraad identieke
reserve onderdelen voorhanden te zijn. Het moeten identieke onderdelen zijn omdat zowel de Common
Criteria certificering (voor stemprinter en stemmenteller) als SDIP 27/1 level A (voor stemprinter) uitgaan
van samenstelling uit identieke onderdelen als de geëvalueerde versies. Er moet van worden uitgegaan dat
geen verschillende versies van stemprinters en stemmentellers in omloop mogen zijn om te voorkomen dat
bij wijzigingen in programmatuur meerdere configuraties moeten worden getest.

30

Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]
Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel wordt ook de specifieke vraag 15 gesteld.

J. Beveiliging - Common Criteria
J1.

De stemprinter en stemmenteller moeten Common Criteria gecertificeerd worden conform daarvoor
opgestelde en gecertificeerde Protection Profiles. Bij dit document zijn Protection Profiles bijgevoegd die nog
niet zijn gecertificeerd.

J2.

De Protection Profiles geven het kader voor de beveiligingsmaatregelen die moeten worden toegepast op de
stemprinter en stemmenteller. De Protection Profiles gaan ervan uit dat:
a) De stemprinter/stemmenteller beschermd zijn tegen manipulatie;
b) Het niet mogelijk moet zijn om beveiligingsmaatregelen te omzeilen.

J3.

Omdat de Common Criteria systematiek voor leken niet toegankelijk is, is hieronder (niet limitatief) een
aantal bepalende beveiligingsmaatregelen uit de Protection Profiles opgesomd. Achter elke
beveiligingsmaatregel is tussen haakjes de afkorting van de maatregel vermeld die verwijst naar hoofdstuk
6 (Security Requirements) in de Protection Profiles.
a) De stemprinter en stemmenteller hebben een beveiligingsmechanisme dat detecteert of geprobeerd
wordt de (fysieke) beveiliging te doorbreken. Wordt een dergelijke poging gedetecteerd dan komen de
stemprinter en stemmenteller in een status die het onmogelijk maakt de systemen te gebruiken voor
het printen van stembiljetten en het tellen ervan (FAU_ARP.1//FPT_PHP.2/FPT_PHP.3).
b) De stemprinter/stemmenteller hebben een zelftestmechanisme waarmee de systemen als ze aanstaan
de goede werking van programmatuur en apparatuur vaststellen (FPT_TST.1);
c)

Er is een mogelijkheid de authenticiteit van programmatuur en apparatuur vast te stellen. Voor
programmatuur moet dan gedacht worden aan oplossingen zoals een Trusted Platform Module
(FPT_TST.1).

d) De log is beschermd tegen ongeautoriseerd wijzigen en verwijderen (FAU_STG.1);
e) Als de log vol raakt komen de stemprinter en stemmenteller in een status die het onmogelijk maakt de
systemen te gebruiken voor het printen van stembiljetten en het tellen ervan (FAU_STG.4).
f)

De authenticiteit van de log is vast te stellen aan de hand van een digitale handtekening (FPD_DAU.1).

g) Uit ondermeer elektromagnetische straling, geluid, stroomverbruik en afgifte van hitte van een
stemprinter mag een keuze die een kiezer maakt op een stemprinter niet te achterhalen zijn
(FPT_EMSEC.1).
h) De informatie over keuzes die kiezers maken op de stemprinter mogen niet (permanent) worden
opgeslagen. Onderkend wordt dat om het stembiljet te printen het vermoedelijk onontkoombaar zal zijn
dat informatie over de gemaakte keuzes tijdelijk opgeslagen wordt. In dat geval zal na het printen van

31

het stembiljet, de informatie over de keuzes moeten worden gewist op een dusdanige wijze dat met
gebruik van hulpmiddelen geen sporen van de keuzes van de kiezer meer te achterhalen zijn.
Bijgevoegd bij dit document is een uiteenzetting van de verwijdermethodieken die geschikt zijn om
gegevens goed te verwijderen. De ervaring leert namelijk dat het gebruiken van standaard
verwijdermethoden, zoals het geven van een verwijder commando, niet volstaat (FDP_RIP.2).
Evaluatie ten behoeve van Common Criteria certificering
J4.

Voor de Common Criteria certificering vindt een evaluatie plaats door een daartoe geaccrediteerd
laboratorium (de evaluator). De overheid bepaalt welk evaluerend laboratorium de evaluatie uitvoert en
bepaalt ook de certificerende instantie.

J5.

De overheid krijgt inzage in alle documentatie, evaluatierapporten en observatierapporten die met evaluator
en certificerende instantie worden uitgewisseld en kan deze zonder enige beperking openbaar maken. De
overheid krijgt ook inzage in de kwetsbaarheden in stemmenprinter en stemmenteller die tijdens de
evaluatie zijn ontdekt maar een certificering niet in de weg staan.

J6.

Voor de evaluatie van stemprinter/stemmenteller geldt dat (tussen haakjes is een verwijzing opgenomen
naar deel 3 van de Common Criteria):
a) De gebruikersdocumentatie van stemprinter en stemmenteller alle functionaliteit van een
stemprinter/stemmenteller moet omvatten en duidelijk moet maken hoe de stemprinter/stemmenteller
op een veilige manier gebruikt moet worden (AGE_OPE.1).
b) Beschreven is op welke wijze de stemprinter en stemmenteller op een veilige wijze wordt klaargemaakt
voor gebruik (AGD_PRE.1).
c)

Uit beveiligingsdocumentatie moet blijken dat de beveiligingsmaatregelen voor het ontwerpen en
ontwikkelen van de stemprinter/stemmenteller afdoende bescherming bieden waardoor de integriteit
van de stemprinter/stemmenteller is gewaarborgd (ALC_DVS.2).

d) Alle beveiliging gerelateerde functionaliteit moet zijn getest door degene die de stemprinter en
stemmenteller heeft ontwikkeld (ATE_DPT.1, ATE_FUN.1).
e) Door de evaluator wordt een broncode-analyse uitgevoerd. Hiervoor moet de broncode van alle
onderdelen van een stemprinter en stemmenteller voor de evaluator beschikbaar zijn, zowel maatwerk
programmatuur, standaard programmatuur, firmware, als de hardware diagrammen die gebruikt
worden om de hardware te maken. Bij de selectie van componenten voor de stemprinter en
stemmenteller moet dus zeker gesteld worden dat van alle onderdelen de broncode en de hardware
diagrammen beschikbaar zijn (ADV_IMP.1).
J7.

Onderdeel van de evaluatie zijn ook testen die door de evaluator worden uitgevoerd:
a) De evaluator test de beveiliginggerelateerde functionaliteit (ATE_IND.2);
b) De evaluator voert een methodische kwetsbaarheidsanalyse uit op de stemprinter/ stemmenteller
waarbij alle beschikbare documentatie en de broncode in ogenschouw wordt genomen. Op basis van het
resultaat van deze kwestbaarheidsanalyse voert de evaluator penetratietesten uit om vast te stellen dat
de stemprinter/stemmenteller bestand is tegen aanvallen met een hoog aanvalsniveau (AVA_VAN.5).
Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

32

Stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

NB. Over dit onderdeel worden ook de specifieke vragen 1, 3 en 14 gesteld.

K. Beveiliging - compromitterende straling
K1.

De stemprinter moet voldoen aan de NATO-norm SDIP-27/1 Level A.

K2.

De te maken stemkeuzes zijn relatief beperkt. Bij een referendum zijn dat er maar 3 en bij een
lijstverkiezing een tiental lijsten en bij elke lijst enkele tientallen kandidaten. Daarbij kan een afluisteraar
maar geïnteresseerd zijn in 1 gegeven, heeft een kiezer een bepaalde stemkeuze gemaakt of juist niet. Het
moet niet mogelijk zijn uit de aan- of juist afwezigheid van een karakteristiek stralingsbeeld het al dan niet
maken een bepaalde stemkeuze door een kiezer te achterhalen. Dat aspect moet in de invulling van SDIP27/1 Level A in de definitie van te meten mogelijke compromitterende straling (zogenaamde RED signals)
worden meegenomen. Bij het bepalen wat een succesvolle afluisterpoging is, moet de bij dit document
gevoegde uitwerking worden gevolgd.

K3.

De bescherming tegen compromitterende straling moet bestand zijn tegen het verwachte gebruik van een
stemprinter in opslag, bij verkiezingen en vervoer van en naar het stemlokaal. Dit moet worden aangetoond
met een SDIP-27/1 Level A certficeringsmeting van prototypes die zijn onderworpen aan behandelingen
(trillingen, vallen, temperatuurwisselingen, vochtigheidwisselingen, aanraking met stof en vuil, gebruik van
de bewegende delen gedurende de verwachte gebruiksduur, etc) die representatief zijn voor het verwachte
gebruik.

K4.

De bij dit document gevoegde bijlage “Richtlijnen voorkomen van compromitterende straling Ballot printer –
protection against eavesdropping attacks – guidance for system designers” geeft inzage in de wijze waarop
de stemprinter zou moeten worden ontworpen. Dat houdt bijvoorbeeld voor het scherm van een
stemprinter en de aansturing van het scherm in dat zo weinig mogelijk omzettingen van het videosignaal
moeten plaatsvinden, er bij voorkeur gebruik gemaakt wordt van een Displayport verbinding en geen VGA,
DVI en HDMI verbindingen. Compromitterende straling die niet preventief weggenomen kan worden door
het inzetten van stralingsarme componenten en verbindingen, moeten met afschermende maatregelen
worden tegengehouden. Dat betreft dan ondermeer een metalen behuizing, het met metaal omwikkelen van
interne kabels en verbindingen en het plaatsen van filters op kabels.

K5.

De RF-lezer om draadloze elektronische tokens uit te lezen dient uitgeschakeld te worden als een kiezer een
stemkeuze kan maken en het stembiljet kan printen. De RF-lezer dient pas weer ingeschakeld te worden als
de keuzes en sporen daarvan uit de stemprinter zijn gewist.

K6.

Een defecte stemprinter wordt vervangen door een ander exemplaar die aan SDIP-27/1 Level A voldoet.
Dat is nodig omdat een reparatie van een stemprinter of vervanging van componenten kan leiden tot
compromitterende straling en een meting moet plaatsvinden conform SDIP-27/1 Level A. Zo’n test kan niet
op locatie bij een gemeente worden uitgevoerd, maar moet in een speciale afgeschermde meetkamer
plaatsvinden bij een daartoe geaccrediteerde instantie.

33

Stemprinter
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

L. Beleid ten aanzien van beveiliging
L1.

De systemen en netwerken die gebruikt worden voor het ontwikkelen, produceren, onderhouden, wijzigen,
testen en distribueren van de stemprinters, stemmentellers en elektronische tokens moeten beveiligd zijn
tegen dreigingen en risico’s, zowel van buiten als binnen de organisatie(s) die hiermee is/zijn belast.

L2.

Door onafhankelijke deskundigen die de overheid adviseren (genoemd in Hoofdstuk 3) wordt minimaal
jaarlijks een dreigings- en risicoanalyse opgesteld. Deze dreigings- en risicoanalyse geeft dreigingen en
risico’s aan ten gevolge van mensen, technisch falen en rampen. De analyse geeft aan welke maatregelen
getroffen moeten worden om de geïdentificeerde (nieuwe) dreigingen weg te nemen. Deze maatregelen
moeten vervolgens worden geïmplementeerd.

L3.

Calamiteiten c.q. (beveiligings)incidenten mbt ontwikkelen, onderhoud en ondersteuning van stemprinters,
stemmentellers en elektronische tokens inclusief vermoedens van onterechte handelingen (bewust of
onbewust) worden vastgelegd en zo spoedig mogelijk opgelost. Voor calamiteiten c.q.
(beveiligings)incidenten inclusief vermoedens van onterechte handelingen (bewust of onbewust) wordt
registratiesysteem gebruikt waarin:
a) van elke calamiteit c.q. incident actuele informatie wordt bijgehouden over de aard, de ernst en de duur
van de calamiteit c.q. incident;
b) aan elke calamiteit c.q. incident een prioriteit wordt toegekend door classificatie van de impact en de
ernst;
c)

van elke calamiteit c.q. incident de wijze van afhandeling wordt geregistreerd;

d) van elke calamiteit c.q. incident de historie wordt bewaard.
L4.

Er moet van worden uitgegaan dat periodiek, elke maand, aan de overheid moet worden gerapporteerd
over alerteringen van ICT gerelateerde dreigingen die zijn geïnventariseerd en over het onderzoek dat naar
aanleiding daarvan is uitgevoerd in het geval analyse heeft uitgewezen dat een alertering relevant is voor
de stemprinter, stemmenteller, elektronische tokens en/of voor de systemen en netwerken die worden
gebruikt voor het ontwikkelen, onderhouden en ondersteunen daarvan. Daarvoor wordt gebruik gemaakt
van alerteringsdiensten waarmee ICT gerelateerde dreigingen geïdentificeerd en aangekondigd worden.
Daarbij wordt ook nagegaan welke updates of vervanging van de standaardprogrammatuur op stemprinters
en stemmenteller noodzakelijk zijn (zoals updates van het operating system en beveiligingssystemen). Op
basis van de uitkomsten van het beoordelen van de dreigingen en risico’s worden voorstellen gedaan voor
de wijziging van de stemprinter, stemmenteller, elektronische tokens en de daaraan gerelateerde ICTsystemen om nieuwe geïdentificeerde dreigingen te kunnen weerstaan. Het is aan de overheid om te
bepalen wat met deze voorstellen worden gedaan.

L5.

Alleen daartoe geautoriseerde medewerkers hebben toegang tot de apparatuur en kunnen wijzigingen
doorvoeren in programmatuur, documentatie en andere informatie die betrekking heeft op het ontwikkelen,
onderhouden en ondersteuning van stemprinters, stemmentellers en elektronische tokens.

34

L6.

Op locaties die worden gebruikt voor ontwikkelen, onderhoud en ondersteuning van stemprinters,
stemmentellers en elektronische tokens zijn maatregelen genomen om het risico te minimaliseren van
brand, explosies, rook, stof, trillingen, chemische reacties, wateroverlast, langdurige stroomuitval,
interferentie via de elektriciteitsvoorziening, blikseminslag, elektromagnetische straling en aanslagen.
Hieronder vallen in ieder geval de volgende maatregelen:
a) Ruimten met apparatuur, programmatuur, documentatie, registraties en andere gegevens die worden
gebruikt voor het ontwikkelen, onderhoud en ondersteuning van stemprinters, stemmentellers en
elektronische tokens zijn voorzien van een door de brandweer goedgekeurde brandmeld- en een
brandblusinstallatie;
b) Ruimten met stemprinters, stemmentellers, onderdelen daarvan en elektronische tokens zijn voorzien
van maatregelen om waterschade te voorkomen;
c)

Bij stroomuitval dient in ieder geval de toegangscontrole en de alarminstallatie van de locaties die
worden gebruikt voor het ontwikkelen, onderhoud en ondersteuning van stemprinters, stemmentellers
en elektronische tokens onverkort te blijven functioneren.

L7.

Toegangscontrole van eigen personeel of ingehuurde medewerkers tot locaties die worden gebruikt voor
ontwikkelen, onderhoud en ondersteuning van stemprinters, stemmentellers en elektronische tokens vindt
plaats met minimaal een persoonlijke toegangskaart die voorzien is van een foto van de medewerker. Van
de uitgegeven en ingehouden toegangskaarten wordt een registratie bijgehouden.

L8.

Toegangscontrole van bezoekers tot locaties die worden gebruikt voor ontwikkelen, onderhoud en
ondersteuning van stemprinters, stemmentellers en elektronische tokens vindt plaats met minimaal een
toegangskaart die zichtbaar gedragen moet worden en waaruit blijkt dat sprake is van een bezoeker.
a) Bezoekers moeten altijd vergezeld zijn door eigen personeel.
b) Iedere bezoeker identificeert zich met een geldig legitimatiebewijs.
c)

L9.

Er vindt registratie plaats van de bezoekers van het gebouw, zowel bij binnenkomst als vertrek.

Als ongeautoriseerd toegang wordt verkregen tot de locaties die worden gebruikt voor ontwikkelen,
onderhoud en ondersteuning van stemprinters, stemmentellers en elektronische tokens wordt dit
onmiddellijk gevolgd door tegenmaatregelen.

L10. Beveiligingspersoneel ziet erop toe dat een toegangskaart alleen door de rechtmatige houder gebruikt wordt
en dat personen die het gebouw en terrein uitgaan zich aan de beveiligingsvoorschriften houden.
L11. In een sluitende administratie wordt bijgehouden op welke tijdstippen welke toegangspassen zijn gebruikt
om toegang te krijgen tot de ruimten die worden gebruikt voor ontwikkelen, onderhoud en ondersteuning
van stemprinters, stemmentellers en elektronische tokens.
L12. Buiten de tijden dat er gewerkt wordt, dienen ruimten die worden gebruikt voor ontwikkelen, onderhoud en
ondersteuning van stemprinters, stemmentellers en elektronische tokens afgesloten te zijn en de
alarminstallatie van de betreffende ruimte dient ingeschakeld te zijn.
L13. De locatie(s) die gebruikt worden voor ontwikkelen, onderhoud en ondersteuning van stemprinters,
stemmentellers en elektronische tokens zijn beveiligd, zodat personen het terrein niet ongemerkt kunnen
betreden en verlaten.
L14. In de locaties en ruimten die worden gebruikt voor ontwikkelen, onderhoud en ondersteuning van
stemprinters, stemmentellers en elektronische tokens zijn brand- en rookmelders geïnstalleerd zodat een
eventuele brand tijdig gedetecteerd wordt en bestreden kan worden.

35

L15. Op de locaties die worden gebruikt voor ontwikkelen, onderhoud en ondersteuning van stemprinters,
stemmentellers en elektronische tokens wordt een zogenaamde clean-desk policy toegepast.
L16. Eigen personeel en ingehuurde medewerkers die direct of indirect betrokken zijn bij het ontwikkelen,
onderhoud en ondersteuning van stemprinters, stemmentellers en elektronische tokens beschikken over
een Verklaring Omtrent het Gedrag (VOG) – of een vergelijkbare verklaring indien de medewerker niet in
Nederland woont – die maximaal 1 jaar oud is op het moment dat de werkzaamheden moeten worden
uitgevoerd. De verklaring moet derhalve minimaal 1 keer per jaar opnieuw worden aangevraagd en
verkregen.
L17. Toegang tot de locaties die worden gebruikt voor ontwikkelen, onderhoud en ondersteuning van
stemprinters, stemmentellers en elektronische tokens door of namens de gebouwbeheerder c.q. verhuurder
is slechts mogelijk voor personeel in het bezit van een Verklaring Omtrent Gedrag (VOG) – of een
vergelijkbare verklaring indien de medewerker niet in Nederland woont – van maximaal 1 jaar oud en
uitsluitend in aanwezigheid van eigen medewerkers.
L18. Niet in gebruik zijnde fysieke sleutels van ruimten met apparatuur, programmatuur, documentatie,
registraties en andere gegevens die betrekking hebben op het ontwikkelen, onderhoud en ondersteuning
van stemprinters, stemmentellers en elektronische tokens dienen opgeborgen te worden in een kluis die
voldoet aan EN 14450 S2.
L19. Af te stoten apparatuur en media met gegevens of programmatuur moeten voor het afstoten zijn gewist,
d.w.z. alle gegevens en programmatuur moeten onherstelbaar zijn verwijderd. Er mag uit niets blijken dat
de apparatuur en media ooit ingezet zijn geweest ten behoeve van verkiezingen. De methode van wissen
moet ter goedkeuring aan de overheid worden voorgelegd.
L20. Elektronische tokens dienen bewaard te worden in een kluis met inbraakbestendigheid volgens EN 1143-1
klasse 1 en een brandwerendheid volgens EN 1047-1 S 120 DIS.
L21. Minimaal 1 x per week wordt een back-up gemaakt op een extern opslagmedium van de elektronisch
opgeslagen programmatuur, ontwerpen, documentatie, registraties en andere gegevens die betrekking
hebben op het ontwikkelen, produceren, onderhouden, wijzigen, testen, distribueren van de stemprinters,
stemmentellers en elektronische tokens. Dat mag een incrementele back-up zijn (enkel de wijzigingen),
mits minimaal 1 x per 4 weken een volledige back-up wordt gemaakt. De back-up dient te worden bewaard
in een kluis met inbraakbestendigheid volgens EN 1143-1 klasse 1 en een brandwerendheid volgens EN
1047-1 S 120 DIS.
L22. Voor het uitgeven van sleutels en certificaten (voor ondermeer elektronische tokens) wordt gebruik
gemaakt van een PKI waarvoor geldt:
a) De PKI moet voldoen aan ETSI TS-02042 niveau NCP+.
b) Het voldoen aan ETSI TS-102042 niveau NCP+ moet zijn vastgesteld door een daartoe geaccrediteerde
externe auditor. Met de overheid wordt afgestemd door welke auditor de audit wordt uitgevoerd.
c)

Cryptografische sleutels worden gegenereerd volgens ETSI TS 102 176-1, v 2.0.0 (2007-11).

d) Voor het genereren van sleutels en het opslaan van sleutels die gebruikt worden voor het uitgeven van
certificaten moet gebruik gemaakt worden van een Hardware Security Module (HSM) die voldoet aan 1
van onderstaande normen:
•

FIPS PUB 140-1 niveau 3 of hoger;

•

FIPS PUB 140-2 niveau 3 of hoger;

36

•

BSI-PP-0004-2002T Protection Profile – Secure Signature Creation Device Type 1, Version 1.05;

•

BSI-PP-0005-2002T Protection Profile – Secure Signature Creation Device Type 2, Version 1.04;

•

BSI-PP-0006-2002T Protection Profile – Secure Signature Creation Device Type 3, Version 1.05;

a) BSI-PP-0036-2008: Cryptographic Modules Security Level “Enhanced” Version 1.01.
e) De gebruikte cryptografische algoritmen, handtekening algoritmen en de lengte van sleutels worden
afgestemd met de overheid. De gebruikte algoritmen moeten gepubliceerd en daarmee voor iedereen
toegankelijk zijn.
Stemprinter en stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

M. Ontwikkelproces van stemprinters, stemmentellers en elektronische tokens
M1.

Voor het ontwikkelen en het onderhouden van de stemprinters en stemmentellers moet een
ontwikkelomgeving beschikbaar zijn. De ontwikkelomgeving bevat alle apparatuur en programmatuur die
nodig is om de programmatuur van stemprinters en stemmentellers te kunnen aanpassen.

M2.

Bij de ontwikkeling en wijziging van programmatuur dienen de volgende Programmeerrichtlijnen te worden
gehanteerd:
a) Er wordt defensief programmeren toepast. Defensief programmeren houdt in dat wordt geborgd dat alle
voorkomende gebeurtenissen op een voorspelbare wijze worden verwerkt dan wel tot een
gespecificeerde foutafhandeling leiden. Er mogen bij de afhandeling van gebruikersacties en berichten
geen situaties optreden die leiden tot ongewenst en niet gespecificeerd gedrag;
b) Er wordt gebruik gemaakt van gepubliceerde best practices voor programmeren. Dat betreft best
practices die algemeen zijn (en dus toepasbaar voor alle programmeertalen) danwel best practices die
specifiek zijn voor een specifieke programmeertaal. De overheid moet instemmen met de gebruikte best
practices;
c)

Er wordt gebruik gemaakt modulair programmeren met goed gedefinieerde interfaces;

d) Er wordt in de broncode betekenisvol commentaar gebruikt, die een programmeur helpt de werking van
de broncode te doorgronden;
e) Er wordt gebruik gemaakt van gedocumenteerde naamconventies voor modules, procedures, functies,
variabelen en andere onderdelen van de programmatuur en op het toepassen daarvan vindt een
controle plaats;
f)

Er wordt geen gebruik gemaakt van programmatuur die de code wijzigt (self modifying code), anders
dan ten behoeve van het updaten van programmatuur. Er wordt geen gebruik gemaakt van
programmatuurconstructies die kunnen leiden tot het ongewenst wijzigen van code;

g) De programmatuur, of onderdelen daarvan, accepteert alleen gespecificeerde invoer, en geen andere
invoer dan de gespecificeerde invoer. Alle invoer die niet expliciet voldoet aan het opgestelde ontwerp,
zowel van buitenaf als in de programmatuur zelf, wordt niet alleen expliciet geweigerd voor verdere
verwerking, maar de reden van weigering wordt ook gelogd;
h) De programmatuur zal bij invoer die aan het ontwerp voldoet, altijd tot gewenst gedrag leiden;
i)

De programmatuur bevat geen constructies of componenten die niet strikt noodzakelijk zijn voor het
toepassen van de functionaliteit en/of het realiseren van de gestelde eisen;

37

j)

De componenten van de programmatuur vereisen alleen rechten die strikt noodzakelijk zijn voor de
toepassing van de functies. Hierbij wordt expliciet vereist dat de benodigde rechten geen mogelijkheden
mogen openen om andere dan de bedoelde functionaliteit uit te voeren;

k) De programmatuur is opgebouwd uit meerdere componenten waarbij afwijkend gedrag van
componenten niet tot ongewenst gedrag van de hele programmatuur leidt;
l)

Componenten en functies/methoden kennen slechts één enkel doel (het zogenaamde Single
Responsibility Principle);

m) Dezelfde code komt niet meerdere malen terug in programmatuur (geen code duplicatie), tenzij daar
een ontwerpkeuze aan ten grondslag ligt die door de overheid wordt onderschreven;
n) De semantiek van gebruikte functies/methoden is eenduidig;
o) De interne opbouw van componenten/functies/methoden is van dien aard dat duidelijk is hoe de code
geëxecuteerd wordt en waar de uitvoering beëindigd wordt;
p) De afwikkeling van een functie/methode mag niet afhankelijk zijn van objecten of gebeurtenissen buiten
die functie/methode tenzij dit expliciet noodzakelijk is voor het realiseren van functionaliteit;
q) Foutsituaties moeten gedetecteerd en expliciet afgehandeld worden;
r)

Logging moet altijd leiden tot informatie die specifiek genoeg is om een probleem te detecteren,
analyseren en op te lossen, maar geen naar een persoon te herleiden gegevens bevatten.

M3.

Op de ontwikkelde code of een wijziging daarop dient door een andere programmeur dan degene
die de code heeft geschreven te worden gecontroleerd dat de ontwikkelde code in overeenstemming
is met de specificaties, ontwerpdocumentatie en met de hiervoor gespecificeerde
programmeerrichtlijnen. De uitkomst van de toetsing alsmede de afwikkeling ervan wordt
gedocumenteerd en is altijd in te zien door de overheid.

M4.

Voor het configuratiebeheer van stemprinters, stemmentellers en elektronische tokens moet gebruik
worden gemaakt van een zogenaamde configuratie management database (CMDB). Hierin wordt elke
stemprinter, stemmenteller en elektronische token – zowel test als productie – geregistreerd aan de hand
van een uniek nummer dat ook op de stemprinter, stemmenteller en elektronische token is vermeld. Uit de
configuratie management database is af te leiden uit welke programmatuur, apparatuur en instellingen een
stemprinter, stemmenteller en elektronisch token is opgebouwd. In de CMDB wordt ook de samenstelling
(apparatuur, programmatuur en instellingen) vastgelegd van de systemen die worden gebruikt voor het
onderhoud en de ondersteuning van stemprinters, stemmentellers en elektronische tokens.

M5.

Er moeten testen worden uitgevoerd om de goede werking van de stemprinter en stemmenteller aan te
tonen. Regressietesten, functionele testen, systeemtesten, stresstesten en beveiligingstesten, waaronder
penetratietesten, maken in ieder geval onderdeel uit van de testen.

M6.

Testen worden voorbereid en uitgevoerd door andere medewerkers dan de medewerkers die hebben
gewerkt aan de ontwikkeling van de programmatuur of apparatuur.

M7.

Er moet van uit worden gegaan dat de overheid acceptatietesten uitvoert en dat de overheid daarbij zeer
grondig te werk zal gaan. Aangenomen moet worden dat de testen die door of in opdracht van de overheid
worden uitgevoerd niet alleen functionele testen, maar ook regressietesten, stresstesten en
beveiligingstesten, waaronder penetratietesten kunnen zijn. Aan deze acceptatietesten dient ondersteuning
te worden geleverd.

M8.

Tijdens de uitvoering van acceptatietesten is op afroep ondersteuning van deskundigen, ontwikkelaars,
testers, installateurs en ondersteuners beschikbaar. In geval van bevindingen die voor de testuitvoering
blokkerend zijn, wordt vervolgens terstond gestart met het oplossen daarvan.

38

M9.

Voor het testen van stemprinters, stemmentellers en elektronische tokens moet een testomgeving
beschikbaar zijn die representatief is. De representativiteit van de testomgeving dient aan de hand van het
versie- en configuratiebeheer te worden aangetoond.

M10. In de testomgeving worden in ieder geval de (acceptatie)testen uitgevoerd die de overheid nodig acht.
M11. De testomgeving kan op werkdagen minimaal van 08.00 uur tot 18.00 uur worden gebruikt voor testen. In
geval van calamiteiten, incidenten en/of problemen moet de testomgeving ook buiten deze uren voor de
beschikbaar zijn.
M12. De testomgeving moet toegankelijk zijn voor personen die daartoe door de overheid zijn aangewezen.
M13. In de fysieke ruimte waar de testomgeving is opgesteld kunnen minimaal 10 medewerkers tegelijk testen
uitvoeren. De fysieke ruimte is voorzien van het nodige meubilair om de medewerkers de testen te kunnen
laten uitvoeren.
M14. Het moet voor de overheid mogelijk zijn om eigen apparatuur en programmatuur, zoals laptops en
testhulpmiddelen te gebruiken in de testomgeving.
Stemprinter en stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

N. Doorvoeren van wijzigingen aan de stemprinter, de stemmenteller en elektronisch tokens
N1.

Voor het doorvoeren van wijzigingen in apparatuur en programmatuur (van welke aard ook) van de
stemprinters en stemmentellers is vooraf schriftelijke toestemming nodig van de overheid.

N2.

Uitsluitend na instemming van de overheid worden door de overheid geaccepteerde wijzigingen toegepast
op stemprinters en stemmentellers.

N3.

Er dient rekening mee te worden gehouden dat voorafgaand aan elke verkiezing een software update nodig
is om stemprinters en stemmentellers te beschermen tegen de laatst bekende veiligheidsrisico’s. Ook
wijzigingen die voortkomen uit de evaluatie van een verkiezing worden zo mogelijk in een software update
voor een volgende verkiezing meegenomen. Omdat niet van elke verkiezing de verkiezingsdag vooraf
meerjarig bekend is (namelijk bij een tussentijdse Tweede Kamer verkiezing en bij een raadgevend
referendum) kunnen deze updates niet altijd vooraf worden ingepland. Er zal derhalve een continu proces
moeten zijn van het oplossen van de laatst bekende veiligheidsrisico’s die worden verwerkt in een op de
plank liggende verzamel software update. Dat geldt ook voor de wijzigingen.

N4.

De op de plank liggende verzamel software update zal bij elke toevoeging van wijzigingen en oplossingen
voor bekende veiligheidsproblemen steeds moeten worden bijgewerkt en getest. Indien de onafhankelijke
instantie van deskundigen genoemd in hoofdstuk 3 daartoe besluit moet de stemprinter/stemmenteller ook
nog worden gecertificeerd. Een door de overheid geaccepteerde op de plank liggende verzamel software

39

update wordt pas toegepast op het moment dat de stemprinters en stemmentellers door gemeenten en
openbare lichamen worden voorbereid voor een nieuwe verkiezing.
N5.

Om de stemprinters/stemmentellers te voorzien van updates van programmatuur en instellingen en van
verkiezingsgegevens worden de stemprinters/stemmentellers uit oogpunt van veiligheid niet verbonden met
internet of een netwerk van de gemeente/openbaar lichaam. Om dezelfde reden wordt ook geen gebruik
gemaakt van USB-media (USB-stick of USB harde schijf), de USB-interface is gevoelig voor misbruik en
daarmee inherent onveilig. Vooralsnog is de aanname dat de minst onveilige optie het gebruik van DVD’s
om stemprinters/stemmentellers te voorzien van updates van programmatuur en instellingen en van
verkiezingsgegevens.

N6.

Updates van programmatuur en instellingen alsmede verkiezingsgegevens worden door de leverancier van
de stemprinter/stemmenteller op DVD naar gemeenten/openbare lichamen verspreid. Elke
gemeente/openbaar lichamen ontvangt per 10 stemprinters/stemmentellers 1 DVD met een minimum
van 2.
Stemprinter en stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

O. Fysieke distributie en onderhoud
O1.

De stemprinters, stemmentellers, bijbehorende elektronische tokens, opslagmedia en documentatie worden
gedistribueerd naar gemeenten en openbare lichamen van Bonaire, Saba en Sint Eustatius. Tot en met
afleveren op de locatie moeten pakketten door de verzender en de ontvanger te traceren zijn.

O2.

Uit de verpakking van stemprinters, stemmentellers, bijbehorende elektronische tokens, opslagmedia,
documentatie en/of de begeleidende brief mag niet blijken dat de inhoud bedoeld is voor verkiezingen. De
pakketten moeten zijn verzegeld, bijvoorbeeld met security tape, zodat de ontvanger de mogelijkheid heeft
om vast te stellen dat de verpakking niet is geopend.

O3.

Met de gemeente of openbaar lichaam wordt de datum en tijdsperiode afgesproken waarop pakketten
worden afgeleverd.

O4.

Stemprinters, stemmentellers, bijbehorende elektronische tokens en documentatie worden alleen
overhandigd aan door de gemeente of openbaar lichaam aangewezen contactpersonen die zich met een
geldig legitimatiebewijs moeten identificeren en moeten tekenen voor ontvangst.

O5.

Aangenomen moet worden dat na elke verkiezing alle gemeenten en openbare lichamen bezocht moeten
worden. Bij dat bezoek wordt een revisie uitgevoerd om vast te stellen of stemprinters en stemmentellers
geschikt zijn om gebruikt te worden voor een volgende verkiezing. Verbruiksmaterialen die niet bij een
volgende verkiezing gebruikt kunnen worden, worden uit de stemprinter/stemmenteller gehaald. Indien
nodig wordt de apparatuur schoongemaakt, wordt aan een stemmenteller een reparatie uitgevoerd of wordt
indien reparatie van een stemmenteller ter plekke niet mogelijk is (bij een stemprinter is dat uit oogpunt
van compromitterende straling altijd het geval) een apparaat omgeruild voor een vervangend exemplaar,

40

die door de gemeente of openbare lichaam met de aldaar beschikbare elektronische tokens in gebruik kan
worden genomen. Hiertoe heeft de deskundige medewerker reserve onderdelen van stemmentellers bij
zich, evenals complete vervangende stemprinters en stemmentellers. Na de revisie worden de log en
verkiezingsgegevens van de stemprinters en stemmentellers verwijderd.
O6.

Verbruiksmaterialen voor stemprinters en stemmentellers moeten gedurende 8 jaar geleverd kunnen
worden.
Stemprinter en stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

P. Ondersteuning
P1.

Er dient van uit te worden gegaan dat er een aantal registraties zal moeten worden opgezet en
onderhouden. Te denken valt bijvoorbeeld aan een registratie van contactpersonen per gemeente en
openbare lichaam is noodzakelijk; een registratie van de stemprinters, stemmentellers en elektronische
tokens per gemeente en openbaar lichaam.

P2.

Om de contactgegevens te verkrijgen zal informatie bij gemeenten en openbare lichamen – dat zijn er circa
400 – opgevraagd moeten worden. Bij zo’n uitvraag van gegevens zal - indien de gevraagde reactie er niet
(tijdig) komt – meerdere malen gerappelleerd moeten worden door contact op te nemen (ook telefonisch)
met de gemeenten en openbaar lichamen.

P3.

Er dient er vanuit te worden gegaan dat het verloop in contactpersonen groot zal zijn. Verder moet er
rekening mee worden gehouden dat gemeenten en openbare lichamen niet altijd spontaan wijzigingen
doorgeven. Daardoor zal voor elke verkiezing contact met gemeenten en openbare lichamen opgenomen
moeten worden om de contactgegevens bij te werken.

P4.

Het verkrijgen en aannemen van contactgegevens met de nodige waarborgen te zijn omkleed zodat zeker
wordt gesteld dat de verkregen contactgegevens juist zijn.

P5.

Een service-organisatie beantwoordt vragen van de gebruikers van stemprinters en stemmentellers en
ontvangt storingen/klachten en wikkelt deze af.

P6.

Het beantwoorden van vragen en behandelen van meldingen en klachten door de service-organisatie
geschiedt in de Nederlandse taal en dient buiten verkiezingsdagen plaats te vinden op werkdagen (maandag
t/m vrijdag) van 08.00 uur tot 18.00 uur (Nederlandse tijd). De service-organisatie moet ten alle tijden
vragen, (storings)meldingen en klachten te kunnen ontvangen via e-mail.

P7.

Aangenomen moet worden dat de service-organisatie op de dag van de stemming gebeld kan worden door
stembureauleden en ambtenaren van de gemeenten of openbare lichamen. Het telefoonnummer van de
service-organisatie moet tegen lokaal tarief gebeld kunnen worden en mag geen betaalnummer (0900nummer) zijn.

41

P8.

Er moet na opnemen worden aangegeven hoeveel wachtenden er nog voor de beller zijn en na deze
mededeling heeft een beller die met nummerherkenning belt de mogelijkheid aan te geven teruggebeld te
willen worden als deze (bijna) aan de beurt is. Een beller van de service-organisatie hoeft geen keuzemenu
te doorlopen maar krijgt als deze aan de beurt is meteen een persoon aan de lijn. De gemiddelde wachttijd
tussen bellen en te woord worden gestaan mag niet meer dan 30 seconden zijn.

P9.

Vragen alsmede meldingen van storingen die telefonisch zijn af te handelen worden direct met de beller
afgewikkeld. Ofwel de service-organisatie blijft aan de lijn totdat de vraag is afgehandeld of storing is
opgelost.

P10. De service-organisatie houdt een registratie bij van in ieder geval alle ontvangen en afgehandelde vragen,
meldingen en klachten. Uit de registratie moet het tijdstip van de ontvangst van de vraag, melding of klacht
evenals de status van de behandeling blijken, zodat duidelijk is of, hoe en door wie de vragen, meldingen
en klachten zijn afgehandeld. Tevens moet duidelijk zijn wie en van welke gemeente of openbaar lichaam
de vraag, de melding of de klacht afkomstig is (naam en contactgegevens). In overleg met de overheid
wordt precies bepaald welke gegevens er verder in deze registratie worden bijgehouden.
De service-organisatie voor en na verkiezingen
P11. Gemeenten en openbare lichamen zijn verantwoordelijk voor de organisatie van de verkiezingen. Dat omvat
ook het klaarmaken van de stemprinters en stemmentellers voor een verkiezing. Omdat het meer dan een
jaar geleden kan zijn dat een verkiezing is georganiseerd, is dat geen routine. Ook hoeven het niet dezelfde
medewerkers te zijn die de verkiezing voorbereiden. Aangenomen moet worden dat er frequent een beroep
op de service-organisatie zal worden gedaan. Bij vooraf bekende verkiezingen starten deze voorbereidingen
zo’n zes tot drie maanden voor de verkiezingen. Bij tussentijdse Tweede Kamer verkiezingen en referenda
is die periode korter en start het voorbereiden bij het bekend worden van de verkiezing/het referendum.
P12. In de periode dat de verkiezing wordt voorbereid moeten medewerkers van gemeenten en openbare
lichamen snel en deskundig te woord worden gestaan, zonder oplopende wachttijden.
Uitgegaan kan worden van de aanname dat bij een vooraf bekende verkiezing elke gemeente/openbaar
lichaam acht keer contact heeft met de service-organisatie en een gesprek gemiddeld 20 minuten duurt. Bij
tussentijdse Tweede Kamer verkiezingen en referenda zal door de kortere voorbereidingstijd de behoefte
aan ondersteuning mogelijk hoger zijn. De aanname kan dan worden gedaan dat elke gemeente/openbaar
lichaam tien keer contact heeft en een gesprek gemiddeld 20 minuten duurt.
P13. Ook na een verkiezing tot de voorbereiding voor een volgende verkiezing zullen gemeenten en openbare
lichamen contact zoeken met de service-organisatie. Aangenomen wordt dat dit gemiddeld 10 keer per dag
voorkomt en een gemiddeld gesprek 10 minuten duurt.
P14. In de periode tot 6 weken voor de verkiezing zullen gemeenten en openbare lichamen de stemprinters en
stemmentellers klaar maken voor een verkiezing. Dat behelst het toepassen van de laatste (beveiligings)
software update, het configureren van de stemprinters en stemmentellers voor een verkiezing en
controleren dat ze nog goed werken. Als blijkt dat een stemprinter of stemmenteller een storing heeft die
niet met telefonische ondersteuning van de service-organisatie is te verhelpen, dan moet door een
deskundige medewerker ter plekke gepoogd worden de storing te verhelpen. Bij een poging een storing ter
plekke op te lossen kan blijken dat dit niet lukt en een stemprinter/stemmenteller vervangen moet worden.
Om geen extra tijd te verliezen heeft de medewerker die de storing komt oplossen een vervangende
stemprinter/stemmenteller bij zich die omgeruild wordt met de defecte stemprinter/stemmenteller.

42

P15. De persoon die de service-organisatie voor een storing belt, zal niet altijd een aangewezen contactpersoon
zijn van de gemeente of openbaar lichaam. In het geval er dan een bezoek gepland moet worden om een
storing te verhelpen dan wel een apparaat te vervangen, zal die afspraak met een contactpersoon van de
gemeente/openbaar lichaam gemaakt moeten worden. De aanname is dat het initiatief voor het maken van
de afspraak bij de contactpersoon van de gemeente/openbaar lichaam ligt, omdat daar het belang ligt om
de afspraak te maken. Daarmee wordt voorkomen dat de service-organisatie een contactpersoon moet zien
te bereiken om de afspraak voor een bezoek ingepland te krijgen.
P16. Een gemeente/openbaar lichaam moet nog voldoende tijd hebben om een stemprinter/stemmenteller
waarvan tijdens het voorbereiden van een verkiezing een storing is opgelost of die is vervangen te
configureren. Hiervoor moet minimaal een hele week voor de dag van de verkiezing beschikbaar blijven.
Om dat te kunnen moeten gemeenten/openbare lichamen zich uiteraard tijdig melden met eventuele
problemen. De piek van eventuele problemen is te verwachten in de periode van 6 weken tot 1 week voor
een verkiezing waarin de stemprinter en stemmentellers met verkiezingsgegevens en een (beveiligings)
update van de software geconfigureerd moeten worden. De aanname is dat in die periode de helft van de
gemeenten 2 keer bezocht moeten worden door een deskundig medewerker die per dag 2 bezoekjes aan
gemeenten kan afleggen. Voor de ondersteuning van de openbare lichamen op Bonaire, Saba en Sint
Eustatius zal er ter plekke ondersteuning moeten zijn die op elk van de eilanden ondersteuning kan leveren.
In de gehele voorbereidingsperiode moet ook buiten de te verwachten piekperiode afdoende gekwalificeerde
medewerkers beschikbaar zijn om storingen te verhelpen.
De service-organisatie op de dag van een stemming
P17. Op een verkiezingsdag moet de service-organisatie telefonisch bereikbaar zijn van 5.00 (Nederlandse tijd)
tot en met 08:00 uur (Nederlandse tijd) de volgende dag.
P18. De service-organisatie moet voldoende capaciteit hebben om op een verkiezingsdag alle stembureauleden
die een vraag of probleem hebben snel en deskundig te woord te staan, zonder oplopende wachttijden. De
aanname is dat de helft van de stembureaus tweemaal contact opneemt en een gesprek gemiddeld 5
minuten duurt.
P19. In het geval dat het op een verkiezingsdag met telefonische ondersteuning van de service-organisatie niet
lukt een probleem met een stemprinter op te lossen, maar telefonisch de diagnose wordt gesteld dat een
deskundige medewerker dat wel kan, dan moet binnen 1 uur een deskundig medewerker ter plekke zijn. Er
wordt vanuit gegaan dat dit bij een kwart van de stembureau’s voorkomt en een medewerker per dag niet
meer dan 10 bezoekjes aan stembureaus kan afleggen. Om ook voor Bonaire, Saba en Sint Eustatius
binnen 1 uur ter plekke te kunnen zijn, zijn op elk eiland deskundige medewerkers nodig.
P20. Storingen die op de dag van de verkiezing niet opgelost kunnen worden, hebben daarna geen haast om
opgelost te worden. Het oplossen van die storingen - dan wel indien dat niet mogelijk is het vervangen van
stemprinter/stemmenteller - vindt plaats bij het bezoek van de gemeente/openbaar lichaam waarbij alle
stemprinters/stemmentellers een revisie doorlopen.
Stemprinter en stemmenteller
Wat uit de voorgaande specificatie acht u niet realiseerbaar en waarom niet?
[Klik hier om uw antwoord te geven.]
[Klik hier om eventuele aannames te vermelden die u hanteert bij wat u realiseerbaar acht.]

43

Deel 2 - Specifieke vragen
Hieronder worden specifieke vragen gesteld over enkele thema’s met betrekking tot de specificaties
stemprinter en stemmenteller. Vanuit ‘Deel 1 – Specificaties stemprinter en stemmenteller’ wordt ook naar
deze vragen verwezen.
Antwoordinstructie bij de specifieke vragen:
Indien u bij het beantwoorden van de vragen aannames hanteert, vermeld deze dan expliciet;

•
•

Verwoord uw antwoord zo precies en gedetailleerd mogelijk;

•

Indien van toepassing bij de vraagstelling, beantwoord expliciet met ja dan wel nee alvorens toe te
lichten;
Geef bij de bronnen die u vermeldt ook de vindplaats aan of zend de bron mee bij de beantwoording.

•

1. Gebruik van standaardcomponenten stemprinter en stemmenteller
a.

Voor welke onderdelen van een stemprinter en stemmenteller worden standaardcomponenten
(apparatuur en programmatuur) voorzien en voor welke onderdelen maatwerk componenten?
Geef in het antwoord op deze vraag voor zowel de stemprinter als stemmenteller minimaal voor de
componenten in de twee tabellen per component aan of een standaardcomponent of maatwerk wordt
voorzien. Geef bij de standaardcomponenten aan op basis waarvan u oordeelt dat het een
standaardcomponent zou kunnen zijn (met bronvermelding).

b.

Kunnen van de standaardcomponenten de broncode en hardware diagrammen beschikbaar zijn?
Zo ja, geef bij elke standaardcomponent, een bronvermelding waar dat geverifieerd kan worden.
Zo nee, hoe acht u het dan mogelijk dat een Common Criteria certificering op niveau EAL 4+ succesvol
kan worden doorlopen. Immers het evaluerend laboratorium zal een broncode-analyse moet uitvoeren
van alle onderdelen van een stemprinter en stemmenteller (ADV_IMP.1 uit deel 3 van de Common
Criteria)?

Vul onderstaande twee tabellen in om vraag 1a en 1b te beantwoorden.
Tabel voor stemprinter
Alleen in te vullen bij standaardcomponenten
Component

Standaard/

Op basis waarvan kan het

Broncode en

Indien niet beschikbaar:

maatwerk

een standaardcomponent

hardware

hoe is dan een Common

zijn? (incl bronvermelding)

diagrammen

Criteria certificering op

beschikbaar? (incl

niveau EAL 4+ mogelijk?

bronvermelding)

Touchscreen

Ja

Nee

[Bronvermelding]

Fysieke

Ja

knoppen

Nee

[Bronvermelding]

Koptelefoon

Ja

Nee

[Bronvermelding]

Smartcardlezer

Ja

Nee

[Bronvermelding]

44

Alleen in te vullen bij standaardcomponenten
Component

Standaard/

Op basis waarvan kan het

Broncode en

Indien niet beschikbaar:

maatwerk

een standaardcomponent

hardware

hoe is dan een Common

zijn? (incl bronvermelding)

diagrammen

Criteria certificering op

beschikbaar? (incl

niveau EAL 4+ mogelijk?

bronvermelding)

Printer

Ja

Nee

[Bronvermelding]

Verwerkings-

Ja

eenheid

Nee

[Bronvermelding]

Interne security

Ja

module (zie

Nee

[Bronvermelding]

paragraaf 1.4.5
van Protection
Profiles)
Noodstroom-

Ja

voorziening

Nee

[Bronvermelding]

Afsluitbare

Ja

(transport-)

Nee

[Bronvermelding]

behuizing
Besturings-

Ja

systeem

Nee

[Bronvermelding]

Overige

Ja

(standaard

Nee

[Bronvermelding]

en/of
maatwerk)
software
Tabel voor stemmenteller

Alleen in te vullen bij standaardcomponenten
Component

Standaard/

Op basis waarvan kan het

Broncode en

Indien niet beschikbaar:

maatwerk

een standaardcomponent

hardware

hoe is dan een Common

zijn? (incl bronvermelding)

diagrammen

Criteria certificering op

beschikbaar? (incl

niveau EAL 4+ mogelijk?

bronvermelding)

Touchscreen

Ja

Nee

[Bronvermelding]

Scanner om

Ja

stembiljetten te

Nee

[Bronvermelding]

digitaliseren
Smartcardlezer

Ja

Nee

[Bronvermelding]

Printer

Ja

Nee

[Bronvermelding]

45

Alleen in te vullen bij standaardcomponenten
Component

Standaard/

Op basis waarvan kan het

Broncode en

Indien niet beschikbaar:

maatwerk

een standaardcomponent

hardware

hoe is dan een Common

zijn? (incl bronvermelding)

diagrammen

Criteria certificering op

beschikbaar? (incl

niveau EAL 4+ mogelijk?

bronvermelding)

Verwerkings-

Ja

eenheid

Nee

[Bronvermelding]

Interne security

Ja

module (zie

Nee

[Bronvermelding]

paragraaf 1.4.5
van Protection
Profiles)
Noodstroom-

Ja

voorziening

Nee

[Bronvermelding]

Afsluitbare

Ja

(transport-)

Nee

[Bronvermelding]

behuizing
Besturings-

Ja

systeem

Nee

[Bronvermelding]

Overige

Ja

(standaard

Nee

[Bronvermelding]

en/of
maatwerk)
software

2. Open source
Alle te gebruiken programmatuur – de standaard programmatuur als ook het te ontwikkelen maatwerk –
moet open source zijn. Is dit realiseerbaar?
Ja

Nee

Waarop is uw antwoord gebaseerd (bronvermelding waar dat geverifieerd kan worden)?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

3. Verwijderen stemkeuze stemprinter
Zie ook bijlage ‘Verwijdermethoden’, voor de achtergrond van de verwijderproblematiek.
Welke verwijdermethodieken (methodieken in het antwoord noemen) zijn te gebruiken om zeker te stellen
dat na het printen van 1 stembiljet de gemaakte keuze in de stemprinter wordt gewist zodanig dat met
gebruik van hulpmiddelen geen door de kiezer gemaakte keuzes zijn te achterhalen?

46

[Klik hier om uw antwoord te geven.]

Welke ervaring is er met de genoemde verwijdermethodieken, waar zijn deze verwijdermethodieken eerder
toegepast en hoe is vastgesteld dat deze methodieken correct werken: bronvermelding waar dat
geverifieerd kan worden?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

4. Nauwkeurigheid stemprinter
a.

Op welke wijze wordt (technisch) afgedwongen dat als de stemprinter met 1 token door de kiezer wordt
geactiveerd, de kiezer altijd (foutmarge 0) precies 1 stembiljet kan printen?
[Klik hier om uw antwoord te geven.]

Waar en waarvoor is een dergelijk mechanisme eerder toegepast en hoe is daarbij de foutmarge
vastgesteld? Geef een bronvermelding waar dat geverifieerd kan worden.
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

b.

Op welke wijze wordt (technisch) afgedwongen dat alleen (foutmarge 0) een door de kiezer bevestigde
stemkeuze wordt geprint op het stembiljet?
[Klik hier om uw antwoord te geven.]

Waar en waarvoor is een dergelijk mechanisme eerder toegepast en hoe is daarbij de foutmarge
vastgesteld? Geef een bronvermelding waar dat geverifieerd kan worden.
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

47

5. Nauwkeurigheid stemmenteller
Onderstaande vragen dienen separaat beantwoord te worden voor stembiljetten waarop de stemkeuze met
de hand is ingevuld en voor stembiljetten die door een stemprinter zijn geprint, zie ook beschrijving
functionaliteit stemmenteller in specificaties.
a.

Is te realiseren dat de stemmenteller maximaal 1% van de gescande stembiljetten met een te
herkennen stemkeuze onterecht doorvoert naar de uitvoerbak met niet getelde stembiljetten?
Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd? Vermeld toepassingen waar een dergelijke foutmarge
aantoonbaar is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet, waarom niet? Welke aspecten kunnen de foutmarge negatief beïnvloeden? Welke mate van
betrouwbaarheid/nauwkeurigheid is wel realiseerbaar en waarop is dat gebaseerd? Vermeld
toepassingen waar een dergelijke betrouwbaarheid/nauwkeurigheid aantoonbaar is gerealiseerd:
bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

b.

De stemmenteller mag niet onterecht een stemkeuze herkennen (foutkans 0%).
Is een foutkans van 0% te realiseren?
Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd? Vermeld toepassingen waar een dergelijke foutmarge
aantoonbaar is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

48

Bij door

Bronvermelding

stemprinter geprint

[Klik hier om uw antwoord te geven.]

stembiljet

[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet, waarom niet? Welke aspecten kunnen de foutmarge beïnvloeden en wat is de invloed? Welke
mate van betrouwbaarheid/nauwkeurigheid is wel realiseerbaar en waarop is dat gebaseerd? Vermeld
toepassingen waar een dergelijke mate van betrouwbaarheid/nauwkeurigheid aantoonbaar is
gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

c.

Er mogen geen stembiljetten in de uitvoerbak voor getelde stembiljetten terecht komen die niet door de
stemmenteller geteld zijn (foutkans 0%).
Is een foutkans van 0% te realiseren?
Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd? Vermeld toepassingen waar een dergelijke foutmarge
aantoonbaar is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet, waarom niet? Welke aspecten kunnen de foutmarge beïnvloeden en wat is de invloed? Welke
mate van betrouwbaarheid/nauwkeurigheid is wel realiseerbaar en waarop is dat gebaseerd? Vermeld
toepassingen waar een dergelijke mate van betrouwbaarheid/nauwkeurigheid aantoonbaar is
gerealiseerd: bronvermelding waar dat geverifieerd kan worden.

49

Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

d.

De stemmenteller mag geen enkel (foutmarge 0%) stembiljet zodanig beschadigen dat het stembureau
visueel niet meer kan bepalen wat de keuze van de kiezer is geweest.
Is voor 100% te voorkomen dat stembiljetten beschadigd raken bij het scannen van het stembiljet?
Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd? Vermeld toepassingen waar een dergelijke mate van
betrouwbaarheid aantoonbaar is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet, waarom niet? Welke aspecten kunnen de foutmarge beïnvloeden en wat is de invloed? Welke
mate van betrouwbaarheid/nauwkeurigheid is wel realiseerbaar en waarop is dat gebaseerd? Vermeld
toepassingen waar een dergelijke mate van betrouwbaarheid/nauwkeurigheid aantoonbaar is
gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

50

e.

De stemmenteller mag niets (foutmarge 0%) veranderen aan een stembiljet.
Is voor 100% te voorkomen dat er bij het scannen veranderingen optreden op het stembiljet?
Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd? Vermeld toepassingen waar dergelijke mate van
betrouwbaarheid aantoonbaar is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet, waarom niet? Welke veranderingen kunnen optreden bij het scannen van een stembiljet? Hoe
vaak zal dat optreden en waarop is dat gebaseerd: bronvermelding waar dat geverifieerd kan worden?
Bij stembiljet met

[Klik hier om uw antwoord te geven.]

hand ingevulde
stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Bij door

[Klik hier om uw antwoord te geven.]

stemprinter geprint
stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

6. Snelheid tellen stembiljetten
Onderstaande vragen dienen separaat beantwoord te worden voor stembiljetten waarop de stemkeuze met
de hand is ingevuld en voor stembiljetten die door een stemprinter zijn geprint.
Hoeveel stembiljetten zou een stemmenteller per uur correct kunnen tellen? Voor het antwoord op deze
vraag moet uitgegaan worden van de wijze van tellen zoals beschreven in de specificaties onder
functionaliteit en bediening stemmenteller. Het tellen van een stembiljet omvat het uit de invoerbak halen
van een stembiljet, de stemkeuze herkennen, op het stembiljet printen van een volgnummer en het
doorvoeren van het stembiljet naar de uitvoerbak met getelde stembiljetten.
Bij stembiljet met hand

[Klik hier om uw antwoord te geven.]

ingevulde stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

51

Bij door stemprinter

[Klik hier om uw antwoord te geven.]

geprint stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Waarop is de opgegeven snelheid van tellen gebaseerd? Vermeld toepassingen waar een dergelijke snelheid
in de praktijk is gerealiseerd: bronvermelding waar dat geverifieerd kan worden.
Bij stembiljet met hand

[Klik hier om uw antwoord te geven.]

ingevulde stemkeuze

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Bij door stemprinter

[Klik hier om uw antwoord te geven.]

geprint stembiljet

Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

7. Snelheid gereedmaken voor gebruik stemprinter en stemmenteller
Zie ook bijlage ‘Locaties stemlokalen in Nederland’, voor de diversiteit aan locaties waar stemprinters en
stemmentellers worden gebruikt.
a.

Elke afzonderlijke stemprinter en stemmenteller zou door 1 persoon binnen 5 minuten voor gebruik
gereed gemaakt moeten kunnen worden. Dit gereedmaken houdt in ieder geval in het uit de
(transport)behuizing halen, opstellen en koppelen aan netvoeding. Is 5 minuten realiseerbaar?
Stemprinter:

Stemmenteller:

Ja

Nee

Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd en vermeld toepassingen waar een dergelijke tijd voor
gereedmaken aantoonbaar is gerealiseerd, met bronvermelding waar dat geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

52

Zo nee, waarom niet en hoeveel tijd gaat dit dan wel kosten en vermeld toepassingen waar een
dergelijke tijd voor gereedmaken aantoonbaar is gerealiseerd, met bronvermelding waar dat
geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

b.

Hoeveel tijd gaat het opstarten inclusief het uitvoeren van de door het protection profile voorgeschreven
zelftest (FPT_TST.1 uit Hoofdstuk 6 van de protection profiles) voor enerzijds een stemprinter en
anderzijds voor een stemmenteller vergen?
Opstarttijd stemprinter
[Klik hier om uw antwoord te geven.]
Opstarttijd stemmenteller
[Klik hier om uw antwoord te geven.]

Komt deze tijd bovenop de bij a) genoemde 5 minuten of kan het binnen die 5 minuten worden
gerealiseerd?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemmenteller
[Klik hier om uw antwoord te geven.]

Waarop wordt dit antwoord gebaseerd en vermeld toepassingen waar het uitvoeren van een zelftest is
gerealiseerd, met bronvermelding waar dat geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

53

Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

8. Snelheid afbouwen stemprinter en stemmenteller
Zie ook bijlage ‘Locaties stemlokalen in Nederland’, voor de diversiteit aan locaties waar stemprinters en
stemmentellers worden gebruikt.
Elke afzonderlijke stemprinter en stemmenteller moet door 1 persoon binnen 5 minuten afgebouwd kunnen
worden. Dit houdt in ieder geval in de tijd om de software af te sluiten en de hardware uit te schakelen, van
netvoeding af te halen, in de transport behuizing plaatsen en deze transportbehuizing af te sluiten. Is 5
minuten realiseerbaar?
Stemprinter:
Stemmenteller:

Ja

Nee

Ja

Nee

Zo ja, waarop wordt dit antwoord gebaseerd en vermeld toepassingen waar een dergelijke tijd voor
afbouwen aantoonbaar is gerealiseerd, met bronvermelding waar dat geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zo niet: waarom niet en hoeveel tijd gaat dit dan wel kosten en vermeld toepassingen waar een dergelijke
tijd voor afbouwen aantoonbaar is gerealiseerd, met bronvermelding waar dat geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

54

9. Snelheid configureren stemprinter en stemmenteller
a.

Hoe lang kan het gaan duren om enerzijds een stemprinter en anderzijds om een stemmenteller die al
gereed is gemaakt voor gebruik en is opgestart (inclusief zelftest) te configureren voor een
verkiezingsdag? Bij het bepalen van de tijd dienen in ieder geval de volgende handelingen meegerekend
te worden:
•

het laden van verkiezingsgegevens van 1 of meerdere verkiezingen op dezelfde verkiezingsdag en
het controleren daarvan;

•

met een stemprinter, het maken van 5 test stemprints, inclusief het voor elke stemprint activeren
van de stemprinter met een token;

•

met een stemmenteller, het proefscannen en tellen van 5 stemprints, inclusief het activeren van de
stemmenteller met een token.

De berekening van de tijdsduur moet transparant zijn. In het antwoord moet voor zowel een
stemprinter als voor een stemmenteller de berekening van de opgegeven tijd worden onderbouwd, met
een bronvermelding waar dat geverifieerd kan worden.
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

b.

Hoeveel tijd komt er bovenop de bij a) genoemde tijd indien enerzijds een stemprinter en anderzijds
een stemmenteller naast verkiezingsgegevens tevens voorzien moeten worden van een op de plank
liggende verzamel software update (beveiliging gerelateerd en/of functionele wijzigingen)? Voor het
toepassen van de verzamel software update moet uit worden gegaan van de meest efficiënte wijze van
toepassen van een omvangrijke software update, bijvoorbeeld door het opnieuw laden van alle
programmatuur.
De berekening van de tijdsduur moet transparant zijn. In het antwoord moet voor zowel een
stemprinter als voor een stemmenteller de berekening van de opgegeven tijd worden onderbouwd, met
een bronvermelding waar dat geverifieerd kan worden.
Stemprinter
[Klik hier om uw antwoord te geven.]
Stemprinter bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]

55

Stemmenteller bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

10. Snelheid printen stembiljet
Hoeveel tijd zal het kunnen kosten om met een stemprinter een stembiljet te printen met de informatie die
is vermeld in onderdeel ‘D. Functionaliteit en bediening stemprinter’ van de specificaties? De tijd moet
worden berekend vanaf het moment dat een kiezer zijn keuze bevestigd heeft tot het moment dat het
stembiljet volledig door de stemprinter is geprint en door de kiezer kan worden opgepakt.
[Klik hier om uw antwoord te geven.]

Waarop is de opgegeven tijd gebaseerd en van welke printtechnologie is uitgegaan? Vermeld toepassingen
waar een dergelijke snelheid in de praktijk is gerealiseerd, met bronvermelding waar dat geverifieerd kan
worden.
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

11. Stembiljet
a.

Kan het voorvouwen van een stembiljet van invloed zijn op de goede werking van een stemprinter?
Ja

Nee

Waarom en waarop is die conclusie gebaseerd (bronvermelding waar dat geverifieerd kan worden)?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

b.

Kan het echtheidskenmerk in het stembiljet zoals omschreven in onderdeel ‘F. Stembiljet dat door de
stemprinter wordt geprint’ van de specificaties van invloed zijn op de nauwkeurigheid en/of snelheid
van het tellen door een stemmenteller?
Ja

Nee

Zo ja, waarom en waarop is die conclusie gebaseerd (bronvermelding waar dat geverifieerd kan
worden)?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

56

Zijn er echtheidskenmerken die geen invloed kunnen hebben op de nauwkeurigheid en/of snelheid van
het tellen door een stemmenteller?
Ja

Nee

Zo ja, welke echtheidskenmerken zijn dat dan?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

12. Stemgeheim waarborgen bij stemprinter
Zie ook bijlage ‘Locaties stemlokalen in Nederland’, voor de diversiteit aan locaties waar stemprinters
worden gebruikt.
De aanname is dat in het merendeel van de stemlokalen 3 stemprinters naast elkaar zullen staan. Hoe
wordt gerealiseerd dat bij een dergelijke opstelling de kiezers niet over en weer kunnen zien welke keuze
een andere kiezer maakt?
[Klik hier om uw antwoord te geven.]

Welke vormgeving en voorzieningen kan de stemprinter (inclusief de behuizing daarvan) hebben om het
stemgeheim te waarborgen?
[Klik hier om uw antwoord te geven.]

Waar en waarvoor is die oplossing eerder toegepast, met bronvermelding waar dat geverifieerd kan
worden?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

13. Gewicht van stemprinter en stemmenteller
Uitgaande van de specificaties: hoeveel zal een stemprinter en een stemmenteller, inclusief en exclusief
transportbehuizing, kunnen wegen (in kg)?
Gewicht stemprinter
[Klik hier om uw antwoord te geven.]

57

Gewicht stemmenteller
[Klik hier om uw antwoord te geven.]

Waarop wordt dit antwoord gebaseerd, met bronvermelding waar dat geverifieerd kan worden?
Stemprinter
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]
Stemmenteller
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

14. Beveiliging stemprinter en stemmenteller
Zie ook bijlagen ‘Protection Profile ballot printer’ en ‘Protection Profile vote counter’.
In de bij de specificaties bijgevoegde protection profiles voor de stemprinter en stemmenteller is de
maatregel (FPT_PHP.2/FPT_PHP.3 uit Hoofdstuk 6) opgenomen dat er een beveiligingsmechanisme moet
zijn dat detecteert of geprobeerd wordt de (fysieke) beveiliging te doorbreken. Wordt dat gedetecteerd dan
moet het mechanisme de stemprinter en stemmenteller in een status brengen die het onmogelijk maakt de
stemprinter/stemmenteller te gebruiken voor het printen van stembiljetten cq het tellen ervan. Zijn
dergelijke mechanismen bekend?
Ja

Nee

Zo ja, geef de mechanismen dan aan. Welke ervaring is er met deze mechanismen en waar zijn deze
mechanismen eerder toegepast, met bronvermelding waar dat geverifieerd kan worden?
[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

Zijn die mechanismen bestand tegen aanvallen met een hoog aanvalsniveau (waar de protection profiles
van uit gaan) en hoe is dat vastgesteld, met bronvermelding waar dat geverifieerd kan worden?
Ja

Nee

[Klik hier om uw antwoord te geven.]
Bronvermelding
[Klik hier om uw bron(nen) voor verificatie te vermelden.]

58

15. Reserveonderdelen stemprinter en stemmenteller
Is te realiseren dat voor 8 jaar identieke (reserve) onderdelen voor stemprinters en stemmentellers
beschikbaar kunnen zijn?
Ja

Nee

Zo ja, waarop is gebaseerd dat leveranciers van die onderdelen voor 8 jaar de onderdelen blijven leveren?
[Klik hier om uw antwoord te geven.]

Zo niet, hoe wordt dan voorkomen dat bij vervanging van onderdelen een nieuwe Common Criteria
certificering nodig is?
[Klik hier om uw antwoord te geven.]

16. Plaats waar werkzaamheden worden verricht voor stemprinter en stemmenteller
In welk(e) land/landen is voor de stemprinter en stemmenteller voorzien:
•

de ontwikkeling,

•

de productie,

•

het onderhoud van de stemprinter en stemmenteller?
[Klik hier om uw antwoord te geven.]

59

Deel 3 – Vragen over doorlooptijd en kosten
Indien de Nederlandse overheid besluit tot invoering van stemprinters en stemmentellers dan is de
aanname dat dit (heel) geleidelijk zal gebeuren. In eerste instantie zal er heel kleinschalig
geëxperimenteerd worden, waarbij uiteraard de gebruikte stemprinters en stemmentellers aan alle
specificaties (inclusief Common Criteria certificering en SDIP 27/1 Level A) zullen moeten voldoen.
Voorafgaand aan een experiment zal er door de Nederlandse overheid heel grondig getest worden om te
kunnen bepalen of de stemprinter en stemmenteller bij een echte verkiezing ingezet kunnen worden.
Experimenten worden geëvalueerd. Uit de evaluatie zullen verbeterpunten komen die in stemprinters en
stemmentellers doorgevoerd moeten worden. Als de aanpassing invloed heeft op de beveiliging, dan is een
Common Criteria hercertificering nodig en bij aanpassingen in apparatuur van een stemprinter ook nieuwe
SDIP 27/1 testen van prototypes en individuele metingen van alle stemprinters. Bij volgende experimenten
herhaalt zich dit proces.
Te hanteren indicatieve aantallen ten behoeve van doorlooptijd- en kostenramingen
Ten behoeve van de beantwoording van de hierna volgende vragen is in onderstaande tabel indicatief het
aantal stemprinters en stemmentellers genoemd dat nodig zou kunnen zijn voor de experimenten. Verder
zijn indicatieve aantallen vermeld voor het geval in elk stembureau stemprinters en stemmentellers
gebruikt zouden worden.
1e
Aantal

2e

3e

Experiment

Experiment

Experiment

5

45

150

390 gemeenten en

gemeenten

gemeenten

gemeenten

3 openbare lichamen

Stembureaus

100

1.800

3.500

Tussen de 9.000 en 10.000

Stemprinters

350

6.000

12.500

35.000

Gemeenten /
Openbare lichamen

Stemmentellers
Elektronische tokens

Landelijke invoering

120

2.100

4.000

12.500

2.200

396.000

770.000

2.200.000

1. Vragen over doorlooptijd
De doorlooptijd voor de ontwikkeling, productie en distributie van stemprinters en stemmentellers wordt
voor het 1e experiment berekend vanaf het moment dat de opdracht is gegeven (door het ondertekenen
van een contract) en loopt door tot en met het moment dat stemprinters en alle stemmentellers worden
bezorgd bij de gemeenten.
Voor volgende experimenten en landelijke uitrol loopt de berekening vanaf het moment dat overheid
opdracht geeft voor het leveren van de betreffende stemprinters en stemmentellers tot en met het moment
van bezorging daarvan bij de gemeenten.
Bij het berekenen van de doorlooptijd dient u in ieder geval in te calculeren (niet limitatief):
a.

het maken van systeemontwerpen en systeemdocumentatie die voldoet aan de Common Criteria
vereisten;

b.

het opzetten van een testomgeving voor het testen van stemprinters, stemmentellers en elektronische
tokens;

c.

het ontwikkelen en vervolgens aanpassen van een aantal simulaties waarmee de door de overheid
ontworpen gebruikersinterface met proefpersonen kunnen worden getest;

d.

het leveren van ondersteuning bij het gebruik van de simulaties om de gebruikersinterface met
proefpersonen te testen. Voor de periode waarin testen met proefpersonen worden uitgevoerd kan
worden uitgegaan van minimaal 1 en maximaal 3 maanden;

e.

het voor een stemprinter selecteren van stralingsarme hardware componenten;

60

f.

het maken van prototypes van een stemprinter en stemmenteller voor certificeringstesten ten behoeve
van Common Criteria certificering;

g.

het maken van prototypes van een stemprinter voor de testen/metingen op basis van de SDIP 27/1
Level A;

h.

het uitvoeren van testen door het evaluerend laboratorium voor de Common Criteria certificering;

i.

het op prototypes van een stemprinter uitvoeren van testen/metingen om vast te stellen dat aan SDIP
27/1 Level A norm wordt voldaan;

j.

het ondersteunen van acceptatietesten door de overheid. Voor de doorlooptijd van acceptatietesten kan
voor de stemprinters en stemmentellers die voor het 1e experiment worden ontwikkeld worden
uitgegaan van minimaal 3 en maximaal 5 maanden en voor het 2e en 3e experiment en voor de
landelijke invoering 2 maanden. Acceptatietesten vangen pas aan na Common Criteria certificering en
afronding testen om vast te stellen dat aan SDIP 27/1 Level A norm wordt voldaan;

k.

de individuele meting van elke stemprinter om vast te stellen dat aan SDIP 27/1 Level A norm wordt
voldaan;

l.

distributie stemprinters, stemmentellers en elektronische tokens naar gemeenten / openbare lichamen.

Antwoordinstructie
U wordt gevraagd in de tabellen hieronder voor stemprinter en stemmenteller afzonderlijk achtereenvolgens
aan te geven:
V. Doorlooptijd voor ontwikkeling, productie en distributie, waarbij na experimenten geen Common
Criteria her-certificering en geen testen/meten voor SDIP 27/1 Level A nodig zijn
VI. Doorlooptijd voor ontwikkeling, productie en distributie, waarbij na experimenten wel Common
Criteria her-certificering en wel opnieuw testen/meten voor SDIP 27/1 Level A nodig zijn
VII. Doorlooptijd voor specifieke onderdelen voor stemprinter en stemmenteller
Vermeld daarbij steeds een bandbreedte (min-max in maanden) in doorlooptijd en de aannamen die u
hierbij hanteert.

61

I. Ontwikkeling, productie

1e expe-

2e expe-

3e expe-

Alle

en distributie

riment

riment

riment

gemeenten/

Na experimenten geen

openbare

Common Criteria her-

lichamen

Aannamen

certificering en geen testen/
meten voor SDIP 27/1 Level A
Doorlooptijd stemprinter
(min-max)
Doorlooptijd stemmenteller
(min-max)

II. Ontwikkeling, productie

1e expe-

2e expe-

3e expe-

Alle

en distributie

riment

riment

riment

gemeenten/

Na experimenten wel Common

openbare

Criteria hercertificering en wel

lichamen

Aannamen

opnieuw testen/meten voor
SDIP 27/1 Level A
Doorlooptijd stemprinter
(min-max)
Doorlooptijd stemmenteller
(min-max)

III. Doorlooptijd voor specifieke onderdelen

Doorlooptijd Doorlooptijd

voor stemprinter en stemmenteller

stemprinter

stemmenteller

(min-max)

(min-max)

het maken van systeemontwerpen en
systeemdocumentatie die voldoet aan de Common
Criteria vereisten
het uitvoeren van testen door het evaluerend
laboratorium voor de Common Criteria certificering

62

Aannamen

III. Doorlooptijd voor specifieke onderdelen

Doorlooptijd Doorlooptijd

voor stemprinter en stemmenteller

stemprinter

stemmenteller

(min-max)

(min-max)

het op prototypes van een stemprinter uitvoeren van

NVT

testen/metingen om vast te stellen dat aan SDIP 27/1
Level A norm wordt voldaan
de individuele meting van een exemplaar van de

NVT

stemprinter om vast te stellen dat aan SDIP 27/1
Level A norm wordt voldaan
maken en testen van een software update om
stemprinters en stemmentellers te beschermen tegen
de laatst bekende veiligheidsrisico’s, inclusief een
eventuele Common Criteria hercertificering
na landelijke invoering ten behoeve van een
verkiezing maken en naar gemeenten/openbare
lichamen verspreiden van DVD’s met software updates
en verkiezingsgegevens, inclusief het daarover zetten
van een digitale handtekening, te rekenen vanaf het
door de bevoegde autoriteit vaststellen van de
verkiezingsgegevens tot het bij de laatste
gemeente/openbaar lichaam aankomen van de DVD’s
na landelijke invoering ten behoeve van een

NVT

verkiezing aan gemeenten/openbare lichamen leveren
van stembiljetten, te rekenen vanaf het door de
overheid vaststellen van het te gebruiken
echtheidskenmerk tot het bij de laatste
gemeente/openbaar lichaam aankomen van de
stembiljetten.

63

Aannamen

2. Vragen over kosten
Bij het berekenen van de kosten dient u in ieder geval in te calculeren (niet limitatief):
a.

het maken van systeemontwerpen en systeemdocumentatie die voldoet aan de Common Criteria
vereisten;

b.

het opzetten van een testomgeving voor het testen van stemprinters, stemmentellers en elektronische
tokens;

c.

het ontwikkelen en vervolgens aanpassen van een aantal simulaties waarmee de door de overheid
ontworpen gebruikersinterface met proefpersonen kan worden getest;

d.

het leveren van ondersteuning bij het gebruik van de simulaties om de gebruikersinterface met
proefpersonen te testen. Voor de periode waarin testen met proefpersonen worden uitgevoerd kan
worden uitgegaan van minimaal 1 en maximaal 3 maanden;

e.

het voor een stemprinter selecteren van stralingsarme hardware componenten;

f.

het maken van prototypes van een stemprinter en stemmenteller voor certificeringstesten ten behoeve
van Common Criteria certificering;

g.

het maken van prototypes van een stemprinter voor de testen/metingen op basis van de SDIP 27/1
Level A;

h.

het uitvoeren van testen door het evaluerend laboratorium voor de Common Criteria certificering;

i.

het op prototypes van een stemprinter uitvoeren van testen/metingen om vast te stellen dat aan SDIP
27/1 Level A norm wordt voldaan;

j.

het ondersteunen van acceptatietesten door de overheid. Voor de doorlooptijd van acceptatietesten kan
voor de stemprinters en stemmentellers die voor het 1e experiment worden ontwikkeld worden
uitgegaan van minimaal 3 en maximaal 5 maanden en voor het 2e en 3e experiment en voor de
landelijke invoering 2 maanden. Acceptatietesten vangen pas aan na Common Criteria certificering en
afronding testen om vast te stellen dat aan SDIP 27/1 Level A norm wordt voldaan;

k.

de voorraad reserveonderdelen die aangehouden moeten worden om stemprinters en stemmentellers 8
jaar te kunnen gebruiken zonder een nieuwe Common Criteria certificering;

l.

de individuele meting van elke stemprinter om vast te stellen dat aan SDIP 27/1 Level A norm wordt
voldaan;

m. distributie van stemprinters, stemmentellers en elektronische tokens naar gemeenten / openbare
lichamen;
n.

alle kosten die nodig zijn om elektronische tokens te ontwikkelen, produceren en distribueren, inclusief
de voorzieningen die nodig zijn om het elektronische token te voorzien van sleutelmateriaal waaronder
een PKI;

o.

bij een volgend experiment en bij landelijke invoering worden de stemprinters en stemmentellers die
voor voorgaande experimenten zijn geleverd opnieuw ingezet, na het doorvoeren van wijzigingen
daarop naar aanleiding van de evaluatie. Dat geldt ook voor elektronische tokens als daar op basis van
de evaluatie geen wijzigingen op zijn. Voor de opnieuw te gebruiken stemprinters en stemmentellers
gelden dan alleen de kosten voor onderhoud en ondersteuning en niet nog een keer kosten voor
ontwikkeling, productie en distributie. Voor de opnieuw te gebruiken ongewijzigde elektronische tokens
worden geen kosten in rekening gebracht.

Voor het onderhoud en de ondersteuning worden de kosten per stemprinter en stemmenteller gevraagd per
keer dat deze op een verkiezingsdag worden ingezet, ongeacht het aantal verkiezingen op die
verkiezingsdag. In deze kosten moeten alle activiteiten zitten die volgens de specificaties onder onderhoud
en ondersteuning vallen en die ten behoeve van de betreffende verkiezingen nodig zijn, waaronder in ieder
geval (niet limitatief):
a.

maken en testen software-updates om stemprinters en stemmentellers te beschermen tegen de laatst
bekende veiligheidsrisico’s, inclusief een eventuele Common Criteria hercertificering;

64

b.

maken en naar gemeenten/openbare lichamen verspreiden van DVD’s met software updates en
verkiezingsgegevens, inclusief het daarover zetten van een digitale handtekening;

c.

aan gemeenten/openbare lichamen leveren van stembiljetten;

d.

aan gemeenten/openbare lichamen leveren verbruiksmaterialen voor de stemprinter en stemmenteller;

e.

ondersteuning aan gemeenten/openbare lichamen bij voorbereiding van de verkiezingen en het gebruik
van stemprinters, stemmentellers en elektronische tokens;

f.

ter plekke bij gemeenten/openbare lichamen oplossen van problemen met stemprinters en
stemmentellers;

g.

vervangen van defecte stemprinters en stemmentellers;

h.

de revisie van stemprinters en stemmentellers na een verkiezing;

i.

het uitvoering van een SDIP 27/1 Level A meting na het vervangen van onderdelen (niet zijnde
verbruiksmaterialen) van een stemprinter.

Antwoordinstructie
U wordt gevraagd in de tabellen hieronder voor stemprinter, stemmenteller en elektronisch token
afzonderlijk achtereenvolgens aan te geven:
I.

Kosten voor ontwikkeling, productie en distributie, waarbij na experimenten geen Common Criteria
her-certificering en geen testen/meten voor SDIP 27/1 Level A nodig zijn

II. Kosten voor ontwikkeling, productie en distributie, waarbij na experimenten wel Common Criteria
her-certificering en wel opnieuw testen/meten voor SDIP 27/1 Level A nodig zijn
III. Onderhoud en ondersteuning (niet van toepassing voor elektronisch token)
Vermeld daarbij steeds een bandbreedte (min-max in euro’s of dollars) in kosten inclusief Nederlandse BTW
(21%) en de aannamen die u hierbij hanteert.
Geef ook duidelijk aan in welke valuta (euro’s of dollars) u de kosten weergeeft.

65

I. Ontwikkeling, productie

1e expe-

2e expe-

3e expe-

Alle

en distributie

riment

riment

riment

gemeenten/

Na experimenten geen

openbare

Common Criteria her-

lichamen

Aannamen

certificering en geen testen/
meten voor SDIP 27/1 Level A
Kosten per stemprinter
(min-max)
Kosten per stemmenteller
(min-max)
Kosten per elektronisch token
(min-max)

II. Ontwikkeling, productie

1e expe-

2e expe-

3e expe-

Alle

en distributie

riment

riment

riment

gemeenten/

Na experimenten wel Common

openbare

Criteria hercertificering en wel

lichamen

Aannamen

opnieuw testen/meten voor
SDIP 27/1 Level A
Kosten per stemprinter
(min-max)
Kosten per stemmenteller
(min-max)
Kosten per elektronisch token
(min-max)

66

III. Onderhoud en

1e expe-

2e expe-

3e expe-

Alle

ondersteuning

riment

riment

riment

gemeenten/

Aannamen

openbare
lichamen
Kosten per stemprinter
(min-max)
Kosten per stemmenteller
(min-max)

67