Bijlage:
Nieuwe test met een simulatie stemprinter

Rapportage van een nieuwe test met een simulatie van een stemprinter
In februari en maart 2016 heeft een test plaatsgevonden waarbij aan potentiële (groepen) kiezers
is gevraagd zowel met huidige papieren stembiljetten als met een simulatie van een stemprinter
keuzes te maken voor verkiezingen, de gemaakte keuzes te controleren en vervolgens (op de
simulatie) een papieren stembiljet te printen.

1.1.

Doel en onderzoeksvragen

Het doel van de test was na te gaan of het stemmen door gebruik te maken van een stemprinter
toegankelijker wordt. Met toegankelijkheid wordt bedoeld: de mate waarin een kiezer in staat blijkt
te zijn een correcte 1 stem uit te brengen. In het bijzonder is de test gericht op kiezers met een
beperking en op oudere kiezers. Op basis van deze doelstelling zijn 3 onderzoeksvragen
geformuleerd, te weten:
1. Blijft door de invoering van een stemprinter het stemmen toegankelijk voor de oudere kiezer?
Blijven ouderen in dezelfde mate als met het huidige stembiljet in staat om zelfstandig 2 te
stemmen?
2. Wordt door de invoering van de stemprinter het stemmen toegankelijker voor laaggeletterden?
Zijn meer laaggeletterden in staat om zelfstandig te stemmen?
3. Wordt met de invoering van de stemprinter het stemmen toegankelijker voor slechtzienden?
Zijn meer slechtzienden in staat om zelfstandig te stemmen?
Een tweede doel van de test was om de specificaties van de gebruikersinterface van de stemprinter
op te stellen.

1.2. Omschrijving van de test
Aan de test hebben drie gebruikersgroepen deelgenomen. Gebruikersgroep A bestond uit ouderen
die zelf vinden dat zij in staat zijn om zelfstandig te stemmen met het papieren stembiljet dat
gebruikt wordt bij verkiezingen. Gebruikersgroep B bestond uit personen die laaggeletterd zijn.
Gebruikersgroep C bestond uit personen die een visuele beperking hebben en daardoor nu met
het huidige stembiljet niet of moeilijk in staat zijn om zelfstandig te stemmen.
Voor gebruikersgroep A golden de volgende selectiecriteria:
1/ De proefpersoon heeft in 2014/2015 zelfstandig gestemd voor een of meerdere verkiezingen
van de leden van de gemeenteraden, leden van het Europees Parlement, leden van Provinciale
Staten of besturen van Waterschappen en acht zichzelf nog steeds in staat dit te doen.
2/ Er is een evenredige verdeling van geslacht (50% man-50% vrouw) met maximaal 75% van
hetzelfde geslacht.
3/ De volgende aantallen proefpersonen per leeftijdcategorie zijn gewenst:
- minimaal 50 oudere kiezers in de leeftijdscategorie 65-69;
- minimaal 50 oudere kiezers in de leeftijdscategorie 70-74;
- minimaal 50 oudere kiezers in de leeftijdscategorie 75-79;
- minimaal 50 oudere kiezers in de leeftijdscategorie 80+.

1
Onder correct wordt in deze rapportage verstaan dat de proefpersoon de gegeven opdracht om een keuze te
maken voor een verkiezing juist heeft uitgevoerd.
2
Onder zelfstandig stemmen wordt in deze rapportage verstaan dat een kiezer in het stemhokje zonder de hulp
van een andere persoon zijn/haar keuze kan maken.

Bijlage: Nieuwe test met een simulatie van een stemprinter

2

4/ Opleidingsniveau:
- minimaal 30% van de proefpersonen heeft als hoogst genoten opleidingsniveau lager onderwijs;
- minimaal 30% van de proefpersonen heeft als hoogst genoten opleidingsniveau hoger
onderwijs;
- De overige 40% van de proefpersonen heeft een lager, middelbaar of hoger opleidingsniveau.
Voor gebruikersgroep B en C golden de volgende selectiecriteria:
- 30 tot 50 laaggeletterde kiezers;
- 30 tot 50 slechtziende kiezers (visus tussen 0,05 en 0,3 of gezichtsveld tussen 10 en 30 graden);
- maximaal 75% van hetzelfde geslacht.
Tijdens de test is een tweevoudige verkiezing gesimuleerd. De proefpersonen activeren de
simulatie van de stemprinter (verder simulatie genoemd in deze rapportage) door een smartcard
per verkiezing in te voeren. Vervolgens maken zij keuzes voor een lijstverkiezing en een
referendum. In de test werd voor de lijstverkiezing gebruik gemaakt van fictieve lijsten en
kandidaten of blanco. Bij het referendum werd een fictieve vraag gesteld, die beantwoord kan
worden door te kiezen uit: voor, tegen of blanco.
Iedere proefpersoon kreeg een opdracht om bepaalde keuzes te maken, deze te printen en te
controleren of de keuze op het geprinte papier correct is. De proefpersoon levert de prints in bij de
personen die de test begeleiden. Alle proefpersonen dienden tevens dezelfde opdracht uit te voeren
met het huidige papieren stembiljet. Tenslotte werden aan de proefpersonen nog enkele vragen
gesteld.

1.3. Simulatie
Voor de test is gebruik gemaakt van 4 identieke simulaties bestaande uit een kaartlezer, een 24
inch aanraakscherm, een verwerkingseenheid, een printer en een koptelefoon. De proefpersonen
activeren de simulatie door per verkiezing een voorgeprogrammeerde smartcard in te voeren en
gebruik te maken van de aanraakscherminteractie. Deze interactie bestaat uit in totaal ± 12
verschillende basisschermen. De proefpersoon maakt keuzes via de schermen. De
aanraakscherminteractie kan auditief ondersteund worden door gesproken tekst (via een
koptelefoon). Alle opdrachten en gemaakte keuzes op het scherm worden dan opgelezen.

Het ministerie van BZK heeft in 2014 al een test gedaan met een simulatie van de stemprinter. De
uitkomsten van die test zijn gepubliceerd 3. Voor de test die nu in 2016 is uitgevoerd is die
simulatie als basis genomen. Aan de apparatuur van de simulatie is een kaartlezer toegevoegd
3

TK 2014-2015, 33 829 nr.7, bijlage

Bijlage: Nieuwe test met een simulatie van een stemprinter

3

voor de activering. De aanraakscherminteractie inclusief auditieve ondersteuning van de simulatie
is aangepast. De belangrijkste aanpassingen aan de interacties zijn:
•

Geen overzicht van verkiezingen (bij een meervoudige verkiezing): kiezer maakt keuze voor
een verkiezing door een smartcard voor een bepaalde verkiezing in te voeren. Kaartlezer “slikt”
de kaart in.

•

Gebruik van het woord ‘partij’ in plaats van woord ‘lijst’. Dit sluit beter aan bij het dagelijkse
woordgebruik van kiezers.

•

Alle schermen hebben nu een grijze achtergrond waardoor de (gekleurde) actie knoppen beter
opvallen.

•

Alternatieve oplossing voor tabbladen in
de schermen waarop een kandidaat kan
worden gekozen. Zo nodig kan direct na
de laatste kandidaat van een scherm op
een knop gedrukt worden zodat
doorgebladerd wordt naar het volgende
kandidatenscherm. Dit geldt bij de
volgende kandidatenschermen ook voor
het terugbladeren, direct voor de eerste
kandidaat.

•

Ander scherm waarop de kiezer de
gemaakte keuze kan controleren. Op het
aangepaste scherm staat alleen de
gemaakte keuze in groot formaat en niet
de hele inhoud van het te printen
stembiljet.

•

Het controlescherm voor het stembiljet is
veranderd. Het stembiljet wordt niet meer
afgebeeld op het scherm. In plaats
daarvan beantwoordt de kiezer de vraag:
‘Klopt het stembiljet?’.

Bijlage: Nieuwe test met een simulatie van een stemprinter

4

1.4. Testcondities groep A (Ouderen)
Gebruikersgroep A deed twee sessies, namelijk:
- Sessie 1: Voert 2 opdrachten uit op huidige papieren stembiljetten.
•

1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad;

•

1 opdracht voor de referendumverkiezing.

- Sessie 2: Voert 2 opdrachten uit met de simulatie:
•

1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad;

•

1 opdracht voor de referendumverkiezing.

De volgorde van de twee sessies wisselde. De helft van de proefpersonen startte met de huidige
papieren stembiljetten, de andere helft met de simulatie. De volgorde van bovenstaande
opdrachten binnen de sessie werd door de proefpersoon zelf bepaald door het invoeren van een
betreffende smartcard.
Voor het uitvoeren van opdrachten op de simulatie van de stemprinter zijn 2 varianten gemaakt
waarbij elk van de varianten door een deel van groep A werd gedaan. Dit om te voorkomen dat er
onverwachte effecten optreden bij het testen met maar 1 variant door positie op het scherm,
vreemde naam, hoogte van nummer, etc. Om deze effecten zoveel mogelijk inzichtelijk te maken
(en de daarmee optredende bias te voorkomen) werden er 2 vergelijkbare opdrachten gegeven
(variant I en variant II).
De twee varianten zijn:
- Variant I
•

Lijstverkiezing: Kies ‘lijst 2, kandidaat 25’

•

Referendumverkiezing: Kies ‘tegen’.

- Variant II
•

Lijstverkiezing: Kies ‘lijst 12, kandidaat 6’

•

Referendumverkiezing: Kies ‘tegen’.

Voor een spreiding van de varianten over de proefpersonen van Groep A is leeftijd als
onafhankelijke variabele meegenomen uit de reeks selectiecriteria (leeftijd/
geslacht/opleidingsniveau). In combinatie met de bepaalde grootte van groep A resulteerde dit in
een overzicht van de verdeling van proefpersonen in groep A over de testcondities (zie tabel 1).
De proefpersonen uit groep A deden eerst de simulatie met alleen het aanraakscherm zonder
auditieve ondersteuning. Indien het de proefpersoon niet lukte om de stembiljetten binnen de
tijdslimiet juist te printen werd een nieuwe sessie gestart met dezelfde opdracht en werd auditieve
ondersteuning aangeboden. Indien het dan ook niet lukt om juiste stembiljetten te printen, stopte
het.
De testers die de test hebben uitgevoerd hebben opmerkingen van proefpersonen genoteerd als die
werden gemaakt. Als testers iets bijzonders is opgevallen bij het uitvoeren van de opdrachten door
de proefpersonen is dat eveneens vastgelegd.

Bijlage: Nieuwe test met een simulatie van een stemprinter

5

A

sessie

middel

variant 1

variant 2

huidig

lijst 2,

lijst 12,

stembiljet

kandidaat 25

kandidaat 6

huidig

referendum

referendum

stembiljet

kies ‘tegen’

kies ‘tegen’

lijst 2,

lijst 12,

kandidaat 25

kandidaat 6

referendum

referendum

kies ‘tegen’

kies ‘tegen’

aantal

aantal

proefpersonen

proefpersonen

variant 1

variant 2

lijstverkiezing
sessie 1

referendum

sessie 2

volgorde

simulatie

leeftijd

1

65-69

15

23

38

2

sessie 1

70-74

23

16

39

3

sessie 2

75-79

20

16

36

4

80+

22

13

35

5

65-69

23

19

42

6

sessie 2

70-74

15

19

34

7

sessie 1

75-79

18

20

38

80+

8

15

23

65-69

38

42

80

70-74

38

35

73

75-79

38

36

74

80+

30

28

58

144

141

285

144

141

285

8

totaal
totaal

groep A

Tabel 1: Verdeling proefpersonen groep A

Bijlage: Nieuwe test met een simulatie van een stemprinter

6

1.5. Testcondities groepen B en C (Laaggeletterden en Slechtzienden)
Gebruikersgroep B deed drie sessies, namelijk:
- Sessie 1: Voert 2 opdrachten uit op huidige papieren stembiljetten.
•

1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad;

•

1 opdracht voor de referendumverkiezing.

- Sessie 2: Voert 2 opdrachten uit met de simulatie:
•

1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad;

•

1 opdracht voor de referendumverkiezing.

- Sessie 3: Voert 2 opdrachten uit met de simulatie met auditieve ondersteuning.
•

1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad;

•

1 opdracht voor de referendumverkiezing.

De volgorde van de drie sessies wisselde niet. Steeds werd eerst begonnen met de huidige
papieren stembiljetten. Daarna vervolgde de helft met de simulatie zonder auditieve ondersteuning
en tenslotte de simulatie van de stemprinter met auditieve ondersteuning. De volgorde van
bovenstaande opdrachten binnen de sessie werd door de proefpersoon zelf bepaald. Voor het
uitvoeren van opdrachten op de simulatie zijn 2 varianten gemaakt waarbij elk van de varianten
door een deel van de groepen B en C werd gedaan. Deze zijn gelijk aan die van groep A.
In combinatie met de bepaalde grootte van minimaal 30 personen per groep resulteert dit in een
overzicht van de verdeling van proefpersonen in de groepen B en C over de testcondities (zie tabel
2).
Om meer informatie over het uitvoeren van de opdrachten te krijgen werd gecontroleerd of de
juiste keuzes waren gemaakt en werd vervolgens een aantal vragen gesteld.
B-C

sessie

middel

variant 1

variant 2

huidig stembiljet

lijst 2,

lijst 12,

lijstverkiezing

kandidaat 25

kandidaat 6

huidig stembiljet

referendum

referendum

referendum

kies ‘tegen’

kies ‘tegen’

lijst 2,

lijst 12,

kandidaat 25

kandidaat 6

referendum

referendum

kies ‘tegen’

kies ‘tegen’

sessie 1

sessie 2

simulatie

simulatie met
sessie 3

auditieve
ondersteuning

lijst 2,

lijst 12,

kandidaat 25

kandidaat 6

referendum

referendum

kies ‘tegen’

kies ‘tegen’

aantal

aantal

proefpersonen

proefpersonen

totaal

groep B

13

17

30

totaal

groep C

13

19

32

Bijlage: Nieuwe test met een simulatie van een stemprinter

7

Tabel 2: Verdeling proefpersonen per groep B en C

1.6. Testresultaten
Het doel van de test was na te gaan of het stemmen door gebruik te maken van een stemprinter
toegankelijker wordt. Met toegankelijkheid wordt bedoeld: de mate waarin een kiezer in staat blijkt
te zijn een correcte 4 stem uit te brengen.
Voorafgaand aan de test is daarom bepaald hoe vastgesteld diende te worden of een proefpersoon
wel of niet in staat is de testopdrachten correct uit te voeren, te weten:
Proefpersoon in groep A/B/C niet in staat is om zelfstandig een keuze te maken als hij/zij

•

langer dan 5 minuten over de opdrachten met de papieren stem- en referendumbiljetten
doet;
Proefpersoon in groep A niet in staat is om zelfstandig een keuze te maken als hij/ zij

•

langer dan 10 minuten over de opdrachten met de simulatie doet;
Proefpersoon in groepen B/C niet in staat is om zelfstandig een keuze te maken als hij/ zij

•

langer dan 15 minuten over de opdrachten met de simulatie doet;
De tester start de stopwatch zodra proefpersoon een smartcard in de kaartlezer stopt. Als

•

proefpersoon problemen heeft om de kaart in de kaartlezer te stoppen, mag tester hierbij
helpen (tester maakt hier notitie van);
Indien de simulatie (volgens de proefpersoon) niet goed werkt of vastloopt, wordt de sessie

•

gestopt. De proefpersoon wordt dan verzocht de opdracht opnieuw uit te voeren;
Als de simulatie vastloopt wordt er een nieuwe sessie gestart, met een nieuw

•

sessienummer. Wanneer er een onderbreking is door een technische oorzaak heeft de
tijdswaarneming van de onderbroken sessie geen waarde. Het nieuwe sessienummer dient
aan het observatieformulier toegevoegd te worden.
Indien de proefpersoon constateert (al dan niet terecht) dat het geprinte biljet niet
klopt, krijgt hij/zij nog eenmaal de kans de betreffende opdracht over te doen.

1.7.

Resultaten groep A (Ouderen)

Huidig stembiljet
Aantal huidige
Categorie

stembiljetten
ingevuld

1

2

2
3

2

4
5
6
7

1

Omschrijving van het

Aantal

Per

resultaat

personen

subgroep

Alle stembiljetten goed

233

233

82%

Alleen lijstverkiezing goed

8

Alleen referendum goed

27

46

16%

Beide fout

11

Lijstverkiezing goed

0

Referendum goed

0

0

0%

6

6

2%

285

285

100%

0

4
Onder correct wordt in deze rapportage verstaan dat de proefpersoon de gegeven opdracht om een keuze te
maken voor een verkiezing juist heeft uitgevoerd.

Bijlage: Nieuwe test met een simulatie van een stemprinter

8

Simulatie
Aantal
Categorie

stembiljetten

Omschrijving van het

Aantal

resultaat

personen

Alle stembiljetten goed

234

geprint
1

2

Alleen lijstverkiezing

2

goed
2

3

Alleen referendum
goed

4
5

1

6
7

234

82%

39

14%

1

0%

11

11

4%

285

285

100%

6
24

Beide fout

9

Lijstverkiezing goed

1

Referendum goed

0

0

Per subgroep

Simulatie inclusief audio-ondersteuning
Aantal
Categorie

stembiljetten

Omschrijving van het

Aantal

resultaat

personen

Alle stembiljetten goed

240

geprint
1

2

Alleen lijstverkiezing

2

goed
2

3

Alleen referendum
goed

240

84%

37

13%

0

0%

8

8

3%

285

285

100%

6
23

4

Beide fout

8

5

Lijstverkiezing goed

0

Referendum goed

0

1

6
7

0

Per subgroep

Wat opvalt:
•

Van de totale groep ouderen (285 proefpersonen) is 82% in staat beide huidige stembiljetten
juist in te vullen. Met de simulatie stemprinter is dit eveneens 82%. Als gebruik wordt gemaakt
van de audio-ondersteuning stijgt dit percentage naar 84%;

•

Er hebben zich nauwelijks problemen voorgedaan met het invoeren van de smartcard. 95%
van de ouderen beoordeelde deze handeling als makkelijk, de overigen als neutraal of gaven
geen antwoord;

•

61% van de ouderen vond het maken van de keuzes en het printen van de stembiljetten met
de stemprinter makkelijker dan met het huidige stembiljet, 4% vond het moeilijker en 33%
vond dit hetzelfde als met de huidige stembiljetten (2% gaf geen antwoord);

•

12 oudere proefpersonen die met de simulatie niet twee juiste stembiljetten wisten te printen,
hebben audio-ondersteuning gebruikt. 7 daarvan konden vervolgens wel de opdracht correct
uitvoeren. 1 persoon koos bewust iets anders. 3 personen kozen een verkeerde kandidaat. 1
persoon heeft beide opdrachten niet goed uitgevoerd;

•

Van de proefpersonen die niets hebben kunnen printen zijn enkelen al afgehaakt tijdens de
uitleg of tijdens het uitvoeren van de opdracht. Ook hebben enkele proefpersonen met hulp

Bijlage: Nieuwe test met een simulatie van een stemprinter

9

van de tester de opdracht uitgevoerd. Dit was uiteraard niet de bedoeling. Daarom zijn de
uitkomsten van deze proefpersonen als ‘niet goed’ aangemerkt in bovenstaande overzichten;
96% van de proefpersonen zegt het stembiljet gecontroleerd te hebben. 95% geeft aan dat

•

wat er op de stembiljetten staat overeenkomt met wat hij/zij wilde kiezen. Dit zijn zowel de
proefpersonen die de juiste keuzen gemaakt hebben als zij die een eigen keuze gemaakt
hebben;
Van de 39 proefpersonen die 2 stembiljetten hebben geprint maar niet correct zijn er 25 die

•

aangaven bewust een andere keuze hebben gemaakt.
Wanneer proefpersonen die expliciet aangeven dat zij bewust een andere keuze hebben gemaakt
als juist gerekend worden, stijgen deze percentages van proefpersonen die in staat zijn om met
beide stemmethoden 2 stembiljetten juist in te vullen naar 91% en inclusief audio ondersteuning
naar 94% (zie volgende 3 tabellen).

Huidig stembiljet
Aantal huidige
Categorie

stembiljetten

Omschrijving van het

Aantal

Per

resultaat

personen

subgroep

Alle stembiljetten goed

258

258

Alleen lijstverkiezing

3

ingevuld
1

2

2
3

goed
2

7%

Alleen referendum

13

Beide fout

5

5

Lijstverkiezing goed

0

Referendum goed

0

7

21

goed

4
6

91%

1
0

0

0%

66

6

2%

285

285

100%

Simulatie
Aantal
Categorie

stembiljetten

Omschrijving van het

Aantal

resultaat

personen

Alle stembiljetten goed

259

Alleen lijstverkiezing

2

geprint
1

2

2
3

2

goed
Alleen referendum goed

10

4

Beide fout

2

5

Lijstverkiezing goed

1

Referendum goed

0

6
7

1
0

Per subgroep
259

14

1

91%
5%

0%

11

11

4%

285

285

100%

Simulatie inclusief audio-ondersteuning

Bijlage: Nieuwe test met een simulatie van een stemprinter

10

Aantal
Categorie

stembiljetten

Omschrijving van het

Aantal

resultaat

personen

geprint
1

2

Alle stembiljetten goed

4
5

1

6
7

94%

9

3%

0

0%

8

8

3%

285

285

100%

2

goed

2

3

268

268

Alleen lijstverkiezing

2

Per subgroep

Alleen referendum goed

6

Beide fout

1

Lijstverkiezing goed

0

Referendum goed

0

0

Opvallend zijn de aanmerkelijke verschillen die optreden naarmate de proefpersonen ouder zijn.
Deze verschillen zijn echter praktisch gelijk voor de huidige stembiljetten en de simulatie
stemprinter; zowel ten aanzien van het resultaat voor het invullen van 2 juiste biljetten als voor
het resultaat inclusief ‘bewust eigen keuze’.

Leeftijd

2 juiste biljetten

inclusief 'bewust eigen keuze'

Huidige

Simulatie

Huidige

Simulatie

Stembiljetten

Stemprinter

Stembiljetten

Stemprinter

65 - 69

96%

95%

98%

98%

70 - 74

90%

90%

96%

96%

75 - 79

76%

78%

89%

93%

80+

59%

59%

78%

72%

totaal

82%

82%

91%

91%

Uit tabel 1 op pagina 6 blijkt dat de doelstelling om per leeftijdscategorie minimaal 50
proefpersonen te testen ruim gehaald is. De verdeling over de varianten in opdracht en sessies is
voldoende gespreid, behalve in de groep 80+ is enige disbalans. Dit is echter geen probleem
aangezien uit de volgende 2 tabellen blijkt dat de opdracht variant en de sessievolgorde beperkt
van invloed zijn op het resultaat.
Variant opdracht

2 juiste biljetten
huidige stembiljetten

simulatie

tweede kandidatenscherm

83%

83%

eerste kandidatenscherm

81%

82%

totaal

82%

82%

Sessievolgorde

2 juiste biljetten
huidige stembiljetten

simulatie

eerst huidige stembiljetten

82%

85%

eerst simulatie

81%

80%

totaal

82%

82%

Bijlage: Nieuwe test met een simulatie van een stemprinter

11

Ten aanzien van de geformuleerde selectiecriteria geldt:
1/ De verdeling van geslacht is voldoende evenredig (binnen de marge):
- Deelgenomen mannen: 130 (46%);
- Deelgenomen vrouwen: 154 (54%).
Er is een beperkt verschil in resultaat tussen mannen en vrouwen. Voor huidige
stembiljetten en simulatie stemprinter zijn de resultaten echter praktisch gelijk:

Geslacht

proefpersonen

2 juiste biljetten
huidige

simulatie

stembiljetten
Man

130

85%

85%

Vrouw

154

79%

80%

totaal

285

82%

82%

2/ Er is een kleine ondervertegenwoordiging van lager onderwijs.
- Deelgenomen proefpersonen met hoger onderwijs 85 (30%);
- Deelgenomen proefpersonen met middelbaar onderwijs 127 (44%);
- Deelgenomen proefpersonen met lager onderwijs 73 (26%, doelstelling minimaal
30%).
Maar over het geheel een acceptabele verdeling.
Er is (zoals verwacht) een aanzienlijk verschil in resultaat in proefpersonen met hoger en lager
onderwijs. Voor huidige stembiljetten en simulatie stemprinter zijn de resultaten echter
praktisch gelijk:
Opleiding

proefpersonen

2 juiste biljetten
huidige

simulatie

stembiljetten
Hoger onderwijs

85

91%

89%

Middelbaar onderwijs

127

82%

83%

Lager onderwijs

73

71%

73%

totaal

285

82%

82%

3/ Er is een duidelijk verschil in resultaat tussen de locaties Soest (rond verpleeghuis) en de steden
voor proefpersonen ouder dan 75 jaar. Voor huidige stembiljetten en simulatie blijven de resultaten
echter praktisch gelijk per locatie:
Locatie

proefpersonen 75+

2 juiste biljetten
huidige

simulatie

stembiljetten
Soest

62

65%

66%

Rotterdam/ Amsterdam

30

70%

73%

Dronten

40

73%

73%

totaal

132

69%

70%

Bijlage: Nieuwe test met een simulatie van een stemprinter

12

Nadere analyse laat zien dat de woonvorm van grote invloed is. Proefpersonen uit het verpleeghuis
komen in beide sessies veel moeilijker tot 2 juiste stembiljetten:
Woonvorm

proefpersonen

2 juiste biljetten
huidige

simulatie

stembiljetten
zelfstandig

251

86%

87%

aanleunwoning

17

71%

71%

verpleeghuis

17

29%

29%

totaal

285

82%

82%

Hoe lang duurt het om een keuze te maken, te bevestigen en stembiljet te printen
Om een inschatting te kunnen maken van de tijd die het de oudere proefpersonen heeft gekost om
de opdrachten uit te voeren met de simulatie is uitgegaan van alle proefpersonen die 2
stembiljetten geprint hebben. Dit zijn 273 proefpersonen van de in totaal 285 proefpersonen. De
data van de overige 12 proefpersonen zijn niet meegenomen, omdat deze soms zelfs niet gestart
zijn of niet tot een eindtijd zijn gekomen. Daarbij is een aantal correcties uitgevoerd indien de data
in combinatie met de log files hier aanleiding toe gaven.
De gemeten tijdsduur is die van ‘moment van kaartinvoer’ tot en met het drukken op de ‘heeft u
nog een kaart’ knop. In de gemeten tijdsduur zit niet de tijd die het kost om de smartcard in te
voeren en uit te lezen.
leeftijd

lijstverkiezing

referendum

65 - 69

00:53

00:36

70 - 74

00:57

00:38

75 - 79

01:10

00:46

80+

01:42

00:55

Gemiddeld 65+

01:07

00:43

De aanname wordt gedaan dat de tijdsduur gecorrigeerd kan worden met 8 sec. Deze aanname is
gebaseerd op de gedachte dat een stemprinter in staat zal zijn om het stembiljet in 3 seconden te
printen. De printer van de simulatie doet daar 11 seconden over.
De gemiddelde tijd om een keuze te maken voor de lijstverkiezing is na de correctie voor de printer
0:59 minuut. Er is een verschil van ±10 sec. tussen de opdracht op het eerste en het tweede
kandidatenscherm. De praktijk is echter dat bij een verkiezing heel veel kiezers op de eerste of
tweede kandidaat op een lijst stemmen en weinig kiezers stemmen op een kandidaat die laag op
een lijst staat.
Voor het maken van een keuze voor een referendum, met minder schermen, het printen van het
stembiljet lijkt 40 seconden aan doorlooptijd een redelijke aanname.

Bijlage: Nieuwe test met een simulatie van een stemprinter

13

1.8. Resultaten groep B (Laaggeletterden)
Huidige stembiljet
Aantal huidige
stembiljetten

Categorie

Omschrijving van het

Aantal

resultaat

personen

ingevuld
1

2

2
3

2

Alle stembiljetten goed

25

Alleen lijstverkiezing goed

0

Alleen referendum

1

4

Beide fout/ongeldig

2

5

Lijstverkiezing goed

1

Referendum goed

0

Fout/ongeldig

1

6

1

6.5
7

0

Geen

Per subgroep
25
3

2

0

0

30

30

Simulatie
Categorie

Aantal stembiljetten

Omschrijving van het

Aantal

geprint

resultaat

personen

1

2

Alle stembiljetten goed

24

Alleen lijstverkiezing goed

1

Alleen referendum

3

4

Beide fout

1

5

Lijstverkiezing goed

0

Referendum goed

0

2
3

2

1

6
7

0

Geen

Per subgroep
24
5

0

1

1

30

30

Simulatie met audio-ondersteuning
Categorie

Aantal stembiljetten

Omschrijving van het

Aantal

geprint

resultaat

personen

1

2

2
3

2

4
5
6
7

1
0

Alle stembiljetten goed

27

Alleen lijstverkiezing goed

1

Alleen referendum

1

Beide fout

1

Lijstverkiezing goed

0

Referendum goed

0

Geen

Per subgroep
27
3

0

0

0

30

30

Wat opvalt:
•

Er is nauwelijks verschil in de uitkomsten tussen het huidige stembiljet en de simulatie;

•

De proefpersonen die problemen ondervonden met de simulatie waren allen mensen die ook
fouten maakten met het papieren stembiljet. Nuance: 1 van hen had bij de simulatie
problemen met het invoeren van de smartcard;

•

24 proefpersonen vonden de simulatie makkelijker. Slechts 1 proefpersoon gaf aan dat de
simulatie moeilijker was (maar deed zowel papier als printer zonder problemen), 5 mensen
zagen geen verschil, van wie 1 proefpersoon daadwerkelijk problemen met de simulatie had.

Bijlage: Nieuwe test met een simulatie van een stemprinter

14

Enkele proefpersonen zeiden het huidige stembiljet overzichtelijker te vinden, zij hadden allen
de opdracht met kandidaat 25 (op het tweede kandidatenscherm);
•

Audio: van de 5 proefpersonen die de opdrachten met de simulatie in eerste instantie niet goed
hadden afgerond hebben 4 het met de audio veel beter gedaan: 3 proefpersonen hebben
alsnog de opdrachten goed uitgevoerd, 1 proefpersoon had bewust iets anders gekozen, 1
persoon begrijpt de simulatie niet: “hoe een kandidaat te kiezen”;

•

14 proefpersonen vonden met audio makkelijker dan zonder audio. 13 proefpersonen zagen
geen verschil (waarvan 2 die met zowel het huidige stembiljet als met de simulatie problemen
ondervonden) en 3 gaven aan dat het moeilijker was dan zonder audio (maar hadden geen
problemen gehad);

•

Aantal proefpersonen (30) en verdeling (11 man en 19 vrouw) voldoet aan de gestelde criteria.

1.9. Resultaten groep C (Slechtzienden)
Huidige stembiljet
Aantal huidige
Categorie

stembiljetten

Omschrijving van het

Aantal

Per

resultaat

personen

subgroep

Alle stembiljetten goed

14

14

Alleen lijstverkiezing goed

0

Alleen referendum

1

Beide fout

0

Lijstverkiezing goed

0

Referendum goed

8

Geen

9

9

32

32

ingevuld
1

2

2
3

2

4
5
6
7

1
0

1

8

Simulatie
Categorie
1

Aantal stembiljetten

Omschrijving van het

Aantal

Per

geprint

resultaat

personen

subgroep

Alle stembiljetten goed

21

21

Alleen lijstverkiezing goed

0

Alleen referendum

1

Beide fout

2

Lijstverkiezing goed

1

Referendum goed

1

Geen

6

6

32

32

2

2
3

2

4
5
6
7

1
0

Bijlage: Nieuwe test met een simulatie van een stemprinter

3

2

15

Simulatie met audio-ondersteuning
Categorie

Aantal stembiljetten

Omschrijving van het

Aantal

Per

geprint

resultaat

personen

subgroep

Alle stembiljetten goed

24

24

Alleen lijstverkiezing goed

0

Alleen referendum

4

Beide fout

0

Lijstverkiezing goed

0

Referendum goed

1

Geen

3

3

32

32

1

2

2
3

2

4
5
6
7

1
0

4

1

Wat opvalt:
•

Een duidelijk verschil in resultaat tussen simulatie en huidig stembiljet; 14 van de 32
proefpersonen zijn in staat beide opdrachten correct uit te voeren met het huidige stembiljet.
Dit aantal steeg naar 21 door gebruik te maken van de simulatie;

•

Met de audio-ondersteuning lijken nog meer proefpersonen de opdrachten correct uit te
kunnen voeren;

•

13 proefpersonen gaven aan erg veel moeite te hebben met het lezen van de teksten op het
scherm (sommigen konden de cijfers wel lezen), 4 van hen konden het scherm helemaal niet
lezen;

•

17 proefpersonen stelden de simulatie makkelijker te vinden en 5 waren neutraal. Voor de
overige proefpersonen was deze vraag niet van toepassing omdat zij (een van) beide
stemmethoden onvoldoende konden lezen;

•

Van de 23 personen die aangaven mét audio makkelijker te vinden dan zonder audio, waren er
2 die echter toch problemen hadden om met audio een keuze te maken;

•

Audio is niet voor iedereen een verbetering. Van de 11 proefpersonen die met de simulatie
zonder audio-ondersteuning de opdrachten niet goed hadden uitgevoerd doen 4 personen het
beter met audio, echter 7 hadden nog steeds problemen;

•

28 van de 32 proefpersonen beoordeelden de kaartinvoer als makkelijk, de overige 4 als
neutraal;

•

Aantal proefpersonen (32) en verdeling (15 man en 17 vrouw) voldoen aan de gestelde
criteria.

Bijlage: Nieuwe test met een simulatie van een stemprinter

16

1.10. Conclusies
Op basis van de hiervoor weergegeven testresultaten zijn de volgende conclusies gerechtvaardigd:
1. Ten minste even toegankelijk voor ouderen
In de totale groep van 285 proefpersonen ouder dan 65 jaar is eenzelfde percentage (82%) in
staat om de huidige stembiljetten correct in te vullen en om de simulatie stemprinter correct in te
vullen. Als gebruik wordt gemaakt van audio-ondersteuning dan stijgt dit percentage naar 84%.
Naarmate personen ouder zijn wordt het moeilijker, zowel met het huidige stembiljet als met een
stemprinter.
Wanneer proefpersonen die expliciet aangeven dat zij bewust een andere keuze hebben gemaakt
als juist gerekend worden, stijgen de percentages van proefpersonen die in staat zijn om met beide
stemmethoden 2 stembiljetten correct in te vullen naar 91% en inclusief audio ondersteuning naar
94%.
Het moeten invoeren van een smartcard om een stemprinter te activeren lijkt geen belemmering
voor de toegankelijkheid op te werpen. Hetzelfde kan worden gesteld voor het gebruik van
tabbladen op het kandidatenscherm.
Een meerderheid van de oudere proefpersonen vond het maken van de keuzes en het printen van
de stembiljetten met de stemprinter makkelijker dan het huidig stembiljet, een zeer beperkt aantal
vond het moeilijker en de overigen vonden dit hetzelfde als met de huidige stembiljetten.
De doorlooptijd bij ouderen zal naar verwachting rond 1 minuut bedragen voor een lijstverkiezing
en 40 seconden voor een referendum.
2.

Niet toegankelijker voor laaggeletterden

In de groep van 30 laaggeletterden zijn praktisch evenveel proefpersonen in staat om beide
huidige stembiljetten correct in te vullen, als om de opdrachten met de simulatie correct uit te
voeren.
Audio-ondersteuning geeft een lichte verbetering van het resultaat voor het correct uitvoeren van
beide opdrachten met de simulatie stemprinter.
Wel vond de meerderheid van de proefpersonen het maken van de keuzes en het printen van de
stembiljetten met de stemprinter makkelijker, 1 vond het moeilijker en 5 vonden dit hetzelfde als
met de huidige stembiljetten.
3. Duidelijk toegankelijker voor slechtzienden
In deze groep waren 14 van de 32 proefpersonen in staat beide huidige stembiljetten juist in
te vullen. Dit aantal steeg naar 21 door gebruik te maken van de stemprinter, en met behulp
van audio zelfs naar 24. Dit is een aanzienlijke verbetering.
Audio-ondersteuning is niet voor iedereen een verbetering. De proefpersonen in deze groep die niet
in staat waren om beide opdrachten correct uit te voeren, zouden mogelijk gebaat kunnen zijn bij
het gebruik van auditieve interactie die voor de blinde proefpersonen beschikbaar is.
17 proefpersonen vonden het maken van de keuzes en het printen van de stembiljetten met de
stemprinter makkelijker en 5 vonden dit hetzelfde als met de huidige stembiljetten.

Bijlage: Nieuwe test met een simulatie van een stemprinter

17

4. Optimaliseren van gebruikersinterface van de stemprinter
Zou het kabinet besluiten dat de invoering van de stemprinter haalbaar is, dan zal verder gewerkt
worden aan de gebruikersinterface voor de kiezer. Op basis van de opgedane ervaringen in de
uitgevoerde test kan dan mogelijk gedacht worden aan:
Een voelbaar en zichtbaar onderscheid tussen de locatie waar de smartcard wordt ingevoerd en de
locatie waar het stembiljet wordt uitgevoerd.
De tekst ‘druk op start’ toevoegen onder de startknop op het startscherm.
De wijze van navigeren naar volgende kandidatenschermen zou voor laaggeletterden meer mogen
opvallen. Te denken valt aan het laten knipperen van de blauwe knoppen in geval er meer dan 20
kandidaten op een bepaalde lijst staan.
De audio-interactie zoals deze in de simulatie opgenomen is, voldoet goed maar is voor verdere
verbetering vatbaar. Dit geldt met name voor de timing van de verschillende geluidsfragmenten.
De tactiele knoppen zijn in de simulatie relatief groot en werken nog niet optimaal. Voorkeur
zouden iets kleinere knoppen zijn in een veelgebruikte 'kruis-formatie' (ronde knop midden, vier
pijltjes er omheen).
Het is van belang dat kiezers begrijpen dat er niet met de stemprinter wordt gestemd. Gestemd
wordt pas door het stembiljet in de stembus te doen.

Bijlage: Nieuwe test met een simulatie van een stemprinter

18