Delft University of Technology

Ontwerp en toetsing van
een simulatie stemprinter

	  	  	  
	  
	  

2	  

	  

	  

Ontwerp en toetsing van
een simulatie stemprinter
	  
	  
	  
	  
	  
	  
	  
Opdrachtgever	  
Ministerie	  van	  Binnenlandse	  Zaken	  en	  Koninkrijksrelaties	  
DGBK/OBD	  
Programma	  Inrichting	  Verkiezingsproces	  
	  
Opdrachtnemer	  
Technische	  Universiteit	  Delft	  
Faculteit	  Industrieel	  Ontwerpen	  
	  
	  
	  
	  
	  
	  
	  
Opstellers	  rapport	  
prof.	  ir.	  Daan	  van	  Eijk	  
ir.	  Geert	  Niermeijer	  
	  
	  
Delft,	  maart	  2015	  
	  
	  
©	  
Alle	  rechten	  voorbehouden.	  Niets	  uit	  deze	  
uitgave	  mag	  worden	  verveelvoudigd,	  
opgeslagen	  in	  een	  geautomatiseerd	  
gegevensbestand,	  of	  openbaar	  gemaakt,	  in	  
enige	  vorm	  of	  op	  enige	  wijze,	  hetzij	  
elektronisch,	  mechanisch,	  door	  fotokopieën,	  
opnamen,	  of	  enige	  andere	  manier,	  zonder	  
voorafgaande	  schriftelijke	  toestemming	  van	  
de	  TU	  Delft.

3

4	  

Inhoud
1	  Inleiding	  
1.1	   Achtergrond	  
1.1	   Onderzoek	  
1.2	   Doelstelling	  en	  onderzoeksvragen	  
1.3	   Afbakening	  
1.4	   Uitgangspunten	  
1.5	   Opbouw	  rapport	  

7	  
7	  
8	  
8	  
8	  
9	  

2	  Analyse	  van	  stemprinter	  interacties	  
2.1	   Gebruiksvriendelijkheid	  
2.2	   Gebruikers	  met	  een	  beperking	  
2.3	   Van	  gebruikers	  naar	  interacties	  
2.3.1	   Interactie	  1:	  Grafisch	  aanraakscherm	  
2.3.2	   Interactie	  2	  :	  Auditieve	  ondersteuning	  
2.3.3	   Interactie	  3:	  Tactiele	  knoppen	  
2.3.4	   Interactie	  4:	  Auditieve	  interactie	  

13	  
13	  
14	  
16	  
17	  
17	  
17	  
18	  

3	  Ontwerp	  van	  een	  simulatie	  stemprinter	  
3.1	   Het	  maken	  van	  keuzes	  op	  de	  simulatie	  stemprinter	  
3.1.1	   Stroomdiagram	  van	  de	  keuzes	  op	  de	  simulatie	  stemprinter	  
3.1.2	   Uitgangspunten	  die	  van	  invloed	  zijn	  op	  keuzeproces	  dat	  de	  kiezer	  doorloopt	  
3.2	   Interactie	  1:	  Grafisch	  aanraakscherm	  
3.2.1	   Grafisch	  aanraakscherm	  
3.2.2	   Basisopbouw	  van	  alle	  schermen	  
3.2.3	   Lijstenoverzicht	  
3.2.4	   Kandidatenoverzicht	  
3.2.5	   Bevestiging	  
3.2.6	   Printen	  
3.2.7	   Stembiljet	  controleren	  
3.2.8	   Referendum	  
3.2.9	   Einde	  
3.3	   Interactie	  2:	  Auditieve	  ondersteuning	  
3.4	   Interactie	  3:	  Tactiele	  knoppen	  voor	  motorisch	  beperkten	  
3.4.1	   Tactiele	  knoppen	  
3.5	   Interactie	  4:	  Auditieve	  interactie	  voor	  blinden	  
3.6	   Stembiljet	  en	  printer	  
3.6.1	   Stembiljet	  
3.6.2	   Printer	  

19	  
19	  
20	  
20	  
22	  
22	  
23	  
26	  
27	  
30	  
31	  
32	  
33	  
33	  
34	  
34	  
35	  
36	  
37	  
37	  
37	  

4	  Testopzet	  simulatie	  stemprinter	  
4.1	   Doelstelling	  
4.2	   Proefpersonen	  
4.2.1	   Proefpersonen	  groep	  A	  
4.2.2	   Proefpersonen	  groep	  B	  
4.3	   Proefopstelling	  
4.3.1	   Interacties	  

39	  
39	  
40	  
41	  
42	  
43	  
43	  

10	  

5

4.4	   Werkwijze	  
4.4.1	   Testcondities	  groep	  A	  
4.4.2	   Testcondities	  groep	  B	  
4.5	   De	  testprocedure	  
4.5.1	   Registratie	  en	  configuratie	  
4.5.2	   Start	  scherm	  
4.5.3	   Testprotocol	  
4.5.4	   Rapportage	  van	  de	  testresultaten	  
4.6	   Toetsingskader	  

44	  
45	  
47	  
50	  
50	  
51	  
52	  
52	  
53	  

5	  Testresultaten	  simulatie	  stemprinter	  Groep	  A:	  huidige	  kiezer	  
5.1	   Gerealiseerde	  verdeling	  van	  proefpersonen	  
5.2	   Effectiviteit	  van	  het	  stemproces	  
5.2.1	   Onderzoeksvraag	  1	  
5.2.2	   Onderzoeksvraag	  2:	  Tabbladen	  
5.2.3	   Onderzoeksvraag	  3:	  Blanco	  stemmen	  
5.3	   Tijdsduur	  van	  het	  stemproces	  
5.4	   Tevredenheid	  van	  kiezer	  met	  stemproces	  

55	  
55	  
58	  
58	  
63	  
63	  
63	  
64	  

6	  Testresultaten	  simulatie	  stemprinter	  groep	  B:	  kiezers	  met	  beperkingen	  
6.1	   Gerealiseerde	  verdeling	  van	  proefpersonen	  
6.2	   Resultaten	  Blinden	  
6.2.1	   Effectiviteit	  van	  het	  stemproces	  
6.2.2	   Tijdsduur	  van	  het	  stemproces	  
6.3	   Resultaten	  slechtzienden	  
6.3.1	   Effectiviteit	  van	  het	  stemproces	  
6.4.1	   Tijdsduur	  van	  het	  stemproces	  
6.5	   Resultaten	  laaggeletterden	  
6.5.1	   Effectiviteit	  van	  het	  stemproces	  
6.5.2	   Tijdsduur	  van	  het	  stemproces	  
6.6	   Resultaten	  Licht	  verstandelijk	  gehandicapten	  
6.6.1	   Effectiviteit	  van	  het	  stemproces	  
6.6.2	   Tijdsduur	  van	  het	  stemproces	  
6.7	   Gebruik	  Simulatie	  stemprinter	  voor	  alle	  proefpersonen	  in	  groep	  B	  

66	  
66	  
68	  
68	  
69	  
69	  
70	  
72	  
74	  
74	  
76	  
78	  
78	  
80	  
82	  

7	  Conclusies	  en	  aanbevelingen	  
7.1	   Inleiding	  
7.2	   Conclusies	  groep	  A:	  huidige	  kiezer	  
7.3	   Conclusies	  groep	  B:	  mensen	  met	  beperkingen	  
7.4	   Evaluatie	  van	  de	  interacties	  
7.5	   Discussie	  en	  aanbevelingen	  
7.6	   Beantwoording	  van	  de	  onderzoeksvragen	  

84	  
84	  
85	  
86	  
87	  
89	  
91	  

	  

Bijlagen	  	  	  	  	  	  	  	  	  
	  

6	  

91	  

1
1

Inleiding

	  
	  
In	  opdracht	  van	  het	  ministerie	  van	  Binnenlandse	  Zaken	  en	  Koninkrijksrelaties	  (BZK)	  is	  door	  de	  
Technische	  Universiteit	  Delft	  (TUD)	  een	  onderzoek	  uitgevoerd.	  Het	  ministerie	  van	  BZK	  heeft	  deze	  
opdracht	  gegeven	  in	  het	  kader	  van	  de	  uitvoering	  van	  het	  kabinetsstandpunt	  over	  de	  
aanbevelingen	  van	  de	  commissie	  ‘Onderzoek	  elektronisch	  stemmen	  in	  het	  stemlokaal’	  (Van	  Beek).	  
Het	  ministerie	  van	  BZK	  heeft	  aan	  de	  TUD	  opdracht	  gegeven	  om	  een	  onderzoek	  uit	  te	  voeren	  om	  
na	  te	  gaan	  of	  de	  aanname(s)	  van	  de	  commissie	  Van	  Beek	  juist	  is	  dat	  het	  stemmen	  door	  gebruik	  te	  
maken	  van	  een	  stemprinter	  toegankelijker	  wordt	  voor	  de	  kiezers.	  In	  het	  bijzonder	  voor	  kiezers	  met	  
een	  beperking	  waarvoor	  het	  met	  de	  stemprinter	  mogelijk	  zou	  kunnen	  zijn	  om	  zelfstandig	  te	  
stemmen.	  	  
	  

1.1 Achtergrond	  
Het	  ministerie	  van	  BZK	  is	  thans	  bezig	  om	  uitvoering	  te	  geven	  aan	  het	  kabinetsstandpunt	  over	  het	  
advies	  van	  de	  commissie	  Van	  Beek.	  Een	  van	  de	  aspecten	  die	  daarbij	  aan	  de	  orde	  is	  betreft	  de	  
wijze	  waarop	  de	  kiezer	  zelfstandig	  met	  de	  stemprinter	  zou	  moeten	  stemmen.	  Op	  dit	  punt	  bevat	  
het	  kabinetstandpunt	  de	  volgende	  passage:	  "Het	  kabinet	  is	  van	  mening	  dat	  kiezers	  zoveel	  
mogelijk	  zelfstandig	  hun	  stem	  moeten	  kunnen	  uitbrengen.	  Het	  stemmen	  met	  een	  stemprinter	  
kan	  de	  toegankelijkheid	  vergroten	  met	  name	  voor	  kiezers	  met	  een	  visuele	  beperking.	  Het	  gebruik	  
van	  logo’s	  en/of	  foto’s	  (van	  kandidaten)	  kan	  het	  ook	  voor	  andere	  kiezers	  makkelijker	  maken	  om	  
te	  stemmen.	  In	  welke	  mate	  de	  toegankelijkheid	  wordt	  vergroot	  zal	  moeten	  blijken	  uit	  testen	  en	  
in	  experimenten.”	  
	  
De	  commissie	  Van	  Beek	  heeft	  geadviseerd	  om	  in	  ieder	  geval	  over	  te	  gaan	  tot	  de	  invoering	  van	  
elektronisch	  tellen.	  Zij	  meent	  daarnaast	  dat	  het	  wenselijk	  is	  om	  een	  stemprinter	  te	  introduceren.	  
Het	  elektronisch	  maken	  van	  de	  keuze	  voor	  een	  verkiezing	  met	  behulp	  van	  de	  stemprinter	  biedt	  
volgens	  de	  commissie	  belangrijke	  voordelen	  (ten	  opzichte	  van	  het	  huidige	  proces),	  omdat	  het	  
toegankelijker	  is	  voor	  mensen	  met	  een	  beperking.	  De	  stemprinter	  biedt	  volgens	  de	  commissie	  
namelijk	  mogelijkheden	  om	  kiezers	  met	  een	  beperking	  (met	  name	  kiezers	  met	  een	  visuele	  
beperking)	  in	  staat	  te	  stellen	  om	  zelfstandig	  hun	  stem	  uit	  te	  brengen	  en	  vergroot	  de	  kans	  voor	  
alle	  kiezers	  dat	  hun	  stem	  wordt	  vastgelegd	  zoals	  zij	  beogen.	  Alle	  kiezers	  krijgen	  namelijk	  
terugkoppeling	  voordat	  de	  gemaakt	  keuze	  wordt	  geprint.	  	  	  
	  

	  

7

1.1 Onderzoek	  
Om	  de	  opdracht	  van	  het	  ministerie	  van	  BZK	  uit	  te	  voeren	  en	  een	  test	  te	  kunnen	  houden	  waarmee	  
een	  simulatie	  van	  een	  stemprinter	  gebruikt	  zou	  kunnen	  worden	  is	  het	  noodzakelijk	  om	  een	  
interactie	  te	  ontwerpen	  waarmee	  de	  kiezer	  met	  de	  stemprinter	  keuzes	  kan	  maken	  	  en	  een	  
stembiljet	  kan	  printer.	  Onderdeel	  van	  de	  opdracht	  die	  TUD	  van	  het	  ministerie	  van	  BZK	  heeft	  
gekregen	  is	  dat	  de	  onderzochte	  interacties	  moeten	  worden	  beschreven	  waarbij	  de	  
ontwerpkeuzes	  moeten	  zijn	  onderbouwd.	  De	  reden	  daarvoor	  is	  dat	  het	  ministerie	  van	  BZK	  de	  
uitkomsten	  van	  dit	  onderzoek	  wil	  kunnen	  benutten,	  indien	  het	  kabinet	  zou	  besluiten	  tot	  de	  
invoering	  van	  de	  stemprinter,	  om	  de	  eisen	  voor	  de	  stemprinter	  te	  specificeren.	  	  
	  
Om	  het	  ministerie	  van	  BZK	  in	  staat	  te	  stellen	  een	  test	  met	  de	  simulatie	  van	  een	  stemprinter	  uit	  te	  
voeren	  heeft	  de	  TUD	  een	  opzet	  voor	  die	  test	  ontwikkeld,	  waarin	  proefpersonen	  uit	  verschillende	  
doelgroepen	  op	  een	  gesimuleerde	  stemprinter	  een	  aantal	  keuzes	  maken	  en	  die	  keuzes	  printen.	  
Deze	  organisatie	  en	  uitvoering	  van	  de	  test	  zelf	  is	  in	  opdracht	  van	  BZK	  door	  een	  externe	  partij	  
uitgevoerd.	  De	  voor	  de	  test	  benodigde	  proefopstellingen	  met	  de	  simulatie	  van	  de	  stemprinter	  
zijn	  in	  opdracht	  van	  het	  ministerie	  van	  BZK	  door	  een	  externe	  partij	  gerealiseerd.	  De	  resultaten	  
van	  de	  test	  zijn	  door	  de	  TUD	  geanalyseerd.	  
	  
Het	  ministerie	  van	  BZK	  heeft	  bij	  het	  geven	  van	  de	  opdracht	  aan	  de	  TUD	  gevraagd	  om	  nauw	  
betrokken	  te	  zijn	  bij	  de	  uitvoering	  van	  het	  onderzoek.	  De	  reden	  daarvoor	  was	  dat	  het	  kabinet	  het	  
voornemen	  had	  voor	  eind	  2014	  een	  besluit	  te	  nemen	  over	  de	  haalbaarheid	  van	  de	  aanbevelingen	  
die	  zijn	  gedaan	  door	  de	  commissie	  Van	  Beek.	  	  
	  

1.2 Doelstelling	  en	  onderzoeksvragen	  
Het	  doel	  van	  het	  onderzoek	  is	  na	  te	  gaan	  of	  de	  aanname(s)	  van	  de	  commissie	  Van	  Beek	  juist	  is	  
dat	  het	  stemmen	  door	  gebruik	  te	  maken	  van	  een	  stemprinter	  toegankelijker	  wordt	  voor	  de	  
kiezers.	  In	  het	  bijzonder	  voor	  kiezers	  met	  een	  beperking	  waarvoor	  het	  met	  de	  stemprinter	  
mogelijk	  zou	  kunnen	  zijn	  om	  zelfstandig	  te	  stemmen.	  	  
Op	  basis	  van	  deze	  doelstelling	  heeft	  de	  TU	  twee	  onderzoeksvragen	  geformuleerd,	  te	  weten:	  
1. Is	  de	  voorgestelde	  stemmethode	  met	  gebruikmaking	  van	  een	  stemprinter	  toegankelijker	  
voor	  mensen	  met	  een	  beperking.	  Zijn	  meer	  kiesgerechtigden	  in	  staat	  om	  zelfstandig	  te	  
stemmen?	  
2. Is	  de	  voorgestelde	  stemmethode	  met	  gebruikmaking	  van	  een	  stemprinter	  toegankelijk	  voor	  
de	  huidige	  kiezer?	  
	  
Op	  basis	  van	  het	  uiteindelijk	  ontwerp	  van	  de	  simulatie	  van	  de	  stemprinter	  zijn	  deze	  algemene	  
onderzoeksvragen	  aangevuld	  met	  ondersteunende	  onderzoeksvragen	  (zie	  4.1)	  
	  

1.3 Afbakening	  
Het	  onderzoek	  beperkt	  zich	  tot	  de	  interactie	  van	  de	  kiezer	  met	  de	  stemprinter	  bij	  het	  maken	  van	  
een	  keuze	  voor	  een	  verkiezing	  en	  het	  printen	  van	  het	  stembiljet.	  De	  commissie	  Van	  Beek	  heeft	  
voorstellen	  gedaan	  (waaronder	  het	  activeren	  doordat	  de	  kiezer	  zelf	  het	  papier	  voor	  het	  
stembiljet	  invoert	  in	  de	  stemprinter)	  voor	  de	  wijze	  waarop	  de	  stemprinter	  geactiveerd	  zou	  
moeten	  worden.	  De	  commissie	  heeft	  daarbij	  aangegeven	  dat	  daarvoor	  meerdere	  opties	  zijn	  die	  
verder	  uitgewerkt	  zouden	  moeten	  worden.	  Gelet	  daarop	  is	  in	  dit	  onderzoek	  de	  activering	  buiten	  

8	  

beschouwing	  gebleven.	  Dat	  geldt	  ook	  voor	  andere	  aspecten	  zoals	  de	  kwaliteit	  van	  het	  papier	  van	  
het	  stembiljet.	  Andere	  aspecten	  waar	  in	  dit	  onderzoek	  niet	  naar	  is	  gekeken	  betreft	  bijvoorbeeld	  
het	  in	  meerdere	  talen	  vermelden	  van	  teksten.	  	  	  

1.4 Uitgangspunten	  
	  
1
De	  door	  de	  commissie	  Van	  Beek 	  geformuleerde	  aanbevelingen	  ten	  aanzien	  van	  de	  stemprinter	  
zijn	  als	  uitgangspunt	  gehanteerd	  voor	  dit	  onderzoek.	  Waar	  de	  commissie	  Van	  Beek	  geen	  
aanbevelingen	  over	  heeft	  gedaan,	  dan	  wel	  de	  aanbevelingen	  algemeen	  waren	  geformuleerd	  zijn	  
er	  waar	  nodig,	  in	  overleg	  met	  het	  ministerie	  van	  BZK,	  	  (aanvullende)	  uitgangspunten	  
geformuleerd.	  	  
	  
	  
Aanbevelingen	  van	  de	  Commissie	  van	  Beek	  

	  
1.

	  
2.

3.
	  
4.
5.

	  
6.
7.

8.

9.

De	  stemprinter	  moet	  gefaseerd	  stemmen	  mogelijk	  maken.	  Daarbij	  maakt	  de	  kiezer	  eerst	  een	  
keuze	  voor	  een	  lijst	  en	  daarna	  voor	  een	  kandidaat.	  
Er	  wordt	  uitgegaan	  van	  maximaal	  80	  kandidaten	  per	  lijst,	  dit	  conform	  de	  huidige	  wet-­‐	  en	  
regelgeving.	  De	  wet-­‐	  en	  regelgeving	  kent	  geen	  maximum	  voor	  het	  aantal	  lijsten	  dat	  mee	  mag	  
doen	  aan	  een	  verkiezing.	  Voor	  het	  ontwerp	  van	  de	  simulatie	  is	  in	  dit	  onderzoek	  uitgegaan	  
van	  maximaal	  40	  lijsten.	  	  
De	  stemprinter	  voorziet	  in	  een	  intuïtieve	  en	  eenvoudige	  dialoog	  met	  de	  kiezer,	  waarbij	  de	  
kiezer	  de	  gemaakte	  keuze	  moet	  bevestigen	  om	  de	  keuze	  te	  laten	  printen	  op	  een	  stembiljet.	  	  
	  
Op	  elk	  moment	  in	  het	  proces,	  tot	  het	  moment	  van	  het	  afdrukken	  van	  het	  stembiljet,	  moet	  
een	  kiezer	  kunnen	  terugkeren	  naar	  de	  vorige	  stap	  of	  naar	  het	  begin.	  
De	  interactie	  van	  de	  gebruiker	  met	  de	  stemprinter	  moet	  geoptimaliseerd	  worden	  voor	  
verschillende	  groepen	  kiezers	  (met	  en	  zonder	  beperking).	  
	  
Er	  dient	  bij	  voorkeur	  gebruik	  gemaakt	  te	  worden	  van	  logo’s	  van	  politieke	  partijen	  en	  foto’s	  
van	  kandidaten.	  Logo’s	  en	  foto’s	  kunnen	  een	  ondersteuning	  zijn	  voor	  laaggeletterden	  kiezers	  
en	  kiezers	  met	  een	  licht	  verstandelijke	  beperking.	  	  
De	  stemprinter	  dient	  voorzien	  te	  zijn	  van	  tactiele	  knoppen.	  
	  
De	  informatie	  die	  op	  het	  geprinte	  stembiljet	  moet	  staan	  dient	  eenvoudig	  te	  begrijpen	  te	  zijn,	  
alleen	  essentiële	  gegevens	  bevatten	  en	  goed	  leesbaar	  zijn	  (duidelijke	  print	  en	  voldoende	  
groot	  lettertype).	  Qua	  formaat	  	  A5	  (briefkaart)	  of	  boardingpassformaat	  geschikt.	  	  
	  
De	  stemprinter	  wordt	  voorzien	  van	  audio-­‐ondersteuning	  zodat	  de	  terugkoppeling	  
desgewenst	  auditief	  plaatsvindt.	  Audio	  kan	  worden	  toegepast	  als	  ondersteuning	  bij	  visuele	  
informatie	  of	  als	  enige	  terugkoppeling	  voor	  bijvoorbeeld	  blinden.	  
	  
De	  kiezer	  kan	  het	  stembiljet	  controleren.	  Deze	  stap	  is	  ingebouwd	  om	  de	  transparantie	  en	  
controleerbaarheid	  te	  waarborgen.	  	  

	  
	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
1

	  Commissie	  onderzoek	  elektronisch	  stemmen	  in	  het	  stemlokaal,	  Elke	  stem	  telt/	  Elektronisch	  stemmen	  en	  
tellen	  (Van	  Beek,	  2013).	  

9

Aanvullende	  uitgangspunten	  

	  
10. In	  het	  geval	  van	  meervoudige	  verkiezingen	  (dat	  wil	  zeggen	  dat	  op	  één	  dag	  meerdere	  
verkiezingen	  worden	  gehouden)	  moet	  de	  kiezer	  kunnen	  bepalen	  in	  welke	  volgorde	  hij	  een	  
keuze	  maakt	  voor	  de	  verkiezingen.	  De	  kiezer	  kan	  nu	  met	  het	  papieren	  stembiljet	  ook	  zelf	  de	  
volgorde	  bepalen.	  	  
	  
11. De	  wet	  schrijft	  voor	  dat	  de	  kiezer	  ook	  een	  blanco	  stem	  moet	  kunnen	  uitbrengen.	  Op	  het	  
huidige	  papieren	  stembiljet	  stemt	  de	  kiezer	  blanco	  doordat	  er	  niets	  wordt	  ingevuld	  op	  het	  
stembiljet.	  In	  geval	  een	  stemprinter	  wordt	  gebruikt	  voor	  het	  maken	  van	  de	  keuze	  en	  het	  
printen	  van	  het	  stembiljet	  moet	  de	  kiezer	  de	  optie	  hebben	  om	  de	  keuze	  “blanco”	  te	  kiezen	  
en	  moet	  die	  keuze	  op	  het	  stembiljet	  worden	  geprint.	  	  	  	  

	  
12. Het	  verdient	  de	  voorkeur	  om	  de	  lijsten	  waarvoor	  een	  keuze	  kan	  worden	  gemaakt	  op	  één	  
scherm	  te	  tonen.	  Daarmee	  heeft	  de	  kiezer	  met	  één	  oogopslag	  overzicht	  over	  de	  politieke	  
groeperingen	  die	  aan	  de	  verkiezing	  meedoen.	  	  
	  
13. De	  kandidaten	  van	  een	  lijst	  kunnen	  op	  meerdere	  schermafbeeldingen	  getoond	  worden.	  	  
	  
14. De	  stemprinter	  moet	  kunnen	  omgaan	  met	  meervoudige	  verkiezingen.	  De	  wet-­‐	  en	  
regelgeving	  kent	  geen	  maximum	  aan	  het	  aantal	  verkiezingen	  dat	  tegelijkertijd	  kan	  
plaatsvinden.	  Voor	  dit	  onderzoek	  is	  uitgegaan	  van	  een	  simulatie	  van	  de	  stemprinter	  
waarmee	  5	  verkiezingen	  tegelijkertijd	  kunnen	  worden	  ondersteund.	  	  
	  
15. In	  de	  wet-­‐	  en	  regelgeving	  is	  bepaald	  dat	  een	  kiezer,	  naast	  zijn	  eigen	  stem,	  maximaal	  2	  
voorkeurstemmen	  moet	  kunnen	  uitbrengen.	  	  
	  
	  
16. Printen	  van	  het	  stembiljet	  nadat	  een	  keuze	  is	  gemaakt	  en	  bevestigd	  en	  niet	  de	  stembiljetten	  
in	  één	  keer	  printen	  nadat	  voor	  alle	  verkiezingen	  een	  keuze	  is	  gemaakt	  en	  die	  keuzes	  zijn	  
bevestigd.	  Dit	  biedt	  de	  kiezer	  de	  mogelijkheid	  om	  het	  stembiljet	  te	  controleren	  gelijk	  nadat	  
hij	  voor	  de	  betreffende	  verkiezing	  zijn	  keuze	  heeft	  gemaakt.	  	  

	  
17. Het	  gebruik	  van	  een	  grafisch	  scherm	  met	  een	  diagonaal	  tot	  24	  inch	  is	  mogelijk.	  De	  aanname	  
daarbij	  is	  dat	  het	  gebruik	  van	  een	  scherm	  van	  deze	  omvang	  mogelijk	  zal	  zijn	  indien	  de	  
stemprinter	  moet	  voldoen	  aan	  de	  door	  de	  commissie	  Van	  Beek	  aanbevolen	  NATO	  norm	  
SDIP-­‐27/1.	  	  
	  
18. Voor	  dit	  onderzoek	  is	  gebruik	  gemaakt	  van	  een	  grafisch	  scherm	  met	  aanraak	  technologie	  
(touchscreen).	  De	  aanname	  daarbij	  is	  geweest	  dat	  het	  gebruik	  van	  een	  scherm	  van	  deze	  
omvang	  mogelijk	  zal	  zijn	  indien	  de	  stemprinter	  moet	  voldoen	  aan	  de	  door	  de	  commissie	  Van	  
Beek	  aanbevolen	  NATO	  norm	  SDIP-­‐27/1.	  	  

	  

1.5 Opbouw	  rapport	  
	  
In	  hoofdstuk	  2	  worden	  de	  verschillende	  groepen	  gebruikers	  beschreven	  voor	  het	  gebruik	  van	  het	  
huidige	  stembiljet	  en	  de	  simulatie	  van	  een	  stemprinter.	  Op	  basis	  hiervan	  zijn	  4	  interacties	  
bepaald	  die	  de	  basis	  vormen	  van	  de	  simulatie	  van	  de	  stemprinter.	  
	  
Hoofdstuk	  3	  behandelt	  het	  ontwerp	  van	  de	  4	  verschillende	  gebruiker-­‐stemprinter	  interacties.	  	  
Eerst	  wordt	  ingegaan	  op	  het	  keuzeproces	  dat	  een	  gebruiker	  van	  de	  simulatie	  doorloopt.	  
Vervolgens	  worden	  de	  ontwerpen	  van	  de	  4	  interacties	  beschreven	  en	  onderbouwd.	  

10	  

	  
In	  hoofdstuk	  4	  wordt	  de	  testopzet	  voor	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  beschreven.	  
Achtereenvolgens	  komen	  aan	  bod;	  de	  doelstelling,	  de	  proefpersonen,	  de	  proefopstelling,	  de	  
werkwijze,	  het	  testprotocol	  en	  het	  toetsingskader.	  
	  
In	  hoofdstuk	  5	  worden	  de	  resultaten	  van	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  door	  groep	  
A	  beschreven	  en	  geanalyseerd.	  
	  
In	  hoofdstuk	  6	  worden	  de	  resultaten	  van	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  door	  de	  
verschillende	  groepen	  B	  beschreven	  en	  geanalyseerd.	  
	  
In	  hoofdstuk	  7	  worden	  conclusies	  getrokken	  op	  basis	  van	  de	  resultaten	  in	  de	  hoofdstukken	  5	  en	  6.	  
Daarnaast	  worden	  de	  verschillende	  interacties	  geëvalueerd,	  het	  onderzoek	  bediscussieerd	  en	  
worden	  aanbevelingen	  gedaan	  voor	  verder	  onderzoek	  en	  ontwikkeling.	  Tenslotte	  worden	  de	  
onderzoeksvragen	  beantwoord.	  

11

	  
	  
	  
	  
	  
	  

12	  

2
2

Analyse van stemprinter
interacties

	  
	  
Een	  toegankelijke	  stemprinter	  maakt	  dat	  alle	  mensen	  die	  willen	  stemmen	  de	  stemprinter	  kunnen	  
bereiken	  en	  gebruiken.	  De	  gebruiksvriendelijkheid	  van	  de	  stemprinter	  bepaalt	  in	  hoge	  mate	  de	  
toegankelijkheid.	  	  
2
De	  algemeen	  gebruikte	  definitie	  van	  gebruiksvriendelijkheid	  is	  (ISO	  9241 ):	  
	  "In	  welke	  mate	  een	  product,	  door	  specifieke	  gebruikers,	  in	  een	  specifieke	  gebruikscontext	  
gebruikt	  kan	  worden	  om	  een	  specifiek	  doel	  te	  bereiken	  op	  een	  effectieve,	  efficiënte	  en	  
bevredigende	  manier.”	  
	  
De	  verschillende	  groepen	  gebruikers	  zijn	  in	  dit	  hoofdstuk	  aan	  de	  hand	  van	  deze	  definitie	  
beschreven	  voor	  het	  gebruik	  van	  de	  simulatie	  van	  een	  stemprinter.	  Op	  basis	  hiervan	  zijn	  4	  
interacties	  bepaald	  voor	  de	  simulatie	  van	  de	  stemprinter.	  
	  
Om	  tot	  gebruiker-­‐stemprinter	  interacties	  te	  kunnen	  komen	  heeft	  TUD	  advies	  ingewonnen	  bij:	  
• dr.ir.	  Johan	  Molenbroek,	  universitair	  hoofddocent	  ergonomie,	  TUD,	  specialist	  op	  het	  
gebied	  van	  ergonomie	  en	  ontwerpen	  voor	  mensen	  met	  een	  functiebeperking.	  

2.1 Gebruiksvriendelijkheid	  
	  
De	  gebruiksvriendelijkheid	  van	  de	  simulatie	  van	  de	  stemprinter	  wordt	  bepaald	  door	  de	  volgende	  
aspecten:	  
• Het	  waarnemen	  en	  handelen:	  de	  fysieke	  mogelijkheid	  van	  de	  gebruiker	  de	  stemprinter	  
effectief	  en	  efficiënt	  (kan	  de	  gebruiker	  de	  gewenste	  keuzes	  binnen	  een	  redelijke	  
3
aanvaardbare	  tijd	  en	  zonder	  extra	  inspanning	  selecteren )	  te	  bedienen.	  
• Het	  begrijpen:	  de	  cognitieve	  mogelijkheid	  van	  de	  gebruiker	  de	  gewenste	  keuzes	  effectief	  
en	  efficiënt	  te	  maken	  (begrijpt	  de	  gebruiker	  welke	  knop,	  op	  welke	  manier,	  moet	  worden	  
geselecteerd	  binnen	  een	  redelijk	  aanvaardbare	  tijd	  en	  zonder	  extra	  inspanning).	  
• De	  beleving	  van	  de	  gebruiker	  (is	  het	  makkelijk	  om	  de	  stemprinter	  te	  gebruiken).	  
	  

	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
2
	  ISO,	  “ISO	  9241	  Ergonomics	  of	  human-­‐system	  interaction,”	  in	  Part	  210:	  Human-­‐centred	  design	  for	  
interactive	  systems	  (formerly	  known	  as	  13407).	  ed.	  Switzerland:	  ISO,	  2010.	  
3

	  Snelheid	  en	  inspanning	  bepalen	  de	  efficiency,	  een	  maat	  voor	  gebruiksvriendelijkheid	  (zie	  ISO	  definitie)	  

13

Om	  met	  een	  stemprinter	  een	  keuze	  te	  kunnen	  maken	  en	  die	  keuze	  ook	  op	  een	  stembiljet	  te	  
kunnen	  printen	  is	  niet	  alleen	  de	  gebruikersvriendelijkheid	  van	  de	  interactie	  bepalend.	  Er	  zijn	  
andere	  factoren	  die	  daar	  van	  invloed	  op	  kunnen	  zijn.	  	  Voorbeelden	  hiervan	  zijn:	  	  
• Is	  er	  informatie	  vooraf	  gegeven	  (kon	  de	  gebruiker	  zich	  voorbereiden).	  
• Is	  de	  omgeving	  prettig	  (raakt	  de	  gebruiker	  niet	  gespannen	  door	  bijvoorbeeld	  het	  gedrag	  
van	  andere	  aanwezigen).	  
• Is	  er	  voldoende	  verlichting.	  
• Staat	  de	  stemprinter	  op	  een	  goede	  hoogte.	  
Dit	  onderzoek	  richt	  zich	  alleen	  op	  de	  interacties.	  De	  omgeving	  waar	  een	  stemprinter	  in	  gebruikt	  
zou	  moeten	  worden,	  de	  stemlokalen,	  zijn	  allemaal	  verschillend.	  De	  wijze	  waarop	  de	  stemprinter	  
mogelijk	  wordt	  ingevoerd	  en	  de	  voorlichting	  die	  daarover	  zal	  worden	  gegeven	  staat	  buiten	  dit	  
onderzoek,	  omdat	  een	  besluit	  daaromtrent	  nog	  moet	  worden	  genomen.	  	  
	  
De	  gebruikers	  van	  de	  stemprinter	  zijn	  onder	  te	  verdelen	  naar	  hun	  fysieke	  en	  cognitieve	  
mogelijkheden	  (waarnemen,	  handelen,	  begrijpen).	  Op	  basis	  van	  deze	  gebruikerskenmerken	  	  is	  
het	  mogelijk	  een	  verband	  te	  leggen	  tussen	  de	  eigenschappen	  van	  de	  stemprinter	  en	  de	  
gebruikers.	  Zo	  is	  een	  inschatting	  te	  maken	  welke	  gebruikers,	  voor	  wie	  het	  stemmen	  nu	  niet	  
toegankelijk	  is,	  wel	  met	  de	  stemprinter	  zelfstandig	  kunnen	  stemmen.	  	  In	  de	  volgende	  paragraaf	  
wordt	  het	  verband	  tussen	  gebruikers	  met	  beperkingen	  en	  het	  gebruik	  van	  de	  stemprinter	  verder	  
uitgewerkt.	  

2.2 Gebruikers	  met	  een	  beperking	  
	  
Voor	  bepaalde	  lichamelijke	  of	  verstandelijke	  beperkingen	  kan	  een	  inschatting	  gemaakt	  worden	  
van	  de	  problemen	  die	  mogelijk	  optreden	  bij	  het	  gebruik	  van	  de	  simulatie	  van	  de	  stemprinter.	  
Met	  een	  lichamelijke	  of	  verstandelijke	  beperking	  wordt	  bedoeld	  dat	  mensen	  als	  gevolg	  van	  
4
gezondheidsproblemen	  moeite	  hebben	  met	  het	  uitvoeren	  van	  dagelijkse	  handelingen .	  
	  
Voor	  het	  gebruik	  van	  de	  stemprinter	  zijn	  de	  volgende	  gebruikers	  met	  een	  beperking	  relevant:	  
• Blinden:	  kunnen	  niet	  visueel	  waarnemen	  
• Slechtzienden:	  beperking	  in	  het	  visueel	  waarnemen	  
• Mensen	  met	  een	  licht	  verstandelijke	  beperking:	  beperking	  bij	  het	  begrijpen	  
• Mensen	  met	  een	  motorische	  beperking:	  beperking	  bij	  het	  handelen	  
Naast	  deze	  groepen	  zijn	  ook	  gebruikers	  die	  problemen	  hebben	  met	  het	  begrijpen	  van	  (tekstuele)	  
informatie	  relevant.	  De	  laaggeletterden	  vertegenwoordigen	  deze	  groep.	  	  
	  
Een	  globale	  omvang	  van	  de	  groep	  mensen	  met	  beperkingen	  waardoor	  ze	  nu	  (met	  potlood	  en	  
5
papier)	  niet	  zelfstandig	  een	  stem	  uit	  kunnen	  brengen	  wordt	  geschat	  op	  1	  miljoen .	  	  
De	  globale	  omvang	  van	  de	  verschillende	  groepen	  mensen	  met	  beperkingen,	  alle	  leeftijden	  en	  
inclusief	  die	  mensen	  die	  wel	  in	  staat	  zijn	  zelfstandig	  met	  het	  papier	  en	  potlood	  een	  stem	  uit	  te	  
6
brengen,	  is	  weergegeven	  in	  tabel	  1 .	  	  
	  
	  
	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
4

	  Definitie	  in	  Factsheet	  ‘Mensen	  met	  lichamelijke	  of	  verstandelijke	  beperkingen’,	  Sociaal	  en	  Cultureel	  
Planbureau,	  2012	  

5

	  Commissie	  onderzoek	  elektronisch	  stemmen	  in	  het	  stemlokaal,	  Elke	  stem	  telt/	  Elektronisch	  stemmen	  en	  
tellen	  (Van	  Beek	  2013).	  

6

	  Factsheet	  ‘Mensen	  met	  lichamelijke	  of	  verstandelijke	  beperkingen’,	  Sociaal	  en	  Cultureel	  Planbureau,	  2012	  

14	  

Blinden	  
Circa	  	  	  76.000	  mensen	  
Slechtzienden	  
Circa	  220.000	  mensen	  
Mensen	  met	  een	  licht	  verstandelijke	  beperking	  	   Circa	  110.000	  mensen	  
Mensen	  met	  een	  motorische	  beperking	  	  
Licht:	  circa	  1.610.000	  mensen	  
Matig:	  circa	  1.005.000	  mensen	  
Ernstig:	  circa	  415.000	  mensen	  
7
Laaggeletterden 	  
Circa	  1.300.000	  mensen	  
Tabel	  1	  Aantallen	  mensen	  in	  Nederland	  per	  specifieke	  groep.	  

	  
De	  aantallen	  personen	  die	  vermeld	  zijn	  in	  tabel	  1	  hebben	  betrekking	  op	  de	  aanwezigheid	  van	  een	  
beperking	  onder	  alle	  leeftijden	  en	  geven	  geen	  inzicht	  in	  hoeveel	  mensen	  door	  hun	  beperking	  nu	  
niet	  zelfstandig	  kunnen	  stemmen.	  Ter	  illustratie:	  het	  aantal	  personen	  met	  een	  motorische	  
beperking	  heeft	  betrekking	  op	  alle	  mogelijke	  vormen	  van	  motorische	  aandoeningen	  dus	  ook	  op	  	  
beperkingen	  aan	  het	  bewegingsapparaat	  (loopvermogen).	  Dergelijke	  beperkingen	  zijn	  uiteraard	  
niet	  van	  invloed	  op	  het	  zelfstandig	  kunnen	  maken	  van	  een	  keuze	  met	  een	  stemprinter	  en	  het	  
printen	  van	  een	  stembiljet.	  	  
	  
In	  het	  volgende	  overzicht	  wordt	  per	  gebruikersgroep	  ingegaan	  op	  de	  specifieke	  problemen	  bij	  
het	  uitbrengen	  van	  een	  stem:	  
Blinden	  
Kunnen	  geen	  keuze	  maken	  aan	  de	  hand	  van	  visuele	  
	  
informatie.	  Kunnen	  niet	  controleren	  of	  ze	  de	  juiste	  
Maatschappelijk	  blind:	  visus	  
handeling	  doen	  of	  hebben	  gedaan	  aan	  de	  hand	  van	  
minder	  dan	  0,05	  
visuele	  informatie.	  Zijn	  afhankelijk	  van	  waarnemen	  via	  
en/	  of	  
gehoor	  en	  tast.	  	  
gezichtsveld	  kleiner	  dan	  10	  graden	   In	  andere	  landen	  worden	  aan	  blinden	  (en	  ook	  
en/of	  alleen	  verschil	  tussen	  licht	  
slechtzienden)	  hulmiddelen	  aangeboden,	  zoals	  een	  mal,	  
en	  donker	  zien.	  
om	  zelfstandig	  met	  een	  papieren	  stembiljet	  te	  stemmen.	  
Het	  formaat	  van	  het	  huidige	  Nederlandse	  stembiljet	  
8
maakt	  het	  gebruiken	  van	  een	  mal	  effectief	  niet	  mogelijk. .	  
Slechtzienden	  
Kunnen	  alleen	  keuze	  maken	  aan	  de	  hand	  van	  visuele	  
	  
informatie	  wanneer	  de	  informatie	  wordt	  gegeven	  in	  een	  
visus	  tussen	  de	  0,05	  en	  0,3	  
vorm	  die	  is	  aangepast	  aan	  de	  specifieke	  vorm	  van	  
of	  
slechtziendheid	  (tekengrootte,	  contrast,	  kleur,	  
gezichtsveld	  tussen	  10	  en	  30	  
stramien/overzicht).	  Waarnemen	  via	  gehoor	  en	  tast	  
9
graden	  
kunnen	  een	  goed	  alternatief	  zijn. 	  	  
Kunnen	  in	  sommige	  gevallen	  met	  behulp	  van	  een	  loep	  of	  
mal	  zelfstandig	  een	  stem	  uitbrengen	  met	  papier	  en	  
potlood.	  
Mensen	  met	  een	  licht	  
Kunnen	  informatie	  over	  de	  te	  maken	  keuze	  en	  de	  
verstandelijke	  beperking	  
gewenste	  handelingen	  om	  de	  keuze	  te	  maken	  moeilijker	  
	  
begrijpen.	  Wanneer	  de	  informatie	  overzichtelijk	  wordt	  
IQ	  tussen	  50	  en	  70	  punten	  
aangeboden	  (plaatjes,	  weinig	  tekst,	  geen	  voor	  hen	  
moeilijke	  en/of	  lange	  woorden,	  stapsgewijs,	  logisch	  en	  

	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
7
8
9

	  Stichting	  Lezen	  &	  Schrijven,	  2014	  

	  TK	  2013-­‐2014,	  31	  142	  nr	  37	  	  
	  John	  Gill,	  Keeping	  Step?	  Scientific	  and	  technological	  research	  for	  visually	  impaired	  people,	  RNIB,	  2001	  

15

Mensen	  met	  een	  motorische	  
beperking	  	  
	  
	  

Laaggeletterden	  
	  
taalniveau	  lager	  dan	  2F	  

vooraf	  te	  oefenen)	  biedt	  dat	  ondersteuning.	  Belangrijk	  
10
aspect	  is	  hier	  ook	  het	  vertrouwen	  in	  eigen	  kunnen. 	  	  
Kunnen	  in	  sommige	  gevallen	  (na	  oefenen)	  zelfstandig	  een	  
stem	  uitbrengen	  met	  papier	  en	  potlood.	  
Hebben	  moeite	  met	  het	  uitvoeren	  van	  de	  handelingen	  
(reiken,	  vasthouden,	  bedienen,	  handelingen	  stembiljet	  
zoals	  beetpakken	  en	  vouwen).	  Hebben	  baat	  bij	  
handelingen	  waar	  geen	  kracht	  en	  precisie	  zijn	  vereist.	  
Kunnen	  in	  sommige	  gevallen	  met	  behulp	  van	  een	  
hulpmiddel	  als	  een	  mal	  zelfstandig	  een	  stem	  uitbrengen	  
met	  papier	  en	  potlood.	  
Kunnen	  informatie	  in	  de	  vorm	  van	  (geschreven)	  tekst	  
moeilijker	  begrijpen.	  Korte	  woorden	  (met	  herkenbaar	  
woordbeeld),	  plaatjes,	  stapsgewijze	  keuze,	  logische	  en	  
vooraf	  te	  oefenen	  handelingen	  biedt	  ondersteuning.	  
Belangrijk	  aspect	  is	  hier	  ook	  het	  vertrouwen	  in	  eigen	  
11
kunnen .	  
Kunnen	  in	  sommige	  gevallen	  (na	  oefenen)	  zelfstandig	  een	  
12
stem	  uitbrengen	  met	  papier	  en	  potlood. 	  

Tabel	  2	  Specifieke	  problemen	  bij	  het	  uitbrengen	  van	  een	  stem	  per	  gebruikersgroep.	  

2.3 Van	  gebruikers	  naar	  interacties	  
	  
Rekening	  houdende	  met	  de	  beperkingen	  van	  deze	  groepen	  mensen,	  zijn	  4	  interacties	  bepaald	  die	  
de	  basis	  vormen	  van	  de	  simulatie	  van	  de	  stemprinter.	  Elke	  interactie	  is	  ontworpen	  voor	  een	  
specifieke	  beperking	  in	  het	  waarnemen,	  begrijpen	  of	  handelen.	  De	  bediening	  en	  feedback	  
verschilt	  per	  interactie,	  de	  uitkomst	  is	  bij	  allen	  hetzelfde:	  een	  stembiljet	  uit	  de	  printer.	  	  
	  
De	  bediening	  van	  verkrijgbare	  stemprinters	  of	  stemcomputers	  gebeurt	  op	  verschillende	  
manieren.	  Zo	  worden	  er	  tactiele	  knoppen	  gebruikt,	  maar	  ook	  aanraakgevoelige	  schermen	  
(touchscreens).	  Ook	  andere	  apparaten	  waar	  veel	  mensen	  gebruik	  vallen	  in	  dezelfde	  categorie,	  
zoals	  kaart-­‐	  en	  pinautomaten.	  
	  
13
Een	  belangrijk	  uitgangspunt	  voor	  de	  interacties	  is	  het	  Design	  for	  all 	  principe.	  Dit	  wil	  zeggen	  dat	  
het	  ontwerp	  zoveel	  mogelijk	  moet	  voldoen	  aan	  de	  behoeften	  van	  alle	  gebruikersgroepen.	  Dit	  kan	  
het	  aantal	  verschillende	  interacties	  beperken.	  Zo	  hebben	  bijvoorbeeld	  niet	  alleen	  slechtzienden	  
baat	  bij	  grotere	  tekst	  en	  knoppen,	  maar	  ook	  mensen	  die	  kleine	  letters	  wel	  kunnen	  lezen.	  Deze	  
laatste	  groep	  hoeft	  dan	  bijvoorbeeld	  minder	  moeite	  te	  doen	  om	  iets	  te	  lezen.	  	  
	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
10

	  M.	  Zoon,	  Kenmerken	  en	  oorzaken	  van	  een	  licht	  	  verstandelijke	  beperking,	  2012.	  Zie	  ook	  de	  websites:	  
http://www.mee.nl/stemjijook,	  https://www.accessibility.nl/over-­‐toegankelijkheid/handicaps/cognitieve-­‐
beperking	  

11

	  Overleg	  met	  Stichting	  Lezen	  &	  Schrijven,	  2014.	  zie	  ook	  https://www.accessibility.nl/over-­‐
toegankelijkheid/handicaps/cognitieve-­‐beperking	  

12

	  Zie	  test	  resultaten	  in:	  http://www.rijksoverheid.nl/documenten-­‐en-­‐
publicaties/rapporten/2013/10/16/rapportage-­‐van-­‐ontwerpen-­‐en-­‐testen-­‐van-­‐stembiljetten.html	  

13

	  Design	  for	  All;	  Not	  Excluded	  by	  Design,	  Johan	  F.M.	  Molenbroek	  

16	  

Een	  van	  de	  middelen	  om	  verschillende	  groepen	  gebruikers	  te	  kunnen	  ondersteunen	  is	  een	  
aanraakgevoelig	  scherm.	  Deze	  schermen	  worden	  steeds	  meer	  geïmplementeerd	  in	  apparaten	  die	  
Nederlanders	  in	  het	  dagelijks	  leven	  gebruiken.	  Onder	  andere	  de	  introductie	  van	  smartphones	  en	  
tablets	  hebben	  bijgedragen	  aan	  de	  bekendheid	  met	  het	  gebruik	  van	  deze	  technologie.	  	  
	  
Een	  aanraakgevoelig	  scherm	  geeft	  de	  mogelijkheid	  om	  alleen	  die	  knoppen	  weer	  te	  geven	  die	  op	  
een	  bepaald	  moment	  van	  belang/nodig	  zijn.	  De	  grootte	  van	  de	  knop	  en	  de	  beschrijving	  op	  de	  
knop	  kunnen	  per	  keer	  aangepast	  worden.	  Hierdoor	  kan	  de	  kans	  op	  verwarring	  over	  welke	  
beschrijving	  bij	  welke	  (fysieke)	  knop	  hoort	  worden	  beperkt.	  Deze	  flexibiliteit	  van	  een	  
aanraakgevoelig	  scherm	  is	  praktisch	  noodzakelijk	  om	  een	  goede	  scherm	  interactie	  te	  kunnen	  
realiseren	  in	  de	  complexe	  Nederlandse	  context	  met	  veel	  lijsten	  en	  kandidaten.	  Daarnaast	  is	  de	  
verwachting	  dat	  een	  bediening	  met	  een	  aanraakgevoelig	  scherm	  aanzienlijk	  sneller	  is	  dan	  de	  
bediening	  met	  tactiele	  knoppen.	  
	  
Aanraakgevoelige	  schermen	  kennen	  ook	  een	  aantal	  nadelen	  ten	  opzichte	  van	  vormen	  van	  
bedienen	  waarbij	  een	  duidelijker	  tactiele	  terugkoppeling	  is.	  De	  belangrijkste	  is	  de	  positionering	  
van	  een	  vinger	  op	  de	  juiste	  knop	  op	  het	  scherm.	  Gebruikers	  kunnen	  niet	  voelen	  wanneer	  zij	  over	  
de	  rand	  van	  de	  knop	  gaan	  en	  per	  ongeluk	  een	  andere	  optie	  selecteren.	  Ook	  vindt	  er	  via	  de	  vinger	  
geen	  terugkoppeling	  plaats	  over	  wanneer	  de	  knop	  is	  ingedrukt.	  Deze	  nadelen	  zijn	  te	  
minimaliseren	  door	  de	  knoppen	  groot	  genoeg	  te	  maken	  en	  daarbij	  directe	  grafische	  
terugkoppeling	  te	  geven	  na	  het	  indrukken	  van	  een	  knop.	  Mensen	  met	  een	  erg	  droge	  huid	  kunnen	  
moeite	  hebben	  om	  het	  scherm	  te	  bedienen,	  de	  geleiding	  van	  de	  huid	  is	  dan	  lager.	  Onder	  ouderen	  
is	  deze	  groep	  het	  grootst.	  
	  
Op	  grond	  van	  bovenstaande	  heeft	  de	  toepassing	  van	  een	  aanraakgevoelig	  scherm	  de	  voorkeur	  
boven	  het	  gebruik	  van	  alleen	  tactiele	  knoppen.	  Voor	  de	  kiezers	  die	  beperkingen	  hebben	  in	  het	  
begrijpen	  is	  een	  auditieve	  ondersteuning	  gewenst.	  Kiezers	  met	  een	  beperking	  in	  het	  handelen	  die	  
niet	  in	  staat	  zijn	  om	  het	  aanraakgevoelige	  scherm	  te	  bedienen,	  behoeven	  tactiele	  knoppen.	  Voor	  
kiezers	  die	  niet	  visueel	  kunnen	  waarnemen	  is	  een	  volledig	  auditieve	  interactie	  noodzakelijk.	  	  
	  
Dit	  resulteert	  in	  de	  volgende	  4	  interacties:	  
2.3.1 Interactie	  1:	  Grafisch	  aanraakscherm	  
Door	  middel	  van	  het	  aanraakscherm	  voert	  de	  gebruiker	  zijn	  keuzes	  in.	  Op	  het	  scherm	  loopt	  de	  
gebruiker	  door	  een	  aantal	  keuzeschermen	  en	  print	  een	  stembiljet.	  Er	  komen	  geen	  andere	  in-­‐	  of	  
uitvoer	  apparaten	  aan	  te	  pas.	  Verwacht	  wordt	  dat	  de	  grootste	  groep	  kiezers,	  ook	  mensen	  met	  
lichte	  beperkingen,	  overweg	  kan	  met	  deze	  interactie.	  	  
2.3.2 Interactie	  2	  :	  Auditieve	  ondersteuning	  
De	  auditieve	  ondersteuning	  bestaat	  uit	  hetzelfde	  grafische	  aanraakscherm	  als	  bij	  interactie	  1	  en	  	  
een	  koptelefoon.	  Na	  het	  indrukken	  van	  een	  knop	  op	  het	  scherm	  wordt	  via	  de	  koptelefoon	  
voorgelezen	  wat	  er	  is	  geselecteerd.	  Dit	  zorgt	  ervoor	  dat	  er	  geen	  misverstand	  kan	  ontstaan	  over	  
hetgeen	  wat	  gekozen	  wordt	  op	  het	  aanraakscherm.	  Gebruikers	  kunnen	  met	  een	  grotere	  
zekerheid	  een	  keuzes	  maken.	  De	  auditieve	  ondersteuning	  is	  voor	  diegenen	  die	  moeite	  hebben	  
om	  visuele	  informatie	  te	  kunnen	  zien	  of	  het	  proces	  te	  kunnen	  begrijpen.	  Dit	  zijn	  onder	  andere	  
laaggeletterden,	  licht	  verstandelijk	  gehandicapten	  en	  een	  deel	  van	  de	  slechtzienden.	  	  
2.3.3 Interactie	  3:	  Tactiele	  knoppen	  
De	  interactie	  met	  tactiele	  knoppen	  bestaat	  uit	  hetzelfde	  grafische	  aanraakscherm	  als	  bij	  
interactie	  1	  en	  een	  knoppenpaneel.	  Er	  wordt	  geen	  gebruik	  gemaakt	  van	  het	  aanraakdeel	  van	  het	  

17

scherm.	  De	  interface	  wordt	  bediend	  met	  het	  knoppenpaneel.	  De	  terugkoppeling	  vindt	  wél	  plaats	  
via	  het	  grafische	  scherm.	  
De	  bediening	  met	  de	  tactiele	  knoppen	  kan	  een	  oplossing	  zijn	  voor	  mensen	  die	  moeite	  hebben	  om	  
hun	  vinger	  goed	  te	  positioneren	  op	  het	  aanraakscherm	  of	  niet	  ver	  genoeg	  kunnen	  reiken.	  	  
2.3.4 Interactie	  4:	  Auditieve	  interactie	  
De	  auditieve	  interactie	  maakt	  alleen	  gebruik	  van	  tactiele	  knoppen	  en	  een	  koptelefoon.	  Het	  
scherm	  laat	  niets	  zien.	  
	  
De	  auditieve	  interactie	  is	  ontworpen	  voor	  diegenen	  die	  niet	  voldoende	  kunnen	  zien	  om	  het	  
aanraakscherm	  te	  kunnen	  gebruiken.	  Dit	  zijn	  blinden	  en	  slechtzienden	  die	  zogenaamd	  	  
maatschappelijk	  blind	  zijn;	  iedereen	  met	  een	  visus	  van	  0,05	  of	  minder,	  of	  alleen	  verschil	  tussen	  
licht	  en	  donker	  zien.	  Ook	  slechtzienden	  met	  een	  visus	  groter	  dan	  0,05,	  maar	  die	  toch	  niet	  
voldoende	  kunnen	  zien	  om	  de	  juiste	  keuzes	  te	  maken,	  zouden	  gebruik	  kunnen	  maken	  van	  deze	  
interactie.	  
	  

18	  

3
3

Ontwerp van een simulatie
stemprinter

Dit	  hoofdstuk	  beschrijft	  het	  ontwerp	  van	  de	  4	  verschillende	  gebruiker-­‐stemprinter	  interacties.	  In	  
3.1	  wordt	  eerst	  ingegaan	  op	  het	  keuzeproces	  dat	  een	  gebruiker	  van	  de	  simulatie	  doorloopt.	  
Vervolgens	  worden	  de	  ontwerpen	  van	  de	  4	  interacties	  toegelicht.	  
	  
Gedurende	  de	  ontwikkeling	  van	  de	  simulatie	  van	  de	  stemprinter	  zijn	  de	  volgende	  
belangenverenigingen	  en	  ervaringsdeskundigen	  geraadpleegd:	  
• Ieder(in),	  koepelorganisatie	  van	  mensen	  met	  een	  beperking	  of	  chronische	  ziekte	  
• Oogvereniging,	  belangenvereniging	  voor	  mensen	  met	  een	  visuele	  beperking	  
• Stichting	  Lezen	  &	  Schrijven	  
• De	  heer	  De	  Paauw,	  voormalig	  voorzitter	  CG-­‐raad	  
	  
Ook	  zijn	  op	  diverse	  momenten	  verschillende	  groepen	  gebruikers	  geraadpleegd.	  Door	  het	  
voorleggen	  en	  testen	  van	  de	  eerste	  (schets)ontwerpen	  zijn	  keuzes	  geëvalueerd	  en	  aanpassingen	  
gemaakt	  aan	  het	  ontwerp	  van	  de	  simulatie.	  Op	  de	  faculteit	  Industrieel	  Ontwerpen	  hebben	  de	  
volgende	  groepen	  deelgenomen	  aan	  de	  tests:	  
• 18	  personen	  werkzaam	  op	  de	  faculteit	  Industrieel	  Ontwerpen	  van	  de	  TUD	  (van	  
onderhoudsmensen	  tot	  wetenschappers)	  
• 10	  personen	  tussen	  de	  60	  en	  90	  jaar,	  Stichting	  Welzijns	  Ondersteuning	  Pijnacker	  (SWOP)	  
• 3	  personen	  die	  laaggeletterd	  zijn	  geweest,	  ambassadeurs	  via	  de	  Stichting	  Lezen	  &	  
Schrijven.	  	  
	  
Verder	  hebben	  er	  evaluaties	  plaatsgevonden	  buiten	  de	  faculteit	  met:	  
• 8	  laaggeletterden,	  ROC	  Mondriaan	  (Delft)	  
• 4	  slechtzienden,	  Oogvereniging	  (Utrecht)	  
• 3	  blinden,	  Oogvereniging	  (Utrecht)	  
	  

3.1 Het	  maken	  van	  keuzes	  op	  de	  simulatie	  stemprinter	  
Om	  een	  stembiljet	  met	  de	  simulatie	  te	  printen	  moeten	  de	  proefpersonen	  meerdere	  handelingen	  
verrichten.	  Elke	  stap	  in	  het	  proces	  vraagt	  om	  een	  keuze.	  In	  3.1.1	  	  wordt	  beschreven	  hoe	  deze	  
stappen	  in	  relatie	  staan	  tot	  elkaar.	  In	  3.1.2	  wordt	  elke	  stap	  toegelicht.	  Het	  keuzeproces	  is	  in	  basis	  
gelijk	  voor	  alle	  4	  interacties.	  

19

3.1.1 Stroomdiagram	  van	  de	  keuzes	  op	  de	  simulatie	  stemprinter	  
Het	  stroomdiagram	  (Figuur	  1)	  laat	  het	  keuzeproces	  zien	  dat	  op	  simulatie	  stemprinter	  gevolgd	  
moet	  worden.	  Een	  proefpersoon	  begint	  bij	  start,	  dit	  simuleert	  het	  vrijgeven	  van	  de	  stemprinter.	  
Vervolgens	  komt	  men	  in	  het	  verkiezingen	  overzicht,	  dit	  kan	  gezien	  worden	  als	  de	  stap	  waarin	  
men	  kan	  bepalen	  of	  men	  een	  keuze	  voor	  een	  verkiezing	  wil	  maken	  danwel	  de	  simulatie	  wil	  
stoppen.	  Na	  het	  printen	  en	  controleren	  van	  een	  stembiljet	  komt	  men	  terug	  in	  het	  
verkiezingenoverzicht.	  In	  het	  geval	  dat	  de	  laatste	  verkiezing	  is	  afgerond	  komt	  men	  bij	  het	  einde.	  	  
De	  basis	  van	  het	  stroomdiagram	  is	  gelijk	  voor	  alle	  4	  de	  interacties.	  Er	  is	  echter	  1	  uitzondering	  
voor	  de	  auditieve	  interactie:	  deze	  interactie	  kent	  geen	  tabbladen.	  De	  tabbladen	  worden	  
besproken	  in	  paragraaf	  3.2.6.	  
3.1.2 Uitgangspunten	  die	  van	  invloed	  zijn	  op	  keuzeproces	  dat	  de	  kiezer	  doorloopt	  
Van	  de	  uitgangspunten	  uit	  paragraaf	  1.5,	  zijn	  er	  een	  aantal	  die	  direct	  gevolgen	  hebben	  voor	  het	  
aantal	  en	  de	  soort	  keuzes	  die	  men	  moet	  maken	  op	  de	  simulatie.	  Deze	  gelden	  voor	  alle	  4	  
interacties.	  Hieronder	  volgen	  de	  uitgangspunten	  die	  direct	  invloed	  hebben	  op	  het	  keuzeproces	  
dat	  de	  kiezer	  doorloopt.	  
• Verkiezingenoverzicht:	  kiezers	  kunnen	  zelf	  de	  volgorde	  bepalen	  bij	  meervoudige	  
verkiezingen.	  Hierdoor	  is	  er	  een	  overzicht	  waar	  de	  kiezer	  een	  verkiezing	  selecteert	  en	  dit	  
kan	  blijven	  doen	  tot	  alle,	  voor	  de	  kiezer	  beschikbare	  stembiljetten	  zijn	  geprint.	  
• Gefaseerd	  stemmen:	  alle	  lijsten	  en	  kandidaten	  in	  één	  enkel	  overzicht	  presenteren	  zou	  
leiden	  tot	  onleesbare	  kleine	  teksten	  of	  een	  voor	  veel	  mensen	  complexe	  bediening	  
middels	  bijvoorbeeld	  scrollen	  van	  het	  scherm.	  Daarom	  is	  gekozen	  voor	  een	  apart	  lijsten-­‐	  
en	  kandidatenoverzicht.	  Men	  kiest	  eerst	  voor	  een	  lijst	  en	  vervolgens	  voor	  een	  kandidaat.	  
• Blanco	  stem:	  per	  verkiezing	  kan	  men	  blanco	  selecteren.	  Deze	  optie	  wordt	  bij	  elke	  
verkiezing	  aangeboden	  in	  het	  overzicht	  volgend	  op	  de	  verkiezingskeuze.	  Andere	  
mogelijkheden,	  zoals	  bijvoorbeeld	  een	  aparte	  keuzestap	  waarbij	  moet	  kiezen	  tussen	  
blanco	  en	  het	  lijstenoverzicht,	  zou	  leiden	  tot	  een	  extra	  stap	  voor	  diegenen	  die	  niet	  
blanco	  willen	  stemmen	  (de	  overgrote	  meerderheid).	  	  
• Keuze	  bevestigen:	  bevestigen	  en	  printen	  tegelijk.	  Nadat	  er	  een	  keuze	  is	  gemaakt	  voor	  
blanco,	  een	  kandidaat	  of	  een	  antwoord	  op	  de	  referendumvraag	  volgt	  er	  een	  
bevestigingsstap.	  Op	  dat	  moment	  kan	  de	  kiezer	  de	  keuze	  bevestigen	  en	  het	  stembiljet	  
printen	  of	  teruggaan	  om	  een	  andere	  keuze	  te	  maken.	  Met	  het	  bevestigen	  van	  de	  keuze	  
wordt	  ook	  direct	  het	  stembiljet	  geprint.	  Een	  printstap	  na	  het	  bevestigen	  zou	  omslachtig	  
zijn.	  
• Stembiljet	  controleren.	  Deze	  stap	  is	  ingebouwd	  om	  de	  transparantie	  en	  
controleerbaarheid	  te	  waarborgen.	  ‘Het	  papieren	  stembiljet	  stelt	  de	  kiezer	  in	  staat	  te	  
14
verifiëren	  dat	  zijn	  stem	  correct	  is	  geregistreerd’ ,	  door	  het	  papieren	  stembiljet	  uit	  de	  
printer	  te	  controleren	  (vergelijken)	  met	  de	  voorvertoning	  van	  het	  stembiljet	  op	  het	  
beeldscherm.	  	  
• Printen	  per	  verkiezing	  en	  niet	  in	  1	  keer.	  Er	  is	  gekozen	  om	  na	  elke	  verkiezing	  het	  
stembiljet	  te	  printen	  en	  de	  mogelijkheid	  te	  bieden	  om	  deze	  te	  controleren.	  De	  kiezer	  
heeft	  op	  deze	  manier	  zijn	  of	  haar	  keuze	  nog	  recent	  in	  het	  geheugen.	  Wanneer	  alle	  
stembiljetten	  aan	  het	  einde	  van	  een	  meervoudige	  verkiezing	  zouden	  worden	  geprint	  zal	  
dit	  leiden	  tot	  een	  complexere	  situatie;	  men	  heeft	  meerdere	  stembiljetten	  in	  de	  hand	  die	  
vergeleken	  moeten	  worden	  met	  meerdere	  voorvertoningen	  op	  het	  scherm.	  
• Terug	  knop	  altijd	  beschikbaar.	  Hierdoor	  kunnen	  vergissingen	  worden	  hersteld.	  Voor	  elke	  
type	  interactie	  is	  deze	  handeling	  altijd	  uit	  te	  voeren	  met	  een	  specifieke	  knop;	  als	  tactiele	  
knop	  of	  een	  knop	  op	  het	  scherm.	  

	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
14

	  Commissie	  onderzoek	  elektronisch	  stemmen	  in	  het	  stemlokaal,	  Elke	  stem	  telt/	  Elektronisch	  stemmen	  en	  
tellen	  (Van	  Beek	  2013).	  

20	  

	  

Figuur	  1.	  Stroomdiagram	  van	  de	  simulatie.	  

21

3.2 Interactie	  1:	  Grafisch	  aanraakscherm	  
De	  paragraaf	  beschrijft	  de	  apparatuur	  onderdelen	  en	  de	  grafische	  interface	  van	  de	  eerste	  
interactie,	  het	  grafisch	  aanraakscherm.	  	  
3.2.1 Grafisch	  aanraakscherm	  
Het	  grafisch	  aanraakscherm	  (Figuur	  2)	  bestaat	  uit	  het	  grafisch	  beeldscherm	  waarmee	  alle	  visuele	  
terugkoppeling	  plaatsvindt	  en	  een	  aanraak	  gevoelige	  laag	  waarmee	  de	  simulatie	  bediend	  kan	  
worden.	  	  
	  

	  

Figuur	  2	  Grafisch	  aanraakgevoelig	  scherm	  van	  de	  simulatie	  

	  
Oriëntatie	  van	  het	  scherm	  
Het	  scherm	  is	  liggend	  georiënteerd.	  Dit	  sluit	  beter	  aan	  bij	  het	  gebied	  dat	  mensen	  kunnen	  
bestrijken	  (reikwijdte)	  met	  hun	  handen,	  dan	  bij	  een	  staande	  oriëntatie	  van	  het	  scherm.	  Daarbij	  
hebben	  eerste	  evaluaties	  uitgewezen	  dat	  gebruikers	  het	  overzicht	  over	  het	  scherm	  verliezen	  
wanneer	  een	  24	  inch	  scherm	  een	  staande	  oriëntatie	  heeft.	  
Grootte	  van	  het	  scherm	  
Om	  tekst	  goed	  leesbaar	  te	  maken	  is	  een	  groot	  formaat	  scherm	  van	  belang.	  Een	  kleiner	  scherm	  
met	  even	  grote	  letters	  zou	  betekenen	  dat	  er	  extra	  complexiteit	  (in	  de	  vorm	  van	  
knoppen/interactie)	  moet	  worden	  toegevoegd	  om	  evenveel	  informatie	  weer	  te	  geven	  (naar	  
volgende	  schermafbeeldingen	  te	  navigeren).	  	  
	  

22	  

3.2.2 Basisopbouw	  van	  alle	  schermen	  
Een	  beeldscherm	  geeft	  de	  vrijheid	  om	  veel	  lijnen,	  kleuren	  en	  uitleg	  te	  gebruiken.	  Er	  is	  echter	  
uitgegaan	  van	  een	  rustig	  beeld	  met	  zo	  weinig	  mogelijk	  informatie	  per	  scherm.	  Extra	  
toevoegingen	  zouden	  naar	  mening	  van	  TUD	  de	  gebruiker	  af	  kunnen	  leiden	  van	  hun	  taak.	  
Vast	  stramien	  
Vaste	  grafische	  elementen	  zorgen	  voor	  een	  duidelijke	  referentie	  voor	  de	  gebruiker	  en	  een	  
samenhang	  tussen	  de	  verschillende	  schermen.	  Gebruikers	  worden	  geholpen	  in	  hun	  handelen	  
wanneer	  repeterende	  onderdelen	  steeds	  op	  eenzelfde	  plek	  in	  het	  scherm	  staan.	  Hierdoor	  
kunnen	  zij	  zich	  sneller	  oriënteren	  wanneer	  zij	  naar	  een	  volgend	  overzicht	  navigeren.	  
	  
De	  basisopbouw	  (Figuur	  3)	  van	  alle	  schermen	  is	  opgebouwd	  uit	  twee	  vlakken:	  
• Een	  smalle	  donkerblauwe	  balk	  met	  vaste	  elementen.	  
o De	  terug	  knop.	  Deze	  gaat	  altijd	  terug	  naar	  het	  vorige	  scherm.	  
o Een	  korte	  instructie	  wat	  de	  gebruiker	  op	  het	  betreffende	  scherm	  moet	  doen.	  
o De	  naam	  van	  de	  verkiezing.	  
o De	  voortgang	  van	  het	  keuzeproces,	  uitgedrukt	  in	  balkjes	  die	  lichtgekleurd	  
worden.	  
• Een	  vlak	  met	  een	  lichtblauwe	  achtergrondkleur.	  Hier	  staan	  alle	  knoppen	  in	  die	  nodig	  zijn	  
om	  de	  keuzes	  te	  maken.	  Alle	  knoppen	  in	  dit	  vlak	  brengen	  de	  gebruiker	  verder	  in	  het	  
proces.	  De	  indeling	  verschilt	  per	  stap	  in	  het	  keuzeproces;	  een	  referendum	  vraagt	  
bijvoorbeeld	  om	  een	  andere	  aanpak	  dan	  een	  lijstverkiezing.	  
	  

Figuur	  3	  Basisopbouw	  van	  het	  scherm,	  hoofdeling	  in	  twee	  vlakken.	  

	  

Kleurgebruik:	  onderscheid	  door	  contrast.	  
Deze	  twee	  verschillende	  delen	  zijn	  verdeeld	  door	  een	  verschil	  in	  achtergrondkleur.	  Doordat	  de	  
achtergrond	  iets	  donkerder	  is	  dan	  de	  knoppen	  wordt	  de	  contour	  van	  de	  knoppen	  duidelijker	  
zichtbaar.	  Voor	  de	  teksten	  is	  er	  gekozen	  voor	  een	  zo	  hoog	  mogelijk	  contrast.	  Zwarte	  tekst	  staat	  
op	  een	  zeer	  licht	  gekleurd	  of	  witte	  achtergrond.	  Witte	  tekst	  op	  een	  zeer	  donkere	  kleur.	  
	  

23

Lettergroottes	  
De	  lettergroottes	  in	  de	  interface	  zijn	  zo	  groot	  als	  mogelijk	  gemaakt	  voor	  het	  schermformaat	  van	  
24	  inch.	  Bij	  de	  lettergroottes	  van	  de	  namen	  en	  nummers	  van	  de	  lijsten	  en	  kandidaten	  is	  
uitgegaan	  van	  het	  beschikbare	  oppervlak	  van	  de	  knoppen	  in	  combinatie	  met	  het	  maximaal	  aantal	  
benodigde	  tekens.	  Dit	  wordt	  verder	  toegelicht	  in	  paragraaf	  3.2.4	  en	  3.2.5.	  De	  lettergroottes	  van	  
de	  namen	  van	  de	  lijsten	  en	  kandidaten	  zijn	  leidend	  geweest	  voor	  de	  lettergroottes	  van	  de	  andere	  
knoppen.	  Voor	  de	  leesbaarheid	  van	  het	  geheel	  heeft	  het	  immers	  weinig	  meerwaarde	  als	  de	  tekst	  
op	  algemene	  navigatieknoppen	  groter	  is	  dan	  de	  naam	  van	  de	  kandidaat.	  De	  tekst	  in	  de	  knoppen	  
voor	  het	  referendum	  zijn	  afgestemd	  op	  het	  totale	  beeld,	  maar	  niet	  kleiner	  dan	  de	  namen	  van	  
lijsten	  en	  kandidaten.	  In	  Figuur	  4	  staan	  de	  verschillende	  groottes	  afgebeeld	  van	  de	  teksten	  op	  het	  
huidige	  stembiljet	  en	  de	  simulatie	  van	  de	  stemprinter.	  	  
	  

	  
Figuur	  4	  Lettergroottes	  van	  het	  huidige	  stembiljet	  en	  van	  de	  simulatie	  stemprinter	  naast	  elkaar.	  

	  
Lettertype	  
Voor	  de	  simulatie	  is	  gekozen	  voor	  het	  lettertype	  Glober.	  Dit	  lettertype	  gekenmerkt	  door	  een	  
goede	  leesbaarheid	  beeldscherm	  en	  papier.	  Daarbij	  is	  het	  geschikt	  voor	  zowel	  koppen	  als	  
lopende	  tekst.	  

24	  

Verkiezingenoverzicht	  
Het	  verkiezingenoverzicht	  (Figuur	  5)	  simuleert	  het	  scherm	  waarop	  getoond	  wordt	  voor	  welke	  
verkiezingen	  de	  proefpersoon	  een	  keuze	  kan	  maken	  en	  een	  stembiljet	  voor	  kan	  printen.	  De	  
verkiezingen	  staan	  onder	  elkaar,	  net	  zoals	  de	  lijsten	  en	  de	  kandidaten.	  In	  het	  geval	  een	  
proefpersoon	  een	  volmacht	  heeft	  staat	  rechts	  van	  de	  verkiezing	  nog	  een	  keer	  een	  knop	  
afgebeeld.	  Het	  aantal	  knoppen	  komt	  hiermee	  overeen	  met	  het	  aantal	  stembiljetten	  dat	  geprint	  
kan	  worden.	  Dit	  zorgt	  voor	  een	  duidelijk	  mentaal	  model	  waarbij	  de	  kiezer	  als	  het	  ware	  een	  knop	  
‘ruilt’	  voor	  een	  stembiljet.	  Er	  is	  voor	  gekozen	  om	  niet	  expliciet	  op	  het	  scherm	  de	  term	  volmacht	  
te	  vermelden.	  Hiervoor	  is	  onder	  meer	  gekozen,	  omdat	  is	  aangenomen	  dat	  het	  begrip	  volmacht	  
niet	  voor	  alle	  proefpersonen	  begrijpelijk	  zou	  zijn.	  Ook	  zou	  dit	  suggereren	  dat	  het	  stembiljet	  voor	  
een	  volmacht	  anders	  zou	  zijn	  dan	  dat	  voor	  een	  eigen	  keuze.	  
	  
Rechtsonder	  staat	  de	  knop	  ‘Stoppen’.	  Hiermee	  kan	  de	  proefpersoon	  besluiten	  te	  stoppen.	  De	  
proefpersoon	  komt	  dan	  in	  het	  ‘Einde’	  scherm.	  ‘Stoppen’	  wordt	  niet	  als	  voorkeurskeuze	  gezien	  en	  
staat	  daarom	  minder	  prominent	  in	  beeld.	  Net	  zoals	  de	  blanco	  knop	  in	  het	  lijstenoverzicht	  en	  het	  
referendum	  staat	  deze	  rechtsonder.	  
	  

Figuur	  5	  Verkiezingenoverzicht	  met	  2	  verkiezingen	  en	  1	  volmacht.	  

	  

	  
Wanneer	  er	  een	  stembiljet	  voor	  een	  verkiezing	  is	  geprint	  zal	  de	  desbetreffende	  knop	  ‘grijs’	  
worden	  (Figuur	  6).	  Hierdoor	  krijgt	  de	  kiezer	  ook	  op	  het	  scherm	  een	  terugkoppeling	  voor	  welke	  
verkiezing	  al	  een	  keuze	  is	  gemaakt.	  Doordat	  de	  knop	  ‘grijs’	  is,	  wordt	  duidelijk	  gemaakt	  dat	  deze	  
knop	  niet	  meer	  te	  gebruiken	  is.	  
	  

25

Figuur	  6	  Verkiezingenoverzicht,	  er	  is	  1	  stembiljet	  geprint.	  

	  

	  
	  
3.2.3 Lijstenoverzicht	  
Het	  uitgangspunt	  voor	  het	  lijstenscherm	  is	  40	  lijsten.	  Het	  scherm	  is	  opgedeeld	  in	  een	  raster	  van	  4	  
kolommen	  met	  elk	  10	  knoppen	  (Figuur	  7).	  Deze	  verdeling	  in	  tientallen	  is	  overzichtelijker	  en	  telt	  
makkelijker	  dan	  bijvoorbeeld	  een	  verdeling	  in	  achttallen.	  Ook	  komen	  de	  verhoudingen	  goed	  uit	  
met	  de	  inhoud	  van	  elke	  knop,	  veel	  lijstnamen	  passen	  op	  één	  regel.	  Meer	  knoppen	  onder	  elkaar	  
zou	  leiden	  tot	  kleinere	  tekst	  en	  een	  minder	  groot	  oppervlak	  om	  op	  te	  drukken.	  
De	  knop	  ‘Blanco’	  is	  in	  hetzelfde	  raster	  opgenomen	  als	  de	  lijsten	  en	  staat	  altijd	  rechtsonder	  in	  
beeld.	  Deze	  keuze	  heeft	  tot	  gevolg	  dat	  er	  maximaal	  39	  lijsten	  weergegeven	  kunnen	  worden,	  
maar	  de	  grootte	  van	  deze	  knoppen	  niet	  verkleind	  hoeft	  te	  worden.	  
	  

Figuur	  7	  Lijstenoverzicht:	  4	  kolommen	  van	  10	  knoppen.	  

26	  

	  

Lijstnummer	  
Het	  lijstnummer	  staat	  in	  een	  zwart	  vierkant	  voor	  de	  lijstnaam.	  De	  zwarte	  vierkanten	  zorgen	  
ervoor	  dat	  de	  rijden	  duidelijk	  van	  elkaar	  te	  onderscheiden	  zijn.	  Het	  zoeken	  wordt	  ondersteund	  
door	  de	  verdeling	  in	  tientallen.	  
Specifiek	  voor	  slechtzienden	  en	  laaggeletterden	  is	  uitgegaan	  van	  grote	  cijfers	  voor	  de	  lijsten	  en	  
kandidaten.	  Deze	  cijfers	  zijn	  groter	  weer	  te	  geven	  dan	  de	  tekst	  die	  daarop	  volgt.	  Op	  basis	  van	  de	  
cijfers	  kunnen	  zij	  keuzes	  maken	  in	  het	  lijsten-­‐	  en	  kandidatenscherm.	  In	  het	  bevestigingsscherm	  
zijn	  de	  geselecteerde	  namen	  van	  de	  lijst	  en	  kandidaat	  groter	  afgebeeld.	  
Lijstnaam	  
Er	  is	  tenminste	  plaats	  voor	  35	  tekens.	  Hier	  is	  het	  maximum	  aantal	  tekens	  aangehouden	  dat	  thans	  
in	  de	  wet-­‐	  en	  regelgeving	  geldt	  voor	  politieke	  groeperingen	  die	  zich	  willen	  registreren	  om	  mee	  te	  
kunnen	  doen	  aan	  een	  verkiezing.	  Ook	  is	  er	  extra	  ruime	  om	  lange	  lijstnamen	  op	  een	  logische	  plek	  
af	  te	  breken.	  
Lijstverbinding	  
De	  lijstverbinding	  staat	  rechtsonder	  in	  de	  knop.	  Dit	  staat	  ver	  genoeg	  onderin	  de	  knop	  zodat	  er	  
ruimte	  overblijft	  voor	  een	  lijstnaam	  die	  2	  regels	  inneemt.	  
Logo	  
Een	  logo	  in	  kleur	  staat	  achter	  de	  lijstnaam.	  Het	  logo	  is	  zo	  groot	  mogelijk	  weergegeven	  in	  een	  
vierkant	  met	  vaste	  afmetingen.	  	  
Voortgang	  
Rechtsboven	  in	  beeld,	  in	  de	  donker	  blauwe	  balk,	  staat	  de	  naam	  van	  de	  verkiezing.	  Daaronder	  
wordt	  de	  voortgang	  van	  de	  verkiezing	  weergegeven	  door	  middel	  van	  balkjes	  die	  bij	  elke	  stap	  
verkleuren,	  in	  dezelfde	  kleurstelling	  als	  de	  lichtblauwe	  achtergrond,	  om	  niet	  teveel	  aandacht	  te	  
trekken.	  Deze	  voortgangsbalkjes	  zijn	  toegevoegd,	  omdat	  uit	  de	  evaluaties	  tijdens	  het	  
ontwerpproces	  is	  gebleken	  dat	  gebruikers	  willen	  kunnen	  zien	  hoeveel	  stappen	  ze	  nog	  moeten	  
doen	  tot	  ze	  een	  stembiljet	  hebben	  geprint.	  
	  
Tijdens	  het	  evalueren	  van	  concepten	  van	  de	  simulatie	  gedurende	  de	  ontwerpfase	  werd	  
veelvuldig	  de	  opmerking	  gemaakt	  dat	  het	  woord	  ‘lijsten’	  verwarrend	  is.	  Gebruikers	  zien	  dit	  als	  
namen	  en	  logo’s	  van	  ‘partijen’.	  	  
	  
3.2.4 Kandidatenoverzicht	  
Een	  belangrijk	  aspect	  van	  het	  kandidatenoverzicht	  is	  het	  aantal	  kandidaten	  dat	  gelijktijdig	  
zichtbaar	  is.	  Tijdens	  de	  ontwikkeling	  is	  gelet	  op	  de	  volgende	  aspecten:	  
• Het	  aantal	  rijen	  en	  kolommen	  en	  het	  gemak	  waarmee	  de	  knoppen	  geteld	  kunnen	  
worden.	  
• De	  mogelijkheid	  om	  pasfoto’s	  weer	  te	  geven	  en	  de	  grootte	  van	  pasfoto’s.	  
• De	  verhouding	  van	  de	  afmetingen	  van	  de	  knoppen.	  
• De	  grootte	  van	  de	  teksten	  en	  de	  indeling	  daarvan.	  
	  
Hieruit	  volgden	  2	  varianten:	  	  
• ‘Tab’	  variant:	  20	  kandidaten	  per	  scherm.	  Kiezers	  kunnen	  met	  behulp	  van	  tabbladen	  alle	  
kandidaten	  bereiken.	  De	  achternaam	  is	  even	  groot	  als	  een	  lijstnaam	  in	  het	  
lijstenoverzicht	  en	  er	  is	  plaats	  voor	  een	  pasfoto	  (Figuur	  8).	  

27

•

‘80’	  variant:	  80	  kandidaten	  per	  keer.	  Het	  maximale	  aantal	  kandidaten	  kan	  in	  1	  scherm	  
worden	  weergegeven.	  De	  achternaam	  is	  kleiner	  dan	  een	  lijstnaam	  in	  het	  lijstenoverzicht	  
en	  er	  is	  geen	  plaats	  voor	  een	  pasfoto	  (Figuur	  9).	  

	  
In	  bijlage	  1	  zijn	  uitsneden	  van	  de	  2	  varianten	  en	  het	  huidige	  stembiljet	  op	  ware	  grootte	  
weergegeven.	  Bij	  tussenvarianten	  (bijvoorbeeld	  40	  kandidaten	  per	  scherm)	  zijn	  de	  achternamen	  
kleiner	  dan	  een	  lijstnaam	  en	  zouden	  pasfoto’s	  dermate	  klein	  zijn	  dat	  de	  herkenbaarheid	  van	  de	  
afgebeelde	  personen	  sterk	  afneemt.	  
	  

Figuur	  8	  Kandidatenoverzicht	  met	  20	  kandidaten	  per	  scherm.	  

	  

	  

	  
Figuur	  9	  Kandidatenoverzicht	  80	  kandidaten	  op	  1	  scherm.	  

	  
Gekozen	  variant:	  Tab,	  20	  kandidaten	  per	  scherm	  
Het	  kandidatenscherm	  20	  kandidaten	  in	  een	  raster	  van	  4	  bij	  5	  (Figuur	  8).	  Dit	  blijkt	  een	  optimum	  
tussen	  de	  hoeveelheid	  knoppen	  dat	  weergegeven	  kan	  worden,	  de	  overzichtelijkheid	  van	  de	  
kandidaten	  (kolommen	  van	  5),	  de	  grootte	  van	  de	  teksten	  en	  de	  grootte	  van	  de	  pasfoto.	  Wanneer	  

28	  

er	  meer	  dan	  20	  kandidaten	  op	  de	  lijst	  staan,	  verschijnen	  er	  2	  of	  meer	  ‘tabbladen’	  boven	  de	  
kandidaten.	  Door	  het	  gebruik	  van	  tabbladen	  kan	  men	  meteen	  naar	  de	  laatste	  kandidaten	  op	  de	  
lijst.	  Dit	  in	  tegenstelling	  tot	  een	  methode	  waarbij	  men	  eerst	  de	  tussenliggende	  kandidaten	  te	  zien	  
krijgt.	  Door	  de	  tabbladen	  boven	  de	  kandidaten	  te	  plaatsen	  valt	  op	  dat	  er	  meer	  te	  kiezen	  is	  dan	  de	  
20	  kandidaten	  die	  getoond	  worden.	  Boven	  de	  kandidaten	  staat	  de	  gekozen	  lijst	  als	  extra	  
bevestiging:	  lijstnummer,	  logo	  van	  de	  partij	  en	  de	  lijstnaam.	  Deze	  informatie	  hoort	  bij	  de	  
getoonde	  kandidaten	  en	  staat	  daarom	  vlak	  boven	  de	  kandidaten	  in	  het	  lichtblauwe	  vlak.	  
	  
Keuze	  voor	  de	  ‘Tab’	  variant	  
Op	  basis	  van	  de	  evaluaties	  tijdens	  het	  ontwerpproces,	  gesprekken	  met	  diverse	  specialisten	  en	  de	  
betrokken	  belangenverenigingen,	  is	  er	  gekozen	  voor	  een	  maximum	  van	  20	  kandidaten	  per	  
scherm,	  met	  de	  mogelijkheid	  om	  te	  kunnen	  wisselen	  tussen	  de	  schermen	  middels	  tabbladen.	  
	  
De	  motivatie	  voor	  het	  gebruik	  van	  20	  kandidaten	  met	  tabbladen:	  
• Voorkeur	  bij	  doelgroep	  slechtzienden,	  met	  name	  door	  gebruik	  van	  grotere	  teksten.	  
• Voorkeur	  bij	  doelgroep	  laaggeletterden,	  met	  name	  door	  gebruik	  van	  foto’s.	  
• Voorkeur	  bij	  doelgroep	  verstandelijk	  gehandicapten	  met	  name	  door	  gebruik	  van	  minder	  
informatie	  op	  het	  kandidatenscherm	  en	  gebruik	  foto’s.	  
• Voorkeur	  bij	  doelgroep	  huidige	  kiezer,	  door	  combinatie	  van	  gebruik	  van	  grotere	  teksten	  
en	  minder	  informatie	  op	  het	  kandidatenscherm.	  	  
	  
Er	  zijn	  ook	  mogelijke	  nadelen:	  
• Een	  deel	  van	  de	  gebruikers	  bij	  de	  eerste	  evaluaties	  had	  geen	  voorkeur	  voor	  foto’s.	  
Sommigen	  vonden	  deze	  overbodig	  en	  zelfs	  afleiden.	  Dit	  heeft	  wellicht	  ook	  te	  maken	  met	  
het	  feit	  dat	  de	  aangeboden	  foto’s	  niet	  herkenbaar	  zijn.	  De	  evaluaties	  zijn	  uitgevoerd	  met	  
fictieve	  pasfoto’s.	  
• Daarnaast	  had	  een	  deel	  van	  de	  gebruikers	  een	  voorkeur	  voor	  variant	  ’80’,	  vanwege	  de	  
overeenkomst	  met	  het	  huidige	  stembiljet;	  lange	  lijsten	  met	  kandidaten.	  
• In	  de	  ‘Tab'	  variant	  zijn	  niet	  alle	  kandidaten	  gelijktijdig	  op	  een	  scherm	  te	  zien	  zijn	  (maar	  
slechts	  20)	  en	  moet	  de	  gebruiker	  de	  vervolgschermen	  weten	  te	  vinden.	  	  
	  
De	  voordelen	  van	  de	  ‘Tab’	  variant	  wegen	  naar	  de	  mening	  van	  TUD	  zwaarder	  dan	  de	  nadelen.	  In	  
deze	  afweging	  speelt	  tevens	  een	  rol	  dat	  uit	  verkiezingsuitslagen	  van	  afgelopen	  jaren	  blijkt	  dat	  het	  
merendeel	  van	  de	  stemmen	  (ongeveer	  90%)	  uitgebracht	  wordt	  op	  een	  van	  de	  eerste	  20	  
kandidaten.	  Voorlichting	  aan	  kiezers	  over	  het	  gebruik	  van	  de	  ‘Tab'	  zal	  echter	  een	  belangrijk	  punt	  
van	  aandacht	  zijn.	  Het	  moet	  uiteraard	  voor	  iedereen	  duidelijk	  zijn	  op	  welke	  wijze	  een	  
voorkeursstem	  uit	  te	  brengen	  is,	  ook	  op	  een	  kandidaat	  die	  op	  een	  lagere	  plaats	  staat	  dan	  20.	  
	  
Kandidatenknop	  
De	  knop	  voor	  de	  kandidaten	  is	  vergelijkbaar	  opgebouwd	  als	  de	  knoppen	  voor	  de	  lijsten.	  Het	  
zwarte	  vlak	  met	  het	  kandidaat	  nummer	  zorgt	  dat	  de	  kolommen	  duidelijk	  zijn	  te	  onderscheiden	  
(Figuur	  8).	  Het	  grootste	  deel	  van	  de	  knop	  is	  beschikbaar	  voor	  de	  achternaam	  van	  de	  kandidaat.	  
Namen	  die	  te	  lang	  zijn	  voor	  de	  2	  beschikbare	  regels	  zullen	  worden	  verkleind	  tot	  het	  past.	  De	  
voornaam,	  initialen,	  geslacht	  en	  woonplaats	  volgen	  vlak	  daaronder,	  deze	  indeling	  is	  
overgenomen	  van	  het	  huidige	  stembiljet.	  Er	  is	  echter	  gekozen	  om	  de	  voornaam	  en	  initialen	  om	  te	  
draaien	  om	  de	  leesbaarheid	  te	  vergroten.	  Aan	  de	  rechterkant	  is	  plaats	  voor	  een	  pasfoto.	  De	  
afmetingen	  zijn	  gelijk	  aan	  het	  zwarte	  vlak	  van	  het	  kandidaat	  nummer.	  

29

3.2.5 Bevestiging	  
Nadat	  een	  kandidaat	  is	  geselecteerd	  volgt	  de	  vraag	  om	  de	  keuze	  voor	  de	  lijst	  en	  de	  kandidaat	  te	  
bevestigen.	  In	  het	  bevestigingsscherm	  wordt	  gevraagd	  om	  de	  keuze	  niet	  alleen	  te	  bevestigen,	  
maar	  ook	  te	  printen	  (Figuur	  10).	  Aan	  de	  rechterkant	  van	  de	  afbeelding	  van	  het	  stembiljet	  staat	  de	  
knop	  ‘Keuze	  bevestigen’,	  met	  de	  term	  ‘bevestigen’	  wordt	  duidelijk	  gemaakt	  dat	  er	  na	  deze	  stap	  
geen	  mogelijkheid	  is	  tot	  correctie.	  In	  de	  knop	  staat	  ook	  de	  tekst	  ‘Stembiljet	  printen’,	  hiermee	  
wordt	  duidelijk	  gemaakt	  wat	  er	  gaat	  gebeuren	  wanneer	  er	  op	  de	  knop	  wordt	  gedrukt.	  Naast	  de	  
tekst	  staat	  een	  groene	  cirkel	  met	  een	  vinkje,	  dit	  veelgebruikte	  symbool	  geeft	  aan	  dat	  het	  om	  een	  
bevestigingsstap	  gaat.	  De	  kleur	  is	  gecombineerd	  met	  een	  symbool	  zodat	  ook	  groen-­‐kleurenblinde	  
deze	  informatie	  meekrijgen.	  
	  
In	  het	  midden	  is	  een	  afbeelding	  van	  het	  stembiljet.	  Op	  deze	  wijze	  kan	  de	  informatie	  op	  het	  
scherm	  goed	  worden	  vergeleken	  met	  de	  geprinte	  informatie	  op	  het	  stembiljet.	  In	  het	  geval	  men	  
kiest	  voor	  	  ‘Blanco’	  komt	  er	  op	  de	  voorvertoning	  ook	  ‘Blanco’	  te	  staan	  om	  te	  voorkomen	  dat	  men	  
denkt	  dat	  er	  iets	  mis	  is	  gegaan.	  Dit	  geldt	  ook	  voor	  het	  geprinte	  stembiljet.	  Het	  scherm	  voor	  een	  
referendum	  is	  identiek	  aan	  dat	  van	  een	  lijstverkiezing	  (Figuur	  11).	  	  
	  
	  

	  

Figuur	  10	  Bevestigingsscherm	  van	  een	  lijstverkiezing.	  

	  

Figuur	  11	  Bevestigingsscherm	  voor	  een	  referendum	  is	  
identiek	  aan	  een	  lijstverkiezing.	  

30	  

	  

3.2.6 Printen	  
Tijdens	  het	  printen	  blijft	  de	  afbeelding	  van	  het	  stembiljet	  in	  beeld	  staan,	  dit	  impliceert	  dat	  deze	  
afbeelding	  wordt	  geprint	  (Figuur	  12).	  Naast	  het	  stembiljet	  zijn	  grijze	  blokjes	  afgebeeld	  die	  
gedurende	  het	  printproces	  groen	  worden,	  de	  voortgangsbalk	  van	  de	  printer.	  De	  voortgangsbalk	  
laat	  zien	  dat	  de	  simulatie	  wel	  iets	  aan	  het	  doen	  is,	  maar	  de	  gebruiker	  even	  moet	  wachten.	  Elke	  
seconde	  wordt	  1	  blokje	  ingekleurd.	  Doordat	  het	  ritme	  van	  inkleuren	  en	  het	  einde	  duidelijk	  is,	  
weet	  de	  gebruiker	  precies	  hoelang	  het	  nog	  duurt.	  Het	  aantal	  blokjes	  hangt	  af	  van	  de	  snelheid	  van	  
het	  printen.	  Bij	  deze	  simulatie	  duurt	  het	  11	  seconden	  voordat	  het	  stembiljet	  volledig	  uit	  de	  
printer	  komt.	  
	  
De	  terugknop	  is	  in	  dit	  scherm	  niet	  zichtbaar,	  er	  is	  geen	  mogelijkheid	  meer	  om	  de	  keuze	  te	  
corrigeren,	  omdat	  de	  keuze	  reeds	  bevestigd	  is.	  De	  indeling	  van	  het	  printscherm	  voor	  een	  
referendum	  is	  identiek	  aan	  dat	  van	  een	  lijstverkiezing	  (Figuur	  13).	  
	  

Figuur	  12	  Het	  scherm	  tijdens	  het	  printen	  van	  een	  stembiljet.	  Groene	  blokjes	  geven	  de	  voortgang	  aan.	  

	  

	  
	  

Figuur	  13	  Het	  scherm	  tijdens	  het	  printen	  voor	  het	  
referendum	  is	  identiek	  aan	  een	  lijstverkiezing.	  

	  

31

3.2.7 Stembiljet	  controleren	  
Nadat	  het	  stembiljet	  is	  geprint	  verschijnt	  er	  een	  nieuwe	  knop	  ‘Klaar	  met	  controleren’	  (Figuur	  14).	  
De	  voorvertoning	  van	  het	  stembiljet	  blijft	  in	  beeld	  staan	  zodat	  de	  gebruiker	  het	  geprinte	  
stembiljet	  direct	  kan	  vergelijken	  met	  de	  keuze	  zoals	  deze	  gemaakt	  is	  op	  de	  simulatie.	  De	  knop	  
‘Klaar	  met	  controleren’	  is	  weer	  een	  bevestigende	  knop.	  Hier	  wordt	  hetzelfde	  symbool	  gebruikt	  
als	  in	  de	  bevestigingsknop	  voor	  het	  printen	  
De	  indeling	  van	  het	  controlescherm	  voor	  het	  referendum	  is	  identiek	  aan	  het	  scherm	  voor	  een	  
lijstverkiezing	  (Figuur	  15).	  
	  

Figuur	  14	  Het	  controlescherm	  nadat	  een	  stembiljet	  is	  geprint.	  

	  

Figuur	  15	  Het	  controlescherm	  voor	  het	  referendum	  is	  
identiek	  aan	  het	  scherm	  voor	  een	  lijstverkiezing.	  

32	  

	  

	  

3.2.8 Referendum	  
De	  referendumvraag	  staat	  gecentreerd	  in	  beeld	  in	  zo	  groot	  mogelijk	  letters,	  maar	  in	  proportie	  
met	  de	  andere	  tekst	  in	  het	  scherm	  (Figuur	  16).	  Op	  dit	  scherm	  is	  alle	  ruimte	  om	  de	  knoppen	  ver	  
uit	  elkaar	  te	  plaatsen,	  hierdoor	  wordt	  voorkomen	  dat	  iemand	  op	  de	  verkeerde	  knop	  drukt.	  De	  
‘Blanco’	  knop	  staat	  op	  een	  vergelijkbare	  plaats	  als	  de	  ‘Stoppen’	  knop	  in	  het	  lijstenoverzicht.	  	  
	  

Figuur	  16	  Het	  referendumscherm.	  De	  vraag	  moet	  beantwoord	  worden	  met	  'Voor',	  'Tegen'	  of	  'Blanco'.	  

	  

	  
	  
3.2.9 Einde	  
Het	  eindscherm	  wordt	  bereikt	  wanneer	  alle	  beschikbare	  stembiljetten	  zijn	  geprint	  (Figuur	  18)	  of	  
wanneer	  op	  ‘Stoppen’	  wordt	  gedrukt	  in	  het	  verkiezingenoverzicht	  (Figuur	  17).	  Het	  verschil	  zit	  in	  
de	  terug	  knop	  en	  informatie	  over	  hoeveel	  stembiljetten	  zijn	  geprint	  en	  nog	  open	  staan.	  
	  

Figuur	  18	  Het	  eindscherm	  wanneer	  alle	  beschikbare	  
stembiljetten	  zijn	  geprint.	  

Figuur	  17	  Het	  eindscherm	  in	  het	  geval	  niet	  alle	  
stembiljetten	  zijn	  geprint.	  De	  terug	  knop	  is	  nog	  zichtbaar.	  

	  
	  
	  

33

	  	  

3.3 Interactie	  2:	  Auditieve	  ondersteuning	  
De	  audio	  ondersteuning	  dient	  ter	  ondersteuning	  bij	  het	  gebruik	  van	  het	  aanraakscherm.	  Dit	  
betekent	  dat	  de	  gebruiker	  nog	  steeds	  het	  aanraakscherm	  nodig	  heeft	  om	  een	  keuze	  te	  maken	  en	  
alle	  opties	  te	  bekijken.	  	  
Voor	  elke	  handeling	  krijgt	  de	  gebruiker	  te	  horen	  wat	  deze	  moet	  doen.	  Na	  elke	  druk	  op	  een	  knop	  
krijgt	  de	  gebruiker	  te	  horen	  wat	  hij	  of	  zij	  heeft	  gekozen	  (met	  uitzondering	  van	  de	  tabbladen).	  Dit	  
geeft	  de	  gebruiker	  een	  bevestiging	  van	  hetgeen	  zichtbaar	  is	  op	  het	  scherm.	  Na	  de	  bevestiging	  
volgt	  de	  instructie	  wat	  de	  gebruiker	  vervolgens	  kan	  doen,	  dit	  is	  de	  tekst	  die	  op	  het	  
aanraakscherm	  boven	  in	  beeld	  staat.	  De	  twee	  belangrijkste	  verschillen	  met	  de	  audio	  interactie	  
zijn:	  
• De	  interface	  wordt	  bediend	  met	  het	  aanraakscherm,	  alle	  grafische	  elementen	  zijn	  
identiek	  aan	  de	  modus	  waarbij	  alleen	  het	  aanraakscherm	  wordt	  gebruikt.	  
• De	  auditieve	  ondersteuning	  is	  bedoeld	  voor	  de	  terugkoppeling	  over	  de	  gekozen	  
knoppen.	  De	  stem	  zegt	  alleen	  wat	  de	  gebruiker	  heeft	  ingedrukt	  op	  het	  scherm	  en	  leest	  
de	  instructie	  voor	  die	  boven	  in	  beeld	  staat.	  Er	  wordt	  geen	  audio	  toelichting	  gegeven	  
over	  het	  gebruik	  van	  het	  aanraakscherm.	  	  
In	  bijlage	  2	  staan	  alle	  teksten	  van	  de	  auditieve	  ondersteuning.	  
	  

3.4 Interactie	  3:	  Tactiele	  knoppen	  voor	  motorisch	  beperkten	  
Voor	  mensen	  die	  moeite	  hebben	  met	  het	  bedienen	  van	  een	  aanraakscherm	  door	  een	  beperking	  
in	  de	  motoriek	  is	  er	  een	  interactie	  met	  tactiele	  knoppen.	  Tactiele	  knoppen	  vragen	  om	  een	  minder	  
nauwkeurige	  positionering	  van	  de	  hand.	  Ook	  kunnen	  mensen	  hun	  arm	  en/	  of	  hand	  ondersteunen	  
naast	  de	  knoppen,	  bij	  een	  aanraakscherm	  zou	  men	  mogelijk	  andere	  knoppen	  aan	  kunnen	  raken.	  
	  
Bij	  het	  maken	  van	  het	  ontwerp	  voor	  de	  tactiele	  knoppen	  is	  gekozen	  voor	  dezelfde	  knoppen	  
configuratie	  voor	  zowel	  mensen	  met	  een	  motorische	  beperking	  als	  die	  door	  blinden	  gebruikt	  
zouden	  moeten	  kunnen	  worden.	  Dit	  in	  de	  veronderstelling	  dat	  twee	  verschillende	  configuraties	  
tactiele	  knoppen,	  als	  een	  stemprinter	  daadwerkelijk	  zou	  worden	  ingevoerd,	  tot	  onduidelijkheid	  
zou	  leiden	  bij	  kiezers.	  	  Hieruit	  volgt	  dat	  de	  knoppen	  zowel	  visueel	  als	  tactiel	  goed	  waar	  te	  nemen	  
moeten	  zijn.	  	  
	  
Voor	  de	  koppeling	  tussen	  de	  tactiele	  knoppen	  en	  de	  knoppen	  op	  het	  scherm	  is	  er	  voor	  gezorgd	  
dat	  alle	  (witte)	  knoppen	  in	  het	  scherm	  bereikt	  kunnen	  worden	  door	  de	  tactiele	  pijl	  knoppen	  te	  
gebruiken.	  Hierdoor	  zitten	  er	  geen	  ‘verborgen	  interacties’	  binnen	  een	  scherm;	  er	  hoeft	  
tussentijds	  niet	  op	  een	  andere	  dan	  een	  tactiele	  pijl	  knop	  gedrukt	  te	  worden	  om	  andere	  opties	  
binnen	  het	  scherm	  te	  bereiken.	  De	  terug	  knop	  in	  het	  scherm	  (lichtblauw)	  is	  altijd	  te	  gebruiken	  
met	  de	  tactiele	  terug	  knop	  en	  is	  daarom	  niet	  te	  bereiken	  met	  behulp	  van	  de	  tactiele	  pijl	  knoppen.	  
Wanneer	  een	  knop	  om	  het	  scherm	  geselecteerd	  is,	  krijgt	  deze	  een	  oranje	  rand	  (Figuur	  19).	  
	  

34	  

	  

Figuur	  19	  Lijsten	  overzicht,	  de	  geselecteerde	  knop	  heeft	  een	  oranje	  rand.	  De	  rode	  gestippelde	  rode	  lijn	  geeft	  
het	  pad	  aan	  wat	  gevolgd	  wordt.	  Deze	  is	  niet	  te	  zien	  voor	  de	  kiezer.	  Het	  pad	  kan	  via	  beide	  richtingen	  worden	  
doorlopen.	  

	  
3.4.1 Tactiele	  knoppen	  
In	  bestaande	  interfaces	  die	  gebruikt	  worden	  door	  mensen	  met	  motorische	  beperkingen	  wordt	  
vaak	  een	  2-­‐knops	  of	  3-­‐knops	  bediening	  toegepast.	  Deze	  bedieningsvorm	  wordt	  scanning	  
genoemd.	  Met	  1	  of	  2	  knoppen	  kan	  men	  langs	  alle	  opties	  op	  het	  scherm	  lopen	  in	  een	  vast	  
omschreven	  pad,	  met	  een	  andere	  knop	  wordt	  de	  selectie	  bevestigd.	  
	  
Voor	  de	  simulatie	  is	  echter	  een	  4-­‐knops	  bediening	  toegepast	  (Figuur	  20).	  Twee	  knoppen	  om	  langs	  
de	  opties	  te	  lopen,	  één	  knop	  om	  te	  bevestigen	  en	  één	  knop	  waarmee	  altijd	  wordt	  teruggegaan	  
naar	  het	  vorige	  scherm	  (waar	  dit	  mogelijk	  is).	  De	  extra	  terug	  knop	  en	  een	  tweede	  navigatiepijl	  
geven	  de	  mogelijkheid	  om	  eventuele	  fouten	  sneller	  te	  corrigeren.	  De	  volgorde	  waarin	  de	  
knoppen	  elkaar	  volgen	  loopt	  altijd	  rond:	  er	  is	  een	  mogelijkheid	  om	  van	  de	  eerste	  knop	  in	  het	  
scherm	  naar	  de	  laatste	  te	  gaan	  en	  andersom	  (Figuur	  19).	  Wanneer	  een	  nieuw	  scherm	  wordt	  
getoond,	  staat	  de	  selectierand	  altijd	  op	  de	  eerste	  knop	  van	  de	  pagina.	  In	  bijlage	  3	  staat	  een	  
afbeelding	  van	  de	  knoppen	  op	  ware	  grootte	  en	  een	  tekening	  met	  afmetingen.	  
	  

	  
Figuur	  20	  Tactiele	  knoppen	  voor	  het	  bedienen	  van	  interactie	  3:	  tactiele	  knoppen.	  
	  
	  

35

3.5 Interactie	  4:	  Auditieve	  interactie	  voor	  blinden	  
Deze	  interface	  wordt	  bediend	  met	  4	  tactiele	  knoppen:	  een	  terug-­‐knop,	  twee	  navigatie	  knoppen	  
en	  een	  bevestigingsknop.	  Ook	  hier	  zou	  kunnen	  worden	  volstaan	  met	  twee	  knoppen.	  Een	  terug	  
knop	  en	  een	  tweede	  pijl	  knop	  geven	  de	  mogelijkheid	  om	  eventuele	  fouten	  sneller	  te	  corrigeren.	  
Er	  is	  een	  onderscheid	  in	  de	  vorm	  en	  positie	  van	  de	  knoppen	  zodat	  ze	  duidelijk	  zijn	  te	  benoemen	  
en	  op	  de	  tast	  van	  elkaar	  zijn	  te	  onderscheiden.	  
	  
De	  gebruiker	  krijgt	  terugkoppeling	  doormiddel	  van	  een	  koptelefoon.	  Het	  scherm	  geeft	  niets	  van	  
het	  keuzeproces	  weer,	  de	  kiezer	  kan	  immers	  niet	  controleren	  of	  er	  niet	  mee	  wordt	  gekeken.	  
	  
Alle	  keuzes	  worden	  gemaakt	  op	  basis	  van	  audiofragmenten.	  Na	  het	  indrukken	  van	  een	  knop	  volgt	  
een	  terugkoppeling	  via	  de	  koptelefoon	  en	  volgt	  een	  nieuw	  keuzemenu.	  De	  keuzes	  worden	  
voorgelezen	  wanneer	  men	  de	  pijl	  knoppen	  gebruikt.	  Hierdoor	  kan	  men	  sneller	  naar	  een	  lijst	  of	  
kandidaat	  met	  een	  hoger	  nummer,	  dan	  wanneer	  alle	  opties	  (tot	  maximaal	  80	  kandidaten)	  
uitgeluisterd	  moeten	  worden	  voordat	  men	  de	  gewenste	  optie	  hoort,	  zoals	  bijvoorbeeld	  een	  
telefoonmenu.	  	  
	  
In	  bijlage	  4	  staan	  alle	  teksten	  van	  de	  auditieve	  interactie.	  

36	  

3.6 Stembiljet	  en	  printer	  
Het	  stembiljet	  en	  de	  printer	  is	  in	  de	  ontwikkelde	  simulatie	  voor	  alle	  interacties	  gelijk.	  
3.6.1 Stembiljet	  
Het	  ontwerp	  van	  het	  stembiljet	  is	  specifiek	  gemaakt	  voor	  het	  uitvoeren	  van	  een	  test	  met	  de	  
simulatie.	  Er	  is	  voornamelijk	  gelet	  op	  een	  logische	  volgorde	  van	  de	  informatie.	  Het	  is	  een	  
langwerpig	  vel	  papier	  waarvan	  de	  verhoudingen	  lijken	  op	  die	  van	  een	  boarding	  pass	  (Figuur	  21).	  
Een	  formaat	  dat	  ook	  is	  genoemd	  door	  de	  commissie	  Van	  Beek.	  De	  volgende	  elementen	  staan	  
erop:	  
• ‘Stembiljet’,	  	  
• De	  naam	  van	  de	  verkiezing.	  Dat	  is	  
nodig	  omdat	  zowel	  de	  kiezer	  als	  het	  
stembureau	  (tellen)	  moet	  kunnen	  zien	  
voor	  welke	  verkiezing	  de	  stem	  zal	  
worden/	  is	  uitgebracht.	  	  
• Een	  streep	  met	  de	  tekst	  ‘Uw	  keuze’.	  
Hiermee	  wordt	  gesuggereerd	  dat	  de	  
tekst	  onder	  de	  streep	  de	  keuze	  van	  de	  
kiezer	  is	  en	  niet	  een	  voorgedrukte	  
tekst	  is.	  
• Nummer	  en	  naam	  van	  de	  gekozen	  lijst	  
en	  nummer	  en	  naam	  van	  de	  gekozen	  
kandidaat.	  Zoveel	  mogelijk	  in	  dezelfde	  
verhoudingen	  als	  op	  het	  scherm.	  
• In	  het	  geval	  van	  een	  referendum	  komt	  
er	  boven	  de	  streep	  de	  
referendumvraag	  te	  staan	  en	  in	  het	  
gedeelte	  onder	  de	  streep	  ‘Voor’,	  
‘Tegen’	  of	  ‘Blanco’.	  	  
	  
3.6.2 Printer	  
De	  printer	  zorgt	  ervoor	  dat	  de	  keuze	  die	  de	  
proefpersoon	  heeft	  bevestigd	  wordt	  geprint	  op	  
het	  stembiljet.	  Bij	  het	  printen	  moet	  de	  
gebruiker	  zijn	  aandacht	  verplaatsen	  van	  het	  
scherm	  of	  tactiele	  knoppen	  naar	  de	  plek	  waar	  
het	  stembiljet	  uit	  het	  apparaat	  komt.	  Bepalend	  
voor	  deze	  interactie	  is	  onder	  andere	  de	  
tijdsduur	  van	  de	  volgende	  twee	  stappen	  in	  het	  
printproces:	  
• Tijd	  tussen	  indrukken	  van	  de	  printknop	  
en	  het	  starten	  van	  de	  printer.	  
• Tijdsduur	  van	  het	  daadwerkelijke	  
printen.	  	  
	  
	  
	  
	  
Figuur	  21	  Een	  stembiljet	  nadat	  het	  geprint	  is.	  

37

38	  

	  

4
4

Testopzet simulatie stemprinter

In	  dit	  hoofdstuk	  wordt	  de	  testopzet	  voor	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  beschreven.	  
Achtereenvolgens	  komen	  aan	  bod;	  de	  doelstelling,	  de	  proefpersonen,	  de	  proefopstelling,	  de	  
werkwijze	  en	  het	  testprotocol.	  	  
	  
Bij	  het	  maken	  van	  de	  testopzet	  is	  advies	  ingewonnen	  met	  de	  volgende	  specialisten:	  
• ir.	  Lilian	  Henze,	  P5	  Consultants,	  ruim	  20	  jaar	  ervaring	  met	  professioneel	  
gebruiksonderzoek,	  tevens	  PhD	  kandidaat	  TUD	  
• prof.	  dr.	  Peter	  Vink,	  hoogleraar	  ergonomie,	  TUD,	  specialist	  op	  gebied	  van	  ergonomisch	  
onderzoek.	  
• prof.	  dr.	  Jan	  Schoormans,	  hoogleraar	  consumenten	  onderzoek,	  TUD,	  specialist	  op	  gebied	  
van	  consumentenonderzoek.	  

4.1 Doelstelling	  
Doel	  van	  het	  houden	  van	  een	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  is	  na	  te	  gaan	  of	  de	  
aanname(s)	  van	  de	  commissie	  Van	  Beek	  juist	  is	  dat	  het	  stemmen	  door	  gebruik	  te	  maken	  van	  een	  
stemprinter	  toegankelijker	  wordt	  voor	  de	  kiezers.	  In	  het	  bijzonder	  voor	  kiezers	  met	  een	  
beperking	  waarvoor	  het	  met	  de	  stemprinter	  mogelijk	  zou	  kunnen	  zijn	  om	  zelfstandig	  te	  
stemmen.	  	  
	  
Deze	  doelstelling	  is	  uitgewerkt	  in	  een	  tweetal	  onderzoeksvragen	  die	  in	  paragraaf	  1.3	  zijn	  
vermeld.	  Gelet	  op	  de	  keuzes	  die	  gedurende	  het	  ontwerpproces	  van	  de	  simulatie	  zijn	  gemaakt	  zijn	  
er	  om	  de	  algemene	  onderzoeksvragen	  uit	  1.3	  te	  beantwoorden	  een	  aantal	  ondersteunende	  
onderzoeksvragen	  geformuleerd,	  te	  weten:	  	  
• Vormt	  de	  oplossing	  van	  de	  stemprinter	  interactie	  met	  tabbladen	  in	  het	  
kandidatenscherm	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  simulatie	  van	  de	  
stemprinter	  (effectiviteit)?	  
• Zijn	  de	  proefpersonen	  in	  staat	  om	  blanco	  te	  stemmen	  (effectiviteit)?	  
• Hoeveel	  tijd	  hebben	  de	  proefpersonen	  met	  de	  simulatie	  nodig	  om	  een	  stembiljet	  te	  
printen	  (efficiëntie)?	  
• Hoe	  ervaren	  de	  proefpersonen	  de	  bediening	  van	  de	  simulatie	  van	  de	  stemprinter	  
(tevredenheid)?	  
	  
Om	  te	  kunnen	  toetsen	  of	  de	  proefpersoon	  al	  dan	  niet	  in	  staat	  is	  om	  het	  huidige	  stembiljet	  correct	  
in	  te	  vullen	  is	  als	  extra	  vraag	  toegevoegd:	  
• Is	  de	  proefpersoon	  in	  staat	  om	  het	  huidige	  stembiljet	  zelfstandig	  in	  te	  vullen?	  

39

4.2 Proefpersonen	  
Om	  te	  bepalen	  wie	  als	  proefpersoon	  kan	  worden	  aangemerkt	  is	  naar	  de	  mening	  van	  TUD	  een	  
steekproef	  nodig	  uit	  twee	  populaties:	  
	  
Groep	  A:	  
	  
De	  populatie	  van	  stemgerechtigde	  personen	  die	  in	  2014	  zelfstandig	  (dat	  wil	  zeggen	  zonder	  hulp	  
in	  het	  stemhokje	  van	  een	  andere	  persoon)	  hebben	  gestemd	  bij	  de	  verkiezing	  van	  de	  leden	  van	  de	  
gemeenteraden	  en/	  of	  de	  leden	  van	  het	  Europees	  Parlement.	  	  
	  	  
Groep	  B:	  	  
De	  populatie	  van	  stemgerechtigde	  personen	  die	  om	  uiteenlopende	  redenen	  mogelijk	  niet	  in	  staat	  
zijn	  om	  zelfstandig	  (dat	  wil	  zeggen	  zonder	  hulp	  in	  het	  stemhokje	  van	  een	  andere	  persoon)	  te	  
stemmen	  met	  het	  papieren	  stembiljet	  dat	  gebruikt	  wordt	  bij	  verkiezingen.	  
	  
Steekproef	  
De	  steekproefgrootte	  voor	  groep	  A	  is	  400	  proefpersonen.	  
Omdat	  het	  bij	  deze	  test	  gaat	  om	  een	  simulatie	  (slechts	  een	  deel	  van	  het	  hele	  stemproces,	  fictieve	  
partijen	  en	  kandidaten,	  een	  voor	  de	  meeste	  mensen	  nieuw	  fenomeen	  van	  meervoudige	  
verkiezingen)	  is	  een	  grote	  nauwkeurigheid	  bij	  het	  testen	  van	  de	  simulatie	  van	  de	  stemprinter	  niet	  
zinvol.	  	  
Voor	  het	  testen	  van	  de	  simulatie	  is	  daarom	  gekozen	  voor	  een,	  onder	  gebruiksonderzoekers	  
algemeen	  gehanteerde,	  95%	  betrouwbaarheid	  en	  5%	  nauwkeurigheid	  van	  de	  steekproef.	  
Betrouwbaarheid	  houdt	  in	  de	  voorspellende	  waarde	  van	  de	  test.	  Nauwkeurigheid	  betekent	  in	  
deze:	  de	  afwijking	  van	  de	  resultaten	  van	  de	  test	  met	  de	  steekproef	  ten	  opzichte	  van	  de	  
werkelijkheid.	  Als	  in	  de	  test	  90%	  van	  de	  respondenten	  zelfstandig	  kunnen	  stemmen	  met	  de	  
simulatie	  stemprinter	  zal	  met	  95%	  zekerheid	  in	  werkelijkheid	  tussen	  de	  85-­‐95%	  (90	  -­‐	  5	  en	  90	  +	  5)	  
zelfstandig	  kunnen	  stemmen.	  	  
Dit	  resulteert	  in	  een	  steekproefgrootte	  van	  minimaal	  n=385	  (zie	  Figuur	  22).	  Rekening	  houdend	  
met	  een	  aantal	  niet	  bruikbare	  testresultaten	  is	  de	  steekproefgrootte	  bepaald	  op	  400	  
proefpersonen.	  	  

Figuur	  22	  Steekproefomvang	  (n=385)	  bij	  een	  nauwkeurigheid	  van	  5%	  bij	  een	  betrouwbaarheid	  van	  95%	  

	  

40	  

	  
Gekozen	  is	  voor	  een	  evenredige	  onderverdeling	  (ten	  opzichte	  van	  de	  Nederlandse	  
kiesgerechtigden)	  in	  leeftijd,	  geslacht,	  opleidingsniveau	  en	  regionale	  spreiding.	  
Met	  name	  leeftijd	  en	  opleidingsniveau	  zijn	  een	  indicatie	  voor	  te	  verwachten	  problemen;	  bij	  een	  
hogere	  leeftijd	  en	  een	  lagere	  opleiding	  zijn	  meer	  problemen	  te	  verwachten.	  
	  
De	  steekproefgrootte	  voor	  groep	  B	  is	  30	  proefpersonen	  per	  subgroep.	  
Door	  de	  enorme	  spreiding	  in	  soorten	  beperkingen	  en	  de	  relatieve	  onbekendheid	  over	  de	  
hoedanigheid	  en	  aantallen	  van	  de	  kiezers	  die	  nu	  niet	  zelfstandig	  een	  stem	  kunnen	  uitbrengen	  is	  
gekozen	  voor	  relatief	  kleine	  subgroepen.	  Daarbij	  is	  ook	  het	  werven	  van	  proefpersonen	  uit	  deze	  
subgroepen	  complex.	  Met	  de	  test	  wordt	  de	  problematiek	  rond	  het	  gebruik	  van	  de	  simulatie	  van	  
de	  stemprinter	  in	  kaart	  gebracht.	  Wanneer	  er	  problemen	  bij	  de	  test	  met	  de	  simulatie	  optreden	  
kan	  er	  van	  worden	  uitgegaan	  dat	  deze	  problemen	  ook	  in	  de	  werkelijkheid	  op	  zullen	  treden.	  De	  
aard	  van	  de	  problemen	  geeft	  een	  goede	  voorspelling	  of	  de	  gekozen	  simulatie	  een	  goede	  
oplossing	  is	  en	  geeft	  een	  inzicht	  in	  welke	  verbeteringen	  nodig	  zijn.	  Bij	  relatief	  weinig	  observaties	  
15
(20-­‐30	  per	  situatie)	  zullen	  de	  meeste	  problemen	  reeds	  aan	  de	  orde	  komen .	  Voor	  de	  groepen	  
deelnemers	  met	  een	  beperking	  is	  dan	  ook	  voor	  een	  steekproefgrootte	  van	  30	  per	  subgroep	  
(situatie)	  gekozen.	  	  
	  	  
4.2.1 Proefpersonen	  groep	  A	  
	  
Voor	  gebruikersgroep	  A	  gelden	  de	  volgende	  selectiecriteria:	  	  
	  
1/	  De	  proefpersoon	  heeft	  in	  2014	  zelfstandig	  gestemd	  voor	  de	  verkiezing	  van	  de	  leden	  van	  de	  
gemeenteraden	  en/	  of	  de	  leden	  van	  het	  Europees	  Parlement.	  	  
	  
2/	  Er	  is	  een	  evenredige	  verdeling	  van	  geslacht	  (50%	  man-­‐50%	  vrouw)	  	  
	  
3/	  De	  volgende	  aantallen	  proefpersonen	  per	  leeftijd	  categorie	  zijn	  gewenst:	  	  
• 18-­‐40	  jaar	  	  
(	  120	  deelnemers)	  	  
• 40-­‐60	  jaar	  	  
(	  160	  deelnemers)	  	  
• 60-­‐80	  jaar	  	  
(	  100	  deelnemers)	  	  
• 80+	  jaar	  	  
(	  	  	  20	  deelnemers)	  	  
	  
4/	  Opleidingsniveau:	  	  
• Minimaal	  30%	  van	  de	  deelnemers	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  lager	  
onderwijs.	  	  
• Minimaal	  30%	  van	  de	  deelnemers	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  hoger	  
onderwijs.	  	  
• De	  overige	  40%	  van	  de	  deelnemers	  komt	  uit	  een	  van	  de	  drie	  opleidingsniveaus.	  	  
	  
5/	  Regionale	  spreiding:	  	  
• Minimaal	  50%	  van	  de	  deelnemers	  komt	  uit	  stedelijk	  gebied	  (CBS:	  klasse	  1	  en	  2)	  	  
• Minimaal	  30%	  van	  de	  deelnemers	  komt	  uit	  landelijk	  gebied	  (CBS:	  klasse	  4	  en	  5)	  	  
• De	  overige	  20%	  van	  de	  deelnemers	  komt	  uit	  een	  van	  de	  vijf	  klassen.	  	  
	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
15

	  Kanis,	  H	  (2011),	  'Estimating	  the	  number	  of	  usability	  problems',	  Applied	  ergonomics,	  42	  (2),	  337-­‐47.	  
Nielsen,	  Jakob	  and	  Molich,	  Rolf	  (1990),	  'Heuristic	  evaluation	  of	  user	  interfaces',	  Proceedings	  of	  the	  SIGCHI	  
conference	  on	  Human	  factors	  in	  computing	  systems	  (ACM),	  249-­‐56.	  

41

Ad	  3:	  Evenredige	  verdeling	  van	  proefpersonen	  over	  leeftijd	  categorieën	  op	  basis	  van	  CBS	  data.	  	  
Ad	  4:	  Uitgangspunt	  is	  de	  verdeling	  zoals	  gehanteerd	  in	  de	  SOI	  cijfers	  2012	  (CBS):	  	  
• lager:	  basisonderwijs,	  vmbo,	  mbo	  1	  (30%)	  	  
• middelbaar:	  mbo	  2,	  mbo	  3,	  mbo4,	  havo,	  vwo	  (40%)	  	  
• hoger:	  hbo,	  wo-­‐bachelor,	  wo-­‐master,	  doctor	  (30%)	  	  
Ad	  5:	  Stedelijkheid	  (CBS/	  Statline	  medio	  2014)	  	  
	  
4.2.2 Proefpersonen	  groep	  B	  
De	  proefpersonen	  voor	  groep	  B	  worden	  geworven	  volgens	  de	  volgende	  criteria.	  
B1/	  Blinden:	  deze	  proefpersonen	  zijn	  volledig	  blind	  of	  sociaal-­‐/maatschappelijk	  blind	  (zien	  minder	  
dan	  5%,	  of	  zien	  alleen	  verschil	  tussen	  licht	  en	  donker)	  
B2/	  Slechtzienden:	  deze	  proefpersonen	  zijn	  zonder	  een	  hulpmiddel	  (anders	  dan	  bril	  en	  lenzen)	  en	  
bij	  normale	  verlichting	  niet	  in	  staat	  zelfstandig	  op	  het	  huidige	  stembiljet	  de	  keuze	  te	  maken	  die	  zij	  
willen.	  
B3/	  Laaggeletterden:	  deze	  proefpersonen	  kunnen	  in	  geen	  enkele	  taal	  goed	  lezen	  en	  schrijven,	  
maar	  niet	  vanwege	  een	  verstandelijke	  beperking.	  	  
B4/	  Licht	  verstandelijk	  gehandicapten:	  deze	  proefpersonen	  hebben	  een	  verstandelijke	  beperking	  
niet	  zijnde	  een	  psychische	  –	  of	  gedragsstoornis.	  	  
B5/	  	  Personen	  met	  (motorische)	  fysieke	  beperkingen:	  deze	  proefpersonen	  hebben	  beperkingen	  
aan	  hun	  armen/handen	  waardoor	  ze	  niet	  in	  staat	  zijn	  op	  het	  huidige	  stembiljet	  zelfstandig	  de	  
keuze	  te	  maken	  die	  zij	  willen,	  bijvoorbeeld	  door	  verlamming,	  spasmen,	  beven,	  reumatische	  
aandoening.	  
	  
Voor	  de	  categorieën	  1/2/5	  geldt:	  	  
• 30	  deelnemers	  per	  categorie	  
• maximaal	  75%	  van	  hetzelfde	  geslacht.	  	  
• maximaal	  75%	  van	  dezelfde	  leeftijdscategorie:	  (18	  –	  50),	  (50	  en	  ouder)	  	  
• minimaal	  15%	  van	  de	  deelnemers	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  lager	  
onderwijs	  	  
• minimaal	  15%	  van	  de	  deelnemers	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  hoger	  
onderwijs	  	  
• minimaal	  25%	  van	  de	  deelnemers	  komt	  uit	  stedelijk	  gebied	  (CBS:	  klasse	  1-­‐2)	  	  
• minimaal	  15%	  van	  de	  deelnemers	  komt	  uit	  landelijk	  gebied	  (CBS:	  klasse	  4-­‐5)	  	  
	  
Voor	  de	  categorieën	  3/4	  geldt:	  	  
• 30	  deelnemers	  per	  categorie	  
• maximaal	  75%	  van	  hetzelfde	  geslacht.	  	  
• maximaal	  75%	  van	  dezelfde	  leeftijdscategorie:	  (18	  –	  50),	  (50	  en	  ouder)	  	  
• minimaal	  25%	  van	  de	  deelnemers	  komt	  uit	  stedelijk	  gebied	  (CBS:	  klasse	  1-­‐2)	  	  
• minimaal	  15%	  van	  de	  deelnemers	  komt	  uit	  landelijk	  gebied	  (CBS:	  klasse	  4-­‐5)	  	  
	  

42	  

4.3 Proefopstelling	  
	  
Voor	  het	  uitvoeren	  van	  de	  test	  zijn	  4	  opstellingen	  ontwikkeld	  waar	  de	  simulatie	  van	  de	  
stemprinter	  op	  kon	  worden	  gebruikt.	  Deze	  proefopstellingen	  zijn	  in	  opdracht	  van	  het	  ministerie	  
van	  BZK	  door	  een	  externe	  dienstverlener	  geleverd	  op	  basis	  van	  de	  door	  TUD	  ontwikkelde	  en	  
gespecificeerde	  gebruiker	  interacties.	  	  
	  
De	  proefopstelling	  bestaat	  uit	  een	  24	  inch	  aanraakscherm/	  computer	  en	  een	  afzonderlijke	  printer	  
(zie	  Figuur	  23).	  Daarnaast	  kan	  voor	  de	  bediening	  van	  de	  simulatie	  gebruik	  gemaakt	  worden	  van	  
tactiele	  knoppen,	  auditieve	  interactie	  en	  mogelijke	  auditieve	  ondersteuning	  via	  een	  koptelefoon.	  	  

	  

Figuur	  23	  Proefopstelling:	  koptelefoon,	  aanraakscherm,	  printer	  en	  tactiele	  knoppen.	  

	  
Scherm	  
Voor	  de	  test	  is	  uitgegaan	  van	  een	  capacitief	  scherm.	  Vergeleken	  met	  andere	  aanraakscherm-­‐	  
technologieën	  is	  voor	  de	  bediening	  van	  dit	  type	  scherm	  weinig	  kracht	  nodig.	  Daarnaast	  is	  het	  een	  
gangbare	  technologie	  die	  steeds	  verder	  wordt	  ontwikkeld.	  Mensen	  met	  een	  erg	  droge	  huid	  
kunnen	  echter	  wel	  moeite	  hebben	  om	  het	  scherm	  te	  bedienen,	  de	  geleiding	  van	  de	  huid	  is	  dan	  
lager.	  Onder	  ouderen	  is	  deze	  groep	  het	  grootst.	  
	  
Printer	  
De	  printer	  zorgt	  ervoor	  dat	  de	  uiteindelijke	  keuze	  op	  het	  stembiljet	  komt	  te	  staan.	  Er	  wordt	  voor	  
de	  test	  gebruik	  gemaakt	  van	  een	  zwart/wit	  printer.	  
	  
Koptelefoon	  
Voor	  de	  auditieve	  terugkoppeling	  wordt	  een	  koptelefoon	  gebruikt.	  De	  koptelefoon	  moet	  harder	  
en	  zachter	  gezet	  kunnen	  worden	  gezet	  zodat	  het	  geluidsniveau	  geschikt	  is	  voor	  de	  gebruiker.	  
Voor	  de	  simulatie	  is	  uitgegaan	  van	  een	  commercieel	  verkrijgbaar	  model.	  Er	  is	  voor	  dit	  onderzoek	  
niet	  specifiek	  gelet	  op	  pasvorm,	  grootte	  en	  afscherming	  van	  het	  geluid.	  
	  
4.3.1 Interacties	  
Middels	  een	  configuratiescherm	  kunnen	  de	  gewenste	  interacties	  worden	  ingesteld.	  	  
Dit	  betreft:	  
1/	  Aanraakscherm	  interactie	  (Groep	  A)	  
• De	  aanraakscherm	  interactie	  met	  de	  proefpersoon.	  De	  deelnemer	  maakt	  keuzes	  via	  de	  
schermen.	  
	  

43

2/	  Aanraakscherm	  met	  auditieve	  ondersteuning	  (Groep	  B:	  Slechtzienden/	  Laaggeletterden/	  Licht	  
Verstandelijk	  Gehandicapten)	  
• De	  aanraakscherm	  interactie	  kan	  auditief	  ondersteund	  worden	  door	  gesproken	  tekst	  
(via	  koptelefoon).	  Instructies	  op	  het	  scherm	  en	  gemaakte	  keuzes	  op	  het	  scherm	  worden	  
opgelezen.	  	  
	  
3/	  Scherm	  in	  combinatie	  met	  tactiele	  knoppen	  (Groep	  B:	  Personen	  met	  Motorische	  Beperkingen)	  
• De	  fysieke	  interactie	  vindt	  middels	  tactiele	  knoppen	  plaats	  (in	  plaats	  van	  via	  het	  aanraak	  
scherm)	  in	  combinatie	  met	  dezelfde	  grafische	  informatie	  als	  bij	  1	  en	  2	  (op	  scherm).	  	  
	  
4/	  Auditieve	  interactie	  in	  combinatie	  met	  tactiele	  knoppen	  (Groep	  B:	  Blinden)	  	  
De	  auditieve	  interactie	  is	  een	  volledig	  op	  zichzelf	  staande	  interactie	  (zonder	  scherminteractie).	  
Deze	  vindt	  plaats	  door	  middel	  van	  gesproken	  tekst	  (via	  koptelefoon)	  en	  tactiele	  knoppen.	  
	  
Om	  de	  uitkomsten	  van	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  te	  kunnen	  analyseren	  legt	  de	  
proefopstelling	  de	  handelingen	  vast.	  Dat	  betreft	  zowel	  de	  handelingen	  van	  de	  begeleider	  van	  de	  
testen	  als	  de	  handelingen	  van	  de	  proefpersoon.	  De	  handelingen	  van	  de	  begeleider	  die	  in	  worden	  
gelogd	  zijn	  de	  ingevoerde	  instellingen.	  Van	  de	  proefpersoon	  wordt	  elke	  ‘toetsaanslag’	  gelogd,	  
zowel	  in	  geval	  van	  gebruik	  van	  het	  aanraakscherm	  als	  bij	  gebruik	  van	  een	  tactiele	  knop.	  	  
	  

4.4 Werkwijze	  
Gekozen	  is	  voor	  een	  simulatie	  van	  een	  meervoudige	  verkiezing	  (dat	  wil	  zeggen	  dat	  op	  één	  	  
moment	  meerdere	  verkiezingen	  worden	  gehouden).	  In	  casu	  is	  uitgegaan	  van	  een	  combinatie	  van	  
lijstverkiezingen	  en	  een	  referendum.	  Hierbij	  is	  gebruik	  gemaakt	  van	  fictieve	  lijsten	  met	  fictieve	  
kandidaten	  (21	  lijsten	  met	  tussen	  3-­‐50	  kandidaten)	  en	  van	  een	  fictieve	  referendum	  vraag	  (“Bent	  
u	  voor	  of	  tegen	  de	  wet	  voor	  het	  bouwen	  van	  nieuwe	  kantoren	  naast	  het	  stadhuis?”).	  
	  
Er	  is	  expliciet	  voor	  gekozen	  om	  de	  proefpersonen	  opdrachten	  uit	  te	  laten	  voeren.	  De	  reden	  
daarvoor	  is	  dat	  het	  oogmerk	  is	  om	  na	  te	  gaan	  de	  proefpersonen	  in	  staat	  zijn	  om	  zelfstandig	  een	  
specifieke	  keuze	  te	  kunnen	  maken.	  
Indien	  de	  proefpersonen	  een	  vrije	  keuze	  zou	  worden	  gegeven,	  zouden	  zij	  een	  willekeurige	  keuze	  
kunnen	  maken.	  Achteraf	  zou	  dan	  weliswaar	  gevraagd	  kunnen	  worden	  welke	  keuze	  zij	  hadden	  
willen	  maken	  om	  te	  beoordelen	  of	  dit	  ook	  gelukt	  is.	  Het	  is	  echter	  niet	  te	  bepalen	  of	  deze	  vraag	  
naar	  waarheid	  beantwoord	  zal	  worden.	  De	  kans	  is	  groot	  dat	  men	  zegt	  de	  keuze	  te	  hebben	  willen	  
maken	  die	  ook	  op	  het	  stembiljet	  staat.	  	  
Een	  alternatief	  zou	  kunnen	  zijn	  om	  de	  proefpersonen	  vooraf	  te	  vragen	  welke	  keuzes	  zij	  zouden	  
willen	  gaan	  maken	  op	  de	  simulatie	  van	  de	  stemprinter.	  Op	  deze	  manier	  gaat	  echter	  het	  geheugen	  
van	  de	  kiezer	  een	  nog	  grotere	  rol	  spelen,	  dan	  in	  de	  variant	  waarin	  achteraf	  gevraagd	  wordt	  wat	  
men	  heeft	  gedaan,	  aangezien	  zij	  de	  namen	  van	  lijsten	  en	  kandidaten	  die	  zij	  niet	  kennen	  moeten	  
gaan	  onthouden.	  Dit	  is	  onwenselijk	  en	  zeker	  het	  geval	  bij	  meervoudige	  verkiezingen.	  
Een	  tweede	  argument	  voor	  het	  laten	  uitvoeren	  van	  opdrachten	  is	  de	  mogelijkheid	  tot	  het	  kunnen	  
beantwoorden	  van	  de	  onderzoeksvragen	  ten	  aanzien	  van	  de	  interactie	  met	  tabbladen	  
(kandidatenscherm)	  en	  het	  blanco	  stemmen.	  Dit	  maakt	  het	  noodzakelijk	  om	  de	  proefpersonen	  
specifieke	  opdrachten	  te	  geven.	  
	  
Alle	  deelnemers	  krijgen	  een	  opdracht	  om	  met	  behulp	  van	  de	  simulatie	  van	  de	  stemprinter	  
bepaalde	  keuzes	  per	  verkiezing	  te	  maken	  en	  deze	  te	  controleren	  op	  het	  geprinte	  stembiljet.	  Het	  
controleren	  van	  het	  geprinte	  stembiljet	  geldt	  uiteraard	  niet	  voor	  blinden.	  	  

44	  

	  
Om	  te	  kunnen	  toetsen	  of	  de	  proefpersoon	  al	  dan	  niet	  in	  staat	  is	  om	  het	  huidige	  stembiljet	  correct	  
in	  te	  vullen	  wordt	  aan	  alle	  proefpersonen	  gevraagd	  ook	  een	  keuze	  te	  maken	  op	  een	  simulatie	  
papieren	  stembiljet	  voor	  dezelfde	  fictieve	  gemeenteraadsverkiezingen.	  Aanname	  hierbij	  is	  dat	  als	  
proefpersonen	  1	  biljet	  met	  de	  keuze	  zoals	  gevraagd	  kunnen	  invullen,	  zij	  ook	  meerdere	  biljetten	  
kunnen	  invullen.	  	  
	  
Het	  papieren	  stembiljet	  dat	  is	  gebruikt	  in	  de	  test	  voldoet	  wat	  de	  vormgeving	  betreft	  aan	  hetgeen	  
de	  wet-­‐	  en	  regelgeving	  daarover	  bepaalt.	  Op	  het	  papieren	  stembiljet	  zijn	  dezelfde	  fictieve	  lijsten	  
en	  kandidaten	  vermeld	  als	  op	  de	  simulatie	  van	  de	  stemprinter.	  De	  te	  maken	  keuze	  is	  voor	  alle	  
proefpersonen	  gelijk,	  te	  weten	  lijst	  8,	  kandidaat	  4.	  Dit	  is	  een	  keuze	  van	  gemiddelde	  
moeilijkheidsgraad	  en	  is	  daarmee	  een	  graadmeter	  of	  proefpersonen	  in	  staat	  zijn	  het	  stembiljet	  in	  
te	  vullen.	  De	  proefpersonen	  moeten	  hierbij	  enigszins	  zoeken	  (gemiddeld	  lijstnummer)	  en	  de	  te	  
kiezen	  kandidaat	  staat	  midden	  tussen	  andere	  kandidaten	  (gemiddeld	  kandidaat	  nummer).	  
Daarbij	  is	  het	  zoeken	  (en	  onthouden)	  ook	  weer	  niet	  te	  moeilijk,	  wat	  het	  geval	  zou	  zijn	  bij	  met	  
name	  hoge	  kandidaat	  nummers.	  Tevens	  hebben	  de	  betreffende	  lijst	  en	  kandidaat	  namen	  die	  
eenvoudig	  zijn	  te	  lezen	  en	  onthouden	  (geen	  moeilijke	  woorden,	  zodat	  dit	  geen	  obstakel	  vormt	  in	  
het	  uitvoeren	  van	  de	  opdracht.	  	  
	  
De	  proefpersonen	  uit	  de	  groepen	  B2/	  B3/	  B4/	  B5	  gebruiken	  eerst	  de	  simulatie	  met	  alleen	  het	  
aanraakscherm	  zonder	  tactiele	  knoppen	  en	  audio	  ondersteuning.	  Indien	  het	  de	  proefpersoon	  uit	  
de	  groepen	  B2/	  B3/	  B4/	  B5	  in	  de	  eerste	  opdracht	  niet	  lukt	  om	  een	  stembiljet	  binnen	  de	  tijdslimiet	  
te	  printen	  wordt	  een	  nieuwe	  sessie	  gestart	  met	  dezelfde	  opdracht	  en	  wordt,	  als	  extra	  interactie,	  
auditieve	  ondersteuning	  (of	  in	  geval	  van	  B5	  tactiele	  knoppen)	  aangeboden.	  Indien	  het	  dan	  ook	  
niet	  lukt	  om	  een	  stembiljet	  te	  printen,	  stopt	  het.	  Indien	  het	  dan	  wel	  lukt,	  wordt	  de	  tweede	  
opdracht	  ook	  met	  auditieve	  ondersteuning	  (of	  in	  het	  geval	  van	  B5	  tactiele	  knoppen)	  aangeboden	  
(Tabel	  3).	  
	  
Groep	  
B1	  
B2	  
B3	  
B4	  

Kenmerken	  
Interactie	  
Blind	  
Auditieve	  Interactie	  +	  knoppen	  
Slechtziend	  
Aanraakscherm	  
Laaggeletterden	  
Aanraakscherm	  
Licht	  verstandelijk	  
Aanraakscherm	  
gehandicapt	  
B5	  
Motorisch	  beperkt	  
Aanraakscherm	  
Tabel	  3	  Aangeboden	  interacties	  per	  gebruikersgroep.	  

Vervolgactie	  bij	  falen	  proefpersoon	  
geen	  
Auditieve	  ondersteuning	  
Auditieve	  ondersteuning	  
Auditieve	  ondersteuning	  
Tactiele	  knoppen	  

	  
4.4.1 Testcondities	  groep	  A	  
	  
Gebruikersgroep	  A	  doet	  twee	  sessies,	  namelijk:	  	  
	  
Sessie	  1:	  Voert	  3	  opdrachten	  uit	  met	  de	  simulatie	  van	  de	  stemprinter:	  
• 2	  opdrachten	  voor	  de	  lijstverkiezing,	  de	  zogenaamde	  verkiezing	  voor	  de	  gemeenteraad;	  	  
• 1	  opdracht	  voor	  de	  referendumverkiezing	  
	  
Sessie	  2:	  Voert	  1	  opdracht	  uit	  op	  het	  huidige	  stembiljet.	  	  
	  
Voor	  het	  uitvoeren	  van	  opdrachten	  op	  de	  simulatie	  van	  de	  stemprinter	  zijn	  3	  varianten	  gemaakt	  
waarbij	  elk	  van	  de	  varianten	  door	  een	  deel	  van	  groep	  A	  wordt	  gedaan.	  Dit	  om	  te	  voorkomen	  dat	  
er	  onverwachte	  effecten	  optreden	  bij	  het	  testen	  met	  maar	  1	  variant	  door	  positie	  op	  het	  scherm,	  

45

vreemde	  naam,	  hoogte	  van	  nummer,	  etc.	  Om	  deze	  effecten	  zoveel	  mogelijk	  inzichtelijk	  te	  maken	  
(en	  de	  daarmee	  optredende	  bias	  te	  voorkomen)	  worden	  er	  2	  vergelijkbare	  opdrachten	  gegeven	  
(variant	  I	  en	  variant	  II).	  	  
Daarnaast	  wordt	  om	  te	  toetsen	  of	  proefpersonen	  de	  ‘blanco’	  toets	  kunnen	  vinden	  in	  Variant	  III	  
door	  een	  deel	  van	  de	  proefpersonen	  ‘blanco’	  gestemd.	  
	  
In	  beide	  varianten	  I	  en	  II	  is	  voor	  de	  lijstverkiezing	  zowel	  een	  ‘gemakkelijke’	  (tab1)	  als	  een	  
‘moeilijke’	  opdracht	  (tab2/tab3)	  opgenomen.	  Bij	  de	  ‘gemakkelijke’	  opdracht	  kan	  de	  proefpersoon	  
op	  het	  eerste	  blad	  blijven,	  terwijl	  voor	  de	  ‘moeilijke’	  voor	  een	  ander	  tabblad	  gekozen	  moet	  
worden.	  De	  bedoeling	  hiervan	  is	  om	  achteraf	  te	  kunnen	  bepalen	  of	  de	  tabbladen	  van	  invloed	  zijn	  
op	  het	  resultaat.	  Voor	  variant	  III	  komt	  de	  ‘blanco’	  stem	  in	  plaats	  van	  de	  ‘gemakkelijke’	  opdracht,	  
om	  te	  toetsen	  of	  proefpersonen	  de	  ‘blanco’	  knop	  op	  het	  scherm	  kunnen	  vinden.	  
	  
De	  drie	  varianten	  zijn:	  
Variant	  I	  
• Lijstverkiezing:	  Kies	  lijst	  1	  kandidaat	  3	  en	  kies	  lijst	  13	  kandidaat	  25;	  
• Referendumverkiezing:	  Kies	  voor.	  
Variant	  II	  
• Lijstverkiezing:	  Kies	  lijst	  20	  kandidaat	  5	  en	  kies	  lijst	  2	  kandidaat	  43;	  
• Referendumverkiezing:	  Kies	  voor.	  
Variant	  III	  
• Lijstverkiezing:	  Kies	  blanco	  en	  kies	  lijst	  13	  kandidaat	  25;	  
• Referendumverkiezing:	  Kies	  voor.	  
	  
	  	  
	  	  

variant	  1	  
variant	  2	  
	  	  
	  	  
lijst	  1,	  
lijst	  20,	  
	  	  
kandidaat	  3	  
kandidaat	  5	  
lijst	  13,	  
lijst	  2,	  
sessie	  1	  
stemprinter	  
	  	  
kandidaat	  25	  
kandidaat	  43	  
referendum	  
referendum	  
	  	  
kies	  ‘voor’	  
kies	  ‘voor’	  
	  
	  
	  
	  
	  
lijst	  8	  
lijst	  8	  
sessie	  2	  
huidige	  stembiljet	  
	  	  
kandidaat	  4	  
kandidaat	  4	  
	  
	  
	  
	  
	  
aantal	  
aantal	  
A	  
geslacht	  
leeftijd	  
proefpersonen	  
proefpersonen	  
	  	  
	  	  
	  	  
	  	  
	  	  
1	  
18-­‐40	  
29	  
30	  
2	  
41-­‐60	  
39	  
40	  
man	  
3	  
61-­‐80	  
24	  
25	  
4	  
81+	  
4	  
5	  
	  	  
	  
	  	  
	  	  
	  	  
5	  
18-­‐40	  
29	  
30	  
6	  
41-­‐60	  
39	  
40	  
vrouw	  
7	  
61-­‐80	  
24	  
25	  
8	  
81+	  
4	  
5	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  totaal	  
groep	  A	  
192	  
200	  
	  	  	  	  	  Tabel	  4	  Gewenste	  verdeling	  van	  proefpersonen	  in	  Groep	  A	  over	  testcondities.	  

	  

46	  

sessie	  	  
	  	  

middel	  
	  	  

variant	  3	  
	  	  
blanco	  
lijst	  13,	  
kandidaat	  25	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
aantal	  
proefpersonen	  
	  	  
1	  
1	  
1	  
1	  
	  	  
1	  
1	  
1	  
1	  
	  	  
8	  

	  	  
	  	  
	  	  
	  	  
	  	  
	  
	  	  
	  
	  
	  	  
60	  
80	  
50	  
10	  
	  	  
60	  
80	  
50	  
10	  
	  	  
400	  

	  
Variant	  III	  wordt	  door	  acht	  proefpersonen,	  1	  uit	  iedere	  leeftijdscategorie	  van	  groep	  A	  
uitgevoerd.	  Alle	  andere	  proefpersonen	  uit	  groep	  A	  voeren	  variant	  I	  (50%)	  of	  variant	  II	  (50%)	  uit.	  
	  
Voor	  een	  spreiding	  van	  de	  varianten	  over	  de	  steekproef	  bij	  Groep	  A	  worden	  leeftijd	  en	  geslacht	  
als	  onafhankelijke	  variabelen	  meegenomen	  uit	  de	  reeks	  selectiecriteria	  uit	  4.2.1	  (leeftijd,	  
geslacht,	  opleidingsniveau,	  stedelijkheid).	  	  In	  combinatie	  met	  de	  bepaalde	  steekproefgrootte	  en	  
de	  geformuleerde	  selectiecriteria	  voor	  proefpersonen	  resulteert	  dit	  in	  het	  een	  overzicht	  van	  de	  
verdeling	  van	  proefpersonen	  in	  groep	  A	  over	  de	  testcondities	  (Tabel	  4).	  
	  
Om	  meer	  informatie	  over	  het	  uitvoeren	  van	  de	  opdrachten	  te	  krijgen	  worden	  vervolgens	  de	  
volgende	  vragen	  gesteld:	  
	  	  
1/	  Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
• Indien	  wel	  gecontroleerd:	  Komt	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  
wilde	  kiezen?	  
• Indien	  niet	  gecontroleerd:	  Waarom	  niet?	  
	  	  
2/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  	  
4.4.2 Testcondities	  groep	  B	  
Groep	  B	  bestaat	  uit	  personen	  met	  een	  beperking.	  Gezien	  het	  verschil	  in	  aanpak	  tussen	  blinden	  en	  
mensen	  met	  andere	  beperkingen	  worden	  deze	  hieronder	  apart	  besproken.	  
Blinden	  
In	  de	  auditieve	  interactie	  speelt	  de	  ‘makkelijke’	  en	  ‘moeilijke’	  opdracht	  niet,	  aangezien	  er	  niet	  
gewerkt	  wordt	  met	  een	  tab-­‐structuur,	  maar	  met	  een	  doorlopende	  lijst.	  Het	  maken	  van	  een	  
opdracht	  voor	  2	  lijstverkiezingen	  is	  dus	  niet	  nodig.	  Bovendien	  zou	  dit	  problemen	  kunnen	  geven	  in	  
het	  moeten	  onthouden	  van	  twee	  combinaties	  van	  (een	  fictieve)	  lijst	  en	  kandidaat.	  Daarom	  is	  
gekozen	  voor	  1	  lijstverkiezing	  en	  het	  referendum.	  	  
Aangezien	  het	  een	  gegeven	  is	  dat	  de	  groep	  Blinden	  het	  huidige	  (papieren)	  stembiljet	  niet	  kan	  
invullen	  vervalt	  deze	  sessie.	  
	  
Dit	  resulteert	  in:	  
	  
Sessie	  1:	  	  
Voert	  2	  opdrachten	  uit	  met	  de	  simulatie	  van	  de	  stemprinter:	  
• 1	  opdracht	  voor	  de	  lijstverkiezing,	  de	  zogenaamde	  verkiezing	  voor	  de	  gemeenteraad;	  	  
• 1	  opdracht	  voor	  de	  referendumverkiezing	  
	  	  
Om	  de	  opdracht	  uit	  te	  voeren	  op	  de	  simulatie	  van	  de	  stemprinter	  zijn	  er	  twee	  varianten,	  te	  
weten:	  
Variant	  I	  (50%	  van	  de	  groep)	  
• Lijstverkiezing:	  Kies	  lijst	  1	  kandidaat	  3;	  
• Referendumverkiezing:	  Kies	  tegen.	  
Variant	  II	  (50%	  van	  de	  groep)	  
• Lijstverkiezing:	  Kies	  lijst	  13	  kandidaat	  25:	  
• Referendumverkiezing:	  Kies	  tegen.	  

47

16

Slechtzienden,	  laaggeletterden,	  licht	  verstandelijk	  beperkten,	  motorisch/fysiek	  beperkten 	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
Voor	  de	  overige	  B	  groepen	  is	  besloten	  sessie	  1	  eveneens	  te	  beperken	  tot	  de	  2	  lijstverkiezingen.	  
Voor	  deze	  groepen	  speelt	  een	  mogelijk	  verschil	  in	  de	  ‘makkelijke’	  en	  ‘moeilijke’	  opdracht	  in	  
relatie	  tot	  de	  ‘tab-­‐structuur’	  juist	  wel.	  	  
	  
Dit	  resulteert	  in:	  
	  
Sessie	  1	  	  
Voert	  2	  opdrachten	  uit	  met	  de	  simulatie	  van	  de	  stemprinter:	  
Twee	  keuzes	  voor	  de	  lijstverkiezing,	  de	  zogenaamde	  verkiezing	  voor	  de	  gemeenteraad.	  
	  
Sessie	  2	  
Voert	  1	  opdracht	  uit	  op	  het	  huidige	  stembiljet.	  	  
Om	  de	  opdracht	  uit	  te	  voeren	  op	  de	  simulatie	  van	  de	  stemprinter	  zijn	  er	  twee	  varianten,	  te	  
weten:	  
Variant	  I	  (50%	  van	  elke	  subgroep)	  
• Lijstverkiezing:	  Kies	  lijst	  1	  kandidaat	  3	  en	  kies	  lijst	  13	  kandidaat	  25;	  
Variant	  II	  (50%	  van	  elke	  subgroep)	  
• Lijstverkiezing:	  Kies	  lijst	  20	  kandidaat	  5	  en	  kies	  lijst	  2	  kandidaat	  43;	  
Bij	  Groep	  B	  zijn	  de	  onafhankelijke	  variabelen:	  Blindheid,	  Slechtziendheid,	  Laaggeletterdheid,	  Licht	  	  
Verstandelijke	  beperking,	  Motorische/	  fysieke	  beperking.	  In	  combinatie	  met	  de	  bepaalde	  
steekproefgrootte	  resulteert	  dit	  in	  het	  volgende	  overzicht	  van	  de	  verdeling	  van	  proefpersonen	  
met	  een	  beperking	  over	  de	  testcondities	  (Tabel	  5).	  
	  
	  	  
	  	  
	  	  
	  	  
	  
	  	  
	  
B	  
	  	  
1	  
2	  
3	  

sessie	  	  
	  	  

middel	  
	  	  

sessie	  1	  

stemprinter	  

	  

	  

sessie	  2	  

huidige	  stembiljet	  

	  

	  

	  
	  	  
	  
	  
	  

variant	  1A	  
	  	  
lijst	  1	  	  
kandidaat	  3	  
referendum	  
kies	  ‘tegen	  
	  
lijst	  8	  
kandidaat	  4	  
	  
aantal	  
proefpersonen	  
	  	  
15	  
	  
	  

variant	  2A	  
	  	  
lijst	  13	  	  
kandidaat	  25	  
referendum	  
kies	  ‘tegen	  
	  
lijst	  8	  
kandidaat	  4	  
	  
aantal	  
proefpersonen	  
	  	  
15	  
	  
	  

beperking	  
	  	  
blinden	  
slechtzienden	  
laaggeletterden	  
licht	  verstandelijk	  
4	  
	  
gehandicapten	  
	  
	  
Motorisch/	  fysiek	  
	  5	  
	  	  
beperkten	  	  
	  
	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
totaal	  	  
totalen	  groep	  B	  
15	  
15	  
Tabel	  5	  Verdeling	  van	  proefpersonen	  in	  Groep	  B	  over	  testcondities.	  

variant	  2	  
	  	  
lijst	  1	  	  
kandidaat	  3	  
lijst	  13,	  	  
kandidaat	  25	  
	  
lijst	  8	  
kandidaat	  4	  
	  
aantal	  
proefpersonen	  
	  	  
	  
15	  
15	  

variant	  3	  
	  	  
lijst	  20	  	  
kandidaat	  5	  
lijst	  2,	  	  
kandidaat	  43	  
	  
lijst	  8	  
kandidaat	  4	  
	  
aantal	  
proefpersonen	  
	  	  
	  
15	  
15	  

	  
	  	  
30	  
30	  
30	  

15	  

15	  

30	  

15	  
	  	  
60	  

15	  
	  	  
60	  

	  30	  
	  	  
150	  

	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
16

	  Uiteindelijk	  heeft	  er	  geen	  test	  plaatsgevonden	  met	  de	  groep	  motorisch/fysiek	  beperkten	  (zie	  hoofdstuk	  
6).	  

48	  

	  	  
	  	  
	  	  
	  	  
	  
	  	  
	  

Vragen	  groepen	  B	  
Om	  meer	  informatie	  over	  het	  uitvoeren	  van	  de	  opdracht	  te	  krijgen	  worden	  vervolgens	  de	  
volgende	  vragen	  gesteld:	  
	  
B1/	  Blinden	  
1/	  Begreep	  u	  de	  werking	  van	  de	  knoppen?	  
• Indien	  niet:	  Waarom	  niet?	  
	  
2/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  
	  
B2/	  Slechtzienden	  
1/	  Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
• Indien	  wel	  gecontroleerd:	  Komt	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  
wilde	  kiezen?	  
• Indien	  niet	  gecontroleerd:	  Waarom	  niet?	  
	  
2/	  Was	  voor	  u	  wat	  er	  op	  het	  scherm	  stond	  te	  lezen?	  
• Zo	  nee:	  Wat	  kon	  u	  niet	  lezen?	  
	  
3/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  	  
Indien	  auditieve	  ondersteuning:	  
4/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten	  met	  de	  gesproken	  hulp:	  
makkelijk,	  moeilijk	  of	  neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  
	  
B3/	  Laag	  geletterden	  
1/	  Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
• Indien	  wel	  gecontroleerd:	  Komt	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  
wilde	  kiezen?	  
• Indien	  niet	  gecontroleerd:	  Waarom	  niet?	  
	  
2/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  
3/	  Heeft	  u	  de	  logo’s	  en/	  of	  de	  foto’s	  gebruikt	  om	  te	  zoeken	  op	  wie	  u	  een	  keuze	  wilde	  maken?	  
• Indien	  niet:	  waarom	  niet?	  	  	  	  
	  	  
Indien	  auditieve	  ondersteuning:	  
	  4/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten	  met	  de	  gesproken	  hulp:	  
makkelijk,	  moeilijk	  of	  neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  	  

49

B4/	  Licht	  Verstandelijk	  Gehandicapten	  
1/	  Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
• Indien	  wel	  gecontroleerd:	  Komen	  de	  geprinte	  stembiljetten	  overeen	  met	  uw	  keuzes?	  
• Indien	  niet	  gecontroleerd:	  Waarom	  niet?	  
	  
2/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
3/	  Heeft	  u	  de	  logo’s	  en/	  of	  de	  foto’s	  gebruikt	  om	  te	  zoeken	  op	  wie	  u	  een	  keuze	  wilde	  maken?	  
• Indien	  niet:	  waarom	  niet?	  	  	  	  
	  
Indien	  auditieve	  ondersteuning:	  
	  4/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten	  met	  de	  gesprokenhulp:	  
makkelijk,	  moeilijk	  of	  neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  	  
	  
B5/	  Motorisch	  beperkt	  
1/	  Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
• Indien	  wel	  gecontroleerd:	  Komen	  de	  geprinte	  stembiljetten	  overeen	  met	  uw	  keuzes?	  
• Indien	  niet	  gecontroleerd:	  Waarom	  niet?	  
	  
2/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
• Indien	  moeilijk:	  Waarom	  moeilijk?	  
	  	  
Indien	  tactiele	  knoppen	  gebruikt:	  	  
3/	  Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten	  met	  de	  knoppen	  
makkelijker,	  even	  makkelijk	  of	  moeilijker	  dan	  met	  het	  aanraakscherm?	  
• Indien	  moeilijker:	  Waarom	  moeilijker?	  
	  
4/	  Begreep	  u	  de	  werking	  van	  de	  knoppen?	  
• Indien	  niet:	  Waarom	  niet?	  	  
	  

4.5 De	  testprocedure	  
De	  test	  zelf	  is	  niet	  uitgevoerd	  door	  de	  TUD	  maar	  door	  het	  ministerie	  van	  BZK.	  Het	  ministerie	  van	  
BZK	  heeft	  	  een	  externe	  partij	  opdracht	  gegeven	  de	  test	  te	  organiseren	  en	  de	  resultaten	  vast	  te	  
leggen.	  In	  deze	  paragraaf	  wordt	  samengevat	  een	  beschrijving	  gegeven	  van	  de	  testprocedure.	  	  
4.5.1 Registratie	  en	  configuratie	  	  
	  
Registratie	  
De	  proefopstelling	  genereert	  een	  sessienummer	  per	  proefpersoon	  (op	  het	  scherm	  aangegeven	  
als	  proefpersoon	  volgnummer).	  De	  testbegeleider	  noteerde	  het	  sessienummer	  op	  het	  
zogenaamde	  observatieformulier.	  	  	  
	  
Proefopstelling	  configuratie	  
Met	  behulp	  van	  een	  instellingenscherm	  (Figuur	  24)	  kan	  de	  testbegeleider	  voor	  de	  proefpersoon	  
de	  gewenste	  interactie	  instellen.	  	  

50	  

	  

Figuur	  24	  Instellingenscherm	  waarmee	  de	  simulatie	  van	  een	  specifieke	  interactie	  gestart	  kan	  worden.	  
	  

	  

	  
4.5.2 Start	  scherm	  
	  
Het	  eerste	  scherm	  van	  de	  simulatie	  is	  het	  scherm	  met	  daarop	  de	  tekst	  “Start”	  (Figuur	  25).	  Dit	  
scherm	  komt	  in	  de	  simulatie	  voor:	  	  	  
1. Als	  een	  nabootsing	  van	  de	  door	  de	  commissie	  Van	  Beek	  aanbevolen	  activering.	  	  
2. Omdat	  door	  het	  indrukken	  van	  de	  knop	  ‘start’	  er	  een	  duidelijk	  moment	  wordt	  
gemarkeerd	  wanneer	  de	  gebruiker	  aan	  het	  stemproces	  begint.	  Dit	  is	  gebruikt	  bij	  de	  
analyse	  van	  de	  testen.	  
	  

Figuur	  25	  Op	  het	  startscherm	  kan	  de	  simulatie	  door	  de	  proefpersoon	  worden	  gestart.	  

	  

	  
Zoals	  eerder	  gesteld	  heeft	  de	  test	  tot	  doel	  om	  na	  te	  gaan	  of	  de	  aanname	  juist	  is	  dat	  het	  stemmen	  
door	  gebruik	  te	  maken	  van	  een	  stemprinter	  toegankelijker	  wordt	  voor	  de	  kiezers.	  Gelet	  daarop	  is	  
het	  nodig	  om	  te	  bepalen	  wanneer,	  gedurende	  de	  uitvoering	  van	  de	  test,	  geconstateerd	  zou	  

51

moeten	  worden	  of	  de	  proefpersoon	  wel	  of	  niet	  in	  staat	  is	  de	  testopdrachten	  uit	  te	  voeren.	  Om	  
daar	  invulling	  aan	  te	  geven	  is	  vastgesteld	  dat:	  	  
• Proefpersoon	  in	  groep	  A	  niet	  in	  staat	  is	  om	  zelfstandig	  een	  keuze	  te	  maken	  als	  hij/	  zij	  
langer	  dan	  10	  minuten	  over	  de	  totale	  sessie	  doet.	  	  
• Proefpersoon	  in	  groep	  B	  niet	  in	  staat	  is	  om	  zelfstandig	  een	  keuze	  te	  maken	  als	  hij/	  zij	  
langer	  dan	  15	  minuten	  over	  de	  totale	  sessie	  doet.	  	  
• Als	  een	  proefpersoon	  meldt	  dat	  de	  simulatie	  niet	  goed	  werkt	  of	  vastloopt,	  wordt	  de	  
sessie	  gestopt.	  De	  proefpersoon	  wordt	  dan	  verzocht	  de	  sessie	  opnieuw	  uit	  te	  voeren.	  
• Als	  de	  simulatie/	  printer	  vastloopt	  wordt	  er	  een	  nieuwe	  sessie	  gestart,	  met	  een	  nieuw	  
sessienummer.	  Wanneer	  er	  een	  onderbreking	  is	  door	  een	  technische	  oorzaak	  heeft	  de	  
tijdswaarneming	  van	  de	  onderbroken	  sessie	  geen	  waarde.	  Het	  nieuwe	  sessienummer	  
dient	  aan	  het	  observatieformulier	  toegevoegd	  te	  worden.	  
• Indien	  de	  proefpersoon	  constateert	  (al	  dan	  niet	  terecht)	  dat	  het	  geprinte	  biljet	  niet	  
klopt,	  krijgt	  hij/zij	  nog	  eenmaal	  de	  kans	  de	  betreffende	  opdracht	  opnieuw	  uit	  te	  voeren.	  	  
	  
Om	  de	  tijdsduur	  vast	  te	  stellen	  is	  bepaald	  dat:	  	  
• De	  tijdregistratie	  start	  als	  de	  proefpersoon	  op	  de	  start	  knop	  op	  het	  start	  scherm	  drukt.	  
• De	  tijdregistratie	  wordt	  gestopt	  als	  de	  proefpersoon	  voor	  de	  laatste	  keer	  in	  de	  
betreffende	  sessie	  op	  de	  knop	  ‘klaar	  met	  controleren’	  drukt.	  	  
• Als	  een	  proefpersoon	  de	  sessie	  niet	  afmaakt,	  de	  simulatie	  wordt	  gestopt	  door	  de	  
testbegeleider	  door	  middel	  van	  het	  oproepen	  van	  het	  instelscherm.	  De	  klok	  wordt	  dan	  
stopgezet.	  
	  
4.5.3 Testprotocol	  
	  
17
Voor	  de	  test	  is	  in	  opdracht	  van	  het	  ministerie	  van	  BZK	  een	  testprotocol	  opgesteld.. 	  
	  
4.5.4 Rapportage	  van	  de	  testresultaten	  
	  
De	  resultaten	  van	  de	  test	  zijn	  verwerkt	  in	  een	  Excel-­‐bestand	  dat	  aan	  TUD	  ter	  beschikking	  is	  
gesteld.	  Het	  Excel-­‐bestand	  bevat:	  
• Geanonimiseerd	  overzicht	  van	  de	  proefpersonen	  uit	  gebruikersgroep	  A	  (met	  vermelding	  
van	  leeftijdscategorie,	  stedelijkheid,	  opleidingsniveau,	  geslacht);	  
• Geanonimiseerd	  overzicht	  van	  de	  proefpersonen	  uit	  gebruikersgroep	  B,	  uitgesplitst	  naar	  
type	  beperking	  (met	  vermelding	  van	  leeftijd(scategorie),	  geslacht);	  
• Overzicht	  van	  de	  gemaakte	  keuzes	  op	  de	  geprinte	  stembiljetten	  en	  op	  het	  huidige	  
stembiljet;	  
• Overzicht	  van	  de	  door	  de	  tester	  ingevulde	  data	  op	  de	  dataformulieren.	  
	  
De	  TUD	  heeft	  dit	  Exel-­‐bestand	  gebruikt	  voor	  het	  maken	  van	  dit	  rapport.	  De	  TUD	  heeft	  zelf	  de	  
logbestanden	  van	  de	  proefopstellingen	  geanalyseerd	  en	  die	  analyse	  gebruikt	  bij	  het	  maken	  van	  
dit	  rapport.	  Tevens	  is	  gebruik	  gemaakt	  van	  de	  dataformulieren	  van	  de	  test,	  in	  het	  geval	  dit	  nodig	  
was	  om	  de	  gegevens	  uit	  het	  Excel-­‐bestand	  en/of	  de	  logbestanden	  van	  de	  proefopstellingen	  te	  
analyseren	  en/of	  interpreteren.	  	  
	  

	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
17

	  Het	  testprotocol	  is	  een	  bijlage	  bij	  het	  Rapport	  ‘Het	  organiseren	  van	  een	  test	  in	  het	  kader	  van	  het	  
kabinetsstandpunt	  over	  het	  advies	  van	  de	  commissie	  ‘Elektronisch	  stemmen	  in	  het	  stemlokaal’	  van	  7	  
augustus	  2014.	  	  

52	  

4.6 Toetsingskader	  	  
	  
Het	  gehanteerde	  toetsingskader	  is	  als	  volgt:	  
	  
1/	  Toetsing	  simulatie	  stemprinter	  
	  
Onderzoeksvraag:	  ‘Is	  de	  proefpersoon	  in	  staat	  om	  zelfstandig	  een	  stem	  uit	  te	  brengen	  met	  de	  
simulatie	  van	  een	  stemprinter	  bij	  meervoudige	  verkiezingen’:	  	  	  
Criterium:	  Ja,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  alle	  opdrachten	  correct	  uit	  te	  
voeren.	  
	  
Onderzoeksvraag:	  	  ‘Vormt	  de	  gekozen	  tabbladen	  systematiek	  voor	  het	  weergeven	  van	  de	  
kandidaten	  in	  de	  simulatie	  van	  de	  stemprinter	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  
stemprinter?’	  	  
Criterium:	  Nee,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  opdracht	  voor	  een	  kandidaat	  o
	  
p	  tabblad	  2	  of	  3	  correct	  uit	  te	  voeren.	  
	  
Onderzoeksvraag:	  ‘Zijn	  proefpersonen	  in	  staat	  om	  blanco	  te	  stemmen?’	  	  
Criterium:	  Ja,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  opdracht	  ‘stem	  blanco’	  correct	  uit	  
te	  voeren.	  
	  
	  
2/	  Toetsing	  huidige	  stembiljet	  
	  
Onderzoeksvraag:	  ‘Is	  de	  proefpersoon	  in	  staat	  om	  met	  het	  huidig	  stembiljet	  te	  stemmen’?	  
Criterium:	  Ja,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  opdracht	  correct	  uit	  te	  voeren.	  

53

54	  

5
Testresultaten simulatie
stemprinter Groep A: huidige
kiezer
5

In	  dit	  hoofdstuk	  worden	  de	  resultaten	  van	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  door	  groep	  
A	  beschreven	  en	  geanalyseerd.	  	  
	  

5.1 Gerealiseerde	  verdeling	  van	  proefpersonen	  
	  
De	  proefpersonen	  zijn	  in	  opdracht	  van	  het	  ministerie	  van	  BZK	  geworven.	  Het	  ministerie	  van	  BZK	  
heeft	  	  een	  externe	  partij	  opdracht	  gegeven	  de	  werving	  uit	  te	  voeren.	  Over	  de	  werving	  heeft	  
afstemming	  plaatsgevonden	  met	  de	  TUD.	  	  
	  
Ten	  aanzien	  van	  de	  geformuleerde	  selectiecriteria	  (zie	  paragraaf	  4.2)	  geldt:	  
	  
1/	  Alle	  proefpersonen	  hebben	  vooraf	  verklaard	  in	  2014	  zelfstandig	  gestemd	  te	  hebben	  voor	  de	  
verkiezing	  van	  de	  leden	  van	  de	  gemeenteraden	  en/	  of	  de	  leden	  van	  het	  Europees	  Parlement.	  
	  	  
2/	  De	  	  verdeling	  van	  geslacht	  is	  voldoende	  evenredig	  (binnen	  de	  marge):	  
• deelgenomen	  mannen:	  	  195	  (48%)	  
• deelgenomen	  vrouwen:	  212	  (52%)	  
	  
3/	  Er	  is	  een	  kleine	  oververtegenwoordiging	  van	  de	  leeftijdscategorie	  60-­‐80	  (gewenst	  25%).	  
Verder	  alles	  binnen	  de	  marge.	  
• 18-­‐40	  jaar	  	  
118	  proefpersonen	  
(	  29%)	  
• 40-­‐60	  jaar	  	  
154	  proefpersonen	  
(	  38%)	  
• 60-­‐80	  jaar	  	  
115	  proefpersonen	  
(	  28%)	  
• 80+	  jaar	  	   	  
	  	  20	  proefpersonen	  
(	  	  	  5%)	  
	  
	  
	  
407	  
	  
	  
(100%)	  
	  
4/	  Opleidingsniveau:	  	  
• 28%	  van	  de	  proefpersonen	  (116)	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  lager	  
onderwijs.	  Dit	  valt	  iets	  (0,5%)	  onder	  de	  marge	  (gewenst	  minimaal	  30%).	  
• 34%	  van	  de	  proefpersonen	  (139)	  heeft	  als	  hoogst	  genoten	  opleidingsniveau	  hoger	  
onderwijs.	  	  
	  

55

5/	  Regionale	  spreiding:	  Landelijk	  gebied	  is	  meer	  dan	  marge	  ondervertegenwoordigd.	  
• 58%	  van	  de	  proefpersonen	  (236)	  komt	  uit	  stedelijk	  gebied	  (gewenst	  minimaal	  50%).	  
• 24%	  van	  de	  proefpersonen	  (98)	  komt	  uit	  landelijk	  gebied	  (gewenst	  minimaal	  30%).	  
	  

	  
	  

sessie	  
	  

middel	  
	  

	  

sessie	  1	  

stemprinter	  

	  

sessie	  1	  

stemprinter	  

	  
	  

sessie	  1	  
	  

stemprinter	  
	  

	  
	  

sessie	  2	  
	  

huidig	  stembiljet	  
	  

A	  
	  
1	  
2	  
3	  
4	  
	  
5	  
6	  
7	  
8	  
	  
	  

geslacht	  
	  
man	  
man	  
man	  
man	  
	  
vrouw	  
vrouw	  
vrouw	  
vrouw	  
	  
	  

leeftijd	  
	  
18-­‐40	  
41-­‐60	  
61-­‐80	  
81+	  
	  
18-­‐40	  
41-­‐60	  
61-­‐80	  
81+	  
	  
groep	  A	  

variant	  1	  
	  
lijst	  1,	  
kandidaat	  3	  
lijst	  13,	  
kandidaat	  25	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
33	  
25	  
28	  
4	  
	  
25	  
45	  
28	  
7	  
	  
195	  

variant	  2	  
	  
lijst	  20,	  
kandidaat	  5	  
lijst	  2,	  
kandidaat	  43	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
31	  
34	  
29	  
3	  
	  
27	  
45	  
28	  
5	  
	  
202	  

variant	  3	  
	  

	  
	  

blanco	  
lijst	  13,	  
kandidaat	  25	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
1	  
4	  
2	  
1	  
	  
1	  
1	  
0	  
0	  
	  
10	  

	  
	  
	  
	  
	  
	  
	  
	  
65	  
63	  
59	  
8	  
	  
53	  
91	  
56	  
12	  
	  
407	  

Tabel	  6	  geeft	  de	  gerealiseerde	  verdeling	  van	  de	  proefpersonen	  over	  de	  verschillende	  
testcondities.	  
	  
	  
	  
	  

sessie	  
	  

middel	  
	  

	  

sessie	  1	  

stemprinter	  

	  

sessie	  1	  

stemprinter	  

	  
	  

sessie	  1	  
	  

stemprinter	  
	  

	  
	  

sessie	  2	  
	  

huidig	  stembiljet	  
	  

A	  
	  
1	  
2	  

geslacht	  
	  
man	  
man	  

leeftijd	  
	  
18-­‐40	  
41-­‐60	  

56	  

variant	  1	  
	  
lijst	  1,	  
kandidaat	  3	  
lijst	  13,	  
kandidaat	  25	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
33	  
25	  

variant	  2	  
	  
lijst	  20,	  
kandidaat	  5	  
lijst	  2,	  
kandidaat	  43	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
31	  
34	  

variant	  3	  
	  

	  
	  

blanco	  
lijst	  13,	  
kandidaat	  25	  
referendum	  
kies	  ‘voor’	  
	  
lijst	  8	  
kandidaat	  4	  
	  
Aantal	  
proefpersonen	  
	  
1	  
4	  

	  
	  
	  
	  
	  
	  
	  
	  
65	  
63	  

3	  
4	  
	  
5	  
6	  
7	  
8	  
	  
	  

man	  
61-­‐80	  
28	  
29	  
2	  
man	  
81+	  
4	  
3	  
1	  
	  
	  
	  
	  
	  
vrouw	  
18-­‐40	  
25	  
27	  
1	  
vrouw	  
41-­‐60	  
45	  
45	  
1	  
vrouw	  
61-­‐80	  
28	  
28	  
0	  
vrouw	  
81+	  
7	  
5	  
0	  
	  
	  
	  
	  
	  
	  
groep	  A	  
195	  
202	  
10	  
Tabel	  6	  Gerealiseerde	  verdeling	  van	  proefpersonen	  in	  Groep	  A	  over	  testcondities.	  
	  

59	  
8	  
	  
53	  
91	  
56	  
12	  
	  
407	  

Uit	  bovenstaande	  data	  en	  tabel	  blijkt	  dat	  de	  gerealiseerde	  verdeling	  van	  proefpersonen	  
voldoende	  representatief	  is	  voor	  de	  kiesgerechtigden	  Nederlanders.	  Daarbij	  zijn	  de	  
proefpersonen	  op	  een	  goede	  manier	  verdeeld	  over	  de	  testcondities.	  
	  
	  

57

5.2 Effectiviteit	  van	  het	  stemproces	  
	  
De	  meervoudige	  verkiezing	  voor	  groep	  A	  bestond	  uit	  3	  opdrachten;	  	  
2	  lijstverkiezingen	  en	  1	  referendum.	  De	  resultaten	  worden	  besproken	  aan	  de	  hand	  van	  de	  
volgende	  drie	  onderzoeksvragen:	  
• Onderzoeksvraag	  1:	  Toegankelijkheid	  	  
• Onderzoeksvraag	  2:	  Tabbladen	  
• Onderzoeksvraag	  3:	  Blanco	  stemmen	  
5.2.1 Onderzoeksvraag	  1	  	  
In	  totaal	  hebben	  407	  personen	  deelgenomen	  aan	  de	  test	  met	  de	  simulatie	  stemprinter.	  Tabel	  7	  
geeft	  een	  overzicht	  van	  het	  aantal	  deelnemers	  ingedeeld	  in	  drie	  subgroepen:	  
• Subgroep	  1	  (93%)	  heeft	  alle	  opdrachten	  goed	  uitgevoerd.	  
• Subgroep	  2	  (5%)	  heeft	  niet	  alle	  opdrachten	  goed	  uitgevoerd,	  maar	  wel	  3	  stembiljetten	  
geprint.	  
• Subgroep	  3	  (2%)	  heeft	  2,	  1	  of	  geen	  stembiljetten	  geprint.	  
	  
Subgroep	  

Aantal	  stembiljetten	  
geprint	  

Omschrijving	  van	  het	  resultaat	  

Aantal	  
personen	  

Optelling	  per	  
subgroep	  

%	  

1	  

3	  

Alle	  opdrachten	  goed	  uitgevoerd	  

378	  

378	  

93%	  

1e	  tab	  en	  2e	  tab	  goed	  

4	  

1e	  tab	  en	  referendum	  goed	  

2	  

2e	  tab	  en	  referendum	  goed	  

3	  

2e	  tab	  goed	  

2	  

21	  

5%	  

Referendum	  goed	  

4	  

Alle	  opdrachten	  foutief	  uitgevoerd	  

6	  

1e	  tab	  goed	  

2	  

1e	  tab	  goed	  

2	  

1e	  tab	  fout	  

1	  

8	  

2%	  

407	  

100%	  

2	  

3	  

2	  
3	  

1	  
0	  

Niets	  geprint	  

	  

	  
	  
Tabel	  7	  Indeling	  van	  groep	  A	  naar	  het	  aantal	  geprinte	  stembiljetten.	  

3	  
Totaal	  	  

	  
	  
Onderstaand	  een	  verdere	  analyse	  van	  de	  3	  subgroepen:	  
Subgroep	  1:	  Heeft	  3	  stembiljetten	  goed	  geprint.	  Deze	  groep	  bestaat	  uit:	  
378	  personen	  (93%)	  
360	  personen	  hebben	  aangegeven	  het	  bedienen	  van	  de	  simulatie	  ‘makkelijk’	  te	  vinden.	  
	  
14	  personen	  hebben	  het	  uitvoeren	  van	  opdrachten	  beoordeelt	  met	  ‘neutraal’.	  In	  de	  logdata	  zijn	  
geen	  afwijkende	  patronen	  te	  vinden	  in	  de	  bediening	  van	  de	  simulatie.	  Er	  zijn	  twee	  opmerkingen	  
gemaakt:	  
• ‘Als	  je	  het	  eenmaal	  weet,	  gaat	  het	  wel	  makkelijk.	  Beter	  dan	  grote	  vellen	  met	  potlood,	  
dus	  vooruitgang.’	  	  
• ‘Je	  moet	  goed	  kijken	  als	  je	  een	  hoog	  nummer	  moet	  kiezen.’	  
	  

58	  

4	  personen	  zeiden	  dat	  zij	  het	  uitvoeren	  van	  de	  opdrachten	  ‘moeilijk’	  te	  vinden.	  In	  de	  logdata	  is	  
geen	  afwijkende	  patronen	  te	  vinden	  in	  de	  bediening	  van	  de	  simulatie.	  
Bij	  3	  personen	  zijn	  de	  volgende	  commentaren	  genoteerd:	  
• ‘Proefpersoon	  ging	  zoeken	  op	  nummer	  en	  moest	  langer	  zoeken	  dan	  verwacht.	  Ze	  vond	  
het	  moeilijker	  dat	  de	  nummers	  ook	  naast	  elkaar	  stonden,	  “normaal	  kijk	  je	  op	  een	  lange	  
lijst”.’	  
• ‘Op	  moment	  dat	  je	  ja	  hebt	  kan	  je	  niet	  meer	  terug.’	  
• ‘Aanraken	  werkt	  niet,	  reageert	  niet.	  Glijden	  doet	  het	  wel.’	  
Persoon	  1	  en	  2	  vinden	  specifieke	  onderdelen	  van	  de	  grafische	  interface	  lastig.	  	  
Persoon	  3	  heeft	  problemen	  ondervonden	  met	  het	  aanraakgevoelige	  scherm,	  niet	  duidelijk	  is	  wat	  
deze	  persoon	  precies	  heeft	  gedaan,	  bijvoorbeeld	  meerdere	  vingers	  gebruikt,	  of	  dat	  het	  ligt	  aan	  
de	  fysieke	  eigenschappen	  van	  het	  scherm.	  	  
Subgroep	  2:	  Heeft	  3	  stembiljetten	  geprint,	  maar	  niet	  alles	  goed.	  Deze	  groep	  bestaat	  uit:	  	  
21	  personen	  (5%)	  
4	  personen	  hebben	  de	  opdrachten	  voor	  beide	  lijstenverkiezingen	  goed	  uitgevoerd,	  maar	  voor	  het	  
referendum	  niet.	  Van	  deze	  groep	  was	  1	  persoon	  ‘zich	  ervan	  bewust	  dat	  hij	  tegen	  heeft	  gekozen’.	  
Een	  ander	  vond	  het	  ‘werken	  met	  scherm	  moeilijk,	  computers	  moeilijk	  en	  heel	  zenuwachtig’.	  De	  
laatste	  2	  personen	  hadden	  het	  stembiljet	  alleen	  gecontroleerd	  op	  het	  beeldscherm	  en	  verder	  
geen	  commentaar	  gegeven	  op	  hun	  keuze.	  
Wat	  opvalt	  is	  dat	  zij	  regelmatig	  de	  terug	  knop	  hebben	  gebruikt	  in	  het	  eind	  scherm	  of	  vlak	  nadat	  
zij	  een	  verkiezing	  waren	  gestart.	  
	  
4	  personen	  hebben	  een	  fout	  gemaakt	  in	  de	  eerste	  opdracht.	  Ze	  hebben	  alle	  4	  gekozen	  voor	  lijst	  3	  
in	  plaats	  van	  lijst	  1.	  Drie	  van	  hen	  kozen	  daarna	  ook	  voor	  kandidaat	  3	  (volgens	  opdracht),	  de	  ander	  
voor	  kandidaat	  1.	  	  
Van	  deze	  4	  personen	  maakte	  er	  twee	  een	  opmerking	  over	  deze	  keuze:	  
• ‘Proefpersoon	  kon	  Blauw	  niet	  vinden,	  daarom	  andere	  kandidaat	  gekozen.’	  
• ‘Het	  was	  wel	  persoon	  3	  maar	  met	  andere	  omschrijving,	  voordat	  biljet	  eruit	  kwam	  al	  
gezien	  dat	  het	  niet	  klopte	  maar	  drukte	  toch	  op	  de	  knop.	  Bij	  kiezen	  stond	  proefpersoon	  
zich	  meer	  te	  concentreren	  op	  vraag	  dan	  op	  opdracht.	  Proefpersoon	  was	  tegen	  de	  vraag.’	  
In	  de	  logdata	  zijn	  geen	  afwijkende	  patronen	  te	  vinden	  in	  de	  bediening	  van	  de	  simulatie.	  
	  
2	  personen	  hebben	  de	  eerste	  lijstverkiezing	  en	  het	  referendum	  goed	  uitgevoerd.	  Een	  van	  deze	  
personen	  heeft	  bij	  de	  tweede	  lijstverkiezing	  de	  eerste	  opdracht	  herhaald.	  De	  andere	  persoon	  had	  
de	  juiste	  lijst	  gekozen,	  maar	  de	  verkeerde	  kandidaat.	  Deze	  persoon	  is	  zich	  er	  bewust	  van	  en	  ‘zegt	  
dat	  hij	  per	  ongeluk	  een	  verkeerde	  keuze	  heeft	  gemaakt.	  Zegt	  niet	  welke	  fout	  hij	  heeft	  gemaakt,	  en	  
wil	  geen	  nieuwe	  sessie	  doen.’	  
In	  de	  logdata	  zijn	  geen	  afwijkende	  patronen	  te	  vinden	  in	  de	  bediening	  van	  de	  simulatie.	  
	  
1	  persoon	  heeft	  alleen	  een	  verkeerde	  kandidaat	  gekozen	  voor	  de	  eerste	  lijstverkiezing.	  Uit	  de	  
logdata	  blijkt	  dat	  zij	  eerst	  de	  juist	  kandidaat	  (3)	  had	  geselecteerd,	  maar	  dit	  heeft	  veranderd	  in	  
kandidaat	  13.	  Het	  is	  niet	  duidelijk	  waarom	  zij	  dit	  heeft	  gedaan.	  
	  
4	  personen	  hebben	  alleen	  het	  referendum	  goed.	  	  2	  personen	  vonden	  het	  niet	  makkelijk:	  
• Moeilijk:	  ‘Erg	  moeten	  zoeken	  op	  scherm,	  waar	  moet	  ik	  drukken?	  (ik	  zat	  op	  hete	  kolen,	  ik	  
moet	  zo	  weg	  naar	  andere	  dingen).’	  
• Neutraal:	  ‘Moeilijk	  omdat	  je	  de	  persoon	  niet	  kent.	  Proefpersoon	  heeft	  zelf	  een	  keuze	  
gemaakt,	  niet	  de	  opdracht	  gevolgd.’	  
	  

59

6	  personen	  hebben	  geen	  van	  de	  opdrachten	  goed	  uitgevoerd.	  1	  persoon	  van	  de	  groep	  geeft	  
commentaar	  waarom	  het	  stembiljet	  niet	  overeen	  kwam	  met	  de	  keuze:	  ‘Niet	  helemaal,	  ik	  had	  een	  
partij	  gekozen,	  maar	  toen	  kreeg	  ik	  een	  andere	  partij’.	  
In	  de	  logdata	  zijn	  geen	  grote	  afwijkingen	  te	  zien	  in	  de	  bediening	  van	  de	  simulatie.	  2	  Personen	  
hebben	  halverwege	  op	  ‘Stoppen’	  gedrukt,	  maar	  zijn	  daarna	  teruggegaan	  naar	  het	  
verkiezingenoverzicht	  en	  verder	  gegaan	  met	  de	  opdrachten.	  
Subgroep	  3:	  Heeft	  2,	  1	  of	  geen	  stembiljet(ten)	  geprint.	  Deze	  groep	  bestaat	  uit:	  
8	  personen	  (2%)	  
2	  personen	  uit	  deze	  groep	  hebben	  2	  stembiljetten	  geprint,	  daarvan	  was	  er	  elke	  keer	  maar	  1	  goed	  
uitgevoerd.	  Deze	  personen	  zijn	  90	  en	  91	  jaar	  oud.	  Beiden	  hebben	  aangegeven	  het	  moeilijk	  te	  
vinden.	  Als	  reden	  gaven	  zij:	  
• ‘Niet	  duidelijk	  omdat	  het	  niet	  haar	  keuze	  was.’	  
• ‘Volgorde	  verkeerd	  gedaan,	  'terug'	  optie	  werkte	  niet.’	  
Als	  reden	  waarom	  zij	  niet	  alles	  hadden	  geprint	  gaven	  zij	  op:	  
• ‘Was	  het	  beu.’	  
• ‘Fout	  gemaakt	  (maar	  weet	  niet	  meer	  waarom)	  Proefpersoon	  is	  niet	  gewend	  met	  dit	  soort	  
apparaten	  te	  werken.’	  
Beide	  personen	  hebben	  zonder	  omwegen	  twee	  verkiezingen	  uitgevoerd.	  De	  persoon	  die	  de	  zegt	  
dat	  de	  terug	  knop	  niet	  werkte,	  heeft	  deze	  2	  keer	  gebruikt	  nadat	  hij	  tot	  twee	  keer	  toe	  op	  
‘Stoppen’	  had	  gedrukt.	  
	  
3	  personen	  hebben	  1	  stembiljet	  geprint.	  Van	  deze	  groep	  had	  1	  persoon	  moeite	  om	  het	  
aanraakscherm	  te	  bedienen:	  
• ‘De	  computer/	  het	  beeldscherm	  bleef	  staan.	  De	  vinger	  schoongemaakt.	  Hielp	  
niet.	  Wel	  gewend	  om	  computer	  te	  werken.	  Proefpersoon	  denkt	  dat	  hij	  het	  
niet	  doet	  'het	  aanraken	  gaat	  niet'	  (drukt	  hard	  met	  duim).’	  
Deze	  persoon	  heeft	  het	  stembiljet	  voor	  de	  eerste	  lijstverkiezing	  geprint,	  
maar	  niet	  op	  ‘klaar	  met	  controleren’	  gedrukt.	  Door	  te	  drukken	  met	  de	  duim	  
werkte	  het	  aanraakscherm	  mogelijk	  niet	  goed.	  
Een	  ander	  heeft	  zich	  niet	  aan	  de	  opdracht	  gehouden:	  
• ‘Belangrijkste	  keuze	  gemaakt,	  uitgeprobeerd	  wat	  ze	  zelf	  zou	  stemmen,	  zag	  
het	  als	  een	  oefening	  van	  hoe	  zij	  later	  kan	  stemmen.’	  	  
Deze	  persoon	  heeft	  na	  de	  eerste	  lijstverkiezing	  op	  Einde	  gedrukt	  en	  kon	  
waarschijnlijk	  in	  dit	  scherm	  de	  terug	  knop	  niet	  vinden.	  Daarna	  is	  de	  sessie	  
afgebroken.	  	  
De	  laatste	  persoon	  kon	  de	  terug-­‐knop	  niet	  vinden:	  
• ‘Proefpersoon	  meldde	  zich	  te	  hebben	  vergist	  op	  het	  scherm,	  wist	  niet	  hoe	  
terug	  te	  gaan	  op	  het	  scherm.	  Sessie	  is	  afgebroken.’	  
Deze	  persoon	  had	  al	  een	  verkeerde	  keuze	  gemaakt	  voor	  het	  referendum	  
(tegen)	  en	  wilde	  deze	  mogelijk	  corrigeren.	  
	  
3	  personen	  hebben	  niets	  geprint.	  Van	  deze	  groep	  kon	  1	  persoon	  de	  start	  knop	  niet	  vinden	  en	  is	  
niet	  gestart.	  1	  persoon	  heeft	  wel	  de	  juiste	  lijst	  en	  kandidaat	  gekozen,	  maar	  is	  niet	  tot	  printen	  
gekomen.	  De	  laatste	  persoon	  heeft	  een	  keuze	  gemaakt	  voor	  lijst	  5	  en	  kandidaat	  1,	  daarna	  is	  de	  
sessie	  afgebroken	  omdat	  ze	  hulp	  heeft	  gevraagd.	  Volgens	  haar	  ‘kon	  ze	  er	  niet	  uitkomen,	  drukte	  
ergens	  op	  kwam	  er	  niet	  uit,	  ingewikkeld.’	  
	  
	  
	  
	  

60	  

Samengevat	  
De	  overgrote	  meerderheid	  heeft	  de	  opdrachten	  (of	  een	  deel	  daarvan)	  correct	  uitgevoerd.	  Er	  
kunnen	  enkele	  constateringen	  worden	  gemaakt	  over	  de	  proefpersonen	  die	  stembiljetten	  hebben	  
geprint	  waarop	  een	  keuze	  staat	  die	  niet	  overeenkomt	  met	  de	  gegeven	  opdracht:	  	  
• Relatief	  veel	  personen	  hebben	  een	  keuze	  gemaakt	  voor	  de	  referendumvraag	  die	  anders	  
is	  dan	  de	  gegeven	  opdracht.	  Zij	  zijn	  afgeweken	  van	  de	  opdracht	  (‘voor’)	  terwijl	  zij	  de	  
opdrachten	  voor	  de	  lijstverkiezingen	  wel	  correct	  hadden	  uitgevoerd.	  Een	  aantal	  
personen	  was	  zich	  hier	  achteraf	  ook	  bewust	  van.	  	  
• Een	  aantal	  personen	  die	  een	  verkeerde	  lijst	  had	  gekozen	  en	  de	  kandidaat	  vervolgens	  
niet	  kon	  vinden,	  had	  niet	  door	  dat	  ze	  een	  verkeerde	  lijst	  aan	  het	  zoeken	  waren.	  Een	  
aantal	  personen	  zegt	  moeite	  te	  hebben	  met	  het	  aanraakscherm.	  
	  
In	  het	  kader	  van	  de	  effectiviteit	  van	  het	  stemproces	  is	  het	  ook	  van	  belang	  hoe	  proefpersonen	  zijn	  
omgegaan	  met	  het	  controleren	  van	  de	  geprinte	  stembiljetten:	  
	  
Heeft%u%de%stembiljetten%gecontroleerd?

Ja
Nee
Geen,data
Totaal

375
28
4
407

Ja
Nee
Geen*data
Totaal

372
3
32
407

	  
	  
Waarom	  heeft	  u	  de	  stembiljetten	  niet	  gecontroleerd?	  
27	  personen	  hebben	  gezegd	  een	  of	  meerdere	  stembiljetten	  niet	  te	  hebben	  gecontroleerd.	  Daar	  
worden	  verschillende	  redenen	  voor	  gegeven:	  
• 17	  personen	  dachten	  dat	  het	  wel	  goed	  is	  of	  vertrouwden	  op	  de	  computer.	  	  
• 4	  personen	  zeggen	  dat	  ze	  het	  scherm	  hebben	  gecontroleerd.	  
• 3	  personen	  zeggen	  dat	  ze	  het	  in	  het	  echt	  wel	  zouden	  doen.	  
• 2	  personen	  zeggen	  dat	  het	  niet	  in	  hen	  op	  was	  gekomen.	  
• 1	  persoon	  ‘durfde	  er	  niet	  aan	  te	  komen’.	  
	  
Komt%wat%er%op%de%stembiljetten%staat%overeen%met%wat%u%wilde%kiezen?

	  

	  
3	  personen	  zeggen	  dat	  hun	  stembiljetten	  niet	  overeen	  komen	  met	  hun	  opdracht.	  Zij	  gaven	  aan	  
zelf	  iets	  gekozen	  te	  hebben	  of	  het	  uitvoeren	  van	  de	  opdracht	  ging	  niet	  helemaal	  goed.	  
	  
Van	  de	  29	  proefpersonen	  die	  niet	  alle	  drie	  de	  opdrachten	  goed	  hebben	  uitgevoerd:	  
• zeggen	  18	  personen	  dat	  er	  de	  stembiljetten	  overkomen	  met	  hun	  keuze.	  
• zeggen	  3	  personen	  dat	  de	  stembiljetten	  niet	  overkomen	  met	  hun	  keuze.	  
• overige	  8	  personen	  hebben	  stembiljetten	  niet	  gecontroleerd.	  

61

Vergelijking resultaten simulatie stemprinter en huidige stembiljet 	  

Groep	  A	  

Simulatie	  
Stemprinter	  
	  	  

Huidige	  stembiljet	  

	  	  

Niet	  correct	  

Correct	  

Totaal	  

3	  stembiljetten	  geprint	  en	  correct	  
3	  stembiljetten	  geprint	  niet	  alle	  
correct	  
2,	  1	  of	  0	  stembiljetten	  geprint	  

3	  

375	  

378	  

3	  

18	  

21	  

4	  

4	  

8	  

Totaal	  

10	  

397	  

407	  

Tabel	  8	  Groep	  A:	  vergelijking	  resultaten	  simulatie	  stemprinter	  en	  huidige	  stembiljet.	  

	  
	  
Resultaten	  simulatie	  stemprinter	  verdeeld	  naar	  achtergrond	  proefpersonen.	  
	  
Achtergrond	  
totaal	  
drie	  opdrachten	  correct	  
	  drie	  stembiljetten	  geprint	  
	  	  
	  	  
aantal	  proefpersonen	  
%	  
aantal	  proefpersonen	  
%	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
Leeftijdscategorie	  
	  	  
	  	  
	  	  
	  	  
	  	  
18-­‐40	  
118	  
118	  
100%	  
118	  
100%	  
41-­‐60	  
154	  
148	  
96%	  
154	  
100%	  
61-­‐70	  
89	  
82	  
92%	  
88	  
99%	  
71-­‐80	  
26	  
22	  
85%	  
26	  
100%	  
80+	  
20	  
8	  
40%	  
13	  
65%	  
totaal	  
407	  
378	  
93%	  
399	  
98%	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
Opleidingsniveau	  
	  	  
	  	  
	  	  
	  	  
	  	  
Lager	  
116	  
94	  
81%	  
110	  
95%	  
Middelbaar	  
152	  
145	  
95%	  
150	  
99%	  
Hoger	  
139	  
139	  
100%	  
139	  
100%	  
totaal	  
407	  
378	  
93%	  
399	  
98%	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
Regionale	  spreiding	  
	  	  
	  	  
	  	  
	  	  
	  	  
Stedelijk	  gebied	  
236	  
216	  
92%	  
231	  
98%	  
Klein	  stedelijk	  gebied	  
73	  
68	  
93%	  
70	  
96%	  
Landelijk	  gebied	  
98	  
94	  
96%	  
98	  
100%	  
totaal	  
407	  
378	  
93%	  
399	  
98%	  
	  	  
	  	  
	  	  
	  	  
	  	  
	  	  
Geslacht	  
	  	  
	  	  
	  	  
	  	  
	  	  
Man	  
195	  
184	  
94%	  
193	  
99%	  
Vrouw	  
212	  
194	  
92%	  
206	  
97%	  
totaal	  
407	  
378	  
93%	  
399	  
98%	  
Tabel	  9:	  Groep	  A:	  resultaten	  simulatie	  stemprinter	  verdeeld	  naar	  achtergrond	  proefpersonen.	  

	  
Slechts	  40%	  van	  de	  proefpersonen	  van	  81	  jaar	  en	  ouder	  is	  in	  staat	  alle	  3	  de	  opdrachten	  correct	  
uit	  te	  voeren	  (65%	  print	  3	  stembiljetten).	  Dit	  zijn	  8	  van	  in	  totaal	  20	  proefpersonen	  van	  81	  jaar	  en	  
ouder.	  Van	  de	  overige	  12	  personen	  van	  81	  jaar	  en	  ouder,	  die	  niet	  in	  staat	  zijn	  om	  alle	  drie	  de	  
opdrachten	  correct	  uit	  te	  voeren,	  hebben	  5	  ook	  het	  huidige	  stembiljet	  niet	  correct	  ingevuld.	  Van	  
de	  andere	  7	  personen	  die	  het	  huidige	  stembiljet	  wel	  correct	  hebben	  ingevuld,	  zijn	  er	  5	  personen	  
die	  de	  eerste	  lijstverkiezing	  goed	  hadden	  en	  daarna	  zijn	  gestopt.	  De	  overige	  2	  hadden	  alleen	  het	  
referendum	  goed.	  	  

62	  

5.2.2 Onderzoeksvraag	  2:	  Tabbladen	  
‘Vormt	  de	  gekozen	  tabbladen	  systematiek	  voor	  het	  weergeven	  van	  de	  kandidaten	  in	  de	  simulatie	  
van	  de	  stemprinter	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  stemprinter?’	  	  
Criterium:	  Nee,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  opdracht	  op	  tabblad	  2	  of	  3	  juist	  uit	  te	  
voeren.	  	  
Er	  zit	  nagenoeg	  geen	  verschil	  in	  het	  correct	  uitvoeren	  van	  een	  opdracht	  zonder	  tabblad	  of	  met	  
tabblad.	  Tabel	  10	  laat	  zien	  dat	  er	  9	  personen	  zijn	  die	  niet	  beide	  lijstverkiezingen	  goed	  hebben	  
e
e
e
uitgevoerd.	  Deze	  groep	  is	  nagenoeg	  gelijk	  verdeeld	  over	  het	  1 	  tabblad	  en	  het	  2 	  of	  3 	  tabblad.	  
Om	  een	  vergelijking	  te	  kunnen	  maken	  is	  er	  alleen	  gekeken	  naar	  de	  personen	  die	  in	  ieder	  geval	  
beide	  lijstverkiezingen	  zijn	  gestart	  (401	  van	  de	  407	  personen).	  
	  
Beide	  opdrachten	  niet	  correct	  

10	  

e

Alleen	  opdracht	  1 	  tab	  correct	  
e

4	  

e

Alleen	  opdracht	  2 	  of	  3 	  tab	  correct	  

5	  

Beide	  opdrachten	  correct	  

382	  

Totaal	  

401	  

Tabel	  10	  Aantal	  personen	  die	  in	  staat	  zijn	  om	  een	  opdracht	  voor	  een	  lijstverkiezing	  correct	  uit	  te	  voeren.	  

	  
5.2.3 Onderzoeksvraag	  3:	  Blanco	  stemmen	  
	  ‘Zijn	  proefpersonen	  in	  groep	  A	  in	  staat	  om	  blanco	  te	  stemmen?’	  	  
Criterium:	  Ja,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  keuze	  ‘stem	  blanco’	  juist	  uit	  te	  voeren.	  
Er	  zijn	  10	  proefpersonen	  die	  deze	  opdracht	  hebben	  gekregen;	  9	  van	  hen	  voerden	  keuze	  ‘stem	  
blanco’	  juist	  uit.	  De	  andere	  persoon	  heeft	  ook	  de	  lijstverkiezing	  en	  het	  referendum	  niet	  in	  kunnen	  
vullen.	  	  

5.3 Tijdsduur	  van	  het	  stemproces	  
Voor	  het	  bepalen	  van	  de	  gemiddelde	  tijdsduur	  van	  het	  gehele	  meervoudige	  stemproces	  en	  de	  
verschillende	  verkiezingen	  is	  uitgegaan	  van	  een	  selectie	  van	  de	  proefpersonen	  die	  3	  stembiljetten	  
hebben	  geprint	  én	  op	  de	  laatste	  ‘klaar	  met	  controleren’	  knop	  hebben	  gedrukt.	  Van	  de	  407	  
proefpersonen	  zijn	  dit	  er	  331.	  Een	  deel	  van	  de	  proefpersonen	  die	  drie	  stembiljetten	  hebben	  
geprint	  (68	  van	  de	  399)	  heeft	  dit	  namelijk	  niet	  gedaan.	  Deze	  data	  zijn	  niet	  meegenomen,	  omdat	  
deze	  geen	  betrouwbare	  eindtijd	  van	  de	  sessie	  garanderen.	  
	  
Alle	  onderstaande	  gemiddelde	  tijden	  zijn	  van	  deze	  groep	  deelnemers	  (Tabel	  11).	  
De	  gemiddelde	  totaaltijd	  van	  de	  eerste	  ‘start’	  knop	  tot	  de	  laatste	  ‘klaar	  met	  controleren’	  knop	  is	  
108	  seconden.	  Er	  is	  een	  klein	  verschil	  tussen	  de	  opdracht	  met	  en	  de	  opdracht	  zonder	  tab.	  
Deelnemers	  drukken	  sneller	  op	  de	  ‘klaar	  met	  controleren’	  knop	  naarmate	  ze	  verder	  in	  het	  proces	  
komen.	  
	  
1e	  lijstverkiezing	  

2e	  lijstverkiezing	  

	  

zonder	  tab	  

met	  tab	  

van	  'Start'	  /	  'klaar	  met	  controleren'	  tot	  'start	  verkiezing'	  

5	  

van	  'start	  verkiezing'	  tot	  'print	  stembiljet'	  
van	  'print	  stembiljet'	  tot	  'klaar	  met	  controleren'	  
	  

Referendum	  

Totaal	  

2	  

	  
1	  

	  

19	  

21	  

6	  

21	  

17	  

16	  

	  
	  

	  
45	  
40	  
23	  
108	  
Tabel	  11	  Groep	  A:	  Gemiddelde	  tijden	  (sec)	  van	  331	  deelnemers	  die	  3	  stembiljetten	  hebben	  geprint	  én	  op	  de	  
laatste	  'klaar	  met	  controleren'	  knop	  hebben	  gedrukt.	  

	  

63

	  

5.4 Tevredenheid	  van	  kiezer	  met	  stemproces	  
	  

Vond%u%het%maken%van%de%keuzes%en%het%printen%van%de%stembiljetten:%makkelijk,%moeilijk%of%neutraal?
Moeilijk
8
Makkelijk
377
Neutraal
17
Geen3data
5
Totaal
407
	  
Vervolgvraag:	  Waarom	  moeilijk?	  
Van	  de	  personen	  die	  het	  moeilijk	  vonden	  hebben	  er	  4	  alle	  opdrachten	  goed	  uitgevoerd.	  De	  
andere	  4	  hebben	  verschillende	  fouten	  gemaakt.	  In	  geen	  van	  de	  categorieën	  zijn	  aanwijzingen	  te	  
vinden	  dat	  het	  om	  een	  specifieke	  groep	  gaat.	  
	  
Waarom	  heeft	  u	  niet	  alle	  stembiljetten	  geprint?	  
Er	  worden	  verschillende	  redenen	  gegeven	  waarom	  een	  aantal	  personen	  (7)	  niet	  alles	  heeft	  
geprint:	  
• ‘fout	  gemaakt	  (maar	  weet	  niet	  meer	  waarom)	  proefpersoon	  is	  niet	  gewend	  met	  dit	  soort	  
apparaten	  te	  werken’	  
• ‘was	  het	  beu’	  
• ‘de	  computer/het	  beeldscherm	  bleef	  staan.	  De	  vinger	  schoongemaakt.	  Hielp	  niet.	  Wel	  
gewend	  om	  computer	  te	  werken’	  
• ‘kan	  startknop	  niet	  vinden’	  
• ‘kon	  er	  niet	  uitkomen,	  drukte	  ergens	  op	  kwam	  er	  niet	  uit,	  ingewikkeld’	  
• ‘Belangrijkste	  keuze	  gemaakt,	  uitgeprobeerd	  wat	  ze	  zelf	  zou	  stemmen,	  zag	  het	  als	  een	  
oefening	  van	  hoe	  zij	  latere	  kan	  stemmen’	  
• ‘Technische	  storing	  van	  printer’	  
Een	  mogelijke	  overeenkomst	  is	  dat	  deze	  personen	  de	  simulatie	  niet	  goed	  begrepen.	  6	  van	  de	  7	  
personen	  behoren	  tot	  de	  leeftijdscategorie	  81+,	  1	  persoon	  is	  60	  jaar.	  

64	  

	  

	  
	  

65

6
Testresultaten simulatie
stemprinter groep B: kiezers
met beperkingen
6

In	  dit	  hoofdstuk	  worden	  de	  resultaten	  van	  de	  test	  met	  de	  simulatie	  van	  de	  stemprinter	  door	  de	  
verschillende	  groepen	  B	  beschreven	  en	  geanalyseerd.	  	  
	  
De	  test	  is	  in	  opdracht	  van	  BZK	  uitgevoerd	  door	  een	  onderzoeksbureau,	  op	  basis	  van	  de	  testopzet	  
zoals	  beschreven	  in	  hoofdstuk	  4.	  De	  resultaten	  van	  de	  test	  zijn	  door	  de	  TUD	  geanalyseerd.	  
	  

6.1 Gerealiseerde	  verdeling	  van	  proefpersonen	  
	  
Voor	  de	  groep	  Motorisch/	  Fysiek	  beperkten	  bleek	  het	  vinden	  van	  proefpersonen	  moeilijk	  te	  zijn.	  
Allereerst	  bleek	  het	  voor	  de	  TUD	  niet	  mogelijk	  te	  zijn	  om	  een	  eenduidige	  definitie	  van	  deze	  
doelgroep	  te	  geven.	  Daarnaast	  waren	  er	  geen	  ingangen	  waarlangs	  het	  mogelijk	  was	  om	  
wervingsactiviteiten	  uit	  te	  voeren.	  Verder	  rezen	  er	  twijfels	  over	  de	  geschiktheid	  van	  de	  interface	  
en	  de	  knoppensystematiek	  van	  de	  stemprintersimulatie	  voor	  deze	  doelgroep.	  Dit	  alles	  heeft	  
geleid	  tot	  het	  besluit	  van	  het	  ministerie	  van	  BZK	  om	  in	  de	  voorziene	  test	  de	  simulatie	  nog	  niet	  te	  
testen	  met	  proefpersonen	  die	  een	  licht	  (motorische)	  fysieke	  beperking	  hebben.	  Voor	  de	  overige	  
B	  groepen	  hebben	  voldoende	  proefpersonen	  deelgenomen.	  
	  
B1	  Blinden.	  De	  proefpersonen	  zijn	  geworven	  via	  de	  Oogvereniging.	  
B2	  Slechtzienden.	  De	  proefpersonen	  zijn	  geworven	  via	  de	  Oogvereniging.	  
B3	  Laaggeletterden.	  De	  proefpersonen	  zijn	  geworven	  via	  een	  sociale	  werkplaats	  en	  een	  ROC.	  
B4	  Licht	  verstandelijk	  gehandicapten.	  De	  proefpersonen	  zijn	  geworven	  via	  een	  sociale	  
werkplaats.	  
	  
	  
	  
	  
	  
	  
	  
	  
	  

66	  

	  
Groep	  B	  

Blinden	  

Slechtzienden	  

Laaggeletterden	  

Licht	  verstandelijk	  
gehandicapten	  

Totaal	  

	  
Man	  

	  
17	  

	  
18	  

	  
17	  

	  
19	  

	  
71	  

Vrouw	  

13	  

13	  

15	  

15	  

56	  

Totaal	  

30	  

31	  

32	  

34	  

127	  

	  
18-­‐40	  

	  
3	  

	  
8	  

	  
10	  

	  
4	  

	  
25	  

41-­‐60	  

20	  

8	  

16	  

23	  

67	  

61-­‐80	  

7	  

14	  

6	  

7	  

34	  

80+	  

0	  

1	  

0	  

0	  

1	  

Totaal	  

30	  

31	  

32	  

34	  

127	  

	  
Uit	  
bovens
taande	  
tabelle
n	  volgt	  
dat	  is	  
voldaa
n	  aan	  
de	  
gesteld
e	  
criteria	  
voor	  

de	  verdeling	  van	  de	  proefpersonen	  voor	  de	  groepen	  B:	  
• Er	  is	  voldaan	  aan	  de	  30	  deelnemers	  per	  groep.	  
• maximaal	  75%	  van	  hetzelfde	  geslacht.	  Is	  aan	  voldaan,	  zowel	  per	  groep	  als	  in	  totaal.	  
• maximaal	  75%	  van	  dezelfde	  leeftijdscategorie:	  (18	  –	  50),	  (50	  en	  ouder).	  Is	  aan	  voldaan,	  
zowel	  per	  groep	  als	  in	  totaal.	  
Opleidingsniveau	  en	  regionale	  spreiding	  zijn	  niet	  getoetst.	  
	  
	  

67

6.2 Resultaten	  Blinden	  
	  
6.2.1 Effectiviteit	  van	  het	  stemproces	  
	  
Onderzoeksvraag	  1	  
In	  totaal	  hebben	  30	  blinden	  deelgenomen	  aan	  de	  test	  met	  de	  simulatie	  stemprinter.	  Tabel	  12	  	  	  
geeft	  een	  overzicht	  van	  het	  aantal	  deelnemers	  ingedeeld	  in	  drie	  subgroepen:	  
• Subgroep	  1	  (25)	  heeft	  alle	  opdrachten	  goed	  uitgevoerd.	  
• Subgroep	  2	  (4)	  heeft	  niet	  alle	  opdrachten	  goed	  uitgevoerd,	  maar	  wel	  2	  stembiljetten	  
geprint.	  
• Subgroep	  3	  (1)	  heeft	  geen	  stembiljetten	  geprint.	  
	  
	  
Aantal	  stembiljetten	  
Omschrijving	  van	  het	  
Aantal	  
Optelling	  per	  
	  
Subgroep	  
geprint	  
resultaat	  
personen	  
subgroep	  
Onderstaand	  
een	  verdere	  
1	  
2	  
Alles	  goed	  
25	  
25	  
analyse	  van	  
Alleen	  lijstverkiezing	  goed	  
2	  
de	  3	  
2	  
2	  
Alleen	  referendum	  goed	  
1	  
4	  
subgroepen:	  

	  
Subgroep	  1:	  
Heeft	  2	  

3	  
	  

Niets	  goed	  

1	  

0	  

Niets	  geprint	  

1	  

1	  

	  

	  

Totaal	  	  

30	  

Tabel	  12	  Groep	  B1	  Blinden:	  resultaten	  ingedeeld	  naar	  het	  aantal	  geprinte	  stembiljetten.	  

stembiljetten	  goed	  geprint.	  Deze	  groep	  bestaat	  uit:	  	  
25	  personen	  
	  
1	  persoon	  vond	  het	  moeilijk	  en	  zegt	  er	  het	  volgende	  over:	  
• ‘Had	  graag	  uitleg	  van	  tevoren	  gehad	  op	  papier	  met	  hulpmiddelen.	  Proefpersoon	  ziet	  
minder	  dan	  5%.’	  
	  
3	  personen	  hadden	  opmerkingen	  over	  de	  knoppen.	  Deze	  gaan	  over	  de	  indeling,	  de	  vorm	  en	  de	  
werking.	  	  
• ‘Indeling	  van	  de	  knoppen	  is	  vreemd.	  Mensen	  zijn	  gewend	  aan	  een	  vierkant	  met	  in	  het	  
midden	  OK	  (bij	  computers,	  afstandsbedieningen,	  telefoons).	  Knoppen	  zijn	  duidelijk	  
voelbaar.’	  
• ‘Hij	  vond	  de	  knoppen	  goed	  uitgelegd.	  Maar	  pijl	  naar	  links	  is	  ook	  als	  driehoek	  te	  
zien/voelen,	  hij	  zou	  daar	  een	  vierkant	  van	  maken.	  Hij	  kon	  goed	  met	  	  1	  hand	  overzicht	  
krijgen,	  goede	  kast.’	  
• ‘Opmerking	  bij	  knoppen:	  linker	  knop	  [terug	  knop]	  deed	  volgens	  proefpersoon	  niets.’	  
Deze	  laatste	  persoon	  heeft	  in	  het	  verkiezingenoverzicht	  geprobeerd	  de	  terug	  knop	  te	  gebruiken,	  
het	  is	  echter	  niet	  mogelijk	  om	  die	  knop	  te	  gebruiken	  in	  die	  stap	  in	  het	  keuzeproces.	  
	  
In	  de	  logdata	  van	  de	  simulatie	  valt	  op	  dat	  een	  deel	  van	  de	  blinde	  proefpersonen	  bij	  het	  
doorlopen	  van	  de	  opties	  met	  de	  bovenste	  pijl	  knop	  begint	  en	  daarmee	  aan	  het	  eind	  van	  de	  lijst	  
terecht	  komt.	  Dit	  is	  een	  aanwijzing	  dat	  de	  werking	  van	  de	  2	  pijltoetsen	  mogelijk	  niet	  goed	  wordt	  
begrepen.	  
	  
Subgroep	  2:	  Heeft	  2	  stembiljetten	  geprint,	  maar	  ook	  een	  minstens	  1	  fout	  gemaakt.	  Deze	  groep	  
bestaat	  uit:	  	  

68	  

4	  personen	  
	  
2	  personen	  hebben	  meerdere	  keren	  de	  terug	  knop	  gebruikt	  om	  uiteindelijk	  tot	  een	  keuze	  te	  
komen.	  1	  persoon	  begreep	  de	  werking	  van	  de	  knoppen	  niet	  goed:	  
• ‘Proefpersoon	  begreep	  de	  werking	  van	  de	  ronde	  knop	  niet.	  Hij	  dacht	  dat	  deze	  alleen	  was	  
voor	  de	  bevestiging,	  later	  begreep	  hij	  dat	  de	  ronde	  knop	  ook	  een	  navigeerfunctie	  had.’	  
	  
1	  persoon	  heeft	  voor	  de	  lijstverkiezing	  gekozen	  voor	  lijst	  13	  en	  kandidaat	  13,	  in	  plaats	  van	  
kandidaat	  25.	  Uit	  de	  logdata	  is	  op	  te	  maken	  dat	  er	  direct	  voor	  kandidaat	  13	  is	  gekozen	  en	  niet	  
eerst	  een	  andere	  kandidaat	  is	  geselecteerd.	  De	  opdracht	  voor	  het	  referendum	  is	  wel	  goed	  
uitgevoerd.	  	  
	  
1	  persoon	  heeft	  beide	  opdrachten	  niet	  goed	  uitgevoerd.	  Uit	  de	  logdata	  van	  de	  simulatie	  is	  op	  te	  
maken	  dat	  deze	  persoon	  de	  tijd	  heeft	  genomen	  om	  een	  stukje	  te	  luisteren	  van	  bijna	  elke	  lijst	  en	  
bijna	  elke	  kandidaat	  van	  lijst	  5	  (niet	  de	  opdracht).	  	  
	  
Subgroep	  3:	  Heeft	  geen	  stembiljetten	  geprint.	  Deze	  groep	  bestaat	  uit:	  	  
1	  persoon	  
Deze	  persoon	  heeft	  geen	  stembiljetten	  geprint.	  Zij	  vond	  het	  moeilijk	  en	  ‘zeer	  verwarrend’.	  
• ‘Proefpersoon	  herkende	  de	  partijen	  niet	  door	  de	  onbekende	  lijstnamen,	  en	  zocht	  op	  de	  
verkeerde	  plek	  de	  kandidaat.	  Aan	  printen	  daardoor	  niet	  toegekomen.	  Was	  goed	  geweest	  
als	  gezegd	  werd:	  u	  zit	  in	  de	  partijenlijst	  (lijstoverzicht)	  en	  nu	  in	  de	  kandidatenlijst.’	  

	  
Samengevat	  
De	  meerderheid	  van	  de	  blinde	  proefpersonen	  is	  er	  in	  geslaagd	  2	  stembiljetten	  volgens	  opdracht	  
te	  printen.	  2	  proefpersonen	  hadden	  de	  lijstverkiezing	  goed	  uitgevoerd,	  maar	  het	  referendum	  
niet.	  1	  proefpersoon	  begreep	  niet	  goed	  wat	  de	  test	  inhield,	  zij	  zocht	  naar	  echte	  lijsten	  en	  
kandidaten	  en	  is	  er	  niet	  in	  geslaagd	  om	  stembiljetten	  te	  printen.	  De	  bediening	  met	  de	  tactiele	  
knoppen	  was	  voor	  een	  aantal	  proefpersonen	  niet	  altijd	  even	  duidelijk	  zo	  blijkt	  uit	  de	  logdata	  van	  
de	  simulatie	  of	  de	  commentaren.	  	  
	  
6.2.2 Tijdsduur	  van	  het	  stemproces	  
De	  29	  proefpersonen	  die	  2	  stembiljetten	  hebben	  geprint,	  doen	  gemiddeld	  210	  seconden	  over	  het	  
stemproces	  (zie	  Tabel	  13).	  Dit	  is	  gemeten	  van	  de	  ‘Start’	  knop	  tot	  het	  laatste	  scherm	  na	  het	  
printen	  van	  het	  tweede	  stembiljet.	  De	  lijstverkiezing	  is	  in	  gemiddeld	  77	  seconden	  uitgevoerd,	  het	  
referendum	  in	  37	  seconden.	  
	  
Start	  tot	  Einde	  

tijd	  (seconden)	  
210	  

Start	  Lijstverkiezing	  tot	  ‘print	  stembiljet’	  

77	  

Start	  Referendum	  tot	  ‘print	  stembiljet’	  

37	  

	  

	  

Lijstverkiezing,	  kandidaat	  met	  laag	  cijfer	  (n=14)	  

73	  

Lijstverkiezing,	  kandidaat	  met	  hoog	  cijfer	  (n=15)	  

81	  

Tabel	  13	  Gemiddelde	  tijden	  van	  de	  proefpersonen	  die	  2	  stembiljetten	  hebben	  geprint,	  29	  personen.	  

6.3 Resultaten	  slechtzienden	  
	  

69

6.3.1 Effectiviteit	  van	  het	  stemproces	  
	  
Onderzoeksvraag	  1	  
In	  totaal	  hebben	  31	  slechtzienden	  deelgenomen	  aan	  de	  test	  met	  de	  simulatie	  stemprinter.	  Tabel	  
14	  geeft	  een	  overzicht	  van	  het	  aantal	  deelnemers	  ingedeeld	  in	  3	  subgroepen:	  
• Subgroep	  1	  (24)	  heeft	  alle	  opdrachten	  goed	  uitgevoerd.	  
• Subgroep	  2	  (1)	  heeft	  niet	  alle	  opdrachten	  goed	  uitgevoerd,	  maar	  wel	  2	  stembiljetten	  
geprint.	  
• Subgroep	  3	  (6)	  heeft	  1	  of	  geen	  stembiljet(jet)	  geprint.	  
	  
	  
Aantal	  
	  
Omschrijving	  van	  het	  
Aantal	  
Optelling	  per	  
Subgroep	   stembiljetten	  
resultaat	  
personen	  
subgroep	  
	  
geprint	  
	  
1	  
2	  
Alles	  goed	  
24	  
24	  
	  
2	  
2	  
Niets	  goed	  
1	  
1	  
	  
Alleen	  1e	  tab	  goed	  
2	  
	  
1	  
Alleen	  2e	  tab	  goed	  
1	  
	  
3	  
6	  
	  
1e	  tab	  fout	  
1	  
	  
0	  
Niets	  geprint	  
2	  
	  
	  
Totaal	  	  
31	  
	  
	  
	  
Tabel	  14	  Groep	  B2	  Slechtzienden,	  resultaten	  ingedeeld	  naar	  het	  geldigheidscriterium.	  
	  
Onderstaand	  een	  verdere	  analyse	  van	  de	  3	  subgroepen:	  
	  
Subgroep	  1:	  Heeft	  2	  stembiljetten	  goed	  geprint.	  Deze	  groep	  bestaat	  uit:	  	  
24	  proefpersonen	  
	  
3	  proefpersonen	  vonden	  de	  simulatie	  moeilijk	  te	  bedienen.	  Als	  redenen	  worden	  gegeven:	  
• ‘Omdat	  hij	  het	  niet	  kon	  lezen.	  Op	  goed	  geluk	  geprint.’	  
• ‘Geheel	  niet	  duidelijk	  genoeg	  en	  vooral	  niet	  groot	  genoeg.’	  
1	  van	  hen	  heeft	  de	  auditieve	  ondersteuning	  gebruikt	  en	  daarmee	  2	  opdrachten	  goed	  uitgevoerd.	  
Deze	  proefpersoon	  heeft	  eerst	  de	  opdracht	  geprobeerd	  uit	  te	  voeren	  met	  alleen	  het	  
aanraakscherm.	  Dat	  lukte	  niet.	  	  
	  
15	  proefpersonen	  vonden	  de	  simulatie	  makkelijk	  te	  bedienen.	  Drie	  van	  hen	  gaven	  echter	  aan	  niet	  
alles	  goed	  te	  kunnen	  lezen:	  ‘nummers	  van	  lijsten	  en	  kandidaten	  wel,	  namen	  niet.’	  
	  
6	  proefpersonen	  gaven	  aan	  het	  niet	  moeilijk	  of	  makkelijk	  te	  vinden.	  Één	  persoon	  gaf	  aan	  dat	  het	  
scherm	  slecht	  te	  lezen	  was:	  ‘niet	  alles	  even	  dik,	  bijvoorbeeld	  lijst	  13.	  Voorkeur	  voor	  donker	  scherm	  
met	  lichte	  letters’.	  4	  anderen	  gaven	  aan	  dat	  het	  te	  lezen	  was,	  maar	  maakten	  wel	  opmerkingen	  
over	  de	  grootte	  en	  het	  contrast	  van	  de	  letters.	  
	  
	  
Subgroep	  2:	  Heeft	  2	  stembiljetten	  geprint,	  maar	  hebben	  daarbij	  fouten	  gemaakt.	  
Deze	  groep	  bestaat	  uit:	  	  
1	  proefpersoon	  
Deze	  proefpersoon	  had	  twee	  stembiljetten	  geprint,	  maar	  niets	  goed.	  Bij	  de	  vraag	  of	  het	  scherm	  
goed	  te	  lezen	  was	  is	  als	  reactie	  vastgelegd:	  ‘Alleen	  de	  cijfers.	  Proefpersoon	  had	  geen	  idee	  wat	  ze	  
aan	  het	  kiezen	  was.	  Ze	  kon	  ook	  de	  terug	  knop	  niet	  vinden.’	  
	  

70	  

Subgroep	  3:	  Heeft	  1	  of	  geen	  stembiljet(ten)	  geprint.	  
Deze	  groep	  bestaat	  uit:	  	  
6	  proefpersonen	  
	  
2	  proefpersonen	  hadden	  1	  stembiljet	  geprint	  en	  alleen	  de	  eerste	  lijstverkiezing	  goed	  uitgevoerd.	  
1	  proefpersoon	  gaf	  aan	  alleen	  de	  cijfers	  te	  lezen	  waren	  en	  ‘niet	  in	  de	  gaten	  te	  hebben	  dat	  het	  om	  
2	  verkiezingen	  ging’,	  ‘heeft	  op	  goed	  geluk	  knoppen	  ingedrukt’.	  
De	  andere	  proefpersoon	  ‘dacht	  in	  een	  cirkel	  terecht	  gekomen	  te	  zijn’.	  Uit	  de	  logdata	  van	  de	  
simulatie	  blijkt	  dat	  deze	  proefpersoon	  de	  tweede	  lijstverkiezing	  5	  maal	  opnieuw	  gestart	  heeft	  
voordat	  de	  proefpersoon	  is	  gestopt.	  Onduidelijk	  is	  of	  dit	  aan	  het	  aanraakscherm	  heeft	  gelegen	  of	  
dat	  deze	  proefpersoon	  niet	  goed	  heeft	  gezien	  dat	  de	  terug	  knop	  op	  een	  hele	  andere	  plek	  zit	  dan	  
lijst	  13	  (de	  opdracht).	  
	  
1	  proefpersoon	  had	  1	  stembiljet	  geprint	  en	  alleen	  de	  tweede	  lijstverkiezing	  goed	  uitgevoerd.	  
Deze	  proefpersoon	  had	  'niet	  in	  de	  gaten	  gehad'	  dat	  er	  meer	  geprint	  moest	  worden	  en	  zegt	  
verder:	  'je	  concentreert	  je	  op	  één	  gedeelte	  van	  test	  en	  van	  het	  beeldscherm'.	  De	  proefpersoon	  
heeft	  op	  de	  ‘Stoppen’	  knop	  gedrukt.	  
	  
1	  proefpersoon	  had	  1	  stembiljet	  geprint	  en	  de	  eerste	  lijstverkiezing	  fout	  uitgevoerd.	  De	  
proefpersoon	  had	  'niet	  in	  de	  gaten	  gehad'	  dat	  er	  meer	  geprint	  moest	  worden	  en	  zegt	  verder:	  
‘Toelichting	  op	  scherm	  te	  lezen:	  maar	  wel	  moeilijk’.	  Deze	  proefpersoon	  heeft	  geen	  actie	  meer	  
ondernomen	  na	  de	  eerste	  lijstverkiezing.	  
	  
2	  proefpersonen	  is	  het	  niet	  gelukt	  om	  stembiljetten	  te	  printen.	  Zij	  bleken	  te	  slechtziend	  om	  de	  
tekst	  te	  kunnen	  lezen	  of	  zelfs	  knoppen	  te	  op	  het	  scherm	  te	  kunnen	  onderscheiden.	  1	  
proefpersoon	  heeft	  de	  auditieve	  ondersteuning	  nog	  geprobeerd,	  maar	  kon	  te	  weinig	  zien	  om	  
keuzes	  te	  maken	  op	  het	  scherm.	  
	  
Samengevat	  
Een	  groot	  deel	  van	  de	  slechtzienden	  is	  erin	  geslaagd	  om	  de	  opdracht	  uit	  te	  voeren	  en	  twee	  
stembiljetten	  te	  printen,	  zij	  het	  met	  moeite.	  Veel	  slechtzienden	  gaven	  aan	  dat	  de	  cijfers	  goed	  te	  
lezen	  waren,	  maar	  de	  teksten	  niet.	  Een	  aantal	  van	  hen	  heeft	  op	  goed	  geluk	  de	  keuzes	  gemaakt.	  
Twee	  personen	  konden	  onvoldoende	  zien	  om	  het	  scherm	  te	  lezen	  en	  te	  bedienen.	  Zij	  hebben	  
geen	  stembiljetten	  geprint.	  
	  
Vergelijking resultaten papieren stembiljet en simulatie stemprinter	  

	  
Groep	  B2	  Slechtzienden	  

Simulatie	  
Stemprinter	  
	  	  

Huidige	  stembiljet	  

	  	  

Niet	  correct	  

Correct	  

Totaal	  

2	  stembiljetten	  geprint	  en	  correct	  
2	  stembiljetten	  geprint	  niet	  alle	  
correct	  
1	  of	  0	  stembiljetten	  geprint	  

5	  

19	  

24	  

1	  

0	  

1	  

3	  

3	  

6	  

Totaal	  

9	  

22	  

31	  

Tabel	  15	  Groep	  B2	  Slechtzienden:	  Vergelijking	  resultaten	  simulatie	  stemprinter	  en	  huidige	  stembiljet.	  

	  
Onderzoeksvraag	  2:	  Tabbladen	  
‘Vormt	  de	  gekozen	  tabbladen	  systematiek	  voor	  het	  weergeven	  van	  de	  kandidaten	  in	  de	  simulatie	  
van	  de	  stemprinter	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  stemprinter?’	  	  

71

Criterium:	  Nee,	  indien	  de	  proefpersoon	  in	  staat	  is	  om	  de	  opdracht	  op	  tabblad	  2	  juist	  uit	  te	  
voeren.	  	  
Tabel	  16	  laat	  zien	  dat	  er	  geen	  verschil	  is	  in	  het	  succesvol	  uitvoeren	  van	  een	  opdracht	  zonder	  of	  
met	  tabblad.	  Om	  een	  vergelijking	  te	  kunnen	  maken	  is	  er	  alleen	  gekeken	  naar	  de	  personen	  die	  
beide	  lijstverkiezingen	  zijn	  gestart	  (25	  van	  de	  31	  personen).	  

	  
6.4

1	  

Beide	  opdrachten	  niet	  correct	  
e

Alleen	  opdracht	  1 	  tab	  correct	  
e

0	  

e

Alleen	  opdracht	  2 	  of	  3 	  tab	  correct	  

0	  

Beide	  opdrachten	  correct	  

24	  

Totaal	  

25	  

Tabel	  16	  Aantal	  slechtzienden	  dat	  in	  staat	  is	  om	  een	  opdracht	  voor	  een	  lijstverkiezing	  goed	  uit	  te	  voeren.	  

	  
6.4.1 Tijdsduur	  van	  het	  stemproces	  	  
De	  22	  proefpersonen	  die	  2	  stembiljetten	  hebben	  geprint	  en	  op	  de	  laatste	  ‘klaar	  met	  controleren’	  
knop	  hebben	  gedrukt,	  doen	  gemiddeld	  171	  seconden	  over	  het	  stemproces	  (zie	  Tabel	  17).	  De	  
lijstverkiezing	  zonder	  tab	  is	  door	  deze	  groep	  in	  gemiddeld	  46	  seconden	  uitgevoerd,	  de	  opdracht	  
met	  tab	  in	  49	  seconden.	  
	  
tijd	  (seconden)	  
	  
Start	  tot	  Einde	  
171	  
Start	  lijstverkiezing	  Zonder	  tab	  
46	  
tot	  ‘print	  stembiljet’	  
Start	  lijstverkiezing	  Met	  tab	  tot	  
49	  
tot	  ‘print	  stembiljet’	  
Tabel	  17	  Gemiddelde	  tijden	  van	  de	  proefpersonen	  die	  2	  stembiljetten	  hebben	  geprint,	  22	  personen.	  

	  
	  
Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
Ja	  

24	  

Nee	  

4	  

Geen	  data	  

3	  

Totaal	  

31	  

	  
	  
Vervolgvraag:	  Waarom	  heeft	  u	  de	  stembiljetten	  niet	  gecontroleerd?	  
3	  proefpersonen	  konden	  de	  stembiljetten	  niet	  (goed	  genoeg)	  lezen.	  
1	  proefpersoon	  heeft	  alleen	  het	  laatste	  stembiljet	  gecontroleerd	  en	  vertrouwde	  de	  computer.	  
	  
Komt	  er	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  wilde	  kiezen?	  
Ja	  

23	  

Weet	  niet	  

1	  

Geen	  data	  

7	  

Totaal	  

31	  

	  
Was	  voor	  u	  wat	  op	  het	  scherm	  stond	  goed	  te	  lezen?	  
Ja	  

19	  

Nee	  

11	  

72	  

Ja	  en	  Nee	  

1	  

Totaal	  

31	  

	  
Vervolgvraag:	  Waarom	  was	  het	  niet	  goed	  te	  lezen?	  
• 6	  opmerkingen	  gaan	  over	  de	  leesbaarheid	  van	  de	  tekst.	  De	  cijfers	  waren	  wel	  goed	  te	  
lezen,	  de	  namen	  niet	  goed.	  
• 6	  proefpersonen	  gaven	  aan	  dat	  ze	  het	  scherm	  te	  fel	  vonden.	  
• De	  overige	  opmerkingen	  zijn	  verschillend	  van	  aard.	  
	  
Waarom	  heeft	  u	  niet	  alle	  stembiljetten	  geprint?	  
• ‘Niet	  in	  de	  gaten	  gehad.’	  
• ‘Niet	  in	  de	  gaten	  gehad:	  je	  concentreert	  je	  op	  1	  gedeelte	  van	  test	  en	  van	  beeldscherm.’	  
• ‘Paneel	  heeft	  geen	  voelbare	  elementen.’	  
• ‘Proefpersoon	  had	  niet	  in	  de	  gaten	  dat	  het	  om	  2	  verkiezingen	  ging.‘	  
• ‘Proefpersoon	  kan	  scherm	  niet	  lezen.’	  
	  
Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
Moeilijk	  

6	  

Makkelijk	  

17	  

Neutraal	  

6	  

Geen	  data	  

2	  

Totaal	  

31	  

	  
Vervolgvraag:	  Waarom	  vond	  u	  het	  moeilijk?	  
• ‘Geheel	  niet	  duidelijk	  genoeg	  en	  vooral	  niet	  groot	  genoeg.	  Betrokkene	  wist	  niet	  voor	  
welke	  verkiezing	  een	  keuze	  gemaakt	  moest	  worden.	  Betrokkene	  kon	  de	  opdracht	  niet	  
lezen	  en	  heeft	  de	  cijfers	  op	  de	  achterkant	  groter	  gezet.’	  
• ‘Het	  gebruiksgemak	  viel	  tegen.	  Anders	  dan	  gewend.	  De	  logica	  in	  het	  systeem.’	  
• ‘Kan	  het	  niet	  zien.’	  
• ‘Omdat	  het	  niet	  te	  lezen	  was.	  Op	  goed	  geluk	  geprint.’	  
• ‘Puur	  gokwerk.’	  
• ‘Te	  klein.’	  
	  
Commentaar	  van	  proefpersonen	  die	  ‘neutraal’	  hebben	  geantwoord	  
• ‘Op	  stembiljet	  graag	  letters	  van	  lijst	  en	  kandidaat	  vetter.’	  
• ‘Scherm	  is	  lastig	  vanwege	  oogafwijking.’	  
• ‘Zwart	  en	  wit	  op	  het	  scherm	  omwisselen.	  Het	  felle	  scherpe	  licht	  is	  heel	  vermoeiend.’	  

73

6.5 Resultaten	  laaggeletterden	  
	  
6.5.1 Effectiviteit	  van	  het	  stemproces	  
	  
Onderzoeksvraag	  1	  
In	  totaal	  hebben	  32	  laaggeletterden	  deelgenomen	  aan	  de	  test	  met	  de	  simulatie	  stemprinter.	  
Tabel	  18	  geeft	  een	  overzicht	  van	  het	  aantal	  deelnemers	  ingedeeld	  in	  3	  subgroepen:	  
• Subgroep	  1	  (15)	  heeft	  alle	  opdrachten	  goed	  uitgevoerd.	  
• Subgroep	  2	  (5)	  heeft	  niet	  alle	  opdrachten	  goed	  uitgevoerd,	  maar	  wel	  2	  stembiljetten	  
geprint.	  
• Subgroep	  3	  (12)	  heeft	  1	  of	  geen	  stembiljet(ten)	  geprint.	  	  
	  
	  
Aantal	  
Aantal	  
Optelling	  per	  
	  
Subgroep	  
stembiljetten	  
Omschrijving	  van	  het	  resultaat	  
personen	  
subgroep	  
geprint	  
Subgroep	  
1	  
2	  
Alles	  goed	  
15	  
15	  
1:	  Heeft	  
2	  
Alleen	  1e	  tab	  goed	  
1	  
2	  
2	  
5	  
stembilje
Niets	  goed	  
4	  
tten	  goed	  
1	  
Alleen	  1e	  tab	  goed,	  begonnen	  aan	  2e	  opdracht	  
1	  
geprint.	  
Alleen	  1e	  tab	  goed	  
2	  
Deze	  
3	  
1	  
Alleen	  2e	  tab	  goed	  
1	  
12	  
groep	  
1e	  tab	  fout	  
5	  
bestaat	  
0	  
Niets	  
g
eprint	  
3	  
uit:	  	  
	  
Totaal	  	  
32	  
15	  
	  
	  
Tabel	  18	  Groep	  B3	  Laaggeletterden:	  resultaten	  ingedeeld	  naar	  het	  aantal	  geprinte	  stembiljetten.	  

proefpersonen	  
	  
1	  proefpersonen	  vond	  het	  uitvoeren	  van	  de	  opdrachten	  moeilijk:	  ‘moeilijk	  om	  kandidaat	  43	  te	  
vinden’.	  Betrokkene	  had	  moeite	  met	  de	  opdracht	  op	  het	  derde	  tabblad.	  Betrokkene	  had	  ook	  de	  
stembiljetten	  niet	  gecontroleerd,	  ‘vergeten’.	  Uit	  de	  logdata	  van	  de	  simulatie	  blijkt	  dat	  de	  
proefpersoon	  voor	  de	  tweede	  lijstverkiezing	  tot	  2	  keer	  toe	  kandidaat	  4	  had	  gekozen,	  maar	  
terugkeerde	  naar	  het	  kandidatenoverzicht	  en	  uiteindelijk	  kandidaat	  43	  heeft	  gekozen.	  
	  
12	  proefpersonen	  vonden	  het	  uitvoeren	  van	  de	  opdrachten	  makkelijk.	  Uit	  de	  logdata	  van	  de	  
simulatie	  blijkt	  ook	  niet	  dat	  deze	  proefpersonen	  moeite	  hadden	  met	  het	  uitvoeren	  van	  de	  
opdrachten.	  Één	  proefpersoon	  heeft	  na	  de	  eerste	  lijstverkiezing	  op	  ‘stoppen’	  gedrukt,	  maar	  is	  
weer	  teruggekeerd.	  Een	  ander	  heeft	  de	  verschillende	  tabs	  een	  paar	  keer	  bekeken	  voordat	  een	  
keuze	  is	  gemaakt	  voor	  kandidaat	  43	  (de	  opdracht)	  op	  tabblad	  3.	  
	  
2	  proefpersonen	  gaven	  aan	  het	  niet	  moeilijk	  of	  makkelijk	  te	  vinden.	  Uit	  de	  logdata	  van	  de	  
simulatie	  blijkt	  niet	  dat	  betrokkenen	  moeilijkheden	  hebben	  ondervonden.	  
	  
	  

74	  

Subgroep	  2:	  Heeft	  2	  stembiljetten	  geprint,	  maar	  niet	  alles	  goed.	  Deze	  groep	  bestaat	  uit:	  	  
5	  personen	  
	  
1	  proefpersoon	  heeft	  zonder	  omwegen	  1	  fout	  gemaakt.	  	  
	  
4	  proefpersonen	  hebben	  niets	  goed.	  1	  van	  hen	  zegt	  een	  eigen	  keuze	  te	  hebben	  gemaakt.	  Een	  
ander	  heeft	  alleen	  de	  lijsten	  goed	  gekozen	  en	  zegt	  te	  twijfelen	  over	  de	  kandidaten.	  	  
	  
	  
Subgroep	  3:	  Heeft	  1	  of	  geen	  stembiljet(ten)	  geprint.	  Deze	  groep	  bestaat	  uit:	  	  
12	  proefpersonen	  
	  
1	  proefpersoon	  gaf	  aan	  kandidaat	  43	  niet	  te	  kunnen	  vinden.	  Dit	  is	  terug	  te	  zien	  in	  de	  logdata	  van	  
de	  simulatie.	  	  De	  sessie	  is	  gestopt	  in	  het	  kandidatenoverzicht.	  
	  
3	  proefpersonen	  hadden	  1	  stembiljet	  goed	  geprint.	  2	  van	  hen	  zijn	  gestopt	  na	  het	  printen	  van	  het	  
eerste	  stembiljet,	  de	  ander	  heeft	  op	  ‘Stoppen’	  gedrukt	  en	  geeft	  als	  commentaar	  ‘1	  was	  genoeg.	  
In	  't	  echt	  doe	  je	  ook	  maar	  1	  stembiljet’.	  	  
	  
5	  proefpersonen	  hadden	  1	  stembiljet	  geprint,	  maar	  niet	  goed.	  2	  van	  hen	  blijken	  de	  opdracht	  niet	  
goed	  begrepen	  te	  hebben,	  zij	  zeggen:	  ‘dacht	  dat	  1	  genoeg	  was’	  en	  ‘dacht	  te	  kunnen	  kiezen	  uit	  de	  
opdracht’.	  Een	  ander	  is	  gestopt	  na	  het	  start	  van	  de	  tweede	  lijstverkiezing.	  
	  
3	  proefpersonen	  hadden	  niets	  geprint.	  2	  van	  hen	  hebben	  niet	  op	  ‘Start’	  gedrukt,	  de	  ander	  is	  niet	  
verder	  gekomen	  dan	  het	  lijstenoverzicht.	  Als	  commentaar	  geven	  zij:	  ‘kan	  het	  niet’,	  ‘nog	  nooit	  iets	  
met	  een	  computer	  gedaan’	  en	  ‘kan	  niet	  met	  computer	  werken’.	  
	  
	  
Samengevat	  
De	  groep	  laaggeletterden	  proefpersonen	  lijkt	  vooral	  moeite	  te	  hebben	  met	  het	  vinden	  van	  het	  
tweede	  of	  derde	  tabblad.	  Ook	  stopt	  een	  groot	  deel	  na	  het	  printen	  van	  één	  stembiljet,	  zij	  drukken	  
niet	  op	  ‘klaar	  met	  controleren’.	  Een	  aantal	  proefpersonen	  heeft	  de	  opdracht	  niet	  begrepen	  
dachten	  dat	  ze	  maar	  1	  stembiljet	  hoefden	  te	  printen.	  Drie	  proefpersonen	  zeggen	  niet	  om	  te	  
kunnen	  gaan	  met	  computers	  en	  komen	  hoogstens	  tot	  het	  lijstenoverzicht.	  
	  
Groep	  B3	  Laaggeletterden	  

Simulatie	  
Stemprinter	  
	  	  

Huidige	  stembiljet	  

	  	  

Niet	  correct	  

Correct	  

Totaal	  

2	  stembiljetten	  geprint	  en	  correct	  
2	  stembiljetten	  geprint	  niet	  alle	  
correct	  
1	  of	  0	  stembiljetten	  geprint	  

3	  

12	  

15	  

1	  

4	  

5	  

7	  

5	  

12	  

Totaal	  

11	  

21	  

32	  

Tabel	  19	  Laaggeletterden:	  Vergelijking	  resultaten	  simulatie	  stemprinter	  en	  huidige	  stembiljet.	  

75

Onderzoeksvraag	  2:	  Tabbladen	  
‘Vormt	  de	  gekozen	  tabbladen	  systematiek	  voor	  het	  weergeven	  van	  de	  kandidaten	  in	  de	  simulatie	  
van	  de	  stemprinter	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  stemprinter?’	  	  
Criterium:	  Nee,	  indien	  de	  proefpersonen	  in	  staat	  is	  om	  de	  opdracht	  op	  tabblad	  2	  of	  3	  juist	  uit	  te	  
voeren.	  	  
15	  proefpersonen	  die	  beide	  lijstverkiezingen	  zijn	  gestart,	  deden	  dit	  beide	  keren	  correct.	  
Er	  zit	  een	  klein	  verschil	  in	  het	  correct	  uitvoeren	  van	  een	  opdracht	  zonder	  tabblad	  of	  met	  tabblad.	  
e
Tabel	  20	  laat	  zien	  dat	  er	  2	  personen	  meer	  in	  staat	  zijn	  om	  de	  opdracht	  voor	  het	  1 	  tabblad	  correct	  
uit	  te	  voeren.	  Om	  een	  vergelijking	  te	  kunnen	  maken	  is	  er	  alleen	  gekeken	  naar	  de	  personen	  die	  
beide	  lijstverkiezingen	  zijn	  gestart	  (21	  van	  de	  32	  personen).	  
	  
Beide	  opdrachten	  niet	  correct	  

4	  

e

Alleen	  opdracht	  1 	  tab	  correct	  
e

2	  

e

Alleen	  opdracht	  2 	  of	  3 	  tab	  correct	  

0	  

Beide	  opdrachten	  correct	  

15	  

Totaal	  

21	  

Tabel	  20	  Aantal	  laaggeletterden	  dat	  in	  staat	  is	  om	  een	  opdracht	  voor	  een	  lijstverkiezing	  goed	  uit	  te	  voeren.	  

	  
	  
6.5.2 Tijdsduur	  van	  het	  stemproces	  
tijd	  (seconden)	  
	  Start	  tot	  Einde	  
Start	  lijstverkiezing	  Zonder	  tab	  
tot	  ‘print	  stembiljet’	  
Start	  lijstverkiezing	  Met	  tab	  tot	  
‘print	  stembiljet’	  

127	  
26	  
46	  

	  
Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
Ja	  

24	  

Nee	  

4	  

Geen	  data	  

4	  

Totaal	  

32	  

	  
Vervolgvraag:	  Waarom	  heeft	  u	  de	  stembiljetten	  niet	  gecontroleerd?	  
• ‘Dacht:	  zo	  is	  het	  goed!.’	  
• ‘Niet	  gezien	  dat	  dat	  moest.’	  
• ‘Alleen	  op	  scherm	  gekeken,	  leuk	  plaatje.’	  
• ‘Vergeten.’	  
• ‘Begrijpt	  het	  niet.’	  
	  
Komt	  er	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  wilde	  kiezen?	  
Ja	  

22	  

Twijfel	  

3	  

Geen	  data	  

7	  

Totaal	  

31	  

	  
	  
	  
	  

76	  

Waarom	  heeft	  u	  niet	  alle	  stembiljetten	  geprint?	  
• ‘1	  was	  genoeg.	  In	  't	  echt	  doe	  je	  ook	  maar	  1	  stembiljet.’	  
• ‘Dacht	  dat	  1	  genoeg	  was.’	  
• ‘Dacht	  te	  kunnen	  kiezen	  uit	  de	  opdracht.’	  
• Kan	  het	  niet.	  
• Kan	  het	  niet.	  
• ‘Kan	  kandidaat	  43	  niet	  vinden.’	  
• Proefpersoon	  kan	  deze	  vraag	  niet	  beantwoorden.	  
• Proefpersoon	  kan	  niet	  lezen,	  werd	  al	  onzeker	  bij	  het	  woord	  'Start'.	  
• Testbegeleider	  is	  vergeten	  deze	  vraag	  te	  stellen.	  
	  
	  
Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
Moeilijk	  

5	  

Makkelijk	  

19	  

Neutraal	  

8	  

Totaal	  

32	  

	  
Vervolgvraag:	  Waarom	  moeilijk?	  
• ‘Nog	  nooit	  iets	  met	  een	  computer	  gedaan.’	  
• ‘Kan	  niet	  met	  computer	  werken.’	  
• ‘Kan	  het	  niet.’	  
• ‘Nog	  nooit	  zoiets	  gedaan	  met	  zo’n	  aanraakscherm.’	  
• ‘Moeilijk	  om	  kandidaat	  43	  te	  vinden.’	  
	  
	  
Heeft	  u	  de	  logo’s	  of	  de	  foto’s	  gebruikt	  om	  te	  zoeken	  op	  wie	  u	  een	  keuze	  wilde	  maken?	  
Ja	  

22	  

Nee	  

7	  

Geen	  data	  

3	  

Totaal	  

32	  

	  
Vervolgvraag:	  Waarom	  niet	  logo’s	  en	  foto’s	  gebruikt?	  
• ‘Cijfers	  zijn	  makkelijker.’	  
• ‘Gelezen.’	  
	  

77

6.6 Resultaten	  Licht	  verstandelijk	  gehandicapten	  
	  
6.6.1 Effectiviteit	  van	  het	  stemproces	  
	  
Onderzoeksvraag	  1	  
In	  totaal	  hebben	  34	  licht	  verstandelijk	  gehandicapten	  deelgenomen	  aan	  de	  test	  met	  de	  simulatie	  
stemprinter.	  Tabel	  21	  geeft	  een	  overzicht	  van	  het	  aantal	  deelnemers	  ingedeeld	  in	  3	  subgroepen:	  
• Subgroep	  1	  (14)	  heeft	  alle	  opdrachten	  goed	  uitgevoerd.	  
• Subgroep	  2	  (5)	  heeft	  niet	  alle	  opdrachten	  goed	  uitgevoerd,	  maar	  wel	  2	  stembiljetten	  
geprint.	  
• Subgroep	  3	  (15)	  heeft	  1	  of	  geen	  stembiljet(ten)	  geprint.	  
	  
Aantal	  
	  
Aantal	  
Optelling	  per	  
Subgroep	   stembiljetten	  
Omschrijving	  van	  het	  resultaat	  
personen	  
subgroep	  
Subgroep	  
geprint	  
1:	  Heeft	  2	  
1	  
2	  
Alles	  goed	  
14	  
14	  
stembiljett
Alleen	  1e	  tab	  goed	  
3	  
en	  goed	  
2	  
2	  
5	  
geprint.	  
Niets	  goed	  
2	  
Deze	  groep	  
Alleen	  1e	  tab	  goed,	  begonnen	  aan	  2e	  opdracht	  
1	  
bestaat	  uit:	  	  
1	  
Alleen	  1e	  tab	  goed	  
5	  
14	  
3	  
15	  
1e	  tab	  fout	  
7	  
personen	  
0	  
Niets	  geprint	  
2	  
	  
7	  
	  
Totaal	  	  
34	  

	  
	  
Tabel	  21	  Groep	  B4	  Licht	  verstandelijk	  gehandicapten:	  resultaten	  ingedeeld	  naar	  het	  aantal	  geprinte	  stembiljetten.	  

proefpersonen	  vonden	  het	  uitvoeren	  van	  de	  opdrachten	  makkelijk.	  Één	  van	  hen	  had	  lijst	  19	  
geselecteerd,	  na	  het	  doorzoeken	  van	  verschillende	  tabbladen	  heeft	  betrokken	  vervolgens	  lijst	  20	  
geselecteerd.	  De	  andere	  proefpersonen	  hebben	  geen	  omwegen	  genomen.	  
	  
7	  proef	  personen	  gaven	  aan	  het	  niet	  moeilijk	  of	  makkelijk	  te	  vinden.	  Één	  persoon	  vond	  de	  
opdracht	  met	  kandidaat	  43	  moeilijk,	  maar	  de	  andere	  makkelijk.	  De	  andere	  proefpersonen	  
hebben	  geen	  omwegen	  genomen.	  
	  
	  
Subgroep	  2:	  Heeft	  2	  stembiljetten	  geprint,	  maar	  niet	  alles	  goed.	  Deze	  groep	  bestaat	  uit:	  	  
5	  personen	  
	  
2	  proef	  personen	  hadden	  wel	  de	  juiste	  lijst	  voor	  de	  tweede	  lijstverkiezing	  gekozen,	  maar	  leken	  
het	  derde	  tabblad	  niet	  te	  kunnen	  vinden.	  Één	  persoon	  geeft	  dit	  ook	  aan:	  ‘Kon	  kandidaat	  43	  niet	  
vinden,	  heeft	  iemand	  gekozen	  die	  erop	  leek’.
1	  proefpersoon	  vond	  het	  moeilijk.	  Als	  commentaar	  gaf	  de	  persoon	  te	  kennen:	  ‘Je	  weet	  niet	  hoe	  
het	  moet.’	  Betrokkene	  heeft	  na	  de	  eerste	  lijstverkiezing	  op	  ‘Stoppen’	  gedrukt.	  	  
	  
2	  proefpersonen	  hebben	  2	  stembiljetten	  geprint,	  maar	  hebben	  niets	  goed.	  Zij	  hebben	  beiden	  na	  
de	  eerste	  lijstverkiezing	  op	  ‘Stoppen’	  gedrukt,	  maar	  zijn	  weer	  teruggekeerd	  naar	  het	  
verkiezingenoverzicht.	  
	  

78	  

	  
Subgroep	  3:	  Heeft	  1	  of	  geen	  stembiljet(ten)	  geprint.	  Deze	  groep	  bestaat	  uit:	  	  
16	  personen	  
	  
1	  proefpersoon	  had	  voor	  de	  tweede	  lijstverkiezing	  een	  verkeerde	  lijst	  gekozen	  (lijst	  1)	  en	  heeft	  
daardoor	  kandidaat	  43	  niet	  gevonden.	  	  
	  
5	  proefpersonen	  hadden	  1	  stembiljet	  goed	  geprint.	  Zij	  zijn	  allen	  na	  het	  printen	  van	  het	  eerste	  
stembiljet	  gestopt	  en	  hebben	  niet	  op	  ‘Klaar	  met	  controleren’	  gedrukt.	  Zij	  vonden	  de	  opdrachten	  
makkelijk	  of	  neutraal.	  
	  
7	  proefpersonen	  hadden	  1	  stembiljet	  fout	  geprint.	  6	  van	  hen	  zijn	  gestopt	  na	  het	  printen	  van	  het	  
eerste	  stembiljet.	  1	  persoon	  heeft	  wel	  ‘Klaar	  met	  controleren’	  gedrukt,	  maar	  is	  daarna	  4	  keer	  
naar	  het	  eindscherm	  gegaan.	  5	  van	  de	  7	  vonden	  het	  moeilijk	  en	  zeggen	  bijvoorbeeld	  ‘moeilijk	  om	  
te	  lezen	  en	  te	  snappen’	  en	  ‘begrijpt	  de	  bedoeling	  niet’.	  
	  
2	  proefpersonen	  hadden	  niets	  geprint.	  Als	  commentaar	  staat	  aangegeven	  ‘vond	  het	  te	  moeilijk’	  
en	  ‘kan	  niet	  met	  computer	  omgaan,	  het	  lukte	  niet’	  
	  
Samengevat	  
Van	  de	  groep	  proefpersonen	  met	  een	  licht	  verstandelijke	  handicap	  heeft	  ongeveer	  de	  helft	  
zonder	  omwegen	  hun	  keuzes	  gemaakt.	  Een	  aantal	  proefpersonen	  lijkt	  moeite	  te	  hebben	  om	  het	  
derde	  tabblad	  te	  vinden,	  maar	  zij	  slaagden	  er	  wel	  in	  om	  een	  stembiljet	  te	  printen.	  De	  
proefpersonen	  die	  na	  1	  verkiezing	  zijn	  gestopt,	  deden	  dat	  bijna	  allemaal	  in	  het	  
verkiezingenoverzicht	  of	  vlak	  daarvoor.	  Zij	  drukten	  dan	  niet	  op	  ‘klaar	  met	  controleren’.	  	  
	  
	  
Groep	  B4	  Licht	  verstandelijk	  gehandicapten	  

Simulatie	  
Stemprinter	  
	  	  

Huidige	  stembiljet	  

	  	  

Niet	  correct	  

Correct	  

Totaal	  

2	  

12	  

14	  

2	  stembiljetten	  geprint	  en	  correct	  
2	  stembiljetten	  geprint	  niet	  alle	  
correct	  
1	  of	  0	  stembiljetten	  geprint	  

3	  

2	  

5	  

12	  

3	  

15	  

Totaal	  

17	  

17	  

34	  

Tabel	  22	  Licht	  verstandelijk	  gehandicapten:	  Vergelijking	  resultaten	  simulatie	  stemprinter	  en	  huidige	  
stembiljet.	  

	  

79

Onderzoeksvraag	  2:	  Tabbladen	  
‘Vormt	  de	  gekozen	  tabbladen	  systematiek	  voor	  het	  weergeven	  van	  de	  kandidaten	  in	  de	  simulatie	  
van	  de	  stemprinter	  een	  belemmering	  bij	  het	  bedienen	  van	  de	  stemprinter?’	  	  
Criterium:	  Nee,	  indien	  de	  proefpersonen	  in	  staat	  is	  om	  de	  opdracht	  op	  tabblad	  2	  of	  3	  juist	  uit	  te	  
voeren.	  	  
Er	  zit	  een	  klein	  verschil	  in	  het	  correct	  uitvoeren	  van	  een	  opdracht	  zonder	  tabblad	  of	  met	  tabblad.	  
e
Tabel	  23	  laat	  zien	  dat	  er	  3	  personen	  in	  staat	  zijn	  om	  de	  opdracht	  voor	  het	  1 	  tabblad	  correct	  uit	  te	  
voeren.	  Om	  een	  vergelijking	  te	  kunnen	  maken	  is	  er	  alleen	  gekeken	  naar	  de	  personen	  die	  beide	  
lijstverkiezingen	  zijn	  gestart	  (19	  van	  de	  34	  personen).	  
	  
Beide	  opdrachten	  niet	  correct	  

2	  

e

Alleen	  opdracht	  1 	  tab	  correct	  
e

3	  

e

Alleen	  opdracht	  2 	  of	  3 	  tab	  correct	  

0	  

Beide	  opdrachten	  correct	  

14	  

Totaal	  

19	  

Tabel	  23	  Aantal	  licht	  verstandelijk	  gehandicapten	  dat	  in	  staat	  is	  om	  een	  opdracht	  voor	  een	  lijstverkiezing	  
goed	  uit	  te	  voeren.	  

	  
	  
6.6.2 Tijdsduur	  van	  het	  stemproces	  	  
tijd	  (seconden)	  
	  Start	  tot	  Einde	  

214	  

Start	  lijstverkiezing	  Zonder	  tab	  tot	  ‘print	  stembiljet’	  

36	  

Start	  lijstverkiezing	  Met	  tab	  tot	  ‘print	  stembiljet’	  

38	  

	  
	  
Heeft	  u	  de	  stembiljetten	  gecontroleerd?	  
Ja	  

24	  

Nee	  

7	  

Geen	  data	  

3	  

Totaal	  

34	  

	  
Waarom	  heeft	  u	  de	  stembiljetten	  niet	  gecontroleerd?	  
• ‘Vergeten.’	  
• Begrijpt	  het	  niet.’	  
• ‘Heb	  zomaar	  wat	  gekozen	  (foto).’	  
• ‘Vergeten.’	  
• ‘Lag	  op	  de	  kop.’	  
• ‘Niet	  gezien	  dat	  dat	  moest.’	  
	  
Komt	  er	  wat	  er	  op	  de	  stembiljetten	  staat	  overeen	  met	  wat	  u	  wilde	  kiezen?	  
Ja	  

24	  

Geen	  data	  

10	  

Totaal	  

34	  

	  
	  
	  

80	  

Vond	  u	  het	  maken	  van	  de	  keuzes	  en	  het	  printen	  van	  de	  stembiljetten:	  makkelijk,	  moeilijk	  of	  
neutraal?	  
Moeilijk	  

8	  

Makkelijk	  

12	  

Neutraal	  

13	  

Geen	  data	  

1	  

Totaal	  

34	  

	  
Vervolgvraag:	  Waarom	  moeilijk?	  
• Begrijpt	  het	  niet.	  
• ‘Je	  weet	  niet	  hoe	  het	  moet.’	  
• ‘Moeilijk	  om	  keuze	  te	  maken.’	  
• ‘Moeilijk	  om	  te	  lezen	  en	  te	  snappen.’	  
• ‘Vond	  het	  te	  moeilijk.’	  
	  
Heeft	  u	  de	  logo’s	  of	  de	  foto’s	  gebruikt	  om	  te	  zoeken	  op	  wie	  u	  een	  keuze	  wilde	  maken?	  
Ja	  

26	  

Nee	  

6	  

Geen	  data	  

2	  

Totaal	  

34	  

	  
Vervolgvraag:	  Waarom	  heeft	  u	  niet	  de	  logo’s	  en	  foto’s	  gebruikt?	  
• Begrijpt	  de	  bedoeling	  niet.	  
• ‘Naar	  lijst-­‐	  en	  kandidaatnummers	  gekeken.’	  
• ‘Vooral	  naar	  de	  namen	  gekeken.’	  
• ‘Vooral	  namen	  gelezen,	  grote	  letters	  zijn	  fijn.’	  

81

6.7 Gebruik	  Simulatie	  stemprinter	  voor	  alle	  proefpersonen	  in	  groep	  B	  	  
	  
Indien	  het	  gebruik	  van	  het	  huidige	  stembiljet	  vergeleken	  wordt	  met	  dat	  van	  de	  simulatie	  
stemprinter,	  dan	  blijkt	  dat	  het	  aantal	  proefpersonen,	  uitgezonderd	  de	  blinden,	  dat	  zowel	  het	  
huidige	  stembiljet	  als	  de	  simulatie	  stemprinter	  correct	  kan	  invullen	  aanzienlijk	  is.	  Zie	  Figuur	  26	  
voor	  een	  samenvatting.	  	  
	  
Anders	  gezegd,	  waar	  de	  aanname	  dat	  slechtzienden,	  laaggeletterden	  en	  personen	  met	  een	  licht	  
verstandelijke	  beperking	  niet	  in	  staat	  zouden	  zijn	  het	  huidige	  stembiljet	  zelfstandig	  in	  te	  vullen	  is	  
niet	  correct	  gebleken.	  Een	  aanzienlijk	  deel	  van	  de	  proefpersonen	  blijkt	  dat	  wel	  te	  kunnen.	  	  	  
	  

Papieren	  stembiljet	  
Simulatie	  stemprinter	  (3	  biljetten	  geprint	  en	  correct)	  
Simulatie	  stemprinter	  (3	  biljetten	  geprint)	  
35	  
30	  
25	  
20	  
15	  
10	  
5	  
0	  
Blinden	  

Slechtzienden	  

Laaggeletterden	   Licht	  verstandelijk	  
gehandicapten	  

	  

Figuur	  26	  Groepen	  B:	  correcte	  invulling	  papieren	  stembiljet	  en	  Simulatie	  Stemprinter	  +	  3	  biljetten	  geprint	  

	  
	  
	  

82	  

83

7
7

Conclusies en aanbevelingen

In	  dit	  hoofdstuk	  worden	  conclusies	  getrokken	  op	  basis	  van	  de	  resultaten	  in	  de	  hoofdstukken	  5	  en	  6.	  
Daarnaast	  worden	  de	  verschillende	  interacties	  geëvalueerd,	  het	  onderzoek	  bediscussieerd	  en	  
worden	  aanbevelingen	  gedaan	  voor	  verder	  onderzoek	  en	  ontwikkeling.	  Tenslotte	  worden	  de	  
onderzoeksvragen	  beantwoord.	  
	  

7.1 Inleiding	  
	  
In	  dit	  onderzoek	  is	  nagegaan	  of	  de	  aanname(s)	  juist	  is	  dat	  het	  stemmen	  door	  gebruik	  te	  maken	  
van	  een	  stemprinter	  toegankelijker	  wordt	  voor	  de	  kiezers.	  In	  het	  bijzonder	  voor	  kiezers	  met	  een	  
beperking	  waarvoor	  het	  met	  de	  stemprinter	  mogelijk	  zou	  kunnen	  zijn	  om	  zelfstandig	  te	  stemmen.	  	  
	  
Hiertoe	  zijn	  door	  TUD	  vier	  mogelijke	  gebruiker-­‐stemprinter	  interacties	  ontwikkeld	  en	  is	  een	  
testopzet	  gemaakt.	  Op	  basis	  hiervan	  zijn	  in	  opdracht	  van	  BZK	  door	  een	  externe	  partij	  
proefopstellingen	  van	  een	  simulatie	  van	  een	  stemprinter	  gebouwd	  en	  zijn	  deze	  getest	  door	  een	  
onderzoeksbureau.	  De	  resultaten	  van	  de	  test	  zijn	  door	  TUD	  geanalyseerd.	  
	  
In	  dit	  onderzoek	  zijn	  twee	  groepen	  onderscheiden:	  	  
	  
Groep	  A:	  	  
Personen	  die	  in	  2014	  zelfstandig	  (dat	  wil	  zeggen	  zonder	  hulp	  in	  het	  stemhokje	  van	  een	  
andere	  persoon)	  hebben	  gestemd	  bij	  de	  verkiezing	  van	  de	  leden	  van	  de	  gemeenteraden	  en/	  
of	  de	  leden	  van	  het	  Europees	  Parlement.	  	  Hiertoe	  is	  een	  voldoende	  representatieve	  
steekproef	  van	  407	  proefpersonen	  uit	  de	  Nederlandse	  bevolking	  getrokken,	  rekening	  
houdend	  met	  geslacht,	  leeftijd,	  opleidingsniveau	  en	  regionale	  spreiding.	  
	  	  
Groep	  B:	  	  
De	  populatie	  van	  stemgerechtigde	  personen	  die	  om	  uiteenlopende	  redenen	  mogelijk	  niet	  in	  
staat	  zijn	  om	  zelfstandig	  (dat	  wil	  zeggen	  zonder	  hulp	  in	  het	  stemhokje	  van	  een	  andere	  
persoon)	  te	  stemmen	  met	  het	  papieren	  stembiljet	  dat	  gebruikt	  wordt	  bij	  verkiezingen.	  
Hiervoor	  zijn	  langs	  verschillende	  kanalen	  in	  totaal	  127	  proefpersonen	  geworven:	  	  blinden	  (30	  
personen),	  slechtzienden	  (31	  personen),	  laaggeletterden	  (32	  personen),	  licht	  verstandelijk	  
beperkten	  (34	  personen).	  	  
	  
	  
	  
	  

84	  

7.2 Conclusies	  groep	  A:	  huidige	  kiezer	  	  
	  
De	  meervoudige	  verkiezing	  voor	  groep	  A	  bestond	  uit	  3	  opdrachten;	  	  
2	  lijstverkiezingen	  en	  1	  referendum.	  	  
Alle	  proefpersonen	  hebben	  gebruik	  gemaakt	  van	  de	  aanraakscherm	  interactie.	  
	  
Conclusies	  die	  betreffende	  deze	  groep	  kunnen	  worden	  getrokken	  zijn:	  
	  
1/	  
93%	  van	  de	  proefpersonen	  was	  in	  staat	  alle	  3	  de	  opdrachten	  correct	  uit	  te	  voeren	  
• Binnen	  deze	  subgroep	  van	  378	  personen	  zijn	  geen	  afwijkende	  patronen	  
gevonden	  in	  het	  doorlopen	  van	  het	  keuzeproces.	  
• 360	  proefpersonen	  (88%	  van	  totale	  groep	  A)	  beoordeelden	  het	  maken	  van	  de	  
keuzes	  en	  het	  printen	  van	  de	  stembiljetten	  als	  gemakkelijk,	  14	  waren	  neutraal	  
en	  4	  vonden	  het	  moeilijk.	  
• 353	  personen	  zeggen	  de	  stembiljetten	  te	  hebben	  gecontroleerd.	  25	  personen	  
geven	  aan	  dit	  niet	  gedaan	  te	  hebben,	  met	  name	  omdat	  zij	  vertrouwen	  op	  de	  
computer.	  
	  
2/	  
5%	  van	  de	  proefpersonen	  (21)	  heeft	  wel	  3	  stembiljetten	  geprint,	  maar	  niet	  alle	  
opdrachten	  correct	  uitgevoerd.	  Een	  deel	  van	  deze	  personen	  is	  in	  principe	  in	  staat	  om	  
met	  de	  simulatie	  van	  de	  stemprinter	  om	  te	  gaan.	  Zij	  zijn	  echter	  om	  andere	  redenen	  niet	  
tot	  het	  printen	  van	  3	  correcte	  stembiljetten	  gekomen	  zoals:	  
• Tegenstemmen	  bij	  referendum	  (6)	  bij	  opdracht	  ‘stem	  voor’,	  terwijl	  de,	  meer	  
complexe,	  lijstverkiezingen	  correct	  uitgevoerd	  werden.	  
e
• Referendum	  en	  1	  lijstverkiezing	  correct	  (5),	  maar	  2 	  lijstverkiezing	  fout.	  
Opvallend	  is	  dat	  19	  van	  deze	  21	  personen	  zeggen	  de	  stembiljetten	  wel	  te	  hebben	  
gecontroleerd.	  Slechts	  2	  proefpersonen	  is	  het	  bij	  het	  controleren	  blijkbaar	  opgevallen	  
dat	  wat	  er	  op	  het	  stembiljet	  staat	  niet	  overeenkwam	  met	  de	  opdracht	  die	  was	  gegeven.	  	  
	  
3/	  
De	  overige	  2%	  van	  de	  proefpersonen	  (8)	  hebben	  minder	  dan	  3	  stembiljetten	  geprint.	  
• Bij	  deze	  subgroep	  zijn	  duidelijk	  afwijkende	  patronen	  (veel	  zoeken)	  in	  het	  
keuzeproces	  te	  zien.	  
• Een	  aantal	  proefpersonen	  (3)	  start	  helemaal	  niet.	  
• Proefpersonen	  stoppen	  in	  het	  verkiezingenoverzicht.	  
Ook	  hier	  is	  opvallend	  dat	  3	  van	  de	  8	  personen	  zeggen	  de	  stembiljetten	  te	  hebben	  
gecontroleerd,	  maar	  slechts	  1	  van	  hen	  geeft	  aan	  dat	  het	  niet	  overeenkomt	  met	  de	  
gegeven	  opdracht.	  
	  
4/	  
Op	  basis	  van	  de	  gekozen	  testopzet	  en	  bijbehorende	  relevante	  steekproefgrootte	  kan,	  
met	  een	  betrouwbaarheid	  van	  95%,	  gesteld	  worden	  dat	  88%-­‐98%	  (93%	  ±	  5%)	  van	  de	  
kiezers,	  die	  zelfstandig	  kunnen	  stemmen,	  	  in	  staat	  is	  3	  juiste	  keuzes	  op	  de	  simulatie	  van	  
de	  stemprinter	  te	  maken.	  Voor	  het	  zelfstandig	  printen	  van	  3	  stembiljetten	  is	  dit	  93%-­‐
100%	  (98%	  ±	  5%).	  Het	  aantal	  proefpersonen	  dat	  het	  huidig	  stembiljet	  correct	  invult	  is	  in	  
de	  simulatie	  97,5%.	  	  
	  
5/	  
Met	  name	  de	  achtergrondvariabele	  ‘leeftijd’	  heeft	  een	  invloed	  op	  het	  resultaat:	  
• Van	  de	  proefpersonen	  tussen	  61	  en	  71	  jaar	  is	  92%	  in	  staat	  alle	  3	  de	  opdrachten	  
correct	  uit	  te	  voeren	  (99%	  print	  3	  stembiljetten).	  
• 85%	  van	  de	  proefpersonen	  tussen	  71	  en	  80	  jaar	  is	  in	  staat	  alle	  3	  de	  opdrachten	  
correct	  uit	  te	  voeren	  (100%	  print	  3	  stembiljetten).	  

85

•

	  
6/	  

	  
7/	  

	  
8/	  

Slechts	  40%	  van	  de	  proefpersonen	  van	  81	  jaar	  en	  ouder	  is	  in	  staat	  alle	  3	  de	  
opdrachten	  correct	  uit	  te	  voeren	  (65%	  print	  3	  stembiljetten).	  Dit	  zijn	  8	  van	  in	  
totaal	  20	  proefpersonen	  van	  81	  jaar	  en	  ouder.	  Van	  de	  overige	  12	  personen	  van	  
81	  jaar	  en	  ouder,	  die	  niet	  in	  staat	  zijn	  om	  alle	  drie	  de	  opdrachten	  correct	  uit	  te	  
voeren,	  hebben	  5	  ook	  het	  huidige	  stembiljet	  niet	  correct	  ingevuld.	  Van	  de	  
andere	  7	  personen	  die	  het	  huidige	  stembiljet	  wel	  correct	  hebben	  ingevuld,	  zijn	  
er	  5	  personen	  die	  de	  eerste	  lijstverkiezing	  goed	  hadden	  en	  daarna	  zijn	  gestopt.	  
De	  overige	  2	  hadden	  alleen	  het	  referendum	  goed.	  	  

Voor	  de	  andere	  drie	  achtergrondvariabelen	  geldt:	  
• Opleidingsniveau	  heeft	  eveneens	  invloed	  op	  het	  resultaat.	  Het	  aantal	  
proefpersonen	  dat	  alle	  drie	  opdrachten	  correct	  uitvoerde	  varieerde	  van	  lager	  
opleidingsniveau	  (81%)	  tot	  hoger	  opleidingsniveau	  (100%).	  Voor	  het	  printen	  
van	  3	  stembiljetten	  is	  deze	  variatie	  een	  stuk	  minder	  (95-­‐100%).	  
• Regionale	  spreiding	  blijkt	  van	  minder	  invloed	  te	  zijn	  dan	  opleidingsniveau.	  Het	  
percentage	  proefpersonen	  dat	  alle	  drie	  opdrachten	  correct	  uitvoerde	  varieerde	  
tussen	  92%	  voor	  proefpersonen	  afkomstig	  uit	  stedelijk	  gebied	  en	  96%	  voor	  
proefpersonen	  afkomstig	  uit	  landelijk	  gebied.	  Voor	  het	  printen	  van	  3	  
stembiljetten	  gold	  eenzelfde	  mate	  van	  variatie	  (96-­‐100%).	  
• Het	  geslacht	  van	  de	  proefpersoenen	  blijkt	  nauwelijks	  van	  invloed	  te	  zijn;	  92%	  
van	  de	  vrouwen	  en	  94%	  van	  de	  mannen	  zijn	  in	  staat	  alle	  3	  de	  opdrachten	  goed	  
uit	  te	  voeren	  (97-­‐99%	  print	  3	  stembiljetten).	  
Het	  gebruik	  van	  tabbladen	  in	  het	  kandidatenscherm	  van	  de	  stemprinter	  interactie	  vormt	  
geen	  belemmering	  bij	  het	  bedienen	  van	  de	  stemprinter.	  Het	  aantal	  personen	  dat	  zowel	  
e
e
de	  lijstverkiezing	  op	  het	  1e	  tabblad	  als	  de	  lijstverkiezing	  op	  het	  2 	  of	  3 	  tabblad	  heeft	  
geprint	  is	  nagenoeg	  gelijk.	  
Proefpersonen	  zijn	  in	  staat	  om	  blanco	  te	  stemmen.	  Er	  zijn	  10	  proefpersonen	  die	  deze	  
opdracht	  hebben	  gekregen;	  9	  van	  hen	  voerden	  de	  keuze	  ‘stem	  blanco’	  juist	  uit.	  De	  
andere	  persoon	  heeft	  ook	  de	  lijstverkiezing	  en	  het	  referendum	  niet	  in	  kunnen	  vullen;	  hij	  
kon	  in	  het	  geheel	  niet	  met	  simulatie	  stemprinter	  overweg.	  	  

	  
	  

7.3 Conclusies	  groep	  B:	  mensen	  met	  beperkingen	  	  
	  
De	  meervoudige	  verkiezing	  voor	  groep	  B	  bestond	  uit	  2	  opdrachten;	  	  
• 1	  lijstverkiezing	  en	  1	  referendum	  voor	  de	  groep	  Blinden.	  
• 2	  lijstverkiezingen	  voor	  de	  overige	  B	  groepen.	  
	  
Conclusies	  die	  betreffende	  deze	  groep	  kunnen	  worden	  getrokken	  zijn:	  
	  
1/	  
In	  de	  groep	  B1	  Blinden	  hebben	  25	  van	  de	  30	  proefpersonen,	  die	  gebruik	  hebben	  
gemaakt	  van	  de	  auditieve	  interactie,	  beide	  opdrachten	  correct	  uitgevoerd.	  Daarnaast	  
waren	  er	  4	  proefpersonen	  die	  2	  biljetten	  hebben	  geprint	  maar	  1	  of	  2	  fouten	  hebben	  
gemaakt.	  De	  bediening	  middels	  de	  tactiele	  knoppen	  was	  niet	  voor	  iedereen	  even	  
duidelijk.	  Één	  proefpersoon	  herkende	  de	  ‘partijen’	  niet	  door	  de	  onbekende	  lijstnamen	  
en	  zocht	  op	  de	  verkeerde	  plek	  naar	  de	  kandidaat.	  
	  

86	  

2/	  

	  
3/	  

	  
4/	  

In	  de	  groep	  B2	  Slechtzienden	  hebben	  24	  van	  de	  31	  proefpersonen	  beide	  opdrachten	  
correct	  uitgevoerd.	  Echter,	  de	  meesten	  van	  hen	  (22)	  zijn	  ook	  in	  staat	  het	  papieren	  
huidige	  stembiljet	  correct	  in	  te	  vullen,	  alhoewel	  een	  aantal	  (3)	  met	  moeite.	  	  
Door	  enkele	  proefpersonen	  in	  deze	  groep	  is	  gesteld	  dat	  ze	  de	  simulatie	  van	  de	  
stemprinter	  niet	  (goed)	  kunnen	  zien,	  reden	  om	  aan	  te	  nemen	  dat	  een	  deel	  van	  de	  groep	  
daardoor	  niet	  of	  met	  moeite	  met	  het	  aangeboden	  scherm	  overweg	  kunnen.	  In	  2	  
situaties	  hebben	  proefpersonen	  gebruik	  gemaakt	  van	  auditieve	  ondersteuning.	  In	  één	  
geval	  succesvol	  en	  het	  andere	  geval	  niet.	  
De	  7	  proefpersonen	  in	  deze	  groep	  die	  niet	  in	  staat	  waren	  om	  beide	  opdrachten	  correct	  
uit	  te	  voeren,	  zouden	  mogelijk	  gebaat	  kunnen	  zijn	  met	  het	  gebruik	  van	  de	  auditieve	  
interactie	  die	  de	  blinde	  proefpersonen	  hebben	  gebruikt.	  
In	  de	  groep	  B3	  Laaggeletterden	  zijn	  minder	  proefpersonen	  (15)	  in	  staat	  om	  beide	  
opdrachten	  met	  de	  simulatie	  stemprinter	  correct	  uit	  te	  voeren,	  dan	  het	  correct	  kunnen	  
invullen	  (21)	  van	  het	  huidige	  stembiljet.	  Daarbij	  blijken	  bijna	  allen	  die	  goed	  met	  de	  
stemprinter	  kunnen	  omgaan,	  ook	  het	  huidige	  stembiljet	  correct	  te	  hebben	  ingevuld.	  In	  
deze	  groep	  gaven	  22	  van	  de	  32	  proefpersonen	  aan	  de	  logo’s	  of	  de	  foto’s	  gebruikt	  te	  
hebben	  om	  een	  keuze	  te	  maken.	  
Deze	  groep	  laaggeletterden	  lijkt	  vooral	  moeite	  te	  hebben	  met	  het	  vinden	  van	  het	  
tweede	  of	  derde	  tabblad.	  Ook	  stopt	  een	  groot	  deel	  na	  het	  printen	  van	  één	  stembiljet,	  zij	  
drukken	  niet	  op	  ‘klaar	  met	  controleren’.	  Een	  aantal	  proefpersonen	  heeft	  de	  opdracht	  
niet	  begrepen.	  Deze	  proefpersonen	  dachten	  dat	  ze	  maar	  1	  stembiljet	  hoefden	  te	  
printen.	  Drie	  proefpersonen	  zeggen	  niet	  om	  te	  kunnen	  gaan	  met	  computers	  en	  komen	  
hoogstens	  tot	  het	  lijstenoverzicht.	  Twee	  proefpersonen	  hebben	  zelfs	  niet	  op	  start	  
gedrukt,	  dit	  zijn	  proefpersonen	  die	  aangeven	  niet	  met	  computers	  overweg	  te	  kunnen.	  	  
Groep	  B4	  Licht	  verstandelijk	  gehandicapten	  vertoont	  een	  achteruitgang	  bij	  het	  gebruik	  
van	  de	  stemprinter	  (14)	  ten	  opzichte	  van	  het	  huidige	  stembiljet	  (17).	  Er	  is	  weer	  een	  
relatie	  tussen	  het	  al	  dan	  niet	  kunnen	  omgaan	  met	  de	  simulatie	  stemprinter	  en	  het	  al	  dan	  
niet	  kunnen	  omgaan	  met	  het	  papieren	  stembiljet.	  In	  deze	  groep	  gaven	  26	  van	  de	  34	  
proefpersonen	  aan	  de	  logo’s	  of	  de	  foto’s	  gebruikt	  te	  hebben	  om	  een	  keuze	  te	  maken.	  
Van	  deze	  groep	  licht	  verstandelijk	  gehandicapten	  lijken	  een	  aantal	  proefpersonen	  
moeite	  te	  hebben	  om	  het	  derde	  tabblad	  te	  vinden,	  maar	  zij	  slagen	  er	  wel	  in	  om	  de	  
opdrachten	  correct	  uit	  te	  voeren.	  Zij	  lijken	  de	  simulatie	  wel	  te	  begrijpen.	  	  

	  
	  

7.4 Evaluatie	  van	  de	  interacties	  
	  
Het	  ministerie	  van	  BZK	  wil	  de	  uitkomsten	  van	  dit	  onderzoek	  kunnen	  benutten,	  indien	  het	  kabinet	  
zou	  besluiten	  tot	  de	  invoering	  van	  de	  stemprinter,	  om	  de	  eisen	  voor	  de	  stemprinter	  te	  
specificeren.	  Uit	  de	  uitkomst	  van	  de	  test	  blijkt	  dat	  er	  ruimte	  is	  voor	  verbetering	  van	  het	  ontwerp.	  
De	  volgende	  evaluatie	  geeft	  aan	  op	  welke	  punten	  verbetering	  van	  de	  ontwikkelde	  interacties	  van	  
de	  stemprinter	  (en	  daarmee	  de	  specificaties)	  mogelijk	  kan	  leiden	  tot	  een	  nog	  toegankelijker	  
stemprinter.	  
	  
	  
Interactie	  1:	  Grafisch	  aanraakscherm	  
Het	  grafische	  aanraakscherm	  is	  gebruikt	  door	  de	  groep	  ‘huidige	  kiezers’,	  slechtzienden,	  
laaggeletterden	  en	  licht	  verstandelijk	  gehandicapten.	  

87

	  
	  
	  
Aanraakgevoelig	  scherm	  
Het	  aanraakgevoelige	  scherm	  bleek	  voor	  bijna	  iedereen	  te	  werken.	  Een	  enkeling	  maakte	  een	  
opmerking	  dat	  het	  scherm	  niet	  of	  niet	  goed	  reageerde.	  Een	  oplossing	  zou	  gezocht	  kunnen	  
worden	  in	  aanraakscherm	  dat	  gebruik	  maakt	  van	  een	  andere	  technologie	  of	  een	  pen	  met	  een	  
geleidende	  rubber	  punt.	  
	  
Keuzeproces:	  grafisch	  scherm	  
In	  de	  grafische	  interface	  zijn	  2	  punten	  aan	  te	  wijzen	  waar	  onduidelijkheid	  over	  bestond:	  	  
1. Het	  verkiezingenoverzicht.	  Na	  1	  of	  2	  stembiljetten	  geprint	  te	  hebben	  drukten	  een	  aantal	  
personen	  op	  ‘Stoppen’	  of	  liepen	  weg	  terwijl	  zij	  in	  het	  verkiezingenscherm	  waren,	  zij	  
dachten	  dat	  ze	  “zoals	  altijd”	  maar	  1	  stembiljet	  hoefden	  te	  printen.	  De	  interface	  zou	  op	  
dit	  punt	  meer	  nadruk	  moeten	  krijgen	  op	  de	  openstaande	  verkiezingen.	  	  
2. Het	  scherm	  ‘stembiljet	  controleren’.	  In	  een	  kwart	  van	  de	  gevallen	  werd	  bij	  de	  derde	  
verkiezing	  de	  knop	  ‘Klaar	  met	  controleren’	  niet	  gebruikt.	  Bij	  de	  groepen	  B3	  en	  B4	  was	  dit	  
één	  van	  de	  punten	  waarop	  de	  deelnemers	  de	  test	  afbraken.	  Uit	  de	  gegeven	  
commentaren	  bleek	  dat	  men	  niet	  altijd	  goed	  wist	  wat	  er	  precies	  gecontroleerd	  moet	  
worden.	  De	  interface	  zou	  hier	  meer	  sturend	  in	  kunnen	  zijn.	  Animaties	  kunnen	  worden	  
toegevoegd	  om	  te	  wijzen	  naar	  de	  printer	  en	  meer	  uitleg	  op	  het	  scherm.	  
	  
Tabbladen	  in	  het	  kandidatenscherm	  
Bij	  groep	  A	  bleek	  een	  enkeling	  moeite	  te	  hebben	  met	  het	  vinden	  een	  van	  een	  kandidaat	  op	  een	  
tweede	  of	  derde	  tabblad.	  Vooral	  proefpersonen	  die	  zeggen	  minder	  of	  geen	  computer	  ervaring	  te	  
hebben	  bleken	  hier	  moeite	  mee	  te	  hebben.	  Wellicht	  zou	  dit	  scherm	  verder	  geoptimaliseerd	  
kunnen	  worden	  of	  er	  zou	  gezocht	  kunnen	  worden	  naar	  alternatieve	  oplossingen	  om	  van	  
kandidatenscherm	  te	  wisselen.	  
	  
Gebruik	  van	  logo’s	  en	  foto’s	  
In	  de	  grafische	  interface	  zijn	  logo’s	  gebruikt	  bij	  de	  partijen	  en	  foto’s	  bij	  de	  kandidaten.	  Dit	  zorgt	  
voor	  een	  dubbele	  aanduiding	  die	  voor	  iedereen	  een	  toegevoegde	  waarde	  kan	  hebben,	  maar	  met	  
name	  voor	  diegenen	  die	  moeite	  hebben	  met	  lezen.	  De	  meerderheid	  van	  de	  laaggeletterden	  en	  
licht	  verstandelijk	  gehandicapten	  geven	  in	  deze	  test	  aan	  deze	  afbeeldingen	  gebruikt	  te	  hebben	  bij	  
het	  maken	  van	  hun	  keuze.	  	  
	  
Interactie	  2:	  Auditieve	  ondersteuning	  
De	  auditieve	  ondersteuning	  is	  2	  keer	  gebruikt	  door	  deelnemers	  uit	  de	  slechtzienden	  groep.	  
Beiden	  bleken	  echter	  te	  slechtziend	  om	  de	  stembiljetten	  te	  controleren.	  De	  vraag	  rijst	  of	  deze	  
interactie	  voor	  slechtzienden	  een	  nuttige	  aanvulling	  is	  voor	  het	  grafische	  scherm.	  De	  groep	  zeer	  
slechtzienden	  heeft	  mogelijk	  meer	  baat	  bij	  het	  gebruik	  van	  de	  auditieve	  interactie	  die	  getest	  is	  
door	  blinde	  proefpersonen.	  	  
	  
Interactie	  3:	  Tactiele	  knoppen	  
Deze	  interactie	  bestaat	  uit	  de	  grafische	  interface	  die	  bediend	  wordt	  door	  middel	  van	  tactiele	  
knoppen.	  Deze	  manier	  van	  bedienen	  is	  niet	  gebruikt	  in	  de	  test.	  
	  
Interactie	  4:	  Auditieve	  interactie	  
Deze	  interactie	  is	  door	  30	  blinden	  gebruikt.	  Gezien	  de	  resultaten	  kon	  het	  merendeel	  overweg	  
met	  deze	  interactie.	  Er	  zijn	  nog	  wel	  3	  punten	  van	  aandacht:	  
1. Een	  deel	  van	  de	  deelnemers	  begon	  bij	  het	  navigeren	  met	  de	  pijl	  knop	  naar	  boven	  waar	  
dit	  naar	  beneden	  moest	  zijn.	  Zij	  corrigeerden	  zichzelf	  of	  doorliepen	  de	  lijsten	  in	  

88	  

2.

	  

omgekeerde	  volgorde.	  De	  werking	  van	  de	  pijl	  knoppen	  zou	  uitvoeriger	  toegelicht	  
kunnen	  worden.	  
De	  terug	  knop	  werd	  door	  enkelen	  ook	  herkend	  als	  een	  pijl	  knop.	  Deze	  vorm	  zou	  meer	  
onderscheidend	  kunnen	  worden.	  
Een	  aantal	  deelnemers	  gaf	  suggesties	  ten	  aanzien	  van	  het	  keuzeproces.	  Zij	  wilden	  per	  
keuze	  terugkoppeling	  waar	  ze	  precies	  in	  het	  proces	  zitten	  en	  hoeveel	  stappen	  ze	  nog	  
moeten	  doen.	  	  

7.5 Discussie	  en	  aanbevelingen	  
	  
1.	  	  Volgorde	  bij	  meervoudige	  verkiezingen	  
	  
Een	  uitgangspunt	  bij	  de	  ontwikkeling	  van	  de	  interacties	  is	  dat	  in	  geval	  van	  een	  meervoudige	  
verkiezing	  de	  kiezer	  zelf	  moet	  kunnen	  bepalen	  in	  welke	  volgorde	  de	  een	  keuze	  wordt	  gemaakt	  
voor	  de	  verkiezingen.	  De	  TUD	  plaatst	  vraagtekens	  bij	  het	  nut	  van	  dit	  uitgangspunt.	  Wat	  is	  de	  
toegevoegde	  waarde	  van	  deze	  keuzevrijheid?	  Diverse	  proefpersonen,	  zowel	  in	  de	  uiteindelijke	  
test	  als	  in	  eerdere	  evaluatietesten,	  hadden	  hier	  moeite	  mee	  of	  liepen	  er	  zelfs	  op	  vast.	  Een	  lineair	  
proces,	  waarbij	  de	  verkiezingen	  in	  een	  vooraf	  vastgestelde	  volgorde	  doorlopen	  worden,	  lijkt	  een	  
eenvoudiger	  alternatief.	  Dit	  sluit	  aan	  bij	  een	  vergelijkend	  onderzoek	  tussen	  deze	  twee	  
18
alternatieven 	  waaruit	  blijkt	  dat	  er	  minder	  fouten	  gemaakt	  worden	  in	  een	  lineair	  proces	  en	  dat	  
de	  kiezers	  hier	  een	  voorkeur	  voor	  hebben.	  Bijkomend	  voordeel	  is	  dat	  dit	  bovendien	  sneller	  gaat.	  
	  
Vanuit	  het	  oogpunt	  van	  toegankelijkheid	  verdient	  het	  daarom	  aanbeveling	  een	  vooraf	  
vastgesteld	  lineair	  proces,	  als	  alternatief	  voor	  een	  proces	  waarin	  de	  kiezer	  zelf	  de	  volgorde	  van	  
de	  verkiezingen	  kan	  bepalen,	  serieus	  in	  overweging	  te	  nemen.	  De	  TUD	  onderkent	  evenwel	  dat	  op	  
dit	  punt	  er	  een	  afhankelijkheid	  bestaat	  van	  de	  wijze	  waarop	  de	  kiezer	  de	  stemprinter	  zal	  
activeren.	  Derhalve	  zal	  dit	  punt	  onderzocht	  moeten	  worden	  in	  samenhang	  met	  het	  
activeringsvraagstuk.	  	  
	  
	  
2.	  	  Alternatieve	  testopzet	  
	  
In	  de	  uitgevoerde	  test	  is	  gebruik	  gemaakt	  van	  fictieve	  lijsten	  (+logo’s)	  en	  kandidaten	  (+foto’s).	  De	  
test	  werd	  afgenomen	  op	  een	  moment	  dat	  er	  geen	  verkiezingen	  waren	  en	  vond	  niet	  plaats	  in	  een	  
stemlokaal.	  Daarenboven	  kregen	  de	  proefpersonen	  een	  opdracht.	  	  	  	  	  
Naast	  de	  instructie	  direct	  vooraf	  aan	  de	  test	  hebben	  de	  proefpersonen	  geen	  voorlichting	  
gekregen	  over	  het	  veranderde	  stemproces	  en	  konden	  vooraf	  niet	  oefenen	  met	  de	  nieuwe	  
interacties.	  Om	  een	  eerste	  beeld	  te	  krijgen	  van	  de	  toegankelijkheid	  bij	  het	  gebruik	  van	  een	  
stemprinter	  is	  dit	  een	  goed	  testkader.	  	  
	  
Om	  met	  een	  grotere	  betrouwbaarheid	  en	  nauwkeurigheid	  vast	  te	  kunnen	  stellen	  of	  kiezers	  
zelfstandig	  een	  stem	  kunnen	  uitbrengen	  op	  een	  simulatie	  van	  een	  stemprinter	  zou	  een	  volgende	  
test,	  met	  een	  grotere	  steekproefgrootte,	  plaats	  moeten	  vinden	  met	  echte	  lijsten	  en	  kandidaten.	  
Bij	  voorkeur	  wordt	  zo’n	  test	  dan	  ook	  georganiseerd	  in	  of	  in	  de	  nabijheid	  van	  een	  stemlokaal	  waar	  
ook	  gestemd	  wordt.	  Belangrijk	  punt	  hierbij	  is	  dat	  voorafgaand	  aan	  een	  dergelijke	  test	  
voorlichting	  	  wordt	  gegeven	  aan	  kiezers	  die	  aan	  de	  test	  kunnen	  meedoen.	  De	  voorlichting	  zou	  
	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  
18

	  Greene,	  K.	  K.,	  Byrne,	  M.	  D.,	  Goggin,	  S.	  N.	  2013.	  How	  to	  build	  an	  undervoting	  machine:	  Lessons	  from	  an	  
alternative	  ballot	  design.	  2013	  USENIX	  Journal	  of	  Election	  Technology	  and	  Systems	  (JETS).	  

89

bijvoorkeur	  een	  vorm	  moeten	  hebben	  die	  het	  mogelijk	  maakt	  om	  te	  oefenen.	  Hierbij	  past	  wel	  de	  
kanttekening	  dat	  de	  ervaring	  leert	  dat	  maar	  (een	  gering)	  deel	  van	  de	  mensen	  
voorlichtingsmateriaal	  leest	  cq	  daarvan	  gebruik	  maakt.	  	  
	  
	  
3.	  	  Gebruik	  van	  het	  woord	  ‘lijsten’	  
	  
Gedurende	  de	  evaluatie	  testen	  die	  uitgevoerd	  zijn	  tijdens	  de	  ontwikkeling	  van	  de	  interacties	  met	  
enkele	  tientallen	  vertegenwoordigers	  uit	  de	  verschillende	  doelgroepen	  was	  een	  terugkerende	  
opmerking	  dat	  het	  gebruik	  van	  het	  begrip	  “lijst”	  bij	  het	  gefaseerd	  stemmen	  niet	  duidelijk	  is.	  Bij	  
het	  woord	  ‘lijsten’	  denken	  mensen	  aan	  de	  kandidatenlijsten	  (wat	  het	  in	  feite	  ook	  zijn).	  De	  
kandidaten	  staan	  echter	  in	  het	  volgende	  kandidatenscherm.	  Het	  overzicht	  met	  lijsten	  zien	  
mensen	  als	  een	  overzicht	  van	  partijen:	  met	  partij	  logo’s,	  geen	  lijst	  logo’s.	  Opgemerkt	  dient	  te	  
worden	  dat	  in	  de	  testen	  met	  de	  proefopstelling	  deze	  opmerking	  door	  niemand	  gemaakt	  is.	  Er	  is	  
echter,	  anders	  dan	  in	  de	  evaluatie	  testen,	  in	  de	  test	  ook	  niet	  expliciet	  gevraagd	  of	  de	  
proefpersonen	  opmerkingen	  wilden	  maken	  over	  dit	  soort	  aspecten.	  Op	  basis	  van	  de	  
opmerkingen	  die	  zijn	  gemaakt	  tijdens	  de	  ontwikkeling	  van	  de	  interactie	  adviseert	  TUD	  in	  de	  
interacties	  het	  woord	  ‘partij’	  te	  gebruiken	  in	  plaats	  van	  ‘lijst’.	  	  
	  
	  
4.	  Toetsing	  huidige	  stembiljet	  
	  
Om	  te	  bepalen	  of	  kiezers	  in	  staat	  zijn	  het	  huidige	  stembiljet	  juist	  in	  te	  vullen	  is	  een	  toetsing	  
gedaan	  met	  het	  huidige	  stembiljet	  met	  fictieve	  lijsten	  en	  kandidaten.	  In	  groep	  A	  bleek	  2,5%	  van	  
de	  proefpersonen	  niet	  in	  staat	  om	  1	  biljet	  correct	  in	  te	  vullen.	  	  
Aanname	  is	  geweest	  dat	  als	  proefpersonen	  1	  biljet	  correct	  in	  kunnen	  vullen,	  zij	  ook	  bij	  
meervoudige	  verkiezingen	  of	  volmacht	  alle	  biljetten	  correct	  in	  kunnen	  vullen.	  De	  vraag	  is	  of	  deze	  
aanname	  correct	  is.	  In	  geval	  van	  het	  invullen	  van	  meerdere	  stembiljetten	  zou	  het	  kunnen	  
voorkomen	  dat	  ook	  meer	  biljetten	  niet	  juist	  ingevuld	  worden.	  Zoals	  ook	  blijkt	  uit	  de	  testen	  met	  
de	  simulatie	  van	  de	  stemprinter.	  Dit	  geldt	  in	  principe	  ook	  voor	  groep	  B.	  
	  
Zou	  het	  ministerie	  van	  BZK	  verdere	  testen	  gaan	  uitvoeren,	  met	  zowel	  groep	  A	  als	  B,	  dan	  wordt	  
aanbevolen	  om	  een	  vergelijkende	  test	  in	  plaats	  van	  een	  toetsende	  test	  uit	  te	  voeren.	  In	  een	  
vergelijkende	  test	  wordt	  de	  simulatie	  stemprinter	  vergeleken	  met	  een	  zelfde	  aantal	  en	  type	  
papieren	  stembiljetten.	  Ook	  vindt	  de	  test	  van	  stemprinter	  en	  papieren	  stembiljet	  op	  een	  zelfde	  
manier	  plaats	  in	  een	  stemhokje.	  
	  
	  
5.	  	  Auditieve	  ondersteuning	  
	  
De	  auditieve	  ondersteuning	  is	  met	  name	  ontwikkeld	  voor	  de	  groepen	  laaggeletterden,	  licht	  
verstandelijk	  gehandicapten	  en	  een	  deel	  van	  de	  slechtzienden.	  In	  de	  testopzet	  was	  voorzien	  dat	  
proefpersonen	  uit	  deze	  groepen	  die	  in	  eerste	  instantie	  niet	  in	  staat	  zouden	  zijn	  om	  het	  grafisch	  
aanraakscherm	  te	  bedienen	  vervolgens	  dit	  nogmaals	  zouden	  proberen	  met	  auditieve	  
ondersteuning.	  Ondanks	  het	  feit	  dat	  er	  15	  van	  de	  32	  laaggeletterden	  en	  14	  van	  de	  34	  licht	  
verstandelijk	  gehandicapten	  niet	  alle	  opdrachten	  goed	  uitvoeren	  is	  dit	  geen	  enkele	  keer	  gebeurd.	  
In	  het	  algemeen	  wilden	  deze	  proefpersonen	  na	  een	  mislukte	  eerste	  poging	  de	  simulatie	  van	  de	  
stemprinter	  niet	  nogmaals	  proberen.	  
Voor	  een	  deel	  van	  de	  groep	  (zeer)	  slechtzienden	  die	  niet	  overweg	  kon	  met	  het	  aanraakscherm,	  
bleek	  de	  auditieve	  ondersteuning	  niet	  zinvol	  te	  zijn.	  Zij	  zouden	  mogelijk	  meer	  gebaat	  zijn	  met	  de	  
auditieve	  interactie.	  	  

90	  

	  
Om	  te	  bepalen	  of	  de	  auditieve	  ondersteuning	  waarde	  heeft	  voor	  de	  doelgroepen	  laaggeletterden	  
en	  licht	  verstandelijk	  gehandicapten	  is	  het	  noodzakelijk	  om	  dit	  specifiek	  te	  testen	  met	  deze	  
groepen.	  
	  
	  
6.	  	  Interactie	  met	  tactiele	  koppen	  
	  
De	  interactie	  met	  tactiele	  knoppen	  is	  ontwikkeld	  voor	  mensen	  met	  motorische	  beperkingen	  die	  
moeite	  hebben	  om	  hun	  vinger	  goed	  te	  positioneren	  op	  het	  aanraakscherm	  of	  niet	  ver	  genoeg	  
kunnen	  reiken.	  Deze	  interactie	  is	  nog	  niet	  getest.	  	  	  
	  
Om	  te	  bepalen	  of	  interactie	  met	  tactiele	  knoppen	  waarde	  heeft	  voor	  mensen	  met	  motorische	  
beperkingen	  is	  het	  noodzakelijk	  alsnog	  om	  dit	  specifiek	  te	  testen	  met	  deze	  groep.	  
	  

7.6 Beantwoording	  van	  de	  onderzoeksvragen	  
	  
Het	  doel	  van	  dit	  onderzoek	  is	  na	  te	  gaan	  of	  de	  aanname(s)	  van	  de	  commissie	  Van	  Beek	  juist	  is	  dat	  
het	  stemmen	  door	  gebruik	  te	  maken	  van	  een	  stemprinter	  toegankelijker	  wordt	  voor	  de	  kiezers.	  
In	  het	  bijzonder	  voor	  kiezers	  met	  een	  beperking	  waarvoor	  het	  met	  de	  stemprinter	  mogelijk	  zou	  
kunnen	  zijn	  om	  zelfstandig	  te	  stemmen.	  	  
	  
Op	  basis	  van	  voorgaande	  conclusies	  ten	  aanzien	  van	  de	  testresultaten	  van	  de	  simulatie	  van	  de	  
stemprinter,	  	  de	  evaluatie	  van	  de	  interacties	  en	  de	  discussie	  en	  aanbevelingen,	  kunnen	  de	  
geformuleerde	  onderzoeksvragen	  worden	  beantwoord:	  
	  
	  
1	  
Is	  de	  voorgestelde	  stemmethode	  met	  gebruikmaking	  van	  een	  stemprinter	  toegankelijker	  
voor	  mensen	  met	  een	  beperking;	  	  c.q.	  zijn	  meer	  kiesgerechtigden	  in	  staat	  om	  zelfstandig	  
te	  stemmen.	  
	  
De	  voorgestelde	  stemmethode	  is,	  met	  gebruikmaking	  van	  de	  voor	  dit	  onderzoek	  ontwikkelde	  
simulatie	  van	  een	  stemprinter,	  toegankelijker	  voor	  blinden	  en	  slechtzienden.	  Dit	  geldt	  niet	  voor	  
laaggeletterden	  en	  licht	  verstandelijk	  gehandicapten.	  Voor	  mensen	  met	  een	  motorische	  
beperking	  kunnen	  er	  in	  dit	  onderzoek	  geen	  uitspraken	  worden	  gedaan,	  aangezien	  er	  geen	  test	  
heeft	  plaatsgevonden	  met	  proefpersonen	  van	  deze	  categorie.	  
	  
	  
2	  
Is	  de	  voorgestelde	  stemmethode	  met	  gebruikmaking	  van	  een	  stemprinter	  toegankelijk	  
voor	  de	  huidige	  kiezer.	  
	  
De	  voorgestelde	  stemmethode	  is,	  met	  gebruikmaking	  van	  de	  voor	  dit	  onderzoek	  ontwikkelde	  
simulatie	  van	  een	  stemprinter,	  toegankelijk	  voor	  de	  overgrote	  meerderheid	  van	  de	  huidige	  
kiezers.	  Echter	  bij	  ouderen	  is	  dat	  beeld	  anders.	  Vanaf	  71	  jaar	  kunnen	  minder	  personen	  dan	  
gemiddeld	  overweg	  met	  de	  simulatie	  van	  de	  stemprinter.	  En	  dat	  beeld	  verslechtert	  naarmate	  de	  
leeftijd	  stijgt.	  	  

91

Bijlagen
	  
	  
	  

92	  

Bijlage	  1	  
Uitsnede	  van	  het	  kandidatenoverzicht	  met	  20	  kandidaten,	  op	  ware	  grootte.

93

	  
Uitsnede	  van	  het	  kandidatenoverzicht	  met	  80	  kandidaten,	  op	  ware	  grootte.

94	  

Uitsnede	  van	  het	  huidige	  stembiljet,	  op	  ware	  grootte.

95

	  

Bijlage	  2	  	  
Audio	  ondersteuning,	  alle	  fragmenten.	  
Nummer

Schermnaam
Start

1.1

2.1

2.2

2.3

2.4

1.2

3.1

Nummer

Kandidaten

Kandidaat
bevestigen

Printen

Welkom. Druk op start om te beginnen

10 sec.

1.11

Selecteer een verkiezing door een van de
knoppen aan te raken.

10 sec.

1.101

U bent teruggegaan naar het
verkiezingenoverzicht.

2.11

U heeft Verkiezing voor de gemeenteraad
geselecteerd.

2.13

Selecteer een lijst.

2.101

U bent teruggegaan naar het lijstenoverzicht.

2.211

U heeft lijst

2.212

geselecteerd

2.213

Deze lijst is gecombineerd met lijst 5

2.214

Deze lijst is gecombineerd met lijst 3

2.22

Kies een kandidaat.

2.23

U kunt meer kandidaten zichtbaar maken door op een
van de knoppen boven de kandidaten te drukken.

2.201

U bent teruggegaan naar het kandidatenoverzicht.

2.311

Uw keuze: lijst

2.312

kandidaat

2.32

Bent u het eens met deze keuze? Druk dan op keuze
bevestigen. Wilt u toch een andere keuze maken?
Druk dan op de terug-knop.

2.41

Het stembiljet met uw keuze wordt geprint.

1.21

U heeft een stembiljet geprint. Selecteer een
volgende verkiezing. Als u geen keuzes meer wilt
maken, druk dan op stoppen.

herhaling
1.101

U bent teruggegaan naar het verkiezingenoverzicht.

Verkiezingen

Referendumvr
aag

3.11

3.101

96	  

Interval

0.1

Verkiezingen

Lijsten

Tekst na het indrukken van een knop.

U heeft Referendum geselecteerd. De
referendumtekst wordt nu voorgelezen: Bent u voor of
tegen de wet voor het bouwen van nieuwe kantoren
naast het stadhuis? Maak een keuze
U bent teruggegaan naar het referendum. Bent u voor
of tegen de wet voor het bouwen van nieuwe

10 sec.

10 sec.

10 sec.

10 sec.

kantoren naast het stadhuis? Maak een keuze

3.2

3.3

Referendum
bevestigen

Printen

3.21

U heeft ‘Voor’ geselecteerd.

3.22

U heeft 'Tegen' geselecteerd.

3.23

U heeft 'Blanco' geselecteerd.

3.24

Bent u het eens met deze keuze? Druk dan op 'keuze
bevestigen'. Wilt u toch een andere keuze maken?
Druk dan op de terug-knop.

herhaling
2.41

Het stembiljet met uw keuze wordt geprint.

1.32

U kunt nu de koptelefoon afzetten.

1.33
1.34

1.35

1.36

1.37

10 sec.

10 sec.

U heeft geen stembiljetten geprint. U heeft voor 2
verkiezingen nog geen keuzes gemaakt. Druk op
terug om wel keuzes te maken.
U heeft geen stembiljetten geprint. U heeft voor 3
verkiezingen nog geen keuzes gemaakt. Druk op
terug om wel keuzes te maken.
U heeft 1 stembiljet geprint. U heeft voor 1 verkiezing
nog geen keuze gemaakt. Wilt u toch nog een keuze
maken? Druk dan op terug. Bent u klaar? Geef dan
het stembiljet af.
U heeft 1 stembiljet geprint. U heeft voor 2
verkiezingen nog geen keuze gemaakt. Wilt u toch
nog keuzes maken? Druk dan op terug. Bent u klaar?
Geef dan het stembiljet af.
U heeft 2 stembiljetten geprint. U heeft voor 1
verkiezing nog geen keuze gemaakt. Wilt u toch nog
een keuze maken? Druk dan op terug. Bent u klaar?
Geef dan de stembiljetten af.

1.38

U heeft 2 stembiljetten geprint. Geef de stembiljetten
af.

1.39

U heeft 3 stembiljetten geprint. Geef de stembiljetten
af.

	  
	  
	  

97

Bijlage	  3	  
Tactiele	  knoppen,	  op	  ware	  grootte	  
	  

98	  

Afmetingen	  en	  onderlinge	  afstanden	  van	  de	  tactiele	  knoppen	  

	  
	  
	  
	  
	  
	  
	  

99

	  

Bijlage	  4	  	  
Audio	  interactie	  
	  
Schermnaam

Nummer

Introductie

0.11

instructie

0.21

verkiezingenoverzicht

1.11

1.101

1.111

Lijsten

	  

Tekst

Welkom bij de verkiezingen.
Om te starten, druk op de ronde
knop.

U kunt 2 verkiezingen selecteren.
Als u niet verder wilt gaan, kunt u
ook stoppen.
	  	  

	   Tekst na het indrukken van de

	  

	   Tekst na het indrukken van de

	   opmerkingen

	  	  

	  	  

	  	  

interval 10 sec.

Met dit apparaat kunt u een
stembiljet printen met de door u
gemaakte keuzes. Gebruik de
twee driehoekige knoppen om
door de keuzen te lopen.
Met de ronde knop maakt u een
keuze.
Met de pijl-knop linksboven gaat u
terug naar het voorgaande menu.
Dit wordt de terug-knop genoemd.

	  	  

	  	  

	  	  

	  	  

U bent teruggegaan naar het
verkiezingenoverzicht.
[aansluitend: AI_1.11 of AI_1.111]

ronde knop.

Tekst na het indrukken
van de pijl knoppen

terug knop

	  	  

1.12

U kunt 1 verkiezing selecteren.
Als u niet verder wilt gaan, kunt u
ook stoppen.
Gebruik de driehoekige knoppen
om door de keuzen te lopen en
maak een keuze met de ronde
knop.

	  	  

	  	  

1.13

	  	  

	  	  

Verkiezing van de gemeenteraad.

	  	  

1.15

	  	  

	  	  

	  	  

1.16

	  	  

	  	  

Referendum over nieuwe
kantoren.
Stoppen

2.11

U heeft verkiezing van de
gemeenteraad geselecteerd. U
kunt nu kiezen uit 21 lijsten of
blanco.

	  	  

2.101

	  	  

	  	  

interval 10 sec.

	  	  

U bent teruggegaan naar het
lijstenoverzicht van de Verkiezing
van de gemeenteraad. U kunt nu
kiezen uit 21 lijsten of blanco.

2.11a

Kandidaten

2.212

... geselecteerd

2.213

Deze lijst is gecombineerd met
lijst 6
Deze lijst is gecombineerd met
lijst 2
U kunt nu kiezen uit ...

2.214
2.221
2.222
2.223
2.21a

	  	  
... kandidaten
Gebruik de driehoekige knoppen
om door de kandidaten te lopen
en maak een keuze met de ronde
knop.
Om terug te keren naar het
lijstenoverzicht, druk op de terugknop.

2.310

	  	  

U bent teruggegaan naar het
kandidatenoverzicht.

U heeft Lijst ...

	  	  

	  	  

	  	  
	  	  

	  	  

	  	  

	  	  

	  	  

	  	  

	  	  

	  	  

	  	  

kandidaten van lijst
[lijstnummer,lijstnaam]

	  	  

	  	  

	  	  

	  	  

	  	  
	  	  

Uw keuze:

	  	  

	  	  

	  	  

interval 10 sec.

	  	  

2.311

	  	  

Lijst ...

	  	  

	  	  

2.312

	  	  
Bent u het eens met deze keuze
en wilt u het stembiljet printen?
Druk dan op de ronde knop. Wilt
u toch een andere keuze maken?
Druk dan op de terug-knop

kandidaat

	  	  

	  	  

	  	  

	  	  

	  	  

2.41

	  	  

Het stembiljet met uw keuze
wordt geprint.

	  	  

2.42

Het stembiljet zal rechts van de
knoppen liggen.

2.32

Printen

	  	  

2.201
2.211

Kandidaat
bevestigen

	  	  

Gebruik de driehoekige knoppen
om de lijst te zoeken waarop u
wilt stemmen. Heeft u de lijst
gevonden die u zocht? Druk dan
op de ronde knop om uw keuze te
maken. Wilt u terug naar het
verkiezingenoverzicht? Druk dan
op de terug-knop.

interval 10 sec.

interval 10 sec.

	  	  
	  	  
101

Verkiezingenoverzicht

Referendum

1.21

Het stembiljet is geprint en ligt in
de printer. U kunt nog 1
verkiezing selecteren. Als u al uw
keuzes heeft gemaakt, selecteer
dan "Stoppen".

	  	  

	  	  

	  	  

Herhaling
2.101

	  	  

	  	  

	  	  

	  	  

3.11

	  	  

U heeft referendum geselecteerd.
U hoort nu de tekst van het
referendum.
Bent u voor of tegen de wet voor
het bouwen van nieuwe kantoren
naast het stadhuis?
U kunt er ook voor kiezen om
blanco te selecteren.

	  	  

	  	  

3.12

Gebruik de driehoekige knoppen
om door de antwoorden te lopen
en maak een keuze met de ronde
knop.
Wilt u terug naar het
verkiezingenoverzicht? Druk dan
op de terug-knop.

	  	  

	  	  

3.101

	  	  

	  	  

	  	  

U bent teruggegaan naar de
referendumvraag. De
referendumtekst wordt nu
voorgelezen: Bent u voor of tegen
de wet voorhet bouwen van
nieuwe kantorennaast het
stadhuis?U kunt er ook voor
kiezen om blanco te selecteren.

3.21

	  	  

	  	  

3.22

	  	  

	  	  

Voor de wet voor het bouwen van
nieuwe kantoren naast het
stadhuis.
Tegen de wet voor het bouwen
van nieuwe kantoren naast het
stadhuis.
Blanco, ten aanzien van de wet
voor het bouwen van nieuwe
kantoren naast het stadhuis.

	  	  

3.23

Referendum
bevestigen

102	  

3.31

	  	  

U heeft 'Voor' de wet voor het
bouwen van nieuwe kantoren
naast het stadhuis geselecteerd.

3.32

	  	  

U heeft 'Tegen' de wet voor het
bouwen van nieuwe kantoren
naast het stadhuis geselecteerd.

	  	  

	  	  

	  	  

	  	  

interval 10 sec.

Printen

Einde

3.33

	  	  

U heeft 'Blanco', ten aanzien van
de wet voor het bouwen van
nieuwe kantoren naast het
stadhuis geselecteerd.

	  	  

	  	  

3.4

Wilt u het stembiljet met uw keuze
printen? Druk dan op de ronde
toets.
Wilt u toch een andere keuze
maken? Druk dan op de terugknop.

	  	  

	  	  

	  	  

3.51

	  	  

Het stembiljet met uw keuze
wordt geprint.

	  	  

	  	  

2.42

Het stembiljet zal rechts van de
knoppen liggen.

3.601

U heeft geen stembiljetten
geprint. U heeft voor 2
verkiezingen nog geen keuzes
gemaakt. Wilt u toch nog keuzes
maken? Druk dan op de terugknop. Bent u klaar? Zet dan de
koptelefoon af.
U heeft één stembiljet geprint. U
heeft voor 1 verkiezing nog geen
keuze gemaakt.Wilt u toch nog
een keuze maken? Druk dan op
de terug-knop. Bent u klaar?
Neem dan het stembiljet mee en
geef het af.

	  	  

	  	  

	  	  

interval 10 sec.

	  	  

	  	  

	  	  

interval 10 sec.

U heeft twee stembiljetten geprint.
Neem deze mee en geef ze af.
U kunt nu de koptelefoon
afzetten.

	  	  

	  	  

	  	  

interval	  10	  sec.	  

	  	  

	  	  

	  	  

	  	  

3.602

3.603
3.62

interval 10 sec.

	  	  

103