Statistisch advies voor de steekproef
methodologie met betrekking tot de
toegankelijkheid van stemlokalen

Prof. Dr. Ernst C. Wit
Università della Svizzera italiana

Versie: 5 maart 2023

1

Inhoudsopgave
MANAGEMENTSAMENVATTING ...................................................................................................................... 3
BEKNOPTE OMSCHRIJVING VAN HET ONDERZOEK........................................................................................... 4
TOEGANKELIJKHEIDSSTUDIES 2018 – 2022 ...................................................................................................... 5
OPZET VAN VORIGE TOEGANKELIJKHEIDSSTEEKPROEVEN .................................................................................................. 5
RESULTATEN VAN VORIGE TOEGANKELIJKHEIDSSTUDIES ................................................................................................... 5
CASESTUDY: TOEGANKELIJKHEIDSSTUDIE TWEEDE KAMERVERKIEZINGEN 2021 .................................................................... 6
ALGEMENE AANBEVELINGEN VOOR DE TOEGANKELIJKHEIDSSTEEKPROEF ...................................................... 9
PRAKTISCHE OPZET VAN MOGELIJKE STEEKPROEF ......................................................................................... 10
STRATIFICATIE PER PROVINCIE .................................................................................................................................. 10
STRATIFICATIE PER GEMEENTE GROOTTE .................................................................................................................... 10
AANTAL STEMBUREAUS PER GEMEENTE ..................................................................................................................... 10
DISCUSSIE EN CONCLUSIE .............................................................................................................................. 12
APPENDIX A: MOGELIJKE KEUZE VAN GEMEENTES ........................................................................................ 13
APPENDIX B: PRAKTISCHE BEREKENINGEN .................................................................................................... 14
B.1. STEEKPROEFGROOTTE...................................................................................................................................... 14
B2. VERDELING VAN DE TE BEZOEKEN STEMBUREAUS OVER DE PROVINCIES ....................................................................... 15
B3. VERDELING VAN STEMBUREAUS OVER GEMEENTES VAN VERSCHILLENDE GROOTTES ...................................................... 16

2

Managementsamenvatting
Om veranderingen in het toegankelijkheidspercentage van de stembureaus in Nederland te kunnen
monitoren van verkiezen tot verkiezing is het noodzakelijk dat de huidige steekproef van rond de 60
stemlokalen wordt uitgebreid tot rond de 200 stemlokalen. De steekproef moet bovendien een goede
afspiegeling zijn van landelijke situatie. Omdat het toegankelijkheidspercentage lijkt af te hangen van
grootte van de gemeente, stellen we voor een gestratificeerde steekproef uit te voeren met als
stratificatie factoren de 12 provincies en drie gemeentegroottes (klein, middelgroot, en groot).
Na afloop van iedere verkiezing stellen we voor om de resultaten van de steekproef niet enkel samen
te vatten in één toegankelijkheidspercentage, maar om alle data te analyseren door middel van een
statistische analyse. Dit geeft de mogelijkheid om te kunnen leren welke aanpassingen het
toegankelijkheidspercentage het beste kunnen verbeteren.

3

Beknopte omschrijving van het onderzoek
Op 1 januari 2019 is de wijziging van de Kieswet in werking getreden die bepaalt dat alle stemlokalen
toegankelijk moeten zijn voor kiezers met een lichamelijke beperking. Het Ministerie van
Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft in het verleden twee bureaus (PBTconsult en,
sinds de laatste verkiezingen, Ongehinderd) opdracht gegeven om op basis van de in oktober 2018
opgestelde toegankelijkheidscriteria voor stemlokalen, bij (minimaal) 50 stemlokalen vast te stellen
of en in hoeverre deze stemlokalen tijdens verschillende verkiezingen (Gemeenteraadsverkiezingen,
Provinciale Statenverkiezingen, Tweede Kamer verkiezingen en Europees Parlementsverkiezing) in
Nederland toegankelijk zijn voor mensen met een fysieke beperking. Oorspronkelijk leken de
resultaten van de steekproeven een stijgende lijn van toegankelijkheid aan te tonen bij de
stembureaus, maar bij de laatste verkiezing waren de resultaten drastisch verslechterd. 1
In deze rapportage gaan we in op de vraag wat de oorzaken kunnen zijn van het veranderde beeld van
de toegankelijkheidssituatie en welke rol statistische aspecten een rol spel zouden kunnen spelen.
Bovendien willen we inzicht scheppen in welke praktische methodologische aspecten in ogenschouw
moeten worden genomen in het ontwerpen van een steekproef, en de wijze waarop de resultaten
moeten worden geanalyseerd en gerapporteerd. De uiteindelijke bedoeling van deze rapportage is
om statistische aanbevelingen te doen met betrekking tot de opzet van de steekproef voor de
aankomende Provinciale Statenverkiezingen om voor zover mogelijk statistische fluctuaties tot een
minimum te kunnen beperken om een zo duidelijk mogelijk inzicht te krijgen in de
toegankelijkheidssituaties van Nederlandse stemlokalen.

Het was al eens eerder voorgekomen dat verschillende studies tegenstrijdige resultaten laat zien. In 2019 uit
de cijfers van de gemeenten zelf bleek dat gemiddeld 88% (Provinciale Staten- en Waterschapsverkiezingen) en
91% (Europese Parlementsverkiezing) van de stemlokalen volledig toegankelijk was. Het steekproefonderzoek
van PBTconsult op de dag van de stemming liet een ander beeld zien: 16% (Provinciale Staten- en
Waterschapsverkiezingen) en 9% (Europese Parlementsverkiezingen) van de onderzochte stemlokalen voldeden
aan alle criteria. 66% van de stemlokalen was volgens PBTconsult voldoende toegankelijk. Destijds verklaarde
het adviesbureau Arcadis het verschil tussen de onderzoeken op twee verschillende manieren. Allereerst, is er
verschil tussen de manier waarop de mate van toegankelijkheid is bepaald. PBTconsult baseerde zich in de
steekproef op de mate waarin de stemlokalen voldeden aan de criteria uit de checklist. Betrokken gemeenten
gaven over het algemeen aan dat zij een inschatting maakten op basis van gezond verstand en berichten die zij
ontvingen van burgers. De checklist wordt daarbij niet of nauwelijks toegepast. Betrokken gemeenten weten
van het bestaan van de checklist, maar hebben er niet één op één invulling aan gegeven. Ten tweede werd
aangegeven dat bij een aantal gemeenten een verschil is tussen de organisatie en uitvoering. Wanneer
gemeenten hun resultaten baseren op wat zij vooraf georganiseerd hebben, maar wanneer dit niet uitgevoerd
wordt, ontstaat een verschil tussen de ingeschatte en daadwerkelijke situatie. Zo bleek er in een aantal
leesloepen geen batterijen te zitten.
1

4

Toegankelijkheidsstudies 2018 – 2022
In deze sectie beschrijven we de toegankelijkheidsstudies, zoals die in de periode 2018 tot en met
2022 zijn uitgevoerd door de bureaus PBTconsult en Ongehinderd.

Opzet van vorige toegankelijkheidssteekproeven
Voor ieder van de verkiezingen tot en met 2019 (GR in 2018, PV in maart 2019, EP in mei 2019) heeft
BZK 28 gemeenten willekeurig geselecteerd, gestratificeerd op locatie (Noord, Zuid, Oost, West) en
op grootte (klein/groot). Voor de Tweede Kamerverkiezingen in maart 2021 waren dit er meer,
doordat er vanwege de Covid pandemie er over drie dagen gestemd werd en dus meer gelegenheid
was voor steekproeven. Voor iedere verkiezing waren dit, in principe, andere gemeenten. BZK
selecteerde 2 twee stemlokalen per gemeente (in 2021 twee tot en met vier per gemeente). Dit leidde
tot 56 (89 in 2021) stemlokalen die door PBTconsult werden getoetst wat betreft hun toegankelijkheid
op 7 primaire aspecten (criteria 1.3 t/m 3.2) en 7 secondaire aspecten die waren vastgesteld in de
toegankelijkheidscriteria van oktober 2018.
Tijdens de gemeenteraadsverkiezingen in maart 2022 heeft het bureau Ongehinderd, in plaats van
PBTconsult, onderzoek gedaan naar de toegankelijkheid van de stemlokalen. Hierbij heeft het 60
stemlokalen onderzocht volgens dezelfde criteria als in de vorige studies.

Resultaten van vorige toegankelijkheidsstudies
Hieronder en in Figuur 1 (links) rapporteren we de resultaten met daarbij de 95%
betrouwbaarheidsgrenzen 3, die in de oorspronkelijke rapportages niet waren toegevoegd.
Gemeenteraadsverkiezingen maart 2018. Een geschatte 43% (±13%) van alle stemlokalen voldoet
niet aan de toegankelijkheidscriteria. Een geschatte 5% (±6%) voldoet volledig.
Provinciale Statenverkiezingen maart 2019. Een geschatte 50% (±13%) van alle stemlokalen voldoet
niet aan de toegankelijkheidscriteria. Een geschatte 18% (±10%) voldoet volledig.
Europees parlementsverkiezingen mei 2019. Een geschatte 34% (±13%) van alle stemlokalen voldoet
niet aan de toegankelijkheidscriteria. Een geschatte 11% (±8%) voldoet volledig.
Tweede Kamerverkiezingen maart 2021. Een geschatte 28% (±10%) van alle stemlokalen voldoet niet
aan de toegankelijkheidscriteria. Een geschatte 16% (±8%) voldoet volledig.
We kunnen concluderen dat op basis van de kleine aantallen in de steekproef er geen sterke
aanwijzingen zijn dat de toegankelijkheidssituatie van de stemlokalen in Nederland in de loop van
deze periode (2018-2021) is verbeterd. Een andere belangrijke conclusie is dat de ruwe percentages
zonder onzekerheidsgrenzen een vertekend beeld kunnen geven van een mogelijke trend. Dit is een
belangrijk, praktisch aspect waarop we later terugkomen.
Gemeenteraadsverkiezingen maart 2022. Een geschatte 63% (±12%) van alle stemlokalen voldoet
niet aan de toegankelijkheidscriteria. Een geschatte 10% (±8%) voldoet volledig.

2

Hierbij werden stemlokalen die door de gemeenten als niet toegankelijk zijn aangeduid uitgesloten.

3

We gebruiken hierbij de formule ±𝑧𝑧(1−𝛽𝛽)/2 �

0.25
𝑛𝑛

, waarbij n het aantal getoetste stemlokalen is. De formule is

gebaseerd op asymptotische efficiëntie van de meest waarschijnlijke schatter. Bij een vereiste betrouwbaarheid
van β=95% is de vermenigvuldigingsfactor gelijk aan het normale staart kwantiel van 0.025, i.e., z0.025=1.96.

5

Wat betreft “volledige toegankelijkheid” is de 10% van stemlokalen die daaraan voldoen in lijn met
wat in de vorige jaren is aangetroffen, als we tevens de onzekerheidsgrenzen van ruwweg 8% is acht
nemen. Echter, het aantal stemlokalen dat niet voldoet in 2022 wijkt sterk af van de aantallen in de
voorafgaande jaren. Dit kan niet worden verklaard door middel van toevallige steekproefeffecten.

Casestudy: toegankelijkheidsstudie Tweede Kamerverkiezingen 2021
Zowel PBTconsult als Ongehinderd hebben geen statistische analyse uitgevoerd op de resultaten van
hun toegankelijkheidsstudies. Dit was wellicht niet onderdeel van hun opdracht, maar dit was tevens
een gemiste kans om
(i)
(ii)
(iii)

Andere belangrijke componenten die toegankelijkheid beïnvloeden te identificeren;
De statistische opzet van de studie te evalueren en aan te passen in daaropvolgende jaren;
Onzekerheidsgrenzen bij de geschatte grootheden te kunnen geven.

In deze sectie beschrijven we een statistische analyse van de toegankelijkheidsstudie die door
PBTconsult in maart 2021 was uitgevoerd bij de Tweede Kamerverkiezingen. In de beschikbare
documentatie was het mogelijk om de individuele evaluaties van de 6 rapporteurs in de 89
stemlokalen te analyseren. Het doel van deze analyse is om antwoord te krijgen op de vragen (i)-(iii)
die hierboven beschreven staan.
Logistisch model. Voor een evaluatie van een stemlokaal in een gemeente met i aantal inwoners in
provincie p wordt door rapporteur r op ieder item c (1.1 t/m 3.7) van de checklist “Criteria Integrale
Toegankelijkheid Stembureaus” een evaluatie ycipr uitgebracht: voldoet (geheel of gedeeltelijk) of
voldoet niet. Er zijn 687 waarnemingen beschikbaar voor het schatten van een logistische random
effect model,
𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑡𝑡 𝑃𝑃�𝑦𝑦𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 = 1� = 𝜇𝜇 + 𝛼𝛼𝑐𝑐 + 𝛾𝛾𝑟𝑟 + 𝛾𝛾𝑟𝑟:𝑐𝑐 + 𝛾𝛾𝑝𝑝 + 𝑓𝑓(𝑖𝑖),

waar μ en α vaste effecten zijn, γ random effecten en f(i) een curve. Het model met de kleinste AICwaarde wordt gekozen.
Resultaten: toegankelijkheid. Het doel van de studie is om te achterhalen hoe de Nederlandse
stemlokalen scoren op toegankelijkheid. Oorspronkelijk PTBconsult rapporteerde de (volledige en
gedeeltelijke) toegankelijkheid as 72%. Dit was is een ruw percentage, ongecorrigeerd voor andere
effecten in de studie. In het bovenstaande correctiemodel wordt toegankelijkheid beschreven door
de parameter α. Voor een gemiddelde gemeente in een gemiddelde provincie gecontroleerd door een
gemiddelde rapporteur is de kans op gedeeltelijke of gehele toegankelijkheid gelijk aan 61%. Echter,
de onzekerheid is relatief hoog, zoals kan worden gezien in Figuur 1 (rechts).

6

Figuur 1. Ruwe toegankelijkheidsschattingen door bureau PtBconsult (links) en schatting via het logistisch model voor de
Tweede Kamer verkiezingen van maart 2021 (rechts).

Resultaten: andere componenten die toegankelijkheid beïnvloeden. Het blijkt dat de
toegankelijkheidsresultaten ook in een grote mate afhankelijk zijn van de volgende componenten:
•

•

Rapporteurs. De rapporteurs lijken niet richtlijnen op dezelfde manier te hebben
geïnterpreteerd.
o Rapporteur 2 en Rapporteur 3 waren veel toeschietelijker in de beoordeling van
toegankelijkheid, terwijl Rapporteur 6 veel strenger was. Rapporteur 1, Rapporteur 4
en Rapporteur 5 vielen in het midden. Het verschil tussen Rapporteur 6 en Rapporteur
2 bedroeg 1.61 logodds punten, wat betekent dat Rapporteur 6 ongeveer 5 keer
vaker dan Rapporteur 2 een identiek bureau op een bepaald punt afkeurde. Als
Rapporteur 2 de gehele steekproef had uitgevoerd, dan zouden we een
toegankelijkheidsscore van 78% hebben verwacht; terwijl als Rapporteur 6 dat had
gedaan, dan zou de toegankelijkheidsscore omtrent de 34% zijn geweest. Dit laatste
percentage is ongeveer gelijk aan de 37% die bij de Gemeenteraadsverkiezingen van
maart 2022 is gerapporteerd door het bureau Ongehinderd.
o Bovendien hebben Rapporteur 1 en Rapporteur 3 individuele vragen anders
geïnterpreteerd. Rapporteur 1 was strenger dan anderen op vragen Q1.1 en Q1.2,
maar toeschietelijker op Q1.4 en Q3.1. Rapporteur 3, naast het feit dat hij over het
algemeen toeschietelijk was, was extra toeschietelijk op vragen Q1.2, Q1.3, Q1.4,
Q2.3 en Q3.1, maar minder toeschietelijk op vragen Q1.1 en Q3.6.
Provincies en inwoneraantallen per gemeente. Toegankelijkheid lijkt niet overal hetzelfde in
Nederland. Het provincie effect γp laat zien dat de toegankelijkheid het minste is in Drenthe
en Limburg en het beste in Gelderland, Zuid-Holland en Overijssel. De schattingen suggereren
dat er meer dan 3 keer zoveel ontoegankelijke stemlokalen in Drenthe als in Gelderland zijn.
Het steekproefontwerp is echter niet volledig toereikend, aangezien de bezochte stemlokalen
in de verschillende provincies nauw correleren met de grootte van de gemeentes.
Het provincie effect γp verdwijnt dan ook als inwoneraantallen effect per gemeente,
f(i), aan het model wordt toegevoegd. Zoals kan worden gezien in Figuur 2, de kleinere
gemeentes tot ongeveer 40,000 inwoners hebben een lagere kans op toegankelijke
stemlokalen. Daarna stijgt de toegankelijkheid snel voor gemeentes tot ongeveer 150,000
inwoners, een met mogelijke uitzondering van de allergrootste gemeenten. Hierbij moet
worden aangemerkt er te weinig grote gemeenten in de steekproef bevonden.
7

Figuur 2. (Links) Grotere gemeenten hebben in het algemeen een betere toegankelijkheid, met een mogelijke uitzondering
van de allergrootste gemeenten. (Rechts) De verschillende provincies zijn niet proportioneel bezocht tijdens de studie:
Friesland is helemaal niet bezocht, Zuid-Holland is minder bezocht dan zijn inwonersaantal zou suggereren, terwijl Utrecht
meer dan proportioneel is bezocht.

Evaluatie van gebruikte steekproefmethodologie in 2021. Zoals is gebleken uit de bovenstaande
analyse, is het belangrijk om rekening te houden in de steekproef design met factoren die van invloed
zijn op toegankelijkheid.
•

•

•

•

Het grote rapporteur effect maakt duidelijk dat er geen eenduidige overeenstemming was
over interpretatie van de toegankelijkheidscriteria. Er moet grotere nadruk worden gelegd op
een consistente interpretatie tussen de verschillende rapporteurs. Het gebruik van
verscheidene rapporteurs is in principe niet verkeerd, omdat het de analist de gelegenheid
geeft om het rapporteur effect te testen.
De rapporteurs waren actief in verscheidene provincies en de meeste provincies werden
bezocht door verschillende rapporteurs. Dit was een goed aspect van het steekproefdesign.
Dit zorgde ervoor dat zowel een rapporteur als provincie effect kon worden geschat.
Gegeven het feit dat de toegankelijkheid varieert in gemeentes met verschillende
inwonersaantallen is het belangrijk dat een goede mix van grote, kleine en middelgrote
gemeentes wordt geselecteerd; het liefst in iedere provincie.
De toegankelijkheidsschatting is erg variabel. Om meer inzicht te krijgen over de werkelijke
toegankelijkheid moet het aantal bezochte stemlokalen omhoog.

8

Algemene aanbevelingen voor de toegankelijkheidssteekproef
In deze afsluitende paragraaf geven we aanbevelingen voor de opzet van de volgende
toegankelijkheidssteekproef. Het gaat in deze aanbeveling om niet alleen om het aantal steekproeven,
maar ook hoe deze is verspreid door het land, en hoe de rapporteurs moeten worden geïnstrueerd.
Aantal stemlokalen. Op dit moment is het aantal stemlokalen te klein om een goed inzicht te krijgen
in de veranderingen in de toegankelijkheidspercentages. Er zijn hierbij twee aspecten die in
ogenschouw moeten worden genomen:
Tabel 1. Benodigd aantal te bezoeken stemlokalen voor een gegeven nauwkeurigheid en betrouwbaarheid.

Nauwkeurigheid Δp
±2.5%
±5%
±7.5%
±10%
•

•

Betrouwbaarheid β
90%
95%
1080
1540
270
380
120
170
70
100

99%
2650
660
295
170

Nauwkeurigheid: Welke percentageverandering Δp willen we ruwweg kunnen detecteren
met de steekproef? Dit komt overeen met een interval waarin we verwachten het ware
percentage te liggen. Bijvoorbeeld, een percentage van 60% kan bij een te detecteren
verandering van 2.5%, 5% en 10% worden beschouwd als het interval [57.5%,62.5%],
[55%,65%] en [50%,70%], respectievelijk.
Betrouwbaarheid: Met hoeveel zekerheid β willen we binnen de aangegeven
nauwkeurigheidsgrenzen blijven? Een betrouwbaarheid van 99%, 95% en 90% betekent dat
we de bovenstaande nauwkeurigheid halen in 99, 95 en 90 van de 100 toekomstige
verkiezingen, respectievelijk. Onze aanbeveling is een betrouwbaarheid van 90%.

In tabel 1 wordt aangeven dat met een nauwkeurigheid van 5% en een betrouwbaarheid van 90%
ongeveer 270 stemlokalen behoren te worden bezocht bij de aankomende Provinciale Staten
verkiezingen in maart 2023. Dit moeten ongeveer 170 stemlokalen zijn als wordt volstaan met een
nauwkeurigheid van 7.5%, maar met een betrouwbaarheid van 95%.
Opzet van de steekproef: rapporteurs. Een van de belangrijkste bronnen van variatie zijn de
rapporteurs zelf. Het is derhalve van enorm belang dat er een zo eenduidig mogelijke interpretatie
van de Criteria Integrale Toegankelijkheid Stembureaus, ondersteund door het Ministerie, in acht
wordt genomen door de rapporteurs. Dit betekent dat de rapporteurs dienen te worden getraind op
de wijze waarop de criteria moeten worden geïnterpreteerd. Naast deze training moet het effect van
de rapporteurs worden gecontroleerd in de analyse van de data, zoals bijvoorbeeld is gedaan in dit
rapport. Het aantal rapporteurs is niet erg belangrijk voor het uiteindelijke resultaat, maar het dienen
er minstens 5 te zijn. Om iedere rapporteur te kunnen evalueren in de analyse, moet hij/zij minstens
zo’n 5-10 stemlokalen bezoeken.
Opzet van de steekproef: gemeenten. Het is van belang dat er een goede representatie van
gemeenten is in de steekproef. Er lijken twee mogelijke factoren op het niveau van de gekozen
gemeenten die een rol spelen bij de toegankelijkheid: provincie en omvang. Hoewel er niet heel sterk
bewijs is, kan het zijn dat de provincie een rol speelt. Daarom dienen de gemeenten een
representatieve steekproef van de provincies te zijn, bijvoorbeeld relatief ten opzichte van de
hoeveelheid inwoners per provincie. Ten tweede, er zijn sterke aanwijzingen dat de grootte van de
gemeente gecorreleerd is aan de toegankelijkheid van de stemlokalen. Een representatieve
9

steekproef van gemeente groottes dient te worden genomen, waarbij aandacht moet worden besteed
aan het toevoegen van een voldoende grote gemeenten met inwonersaantallen boven de 200,000.
Omdat ongeveer 37% van de Nederlandse bevolking in stedelijke regio’s woont met meer dan 500,000
inwoners, is het belangrijk dat de toegankelijkheidssteekproef voldoende van dit soort gemeentes
bevat.
Bovendien moet iedere rapporteur zowel kleine als grote gemeenten bezoeken en het liefst in
minstens twee verschillende provincies.

Praktische opzet van mogelijke steekproef
In deze sectie bespreken we een mogelijke praktische implementatie van de steekproef die voldoet
aan de bovenstaande aanbevelingen. In deze beschrijving gaan we uit van een steekproef van 200
stembureaus en 20 rapporteurs. Er zijn in totaal 345 gemeenten in Nederland, waarvan 3 in het
Caribisch gebied. Deze laatste 3 maken geen deel uit in de selectie van de mogelijke steekproef. In de
appendix voegen we een mogelijke keuze toe.

Stratificatie per provincie
De steekproef dient een afspiegeling zijn de landelijke inwoners karakteristieken, zodat het ruwe
toegankelijkheidspercentage uit de steekproef een directe afspiegeling is van het landelijke
steekproefpercentage. Afhankelijk van de bevolkingsgrootte per provincie dient er ongeveer een
proportioneel aantal stemlokalen te worden bezocht. De dikgedrukte getallen in Tabel 2 geven aan
hoeveel stemlokalen er in iedere provincie moeten worden bezocht.

Stratificatie per gemeente grootte
Om ervoor te zorgen dat gemeente van verschillende groottes door het hele land bezocht worden,
stellen we een verdere stratificatie voor. We delen gemeenten in in drie categorieën: klein (tot en met
40,000 inwoners), middelgroot (tussen 40,000-150,000 inwoners) en groot (boven de 150,000
inwoners). Het aantal te bezoeken stembureaus in kleine, middelgrote en grote gemeenten hangt af
van het aantal inwoners in die provincie in de desbetreffende type gemeente. Tabel 4 geeft aan voor
iedere provincie het percentage inwoners in kleine, middelgrote en grote gemeenten.

Aantal stembureaus per gemeente
Hoewel vanuit een statistisch gezichtspunt het beste is om zo veel mogelijk verschillende gemeenten
te bezoeken, is het logistiek gesproken eenvoudiger en voor grote gemeenten soms noodzakelijk, om
verscheidene stembureaus per gemeente in de steekproef op te nemen. Met betrekking tot de
verschillende gemeente groottes (klein, middelgroot, groot) suggereren we, respectievelijk, per
gemeente ruwweg 2, 4 of 8 stembureaus te bezoeken. Deze aantallen zijn flexibel en kunnen worden
aangepast.
Als voorbeeld: In Zuid-Holland moeten 42 stembureaus worden bezocht. Dit wordt gedaan door in 3
kleine gemeenten, in 5 middelgrote gemeenten, en in 2 grote gemeenten, respectievelijk, 2, 4 en 8
stembureaus te bezoeken: 3x2+5x4+2x8=42. Dit leidt tot een keuze van 6 stembureaus in kleine
gemeenten, 20 stembureaus in middelgrote gemeenten en 16 stembureaus in grote gemeenten. Dit
is ongeveer in overeenstemming met het ideaal aantal stembureaus, 7, 22 en 13, respectievelijk. Maar
het aantal te bezoeken stembureaus per gemeente had ook kunnen worden aangepast om precies
deze aantallen te verkrijgen, bv., (klein: 3x2 + 1x1 = 7) + (middelgroot: 3x4 + 2x5 = 22) + (groot: 1x6 +
1x7 = 13) = 42 stembureaus.
10

Het is mogelijk dat G4 gemeenten (Amsterdam, Rotterdam, Utrecht, Den Haag) specifieke
toegankelijkheidssituaties ondervinden. We raden daarom aan om voor zover mogelijk altijd 3 van de
4 G4 gemeentes te bezoeken.

Tabel 2. Deze tabel geeft een rekenvoorbeeld, waarin uit wordt gegaan van een totaal aantal te
bezoeken stemlokalen van n=200. Proportioneel aan de bevolkingsaantallen worden het totaal
aantal te bezoeken stembureaus per provincie berekend. Dit aantal wordt bereikt door in een aantal
kleine gemeenten 2 stembureaus, in middelgrote gemeenten 4 stembureaus en in grote gemeenten
8 stembureaus te bezoeken. Kleine gemeenten zijn gedefinieerd als gemeenten met minder dan
40.000 inwonders, middelgrote gemeenten met inwondersaantalen tussen 40,000 en 150,000.
Grote gemeenten zijn gemeenten met meer dan 150,000 inwoners.

ZH
NH
NB
GD
UT
OV

aantal
stemlokalen
42
34
30
24
16
14

klein
(2x)
3
3
5
4
2
3

Gemeenten
middel
(4x)
5
3
3
2
1
2

groot
(8x)
2
2
1
1
1
0

LB
FR
GR
DR
FL
ZL

11

aantal
stemlokalen
12
8
6
6
4
4

klein
(2x)
2
2
1
1
0
2

gemeenten
middel
(4x)
2
1
1
1
1
0

groot
(8x)
0
0
0
0
0
0

Discussie en conclusie
In dit rapport hebben we aanbevelingen gedaan voor de toegankelijkheidssteekproef voor de
Provinciale Statenverkiezingen van maart 2023. Kort samengevat, de conclusies zijn als volgt:
•

•

•

•

De steekproef moet worden uitgebreid om een nauwkeuriger inzicht te krijgen in de
veranderingen van de toegankelijkheidspercentages van de stembureaus over tijd. We stellen
voor om het aantal te bezoeken stemlokalen uit te breiden tot rond de 200.
Bij een steekproef van 200 stembureaus moeten er rond de 20 rapporteurs worden
aangesteld, die ieder, met goede eenduidige interpretaties van de toegankelijkheidscriteria,
rond 10 stembureaus voor hun rekening nemen.
Er moet een goede afspiegeling in de steekproef van grote en kleine gemeenten als wel alle
provincies. De rapporteurs moeten ieder zowel kleine als grotere gemeenten bezoeken en
tenminste twee verschillende provincies.
In de analyse van de resultaten moeten niet alleen ruwe toegankelijkheidspercentages
worden gerapporteerd, maar tevens een statistische analyse van de mogelijke factoren die de
toegankelijkheid beïnvloeden met de daarbij horende onzekerheidsgrenzen. Deze analyse zal
ook duidelijke aanknopingspunten geven waar verbeteringen het meest effectief zullen zijn
(e.g. welke subscriterium is het meest problematisch; wat voor soort gemeente is het meeste
gebaat bij ondersteuning of aanvullende informatie bij de implementatie van
toegankelijkheidsaspecten).

In dit rapport hebben we verschillende analyses uitgevoerd. Deze analyses hebben gebruik gemaakt
van de beschikbare informatie van de vorige toegankelijkheidsonderzoeken. De informatie van het
door PBTconsult gehouden onderzoek van de verkiezingen in 2021 was het meest compleet en maakte
het mogelijk om het belang van verschillende factoren te onderzoeken. Hoewel dit niet het meest
recentelijke studie was, is het de verwachting dat dezelfde factoren nog steeds belangrijk zijn in de
huidige omstandigheden.

12

Appendix A: mogelijke keuze van gemeentes
Als er voor een steekproefgrootte van n=200 wordt gekozen, dan tonen we in deze appendix een
mogelijke trekking van een gestratificeerde willekeurige steekproef van 57 gemeenten. Deze keuze
voldoet aan de aantallen stembureaus per provincie en de grootte vereisten van de gekozen
gemeentes. In kleine gemeenten zullen 2 stembureaus worden bezocht, in middelgrote gemeenten 4
stembureaus en in grote gemeenten 8 stemlokalen.

Drenthe (6 stemlokalen, 2 gemeentes)

•

Klein: Borger-Odoorn
Middel: Hoogeveen

•

•
•

Noord-Holland
gemeentes)

Flevoland (4 stemlokalen, 1 gemeente)
•

Middel: Dronten

•

Friesland (12 stemlokalen, 3 gemeentes)
•
•

•

Klein:
Weststellingwerf,
Tietjerksteradeel
Middel: De Friese Meren

•

•
•

•
•

Klein:
Nunspeet,
Wageningen,
Culemborg, Oost-Gelre
Middel: Doetinchem, Zutphen
Groot: Arnhem

•
•
•

Klein: Pekela
Middel: Midden-Groningen

•

•

(30

stemlokalen,

Klein: Edam-Volendam, Koggenland,
Schagen
Middel:
Velsen,
Amstelveen,
Hilversum
Groot: Zaanstad, Haarlem

Klein: Dinkelland, Borne, Losser
Groot: Almelo, Kampen

Klein: Baarn, Bunnik
Middel: Veenendaal
Groot: Utrecht

Klein: Noord-Beveland, Goes

Zuid-Holland (42 stemlokalen, 10 gemeentes)

Klein: Voerendaal, Maasgouw
Middel: Weert, Peel en Maas

Noord-Brabant
gemeentes)

8

Zeeland (4 stemlokalen, 2 gemeentes)

Limburg (12 stemlokalen, 4 gemeentes)
•
•

stemlokalen,

Utrecht (16 stemlokalen, 4 gemeentes)

Groningen (6 stemlokalen, 2 gemeentes)
•
•

(34

Overijssel (14 stemlokalen, 5 gemeentes)

Gelderland (24 stemlokalen, 7 gemeentes)
•

Middel:
Helmond,
Oosterhout,
Veldhoven
Groot: 's-Hertogenbosch

•
9

•

Klein: Oisterwijk, Boxtel, Laarbeek,
Reusel-De Mierden, Cranendonck

•

13

Klein: Wassenaar, Midden-Delfland,
Hillegom
Middel:
Ridderkerk,
GoereeOverflakkee, Leiden, Schiedam, Delft
Groot: Rotterdam, Den Haag

Appendix B: Praktische berekeningen
In deze appendix geven we aan hoe de getallen in Tabel 2 tot stand zijn gekomen. Dit houdt ook in dat
alles nagerekend kan worden en alternatieve keuzes gemaakt kunnen worden met betrekking tot de
steekproefgrootte.

B.1. Steekproefgrootte
De steekproefgrootte is de volgende functie van nauwkeurigheid Δp en betrouwbaarheid β,
𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 =

2
𝑧𝑧(1−𝛽𝛽)/2

4 Δ𝑝𝑝2

,

waarbij zq het rechter q kwantiel is van de standaard normale verdeling. 4 Onderstaand figuur toont de
benodigde steekproefgroottes voor verschillende keuzes van nauwkeurigheid en betrouwbaarheid.

In de onderstaande berekeningen gaan we uit van een steekproefgrootte van n=200. Uit de grafiek
blijkt dat dit overeenkomt met een nauwkeurigheid van ongeveer ±6% met een betrouwbaarheid van
90% (maar ook bijvoorbeeld met een nauwkeurigheid van ±7% met een betrouwbaarheid van 95%).
Andere (pragmatische) keuzes voor de steekproefgrootte zijn toegestaan, maar met
steekproefgroottes onder de 100 stembureaus begint het in het algemeen problematisch te worden
om van verkiezing tot verkiezing verbeteringen in de toegankelijkheidspercentages te kunnen
waarnemen.
In de formules hieronder staat de variabele n voor de gekozen steekproefgrootte.

De meest gebruikelijke waarden zijn z(1-0.9)/2 = 1.645 en z(1-0.95)/2 = 1.96, die corresponderen met een
betrouwbaarheid van 90% en 95%, respectievelijke.

4

14

B2. Verdeling van de te bezoeken stembureaus over de provincies
In 2021 waren er rond de 17,597,619 inwoners in de twaalf provincies in Nederland. Tabel 3 bevat de
inwonersaantallen uitgesplitst per provincie (in 1,000 inwoners). Het inwonerspercentage per
provincie is berekend als
𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 =

𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 𝑝𝑝𝑝𝑝𝑝𝑝 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝
.
17,598

Vervolgens verdelen we het aantal te bezoeken stembureaus gelijkmatig over de provincies aan de
hand van de inwonersaantallen,
𝑟𝑟𝑟𝑟𝑟𝑟 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 = 𝑝𝑝𝑝𝑝𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 × 𝑛𝑛.

In ons rekenvoorbeeld hebben we gekozen voor n=200. Aangezien we in iedere gemeente een even
aantal stembureaus voorstellen te bezoeken, ronden we het ruwe aantal af op het dichtstbijzijnde
even getal. Dit is kolom “steekproef” in Tabel 3.

Tabel 3. Inwonersaantallen zijn in 1,000 inwoners (2021). De ruwe grootte is berekend als vermenigvuldiging van
inwonerspercentage met steekproefgrootte n=200 (hier). De werkelijke steekproefgrootte is afgerond op dichtstbijzijnde
even getal.

PROVINCIES
DRENTHE
FLEVOLAND
FRIESLAND
GELDERLAND
GRONINGEN
LIMBURG
NOORD-BRABANT
NOORD-HOLLAND
OVERIJSSEL
UTRECHT
ZEELAND
ZUID-HOLLAND

INWONERS
498
435
654
2,111
590
1,118
2,594
2,912
1,172
1,371
387
3,755
17,598

PERCENTAGE
2.8
2.5
3.7
12.0
3.4
6.4
14.7
16.5
6.7
7.8
2.2
21.3
100

15

RUW AANTAL
6
5
7
24
7
13
29
33
13
16
4
43
200

STEEKPROEF
6
4
8
24
6
12
30
34
14
16
4
42
200

B3. Verdeling van stembureaus over gemeentes van verschillende groottes
In voorafgaande studies lijkt het erop dat de toegankelijkheid van stembureaus verbonden is met het
aantal inwoners in de gemeente. Daarom is het van belang om in de steekproef een goede afspiegeling
te hebben van verschillende gemeentegroottes. We stratificeren de gemeentes in
•
•
•

Kleine gemeentes: minder dan 40,000 inwoners
Middelgrote gemeentes: tussen de 40,000 en 150,000 inwoners
Grote gemeentes: meer dan 150,000 inwoners

Tabel 4 geeft aan per provincie hoeveel mensen en welk percentage in kleine, middelgrote en grote
gemeenten woont. Door het vermenigvuldigen van de percentages(p,g) in Tabel 4 met de
steekproefgroottes n(p) uit Tabel 3 verkrijgen we het ideale aantal te bezoeken stembureaus in iedere
provincie p, gestratificeerd naar gemeentegrootte g:
𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 (𝑔𝑔, 𝑝𝑝) = 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 (𝑝𝑝, 𝑔𝑔) × 𝑛𝑛(𝑝𝑝),

In Tabel 5 staan deze aantallen weergegeven.

Tabel 4. Inwonersaantallen (in 1,000 inwoners, 2021) en percentages die in iedere provincie in kleine, middelgrote of grote
gemeentes woont.

PROVINCIES
DRENTHE
FLEVOLAND
FRIESLAND
GELDERLAND
GRONINGEN
LIMBURG
NOORD-BRABANT
NOORD-HOLLAND
OVERIJSSEL
UTRECHT
ZEELAND
ZUID-HOLLAND

KLEIN
265 (53%)
45 (10%)
188 (29%)
858 (41%)
137 (23%)
430 (38%)
887 (34%)
570 (20%)
463 (39%)
239 (17%)
239 (62%)
598 (16%)
4,919 (28%)

MIDDEL
233 (47%)
172 (40%)
466 (71%)
744 (35%)
219 (37%)
688 (62%)
903 (35%)
957 (33%)
548 (47%)
611 (45%)
148 (38%)
1,948 (52%)
7,638 (43%)

GROOT
0 (0%)
218 (50%)
0 (0%)
509 (24%)
235 (40%)
0 (0%)
804 (31%)
1,385 (47%)
160 (14%)
521 (38%)
0 (0%)
1,209 (32%)
5,041 (29%)

TOTAAL
498
435
654
2,111
590
1,118
2,594
2,912
1,172
1,371
387
3,755
17,598

Tabel 5. Ideaal aantal te bezoeken stembureaus per provincie uitgesplitst naar stembureaus in kleine (<40,000 inwoners),
middelgrote (40,000-150,000 inwoners) en grote (>150,000 inwoners) gemeenten in die provincies.

PROVINCIES
DRENTHE
FLEVOLAND
FRIESLAND
GELDERLAND
GRONINGEN
LIMBURG
NOORD-BRABANT
NOORD-HOLLAND
OVERIJSSEL
UTRECHT
ZEELAND
ZUID-HOLLAND

KLEIN
3
0
2
10
2
5
10
7
6
3
2
7
57 (28%)

MIDDEL
3
2
6
8
2
7
11
11
6
7
2
22
87 (44%)

16

GROOT
0
2
0
6
2
0
9
16
2
6
0
13
56 (28%)

TOTAAL
6
4
8
24
6
12
30
34
14
16
4
42
200