Onderzoek naar de inhoudsvaliditeit van de
centrale examens en de afhandeling van
onvolkomenheden bij de centrale examens.
Adviesrapport RCEC, 1 mei 2017

© 2017 RCEC
Sanders, P.F., Brouwer, A.J., Veldkamp B.P. (2017). Onderzoek naar de inhoudsvaliditeit van de
centrale examens en de afhandeling van onvolkomenheden bij de centrale examens.

Inhoudsopgave
1. Aanleiding
1.1. Aanleiding voor het onderzoek

blz. 2
2

2. Doel van het onderzoek
2.1. Achtergrond en doel van het onderzoek

3
3

3. Onderzoekskader
3.1. Onderzoekskader inhoudsvaliditeit examens

4
4

4. Onderzoek inhoudsvaliditeit
4.1. Onderzoek inhoudsvaliditeit van de centrale examens
4.2. Biologie vmbo GL/TL 2016
4.2.1.Domein definitie examen Biologie vmbo GL/TL 2016
4.2.1.1. Inhoud van het examen
4.2.1.2. Toetsspecificaties
4.2.2.Domein representatie examen Biologie vmbo GL/TL 2016
4.2.3.Domein relevantie examen Biologie vmbo GL/TL 2016
4.2.4.Adequate toetsconstructieprocedure examen Biologie vmbo GL/TL 2016
4.3. Samenvatting van de bevindingen Biologie vmbo GL/TL 2016
4.4. Duits havo 2016
4.4.1.Domein definitie examen Duits havo 2016
4.4.1.1. Inhoud van het examen
4.4.1.2. Toetsspecificaties
4.4.2.Domein representatie examen Duits havo 2016
4.4.3.Domein relevantie examen Duits havo 2016
4.4.4.Adequate toetsconstructieprocedure examen Duits havo 2016
4.5. Samenvatting van de bevindingen Duits havo 2016

6
6
8
8
8
10
13
15
17
18
19
19
19
20
20
22
23
25

5. Onderzoek afhandeling onvolkomenheden
5.1. Inleiding
5.2. Biologie vmbo GL/TL 2016
5.3. Duits havo 2016
5.4. Samenvatting van de bevindingen

26
26
27
28
29

6. Conclusies en aanbevelingen
6.1. Conclusies inhoudsvaliditeit
6.2. Conclusies afhandeling onvolkomenheden
6.3. Aanbeveling verder onderzoek

30
30
31
31

7. Geraadpleegde literatuur

32

1

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

1. Aanleiding
1.1. Aanleiding voor het onderzoek
Honderdduizenden Nederlanders komen jaarlijks in contact met toetsen of centrale examens. Zij
hebben, bijvoorbeeld als kandidaat, opleider of werkgever, groot belang bij de kwaliteit van deze
toetsen en examens. Het College voor Toetsen en Examens (CvTE) is sinds 2009 de regisseur van
centrale toetsing en examinering in ons land voor NT2, po, vo, staatsexamens vo en mbo.
Het CvTE is een zelfstandig bestuursorgaan en heeft krachtens de ‘Wet College voor toetsen en
examens’ een regievoerende verantwoordelijkheid. Het CvTE heeft als taak om namens de overheid
de kwaliteit en het niveau van centrale toetsen en examens te waarborgen en te bevorderen dat
scholen en instellingen in staat gesteld worden de afname van centrale toetsen en examens
vlekkeloos te laten verlopen. Het CvTE adviseert en/of besluit onder leiding van de voorzitter over
beleid ten aanzien van de uitvoering van centrale toetsen en examens, regelingen en alle andere
zaken die voortvloeien uit de wettelijke taken van het CvTE.
Naar aanleiding van de motie Jadnanansing (Tweede Kamer, vergaderjaar 2013-2014, 33 905, nr 7)
is een onderzoek aangekondigd naar de validiteit van de centrale examens voortgezet onderwijs. Het
CvTE heeft, vanuit haar verantwoordelijkheid en zorgplicht, aan het Research Center voor
Examinering en Certificering (RCEC) gevraagd om een waardeoordeel uit te spreken over de wijze
waarop de kwaliteit met betrekking tot het aspect validiteit geborgd is bij de centrale examens
voortgezet onderwijs.
Om voornoemd waardeoordeel te kunnen geven, heeft het RCEC onderzoek gedaan naar de
inhoudsvaliditeit van de centrale examens voortgezet onderwijs en de afhandeling van
onvolkomenheden bij de centrale examens.
Op 12 december 2016 heeft er een eerste gesprek plaatsgevonden tussen de heer Geert van
Lonkhuyzen, directeur CvTE en de heer Bernard Veldkamp, directeur van het RCEC. Tijdens dit
gesprek is de onderzoeksvraag besproken en toegelicht. Volgend op dit gesprek heeft het RCEC op
23 december 2016 een onderzoeksvoorstel aangeboden aan het CvTE. Op 10 januari 2017 heeft het
CvTE ingestemd met dit voorstel. Voor de uitvoering van het onderzoeksvoorstel heeft het RCEC
een onderzoeksteam samengesteld. De leden van dit onderzoeksteam zijn de heer Piet Sanders en
de heer Arnold Brouwer. Beide onderzoekers hebben de opdracht via het vier-ogen-principe
uitgevoerd onder supervisie van de heer Veldkamp. De bevindingen worden in dit rapport d.d. 1 mei
2017 uiteengezet.
Namens het RCEC,
Dr. Piet Sanders
Drs. Arnold Brouwer
Prof. dr. ir. Bernard Veldkamp
Enschede, 1 mei 2017

2

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

2. Doel van het onderzoek
2.1. Achtergrond en doel van het onderzoek
Op 3 juli 2014 heeft de Tweede Kamer de motie Jadnanansing 33 905 nr. 7 aangenomen (figuur 1).

Figuur 1. De motie Jadnanansing
In de motie wordt verwezen naar de kritiek uit het onderwijsveld op de (inhouds)validiteit van de
centrale examens. De motie is aanleiding geweest om een onderzoek te laten uitvoeren naar de
inhoudsvaliditeit van de centrale examens vo. Het CvTE heeft het RCEC gevraagd na te gaan of:
1. De procedures die het CvTE en CITO bij de borging van de inhoudsvaliditeit van de
centrale examens hanteren aan (inter)nationale kwaliteitsstandaarden voldoen.
2. De bij de centrale examens geconstateerde onvolkomenheden op een adequate wijze
worden afgehandeld.
Ten behoeve van het onderzoek naar de eerste onderzoeksvraag, de inhoudsvaliditeit van centrale
examens, is een onderzoekskader ontwikkeld (zie hoofdstuk 3). Aan de hand van dat
onderzoekskader is de inhoudsvaliditeit van de centrale examens biologie vmbo GL/TL 2016 en Duits
havo 2016 onderzocht (zie hoofdstuk 4). Voor de beantwoording van de tweede onderzoeksvraag,
de wijze waarop onvolkomenheden afgehandeld worden, is onderzoek gedaan naar de procedures
die daarbij in het algemeen en specifiek bij voornoemde examens gehanteerd worden (zie hoofdstuk
5).

3

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

3. Onderzoekskader
3.1. Onderzoekskader inhoudsvaliditeit examens
De Standards for Educational and Psychological Testing (AERA, 2014) zijn een set van breed
geaccepteerde standaarden. De standaarden zijn ontwikkeld door de American Educational Research
Association (AERA), de American Psychological Association (APA) en de National Council on
Measurement in Education (NCME) en belichten een drietal hoofdthema’s:
-

Part I: Test Construction, Evaluation, and Documentation
Part II: Fairness in Testing
Part III: Testing Applications

Het eerste hoofdstuk van de Standards betreft de validiteit en begint met: ‘Validity refers to the degree
to which evidence and theory support the interpretations for proposed uses of tests.’ Bij het toepassen
van deze definitie op het valideren van toetsscores maken we een onderscheid tussen de
interpretatie van toetsscores (welke betekenis heeft een score?) en het gebruik van toetsscores
(welke beslissingen neem ik op grond van de toetsscores?). Hoe dit van toepassing is in het
voortgezet onderwijs, kunnen we toelichten aan de hand van het centraal examen vwo wiskunde A:
-

De score die een leerling op het examen vwo wiskunde A behaalt, kunnen we interpreteren
als een maat voor wat we de vaardigheid vwo wiskunde A kunnen noemen.
Die behaalde score kunnen we vervolgens gebruiken om te beslissen of de leerling gezakt of
geslaagd is voor het examen wiskunde.

In navolging van voornoemde Standards onderscheidt en beschrijft Wools (2013) verschillende
soorten bewijzen die gebruikt kunnen / moeten worden om de validiteit van toetsscores aan te tonen.
Voor examens zijn vooral inhoudsbewijzen van belang. Bij inhoudsbewijzen gaat het volgens Wools
‘om de keuzes die gemaakt worden ten aanzien van de onderwerpen of onderdelen uit de leerstof die
in de toets opgenomen worden. Deze keuzes bepalen voor een groot deel of de inhoud van een toets
representatief is voor het leerstofdomein of de vaardigheden waarover uitspraken gedaan moeten
worden.’ In het huidige onderzoek gebruiken we in plaats van de term inhoudsbewijzen de
‘historische’ term inhoudsvaliditeit en definiëren dat als: ‘de mate waarin de inhoud van het examen
overeenstemt met het doel van het examen’. Dat (gebruiks)doel is bij de centrale examens het
certificeren van leerlingen.
Voor het beoordelen van de inhoudsvaliditeit van examens gebruiken we een onderzoekskader dat
gebaseerd is op publicaties van Sireci (1998a, 1998b) en Sireci en Faulkner-Bond (2014). In lijn met
deze studies, wordt in het onderzoekskader voor het evalueren van de inhoudsvaliditeit van een toets
of examen een onderscheid gemaakt tussen:
1.
2.
3.
4.

4

domein definitie,
domein representatie
domein relevantie
adequate toetsconstructieprocedures

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Domein definitie verwijst naar hoe het ‘construct’, bijvoorbeeld de vaardigheid vwo wiskunde A,
operationeel gedefinieerd wordt. Wat betreft de examens uit het voortgezet onderwijs komt die
operationele definitie neer op het geven van (a) gedetailleerde beschrijvingen van de inhoud van het
domein en de cognitieve vaardigheden waar een beroep wordt gedaan, en (b) toetspecificaties die
zowel de specifieke inhoudscategorieën of inhoudsgebieden als de cognitieve niveaus benoemen.
Evaluatie van de domein definitie houdt in dat de overeenstemming onderzocht wordt tussen de
operationele definitie van het examen en de heersende opvattingen over het domein van
vakdeskundigen uit het werkveld. Voor dit onderzoek worden veelal onafhankelijke vakdeskundigen
ingezet bij de ontwikkeling en evaluatie van de toetsspecificaties. De mate waarin belangrijke
aspecten van het construct of het curriculum niet voorkomen in de toetsspecificaties is een belangrijk
criterium voor de evaluatie van de domein definitie.
Domein representatie verwijst naar de mate waarin een toets het domein zoals dat gedefinieerd is
door de toetsspecificaties adequaat representeert en meet. Evaluatie van de domein representatie
vereist de inzet van vakdeskundigen die de items/vragen/opdrachten bekijken en beoordelen. Het is
de taak van de vakdeskundigen om te bepalen of de items in voldoende mate het beoogde domein
representeren.
Domein relevantie betreft de mate waarin elk item van een examen relevant is voor het beoogde
domein. Items die belangrijke aspecten van het domein meten, zouden hoge beoordelingen voor
domein representatie moeten krijgen en items die minder belangrijke aspecten meten lage
beoordelingen. Ook hier zou men aan vakdeskundigen moeten vragen de relevantie van items voor
bepaalde toetsspecificaties te beoordelen en deze beoordelingen zou men dan binnen elke
inhoudscategorie kunnen aggregeren om de domein representatie te bepalen.
Adequate toetsconstructieprocedures zullen de inhoudsvaliditeit van examens bevorderen door bij
alle onderscheiden stappen van het toetsconstructieproces kwaliteitscontrole te doen plaatsvinden. In
de loop der jaren zijn er vele toetsconstructieprocedures voorgesteld die veelal grote overeenkomsten
vertonen. Een van de bekendste toetsconstructieprocedures is het twaalf stappenplan dat beschreven
staat in het eerste hoofdstuk van Downing en Haladyna (2006). In navolging hierop introduceerde
Veldkamp (2016) een tien stappenplan ten behoeve van de (centrale) examens zoals wij die in
Nederland kennen. In het onderhavige onderzoek wordt nagegaan of de wijze waarop de centrale
examens
geconstrueerd
worden,
overeenkomt
met
de
tien
stappen
uit
deze
toetsconstructieprocedure.
In het volgende hoofdstuk wordt het onderzoekskader toegepast op twee centrale examens: Biologie
vmbo GL/TL 2016 en Duits havo 2016.

5

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4. Onderzoek inhoudsvaliditeit
4.1. Onderzoek inhoudsvaliditeit van de centrale examens
Voor het onderzoek naar de inhoudsvaliditeit van de centrale examens in Nederland spelen de
syllabus en de constructieopdracht een cruciale rol. In deze inleiding bespreken we deze
instrumenten eerst in algemene zin. In de twee volgende paragrafen bespreken we de syllabi en
constructieopdrachten van twee examens, namelijk biologie vmbo en Duits havo.
De minister van OCW stelt het examenprogramma vast per vak en per schooltype. In deze
examenprogramma’s staat op hoofdlijnen wat de leerlingen moeten kennen en kunnen. Omdat
examenprogramma’s niet genoeg houvast geven aan examenconstructeurs, docenten en
schoolboekenuitgevers, is het CvTE belast met de taak om de eisen voor het centraal examen te
specificeren. Dat doet het CvTE door middel van syllabi die elk jaar geactualiseerd worden.
Behalve een beschrijving van de exameneisen voor een centraal examen kan een syllabus verdere
informatie over het centraal examen bevatten, bijvoorbeeld over een of meer van de volgende
onderwerpen: specificaties van examenstof, begrippenlijsten, bekend veronderstelde onderdelen van
domeinen of examenheden die verplicht zijn op het schoolexamen, bekend veronderstelde
voorkennis uit de onderbouw, bijzondere vormen van examinering (zoals computerexamens),
voorbeeldopgaven, toelichting op de vraagstelling, hulpmiddelen. In geval een nieuwe syllabus of een
grondige herziening van een syllabus nodig is, wordt een syllabuscommissie ingesteld. Een
syllabuscommissie bestaat uit een voorzitter en enkele leden die ondersteuning krijgen van SLO en
Cito. Specifieke examenprogramma’s en syllabi kan men vinden op www.examenblad.nl.
De wijze waarop de examenstof uit de syllabus wordt getoetst in het centraal examen is vastgelegd in
de constructieopdracht van het CvTE. Deze constructieopdracht is uitgewerkt in een vijftal
productspecificaties:
1. De verdeling van de vragen over de examenstof (toetsmatrijs);
2. De mate waarin het examen vragen met een reproductief en/of productief karakter moet
bevatten;
3. De keuze van teksten en contextmateriaal;
4. De toe te passen vraagvormen en vaardigheidsvragen;
5. De wijze waarop de correctievoorschriften opgesteld dienen te zijn.
De constructieopdracht bestaat uit een algemeen gedeelte en een vakspecifiek gedeelte. Het
algemeen gedeelte geldt voor alle centrale examens, tenzij anders vermeld. In het vakspecifieke deel
zijn de productspecificaties en planningen voor ieder afzonderlijk vak beschreven, waaronder de
aantallen te produceren examens. In het betreffende document met informatie over het algemeen
gedeelte van de constructieopdracht wordt er uitgebreid op ingegaan dat examendocumenten niet
aanstootgevend mogen zijn voor bepaalde groepen in de samenleving waarbij ‘bepaalde groepen’
breed wordt opgevat en niet beperkt is tot religieuze stromingen.

6

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Van belang voor het onderhavige onderzoek is dat men over documenten beschikt die betrekking
hebben op de kwaliteitscriteria van de examenvragen en de eisen die aan het beoordelingsmodel
gesteld worden. Over de moeilijkheidsgraad en maakbaarheid wordt opgemerkt dat examens in de
ogen van het CvTE en van andere deskundigen redelijke eisen aan kandidaten dienen te stellen en
van voldoende niveau dienen te zijn om het civiel effect van het diploma te waarborgen. Daarnaast
bevat het algemene gedeelte informatie over de lengte van de scoreschaal van een examen, de vier
onderdelen van het correctievoorschrift en de normeringsprocedure die gepubliceerd is in de
‘Regeling omzetting scores in cijfers’ van het CvTE, www.examenblad.nl.
De constructieopdracht voor ieder afzonderlijk vak wordt door de inhoudelijk opdrachtgever CvTE
verstrekt aan de opdrachtnemer Cito. Bij de oplevering van een centraal examen voor een vak legt de
opdrachtnemer verantwoording af aan de opdrachtgever door middel van de zogeheten
toetsrationale. In de toetsrationale wordt aangegeven hoe het centraal examen zich verhoudt tot de
product- of toetsspecificaties van de constructieopdracht. In het bijzonder is in de toetsrationale
aangegeven hoe het centraal examen zich verhoudt tot de toetsmatrijs uit de constructieopdracht. De
vaststellingscommissie van het CvTE beoordeelt of het door Cito gemaakte concept-examen geschikt
en passend is als centraal examen en stelt het examen vast. Het CvTE stelt vervolgens, op voorstel
van de vaststellingscommissie, de correctievoorschriften vast. Een vaststellingscommissie bestaat uit
een voorzitter die meestal afkomstig is uit het hoger onderwijs en enkele docenten die ervaring
hebben met het lesgeven in examenklassen. Deze leden worden voorgedragen door de
vakvereniging of de onderwijsbonden. Na afloop van de examenperiode evalueert het CvTE de
examens met het scholenveld. De resultaten van deze evaluatie worden in een nieuwe examencyclus
ingebracht. In figuur 2 is de samenwerking CvTE en Cito gevisualiseerd.

Figuur 2. Samenwerking CvTE en Cito bij de constructie en vaststelling van centrale examens VO

7

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.2. Biologie vmbo GL/TL 2016
In deze paragraaf passen we het onderzoekskader voor de inhoudsvaliditeit toe op het examen
Biologie vmbo GL/TL 2016. Het onderzoek start met de domein definitie (§ 4.2.1), uitgewerkt in de
inhoud van het examen (§ 4.2.1.1) en de toetsspecificaties (§ 4.2.1.1). Hierna volgen domein
representatie (§ 4.2.2), domein relevantie (§ 4.2.3) en adequate toetsconstructieprocedures (§ 4.2.4).
De vier voornoemde onderdelen geven samen een beeld van de inhoudsvaliditeit van het centrale
examen Biologie vmbo GL/TL 2016.

4.2.1. Domein definitie examen Biologie vmbo GL/TL 2016
De domein definitie voor het examen Biologie vmbo GL/TL 2016 betreft een gedetailleerde
beschrijving van:
1. De inhoud van het examen en de cognitieve vaardigheden waar een beroep op wordt
gedaan;
2. De toetsspecificaties die zowel de specifieke inhoudscategorieën of inhoudsgebieden als de
cognitieve niveaus benoemen.
Onderstaande beschrijving van de inhoud van het examen en de toetsspecificaties zijn nagenoeg
letterlijk ontleend aan de bespreking van de syllabus Biologie vmbo GL/TL 2016 in het document
‘Syllabus Biologie vmbo, versie 2, juni 2015’.

4.2.1.1. Inhoud van het examen
Het examenprogramma voor de leerwegen BB, KB en GL/TL bestaat uit de volgende domeinen of
exameneenheden:
-

8

Oriëntatie op leren en werken (BI/K/1)
Basisvaardigheden (BI/K/2)
Leervaardigheden in het vak biologie (BI/K/3)
Cellen staan aan de basis (BI/K/4)
Schimmels en bacteriën; nuttig en soms schadelijk (BI/K/5)
Planten en dieren en hun samenhang: de eigen omgeving verkend (BI/K/6)
Mensen beïnvloeden hun omgeving (BI/K/7)
Houding, beweging en conditie (BI/K/8)
Het lichaam in stand houden: voeding en genotmiddelen, energie, transport en uitscheiding (BI/K/9)
Bescherming (BI/K/10)
Reageren op prikkels (BI/K/11)
Van generatie op generatie (BI/K/12)
Erfelijkheid en evolutie (BI/K/13)
Bescherming en antistoffen (BI/V/1)
Gedrag bij mens en dier (BI/V/2)
Verwerven, verwerken en verstrekken van informatie (BI/V/3)
Vaardigheden in samenhang (BI/V/4)

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

In de syllabus staat per exameneenheid beschreven wat de kandidaten van de drie vmbo leerwegen
(BB, KB en GL/TL) moeten kennen en kunnen. De examenstof is beschreven in tabellen met de
volgende soorten regels:
-

de naam van de exameneenheid
de beschrijving uit het examenprogramma
de specificering van de examenstof

Per regel in de tabel is met kruisjes aangegeven voor welke leerweg de beschrijving of specificering
bedoeld is.
Het centraal examen Biologie vmbo GL/TL 2016 heeft betrekking op de volgende domeinen of
exameneenheden:
Leervaardigheden in het vak biologie (BI/K/3)
De kandidaat kan strategische vaardigheden toepassen die bijdragen tot:
-

De ontwikkeling van het eigen leervermogen
Het vermogen met biologische vaktaal en methodieken te communiceren en onderzoek te doen.

Cellen staan aan de basis (BI/K/4)
De kandidaat kan:
-

kenmerkende eigenschappen van cellen noemen, de samenstellende delen daarvan beschrijven, en de meest
voorkomende organisatieniveaus binnen organismen noemen en beschrijven
toelichten dat een organisme als een geheel beschouwd kan worden waarbij voor instandhouding en gezondheid van
het organisme processen in onderlinge samenhang kan plaatsvinden.

Planten en dieren en hun samenhang: de eigen omgeving verkend (BI/K/6)
De kandidaat kan:
-

de namen van organismen opzoeken en de delen waaruit ze zijn samengesteld
de relaties noemen en toelichten die ze onderling en met hun omgeving hebben

Het lichaam in stand houden: voeding en genotmiddelen, energie, transport en uitscheiding (BI/K/9)
De kandidaat kan:
-

vorm, werking en functie van het verteringsstelsel, bloedvatenstelsel, ademhalingsstelsel en uitscheidingsstelsel
beschrijven
hun onderlinge verband toelichten

Reageren op prikkels (BI/K/11)
De kandidaat kan:
-

9

de rol en werking van het zenuwstelsel, zintuigenstelsel en hormoonstelsel toelichten
beschrijven welke relatie er is tussen gedrag en inwendige en uitwendige prikkels

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Van generatie op generatie (BI/K/12)
De kandidaat kan voortplanting en groei bij organismen toelichten, evenals de vorm en functie van seksueel gedrag daarbij.

Erfelijkheid en evolutie (BI/K/13)
De kandidaat kan beschrijven hoe erfelijke eigenschappen van generatie op generatie worden doorgegeven en toelichten hoe
die erfelijke eigenschappen in de tijd kunnen veranderen.

Bescherming en antistoffen (BI/V/1)
De kandidaat kan de manier waarop het lichaam zich beschermt tegen antigenen door middel van antistoffen beschrijven en
toelichten hoe deze bescherming kunstmatig kan worden verhoogd.

Gedrag bij mens en dier (BI/V/2)
De kandidaat kan gedrag van mens en dier op een gestandaardiseerde wijze beschrijven en dat beschreven gedrag verklaren.

Vaardigheden in samenhang (BI/V/4)
De kandidaat kan de vaardigheden uit het kerndeel in samenhang toepassen.

4.2.1.2. Toetsspecificaties
Bij het examen Biologie vmbo GL/TL 2016 zijn, gerubriceerd per exameneenheid, de volgende
toetsspecificaties aan de orde:
Leervaardigheden in het vak biologie (BI/K/3)
1.
2.
3.
4.
5.
6.

biologisch bronnenmateriaal begrijpend lezen en hierbij feiten en meningen onderscheiden in diverse type bronnen
informatie uit biologisch bronnenmateriaal verwerven, selecteren, verwerken en bewerken
eigen gedachten mondeling en schriftelijk formuleren over biologische onderwerpen
basisrekenvaardigheden binnen biologie toepassen
rekenen met grootheden en eenheden
veilig, zinvol en doelmatig gebruikmaken van stoffen, materialen, organismen, (meet)instrumenten, apparaten en
software, zonder schade te berokkenen aan organismen en milieu
7. biologische begripskennis opbouwen, uitgaande van aanwezige denkbeelden
8. specifieke hulpmiddelen gebruiken zoals loep, microscoop, indicatoren (jodium en kalkwater) en determineertabel en
determineerkaart
9. gegevens verwerken in een verslaggeving naar aanleiding van een bezoek aan een instelling waar levensprocessen
een belangrijke rol spelen
10. een studie van een zelf gekozen biologisch onderwerp uitvoeren en in een verslaggeving verwerken
11. ICT-hulpmiddelen en gangbare software gebruiken om te schrijven, te rekenen, informatie te verzamelen, te
bewerken en te presenteren en toetsen te maken

Cellen staan aan de basis (BI/K/4)
1.
2.
3.

10

levenskenmerken noemen en toelichten
delen waaruit een cel is opgebouwd en delen waardoor een cel kan zijn omgeven, benoemen en in afbeeldingen of
in modellen aanwijzen en van deze delen de functie(s) beschrijven
kenmerkende eigenschappen van cellen van dieren, planten, schimmels en bacteriën noemen

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.
5.
6.

beschrijven wat de stofwisselingsprocessen, verbranding en fotosynthese voor betekenis hebben voor de
instandhouding van een organisme en wat de correlatie ervan is met de gassen die een organisme in- en uitgaan
delen waaruit een weefsel, orgaan of orgaanstelsel is opgebouwd benoemen en in afbeeldingen of modellen
aanwijzen en functie(s) van deze delen beschrijven
toelichten dat een organisme als een geheel beschouwd kan worden waarbij voor instandhouding en gezondheid van
het organisme processen in onderlinge samenhang plaatsvinden

Planten en dieren en hun samenhang: de eigen omgeving verkend (BI/K/6)
1.
2.
3.
4.
5.
6.

via determineren de naam opzoeken van organismen en verwoorden dat aan het onderling verschillen van soorten
erfelijke factoren ten grondslag liggen
verbanden aangeven tussen vorm, bouw en leefwijze van organismen en de omgeving waarin deze organismen
leven, en aangeven/uitleggen hoe planten en dieren zijn aangepast aan hun leefomgeving
delen waaruit zaadplanten zijn opgebouwd benoemen, hun functie(s) beschrijven en aangeven welke delen van
planten voedingsmiddelen en/of grondstoffen leveren voor de mens
enkele typen weefsel(s) van planten met functie(s) en bouw beschrijven
uitleggen wat een ecosysteem is en uitleggen/noemen welke relaties er zijn tussen organismen bij de
energiestromen in een ecosysteem
in een beschreven ecosysteem biotische en abiotische milieufactoren noemen en toelichten dat individuen en
populaties in een ecosysteem afhankelijk zijn van en beïnvloed worden door biotische en abiotische factoren

Het lichaam in stand houden: voeding en genotmiddelen, energie, transport en uitscheiding (BI/K/9)
1.
2.
3.
4.
5.
6.
7.
8.

de functie van het verteringsstelsel beschrijven
de delen van het verteringsstelsel noemen, in afbeeldingen aanwijzen en functie(s) en werking ervan beschrijven
voedingsstoffen en hun functie(s) voor het lichaam noemen en de relatie ervan met voedingsadviezen toelichten
inclusief evenwicht tussen opname en gebruik, verbruik en verlies van stoffen bij een constante lichaamsmassa
uitleggen wat er kan gebeuren bij ondervoeding, bij overmatig gebruik van voedsel, alcohol en medicijnen, en bij
gebruik van tabak en drugs en hierbij abstracte relaties leggen
lymfevaten, bloedvaten en delen van het hart noemen, in afbeeldingen aanwijzen en functie(s) en werking
beschrijven, met inbegrip van enkele macroscopische details en problemen met de bloedsomloop
van bloed, lymfe en weefselvloeistof van de mens de samenstellende delen noemen en de functie van de delen
beschrijven
delen van het ademhalingsstelsel noemen, in afbeeldingen aanwijzen en functie(s) en werking beschrijven
lever en nieren met urineleiders, urineblaas en urinebuis noemen, in afbeeldingen aanwijzen en de functie ervan
noemen, de bouw en werking van de nier beschrijven en beschrijven dat omzetting van afvalstoffen en niet-bruikbare
stoffen in de lever plaatsvindt en dat deze daarna uitgescheiden worden

Reageren op prikkels (BI/K/11)
1.
2.
3.
4.
5.
6.
7.
8.
9.

11

toelichten dat gedrag bij dieren uit een reeks samenhangende handelingen bestaat, en kan aan de hand van
concrete voorbeelden uitleggen dat gedrag afhankelijk is van inwendige en uitwendige prikkels
delen van het zenuwstelsel noemen, in afbeeldingen aanwijzen, en functie(s) en werking beschrijven; soorten
zenuwcellen benoemen en onderverdelen
ervaringen/waarnemingen van zintuig-practicumproeven in biologische termen weergeven
delen en omringende delen van de gehoororganen, van de ogen en van zintuigelementen in huid, neus en tong in
afbeeldingen aanwijzen en functie en werking ervan beschrijven
op abstracte wijze uitleggen dat prikkels uit de omgeving door zintuigen omgezet worden in impulsen die naar het
centrale zenuwstelsel geleid worden, waardoor waarneming kan plaatsvinden
beschrijven dat bewust gedrag vanuit de hersenen gestuurd wordt
de samenstellende delen van de huid en het onderhuids bindweefsel noemen, in afbeeldingen aanwijzen en
functie(s) beschrijven
het principe van de werking van hormonen beschrijven
hormoonklieren noemen, in afbeeldingen aanwijzen en functies en werking met de nodige detaillering beschrijven

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Van generatie op generatie (BI/K/12)
1.
2.
3.
4.
5.
6.
7.

fasen in de lichamelijke en geestelijke groei en ontwikkeling van mensen noemen
delen van de voortplantingsstelsels noemen, in afbeeldingen aanwijzen en functie(s) en werking beschrijven
functies van seksualiteit verwoorden en verschillen in opvattingen, normen en waarden daarover formuleren
beschrijven hoe de voortplanting van mensen verloopt
de werking van voorbehoedmiddelen beschrijven
stadia in de levenscyclus van zaadplanten met geslachtelijke voortplanting noemen, inclusief aspecten van het
overwinteren van een plant
aan de hand van voorbeelden geslachtelijke en ongeslachtelijke voortplanting bij zaadplanten herkennen en
toelichten

Erfelijkheid en evolutie (BI/K/13)
1.

2.
3.
4.
5.
6.

enkele situaties noemen waarin het relevant is enige kennis te hebben van de erfelijkheidsleer en situaties noemen
waarin het relevant is om genetisch advies in te winnen en in dit verband vormen van prenataal onderzoek
beschrijven
toelichten dat individuen informatie over erfelijke eigenschappen overdragen aan hun nakomelingen en welke rol
chromosomen en geslachtscellen hierbij spelen
het proces en de betekenis van de gewone celdeling (mitose) en de reductiedeling (meiose) beschrijven
conclusies trekken uit gegevens bij monohybride kruisingen over het genotype en fenotype van ouders en/of hun
directe nakomelingen
toelichten dat onder andere bepaalde stoffen en straling invloed kunnen hebben op de frequentie waarmee mutaties
plaatsvinden
toelichten dat volgens de evolutietheorie in de loop van de tijd nieuwe rassen en soorten zijn ontstaan, mede onder
invloed van mutatie en selectie

Bescherming en antistoffen (BI/V/1)
1.
2.
3.
4.
5.

antigenen onderscheiden die de vorming van antistoffen tot gevolg hebben
de aanwezigheid van antistoffen in verband brengen met een besmetting van mens of (landbouwhuis)dier
antistoffen als diagnostisch middel toepassen bij een op schrift aangeboden biologische probleemstelling en hierbij
relevante gegevens verwerken en presenteren
aangeven hoe de bescherming van het lichaam kunstmatig kan worden verhoogd
binnen de context van bescherming en antistoffen uitleg geven bij transplantaties6 en auto-immuunziekten

Gedrag bij mens en dier (BI/V/2)
1.
2.
3.
4.
5.

aangeboden problemen oplossen binnen de context van gedrag, gebruikmakend van biologische begrippen
ethogrammen en protocollen van gedrag van dieren of mensen maken en/of interpreteren
aan de hand van concrete voorbeelden verschillende vormen van leren, sociaal gedrag en communicatie noemen en
de functie(s) daarvan aangeven
in concrete (beschreven) situaties de rol beoordelen van leren, sociaal gedrag en communicatie bij mensen en dieren
bij taakverdeling en coördinatie
een standpunt over de vergelijking van het gedrag van mensen en dieren bediscussiëren en beargumenteren

Vaardigheden in samenhang (BI/V/4)
-

12

deze exameneenheid is niet verder gespecificeerd

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Bij deze toetsspecificaties zijn de volgende toelichtingen van toepassing:
-

-

-

-

-

Per exameneenheid is beschreven wat de kandidaten van de drie leerwegen (BB, KB, GL/TL)
moeten kennen en kunnen. Deze structuur maakt de onderlinge verschillen tussen de
leerwegen duidelijker.
De examenstof is beschreven in tabellen. Voor wat betreft leerweg GL/TL bestaan deze
tabellen uit de volgende soorten regels:
o Beschrijving uit het examenprogramma;
o Per deelbeschrijving is via kruisjes aangegeven voor welke leerweg de beschrijving of
verdere specificering is bedoeld.
De examenstof Biologie BB, KB, GL/TL is verdeeld over het centraal examen en het
schoolexamen.
Het examen Biologie vmbo GL/TL 2016 kent, in tegenstelling tot de leerwegen BB en KB,
alleen een papieren variant en geen digitale variant.
In het GL/TL examen worden vragen uit het KB-examen opgenomen ter omvang van 50%
van de scorepunten van het KB-examen, met een marge van 10%.
Het examen bestaat voor 20 – 40% uit meerkeuzevragen, voor 0 – 20% uit
voorgestructureerde vragen en voor 50 – 70% uit (volledig) open vraagvormen. Het examen
bestaat in totaal uit 50 vragen met een marge van 10%.
De lengte van de scoreschaal bedraagt 65 scorepunten met een marge van 10%. De
procentuele verdeling van de scorepunten over de 9 exameneenheden varieert van 8 – 14%
per exameneenheid. In termen van gedragsaspecten is de procentuele verdeling van de
scorepunten verdeeld als 50 – 70% reproductie en 30 – 50% productie.
De tijdsduur voor het examen bedraagt 120 minuten.
Bij de normering van de examens worden scores omgezet in cijfers met behulp van een
algoritme dat de N-term wordt genoemd.

4.2.2. Domein representatie examen Biologie vmbo GL/TL 2016
Domein representatie betreft de mate waarin een examen het domein zoals dat gedefinieerd is door
de toetsspecificaties adequaat representeert en meet. Het behoort tot de expertise van
vakdeskundigen om te bepalen of de opgaven in voldoende mate het beoogde domein representeren.
In paragraaf 4.1 is beschreven hoe de inhoudelijk opdrachtgever CvTE voor ieder afzonderlijk vak
een constructieopdracht verstrekt aan de opdrachtnemer Cito. Bij de oplevering van een centraal
examen voor een vak legt de opdrachtnemer verantwoording af aan de opdrachtgever door middel
van de zogeheten toetsrationale. In de toetsrationale wordt aangegeven hoe het centraal examen
zich verhoudt tot de productspecificaties van de constructieopdracht.
In het bijzonder is in de toetsrationale aangegeven hoe het centraal examen zich verhoudt tot de
toetspecificaties of toetsmatrijs uit de constructieopdracht. Hierna bespreken we de toetsrationale van
het examen Biologie vmbo GL/TL 2016, zoals weergegeven in figuur 3.

13

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Waterpest
Ademhaling
Niertransplantatie
Exp.tuinkerszaden

Aquaria
Malaria

Meeuwen

Griepvarianten
Pijpbloem
Hormonen+bevalling
Waterpokken

Ziekte van Krabbe

Chlamydia
Kapucijnapen

Dolfijnen

Punten totaal examen
Punten matrijs
% examen
% matrijs (minimaal)
% matrijs (maximaal)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

1
2
1
1
1
1
1
1
1
1
1
2
1
2
2
1
2
1
1
1
2
1
1
1
1
2
1
1
1
1
2
1
2
1
1
2
2
1
1
1
1
1
2
1
1
1
1
1
1
1
1
1
1
6
6
10
7
8
8
6
7
7
7
7
10
7
8
8
7
7
7
9% 9% 15% 11% 12% 12% 9% 11% 11%
8% 8% 14% 8% 10% 10% 8% 8% 8%
12% 12% 18% 12% 14% 14% 12% 12% 12%

1
2
1
1
1
1
1
1
1
1
1
2
1
2
2
1
2
1
1
1
2
1
1
1
1
2
1
1
1
1
2
1
2
1
1
2
2
1
1
1
1
1
2
1
1
1
1
1
1
1
1
1
1
65
65
100%
82%
118%

1
2
1
1
1
1
1
1
1
1
1
2
1
2

1
2

tekst

aantal woorden

overlap

met KB

voorgestructureerd

meerkeuze

vraagvorm

open

reproductief

productief

Maximum

V4

gedrag

V2

V1

K13

K12

K11

Opgave
Darmbacteriën

biologie
vmbo gt cse
2016-1

domein / exameneenheid

K9

27

K6

70

Naam vak:
Examenniveau:
Afnamejaar/tijdvak:
Toetsdeskundige:

K4

2
65
53

Vraagnummer

Beschikbare afnametijd (uur):
Lengte scoreschaal:
Aantal items:

1
2
1

1
1
1

1
1
1
1
1

1
1

1
1

1
2

2

2

2
1
2
1

2
1

2

2
1

1
1
2
1
1
1
1
2
1
1
1

1
1
1
2
1
1
1
1
2
1
1
1

1

1
2

2

1

1
2

2

1

1
1

1
2
2
1
1

2
1

2
2
1
1

1
1

1
1
1

2
1
1
1
1
1
1
1
1
1
1
26 39
26 39
40% 60%
30% 50%
50% 70%

1
2
1
1
1
1
1
1
1
1

1
2
1
1
1
1
1
1
1
1

1
1
34 17 14
39 20
7
52% 26% 22%
50% 20% 0%
70% 40% 20%

26
33
40%
40%
60%

0
600

Figuur 3. Toetsrationale van het centrale examen Biologie vmbo GL/TL 2016

14

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

De toetsrationale examen Biologie vmbo GL/TL 2016 bestaat uit een matrix met de 53 vraagnummers
als rijen en de volgende kolommen:
-

kolom 1: titels van de 16 thema’s gekoppeld aan de vragen – thema 1 telt 4 vragen, thema 2
telt 2 vragen etc.
kolom 2: vraagnummers van de in totaal 53 vragen
kolom 3 – 12: indicatie tot welke van de exameneenheid een vraag behoort en de maximaal
te behalen scorepunten
kolom 13 – 14: indicatie tot welk gedrag een vraag behoort (productief / reproductief) en de
te behalen scorepunten
kolom 15 – 17: indicatie tot welke vraagvorm een vraag behoort (open / meerkeuze /
voorgestructureerd) en de te behalen scorepunten
kolom 18: indicatie in welke mate een vraag overlapt met het examen Biologie vmbo KB
2016, uitgedrukt in de maximaal te behalen scorepunten
kolom 19: tekstlengte in woorden van de thema’s (kolom 28 is niet van toepassing op het
examen Biologie GL/TL 2016 en is daarmee in de toetsrationale leeg gebleven)

De kolommen van deze matrix geven de volgende informatie:
-

op het examen kunnen maximaal 65 punten worden behaald, verdeeld over 6 tot 10 punten
per exameneenheid / domein;
de verdeling van punten per gedragstype is 26 productief : 39 reproductief;
de verdeling van punten per vraagvorm is 34 open : 17 meerkeuze : 14 voorgestructureerd;
in totaal 26 van de 65 punten vertonen overlap met het examen Biologie vmbo KB 2016.

4.2.3. Domein relevantie examen Biologie vmbo GL/TL 2016
Domein relevantie betreft de mate waarin elke opgave van een examen relevant is voor het beoogde
domein. Ook om de relevantie van opgaven te bepalen, is de inzet van vakdeskundigen nodig. Bij de
constructie van alle examens, dus ook van het examen Biologie GL/TL 2016, zijn altijd twee groepen
toets- en vakdeskundigen betrokken: leden van de constructiegroep en leden van de
vaststellingscommissie.
Bij de constructie van opgaven en correctievoorschriften is een groot aantal docenten als
constructiegroeplid betrokken. Deze docenten selecteren de contexten en leveren de vragen daarbij
aan bij de Cito-toetsdeskundige. Een constructiegroeplid is altijd een docent met ervaring in
examenklassen. Per examen wordt in de regel door een drietal constructiegroepleden materiaal
aangeleverd. De Cito-toetsdeskundige stelt het examen samen en bespreekt het concept met de
CvTE-vaststellingscommissie. De vaststellingscommissie is verantwoordelijk voor de vaststelling van
opgaven en correctievoorschriften.

15

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

De vaststellingsprocedure van het examen Biologie vmbo GL/TL 2016 kent 3 fasen:
1. Fase b: goedkeuren uitwerking van de constructieopdracht;
2. Fase c: vaststellen losse opgaven;
3. Fase d: vaststelling heel examen.
De vaststellingscommissie spreekt zich in elke vaststellingsfase alleen uit over nog niet eerder door
haar goedgekeurde elementen. In de praktijk kunnen fase b, fase c en fase d gelijk oplopen.
Bij de vaststelling van het examen maakt ieder lid van de vaststellingscommissie afzonderlijk een
niveau-inschatting van het examen ten opzichte van het referentie examen.
Tijdens het constructieproces wordt in ieder geval vaststellingsformulier d ingevuld door de voorzitter
van de vaststellingscommissie.
In paragraaf 4.1 is reeds de samenstelling en de vakdeskundigheid van de vaststellingscommissie
besproken. Van beide groepen mag aangenomen worden dat zij in staat zijn de relevantie van de
opgaven voor het meten van de exameneenheden / domeinen van het examen Biologie vmbo GL/TL
2016 te kunnen beoordelen.
Als deskundigen kunnen ook docenten/examinatoren aangemerkt worden die via een enquête hun
waardering voor het examen Biologie vmbo GL/TL 2016 uitgesproken hebben. In de enquête
(http://www2.cito.nl/vo/examenverslag/waardering2016/pdf/16206.pdf) werd niet hun oordeel over
individuele opgaven gevraagd maar wel over de moeilijkheidsgraad van het examen, de lengte van
het examen en de aansluiting bij het gegeven onderwijs. Ook werd de docenten gevraagd het
examen met een cijfer te waarderen.
De resultaten voor het examen Biologie vmbo GL/TL 2016, 1.244 respondenten van 711 scholen,
waren als volgt:
-

16

32% vond het examen moeilijk en 60% niet te moeilijk/niet te makkelijk;
87% vond de lengte precies goed en 8% vond het te lang;
49% vond de aansluiting bij het gegeven onderwijs voldoende en 41% goed;
6% gaf het examen het cijfer 5, 26% het cijfer 6 en 49% het cijfer 7.

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.2.4. Adequate toetsconstructieprocedure examen Biologie vmbo GL/TL 2016
Het gebruik van een adequate toetsconstructieprocedure zal de inhoudsvaliditeit van alle examens in
het algemeen ten goede komen. Zoals beschreven in 3.1., wordt aan de hand van het tien
stappenplan van Veldkamp (2016) de constructieprocedure die bij het examen Biologie vmbo
gehanteerd wordt tegen het licht gehouden. De toetsconstructieprocedure van Veldkamp (2016)
onderscheidt de volgende tien stappen:
1. Maak een toetsplan
2. Definieer de inhoud
3. Stel de toetsmatrijs op
4. Ontwikkel de items
5. Stel de toets samen
6. Neem de toets af
7. Scoor de antwoorden
8. Bepaal de zak/slaaggrens
9. Rapporteer de scores
10. Documenteer de voorgaande stappen
Hieronder wordt nagegaan of deze stappen ook bij de constructie van het centraal examen Biologie
vmbo GL/TL 2016 gehanteerd worden.
Deelstap

Beoordeling

Ad 1. Maak een toetsplan



Bij het examen Biologie vmbo GL/TL 2016 is het duidelijk welk ‘construct’ gemeten wordt,
namelijk de negen gespecificeerde exameneenheden voor de leerweg GL/TL. Het examen
is bedoeld om leerlingen te certificeren.


Ad 2. Definieer de inhoud
Het definiëren van de inhoud is beschreven in paragraaf 4.2.1.1 van de domein definitie.



Ad 3.Stel de toetsmatrijs op
Voor deze stap zie paragraaf 4.2.1.2 waar de toetsspecificaties vermeld worden.



Ad 4. Ontwikkel de items
Deze stap betreft de constructieopdracht op basis waarvan de opdrachtnemer Cito de
opgaven voor een concept-examen construeert.



Ad 5. Stel de toets samen
De vaststellingscommissie van het CvTE stelt het examen en de correctievoorschriften
vast.



Ad 6. Neem de toets af
Het examen Biologie vmbo GL/TL 2016 wordt onder regie van het CvTE op scholen
afgenomen.

17

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl



Ad 7. Scoor de antwoorden
De antwoorden worden door de docent Biologie en een tweede corrector gescoord aan de
hand van correctievoorschriften van het CvTE.



Ad 8. Bepaal de zak/slaaggrens
Sinds 2000 wordt genormeerd volgens de CvTE-methode. Deze methode is voor alle
examens toepasbaar ongeacht de gehanteerde vraagvormen of de lengte van de
scoreschaal. De vaststelling van de normeringsterm (N-term) is daarbij de belangrijkste
beslissing. Het CvTE hanteert een systeem van absolute normering bij de centrale
examens. Daarbij is het uitgangspunt dat de prestatie-eis van jaar tot jaar en tijdvak tot
tijdvak identiek is. Met behulp van de N-term worden de verschillen in zwaarte van de
verschillende examens binnen een vak gecompenseerd.



Ad 9. Rapporteer de scores
De kandidaten ontvangen korte tijd het afleggen van het examen hun cijfer. Het cijfer wordt
vastgesteld door het CvTE.



Ad 10. Documenteer de voorgaande stappen
Voorgaande stappen zijn in verschillende documenten beschreven en veelal digitaal
beschikbaar via de websites van CvTE en Cito.

4.3. Samenvatting van de bevindingen Biologie vmbo GL/TL 2016
Samenvattend geeft het onderzoek naar de inhoudsvaliditeit van het examen Biologie vmbo GL/TL
2016 het volgende beeld.
Met de gedetailleerde beschrijving van de domeinen / exameneenheden van de leerweg GL/TL en de
hierbij verstrekte toetsspecificaties is er sprake van een domein definitie die als een min of meer
volledige beschrijving van het betreffende examen aangemerkt mag worden. Voor wat betreft de
domein representatie wordt er onderscheid gemaakt tussen de inhoudelijke beoordeling van de
opgaven enerzijds en de toetsrationale anderzijds. De inhoudelijke beoordeling van de opgaven valt
onder de verantwoordelijkheid van de vakdeskundigen Biologie. Voor wat betreft de toetsrationale
wordt voldaan aan het criterium domein representatie. Het onderzoekskader geeft aan dat er
verschillende vakdeskundigen bij de examenconstructie betrokken (moeten) zijn. Uit de documentatie
is niet direct af te leiden hoe het proces om tot het feitelijke examen te komen, verlopen is. Navraag
bij CvTE leert dat dit proces volgens het schema van figuur 2 op blz. 7 verlopen is. Wij kwalificeren dit
als zorgvuldig. Afgaande op de samenstelling en vakdeskundigheid van de vaststellingscommissie,
mag ervan uit worden gegaan dat het examen Biologie vmbo GL/TL 2016 voldoet aan het criterium
domein relevantie. Deze bevinding wordt ondersteund door de uitkomsten van de enquête die is
uitgevoerd onder de groep docenten / examinatoren. De wijze van construeren van het centraal
examen Biologie vmbo GL/TL 2016 sluit aan bij het tien stappenplan voor een adequate
toetsconstructieprocedure.

18

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.4. Duits havo 2016
In deze paragraaf passen we het onderzoekskader voor de inhoudsvaliditeit toe op het examen Duits
havo 2016. Het onderzoek start met de domein definitie (§ 4.2.1), uitgewerkt in de inhoud van het
examen (§ 4.2.1.1) en de toetsspecificaties (§ 4.2.1.1). Hierna volgen domein representatie (§ 4.2.2),
domein relevantie (§ 4.2.3) en adequate toetsconstructieprocedures (§ 4.2.4). De vier voornoemde
onderdelen geven gezamenlijk een beeld van de inhoudsvaliditeit van het centrale examen Duits
havo 2016.
4.4.1. Domein definitie examen Duits havo 2016
De domein definitie voor het examen Duits havo 2016 betreft een gedetailleerde beschrijving van:
1. De inhoud van het examen en de cognitieve vaardigheden waar een beroep op wordt
gedaan;
2. De toetsspecificaties die zowel de specifieke inhoudscategorieën of inhoudsgebieden als de
cognitieve niveaus benoemen.
Onderstaande beschrijving van de inhoud van het examen en de toetsspecificaties hebben we
nagenoeg letterlijk ontleend aan de bespreking van de syllabus Duits havo 2016 in het document
‘Syllabus centraal examen 2016 Arabisch, Duits, Engels, Frans, Russisch, Spaans, Turks, versie 2,
juni 2015.

4.4.1.1. Inhoud van het examen
Het examenprogramma bestaat voor alle moderne vreemde talen uit de volgende domeinen:
-

Leesvaardigheid (A)
Kijk- en Luistervaardigheid (B)
Gespreksvaardigheid (C)
Schrijfvaardigheden (D)
Literatuur (E)
Oriëntatie op studie en beroep (F)

Het centraal examen Duits havo 2016 heeft betrekking op domein A, leesvaardigheid. Hoewel
onderstaande globale eindterm voor zowel het havo als het vwo geldt, betekent dit niet dat de
examens dezelfde moeilijkheidsgraad hebben.
Domein A: Leesvaardigheid
De kandidaat kan:
-

19

aangeven welke informatie relevant is, gegeven een vaststaande behoefte;
de hoofdgedachte van een tekst(gedeelte) aangeven;
de betekenis van belangrijke elementen van een tekst aangeven;
relaties tussen delen van een tekst aangeven;
conclusies trekken met betrekking tot intenties, opvattingen en gevoelens van de auteur.

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.4.1.2. Toetsspecificaties
Bij het examen Duits havo 2016 zijn de volgende toetsspecificaties aan de orde:
-

vraagvormen en aantal vragen in de examens;
teksten in de examens;
examencondities;
de beoordeling van de prestaties van de kandidaten.

Bij deze specificaties zijn de volgende toelichtingen van toepassing:
-

-

-

De centrale examens moderne vreemde talen voor het havo/vwo bestaan uit vragen en
opdrachten van de vorm: meerkeuzevragen, voorgestructureerde vragen en open vragen:
o de meerkeuzevragen maken samen ongeveer 60 procent van de scorepunten uit;
o de voorgestructureerde vragen en open vragen maken samen ongeveer 40 procent
van de scorepunten uit;
o het examen Duits havo bestaat uit 40 tot 50 opgaven die gezamenlijk tussen de 45
en 55 scorepunten opleveren;
Het aantal teksten in een centraal examen kan variëren van 10 tot 16 teksten. In elk centraal
examen wordt gestreefd naar de opname van verschillende tekstsoorten en teksten met
verschillende functies en thema’s.
Voor het maken van het examen heeft de kandidaat 150 minuten ter beschikking en mag
woordenboeken Nederlands-Duits en Duits-Nederlands gebruiken.
Bij de normering van de examens worden scores omgezet in cijfers met behulp van een
algoritme dat de N-term wordt genoemd. Zelfs bij N = 0 hoeft een kandidaat maar 60% van
de opgaven goed te hebben voor een voldoende.

4.4.2. Domein representatie examen Duits havo 2016
Domein representatie betreft de mate waarin een examen het domein zoals dat gedefinieerd is door
de toetsspecificaties adequaat representeert en meet. Het behoort tot de expertise van
vakdeskundigen om te bepalen of de opgaven in voldoende mate het beoogde domein representeren.
In paragraaf 4.1 beschreven we hoe de inhoudelijk opdrachtgever CvTE voor ieder afzonderlijk vak
een constructieopdracht verstrekt aan de opdrachtnemer Cito. Bij de oplevering van een centraal
examen voor een vak legt de opdrachtnemer verantwoording af aan de opdrachtgever door middel
van de zogeheten toetsrationale. In de toetsrationale wordt aangegeven hoe het centraal examen
zich verhoudt tot de productspecificaties van de constructieopdracht.
In het bijzonder is in de toetsrationale aangegeven hoe het centraal examen zich verhoudt tot de
toetspecificaties of toetsmatrijs uit de constructieopdracht. Hierna bespreken we de toetsrationale van
het examen Duits havo 2016, zoals weergegeven in figuur 4.

20

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

5 Detektor für Knockout-Drogen
6 Meine freie deutsche Jugend
7 Greencard für Kotfresser
8 Weibliche Intuition

9 Abi 78 war anders

10 Die Wahrheit über Kaffee
11 Teures Ersatzhotel
12 Lachen, zwinkern

13 Fernseher
Totalen (aantal woorden/punten)
Punten matrijs
% examen

1
2
1
1
1
2

458

1
3

1

1
95
480

1

1

1

1
1
1
1
1
1
1

140

1

448
163

1

1
1

282

648

1
1
4
1
1
1
1

1

1

1
1
1
1
1
1

144

1

1
1

228
497

1

1
1
1

1

1
1
1
1
445
4712

1
8
1
2
1
0
0
0
0
62% 8% 15% 8%

1
0
8%

1
1
1
2
10 29
7
2
0
0
0
0
0
4% 20% 58% 14% 4%

richtlijn (marge 10%) of maximum

1
2
1
1
1
2
1
3
1
1
1
1
1
1
1
1
1
1
1
4
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
50
0
0
0
100% 0%

1

bijz. MK

Maximum

overig

Vraagvorm

meerkeuze

Samenvatten

Schrijfvaardigheid

Leesvaardigheid

Vaardigheid

gevoelens auteur

tekststructuur

belangrijke elementen

hoofdgedachte

relevante informatie

eindtermen

column

literiare tekst

1

advertentie

684

brief

artikel

tekstsoorten

1
2
1
1
1
2
2
1
3
3
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
4
4
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
22
50
0
0
44% 100%
0%

mki

3 Big Brother für Vögel
4 Angst vor Freitag, dem 13.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

Duits
havo
2016

mk3

2 Die Tüte muss

30

Tekstlengte

59

Testlet
1 Gegen die Wand

Naam vak:
Examenniveau:
Afnamejaar/tijdvak:
Toetsdeskundige:

150
50
43

Vraagnummer

Afnametijd (minuten):
Lengte scoreschaal:
Aantal items:

1

1

1

1

2
1
1

1
1
1
1
1
1

1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1

0
0
0%

28
0
56%

1

1

1

1

1
1

1

1

1

1

6

8

21% 29%

Figuur 4. Toetsrationale van het centrale examen Duits havo 2016

21

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

De toetsrationale examen Duits havo 2016 bestaat uit een matrix met de 43 vraagnummers als rijen
en de volgende kolommen:
-

kolom 1: titels van de 13 teksten gekoppeld aan de vragen – tekst 1 telt 7 vragen, tekst 2 telt
2 vragen etc.
kolom 2: vraagnummers van de in totaal 43 vragen
kolom 3: tekstlengte in woorden van de 13 teksten
kolom 4 – 8 : indicatie tot welke van de vijf tekstsoorten (artikel, brief etc.) een vraag behoort
en de te behalen scorepunten
kolom 9 – 13 : indicatie tot welke van de vijf eindtermen (relevante informatie, hoofdgedachte
etc.) een vraag behoort en de te behalen scorepunten
kolom 14 – 16: indicatie tot welke van de drie vaardigheden (leesvaardigheid,
schrijfvaardigheid en samenvatten) een vraag behoort en de te behalen scorepunten
kolom 17 – 18: indicatie tot welke van de twee vraagvormen (meerkeuze en overig) een
vraag behoort en de te behalen scorepunten

De kolomtotalen van deze matrix geven de volgende informatie:
-

het examen telt 4712 woorden;
29 van de 50 scorepunten kunnen behaald worden op vragen met de eindterm ‘belangrijke
elementen’, 10 scorepunten op ‘hoofdgedachte’ en 7 punten op ‘tekststructuur’;
alle 43 vragen hebben betrekking op leesvaardigheid – kolom 15 en 16 zijn bij dit examen
overbodig;
28 vragen zijn meerkeuzevragen en 12 vragen zijn overige vragen.

4.4.3. Domein relevantie examen Duits havo 2016
Domein relevantie betreft de mate waarin elke opgave van een examen relevant is voor het beoogde
domein. Ook om de relevantie van opgaven te bepalen, is de inzet van vakdeskundigen nodig. Bij de
constructie van alle examens, dus ook van het examen Duits havo 2016, zijn altijd twee groepen
toets- en vakdeskundigen betrokken: leden van de constructiegroep en leden van de
vaststellingscommissie.
Bij de constructie van opgaven en correctievoorschriften is een groot aantal docenten als
constructiegroeplid betrokken. Deze docenten selecteren de contexten en leveren de vragen daarbij
aan bij de Cito-toetsdeskundige. Een constructiegroeplid is altijd een docent met ervaring in
examenklassen. Per examen wordt in de regel door een drietal constructiegroepleden materiaal
aangeleverd. De Cito-toetsdeskundige stelt het examen samen en bespreekt het concept met de
CvTE-vaststellingscommissie. De vaststellingscommissie is verantwoordelijk voor de vaststelling van
opgaven en correctievoorschriften.
In paragraaf 4.1 hebben we de samenstelling en de vakdeskundigheid van de vaststellingscommissie
besproken. Van beide groepen mag aangenomen worden dat zij in staat zijn de relevantie van de
opgaven voor het meten van de leesvaardigheid Duits havo te kunnen beoordelen.

22

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Als deskundigen kunnen ook docenten/examinatoren aangemerkt worden die via een enquête hun
waardering voor het examen Duits havo 2016 uitgesproken hebben. In de enquête
(http://www2.cito.nl/vo/examenverslag/waardering2016/pdf/16140.pdf) werd niet hun oordeel over
individuele opgaven gevraagd maar wel over de moeilijkheidsgraad van het examen, de lengte van
het examen en de aansluiting bij het gegeven onderwijs. Ook werd de docenten gevraagd het
examen met een cijfer te waarderen.
De resultaten voor het examen Duits havo 2016, 624 respondenten van 411 scholen, waren als volgt:
-

47% vond het examen moeilijk en 43% niet te moeilijk/niet te makkelijk;
63% vond de lengte precies goed en 37% vond het te lang;
61% vond de aansluiting bij het gegeven onderwijs voldoende en 27% goed;
15% gaf het examen het cijfer 5, 33% het cijfer 6 en 38% het cijfer 7.

4.4.4. Adequate toetsconstructieprocedure examen Duits havo 2016
Het gebruik van een adequate toetsconstructieprocedure zal de inhoudsvaliditeit van alle examens,
dus ook van het examen Duits havo 2016, ten goede komen. Aan de hand van de
toetsconstructieprocedure van Veldkamp (2016), zullen we de constructieprocedure die bij de
examens en het examen Duits havo gehanteerd wordt tegen het licht houden.
De toetsconstructieprocedure van Veldkamp (2016) onderscheidt de volgende tien stappen:
1. Maak een toetsplan
2. Definieer de inhoud
3. Stel de toetsmatrijs op
4. Ontwikkel de items
5. Stel de toets samen
6. Neem de toets af
7. Scoor de antwoorden
8. Bepaal de zak/slaaggrens
9. Rapporteer de scores
10. Documenteer de voorgaande stappen
Hieronder gaan we na of deze stappen ook bij de constructie van de centrale examens en dus ook
van het centraal examen Duits havo 2016 gehanteerd worden.

Deelstap

Beoordeling

Ad 1. Maak een toetsplan



Bij het examen Duits havo 2016 is het duidelijk welk ‘construct’ gemeten wordt, namelijk
leesvaardigheid Duits op havo-niveau. Het examen is bedoeld om leerlingen te certificeren.

23

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl



Ad 2. Definieer de inhoud
Het definiëren van de inhoud is beschreven in paragraaf 4.3.1.1 van de domein definitie.



Ad 3. Stel de toetsmatrijs op
Voor deze stap zie paragraaf 4.3.1.2 waar de toetsspecificaties vermeld worden.



Ad 4. Ontwikkel de items
Deze stap betreft de constructieopdracht op basis waarvan de opdrachtnemer Cito de
opgaven voor een concept-examen construeert.



Ad 5. Stel de toets samen
De vaststellingscommissie van het CvTE stelt het examen en de correctievoorschriften
vast.



Ad 6. Neem de toets af
Het examen Duits havo 2016 wordt onder regie van het CvTE op scholen afgenomen.



Ad 7. Scoor de antwoorden
De antwoorden worden door de docent Duits en een tweede corrector gescoord aan de
hand van correctievoorschriften van het CvTE.
Ad 8. Bepaal de zak/slaaggrens



Sinds 2000 wordt genormeerd volgens de CvTE-methode. Deze methode is voor alle
examens toepasbaar ongeacht de gehanteerde vraagvormen of de lengte van de
scoreschaal. De vaststelling van de normeringsterm (N-term) is daarbij de belangrijkste
beslissing. Het CvTE hanteert een systeem van absolute normering bij de centrale
examens. Daarbij is het uitgangspunt dat de prestatie-eis van jaar tot jaar en tijdvak tot
tijdvak identiek is. Met behulp van de N-term worden de verschillen in zwaarte van de
verschillende examens binnen een vak gecompenseerd.
Ad 9. Rapporteer de scores



De kandidaten ontvangen korte tijd het afleggen van het examen hun cijfer. Het cijfer wordt
vastgesteld door het CvTE.


Ad 10. Documenteer de voorgaande stappen
Voorgaande stappen zijn in verschillende documenten beschreven en veelal digitaal
beschikbaar via de websites van CvTE en Cito.

24

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

4.5. Samenvatting van de bevindingen Duits havo 2016
Samenvattend geeft het onderzoek naar de inhoudsvaliditeit van het examen Duits havo 2016 het
volgende beeld.
Met de beschrijving van het domein Leesvaardigheid en de hierbij verstrekte toetsspecificaties is er
sprake van een domein definitie die als een min of meer volledige beschrijving van het betreffende
examen aangemerkt mag worden.
De inhoudelijke beoordeling van de opgaven valt onder de verantwoordelijkheid van de
vakdeskundigen Duits. Daarmee richt het huidige onderzoek zich op de toetsrationale. Er wordt
voldaan aan de inhoudelijke criteria van de domein representatie. Uit de documentatie is niet direct af
te leiden hoe het proces om tot het feitelijke examen te komen, verlopen is. Navraag bij CvTE leert
dat dit proces volgens het schema van figuur 2 op blz. 7 verlopen is. Wij kwalificeren dit als
zorgvuldig.
Afgaande op de samenstelling en vakdeskundigheid van de vaststellingscommissie, mag ervan uit
worden gegaan dat het examen Duits havo 2016 voldoet aan het criterium domein relevantie. Deze
bevinding wordt ondersteund door de uitkomsten van de enquête die is uitgevoerd onder de groep
docenten / examinatoren.
De wijze van construeren van het centraal examen Duits havo 2016 volgt het tien stappenplan voor
een adequate toetsconstructieprocedure.

25

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

5. Onderzoek afhandeling onvolkomenheden
5.1. Inleiding
Het CvTE en Cito hanteren verschillende procedures om te voorkomen dat kandidaten de dupe
worden van fouten van examenmakers. Onvolkomenheden kunnen op verschillende tijdstippen,
voorafgaande en na de afname van het examen geconstateerd worden.
Kort voor de afname van het examen wordt nog een erratumprocedure doorlopen, waarbij de
toetsdeskundige van Cito en de voorzitter van de vaststellingscommissie onafhankelijk van elkaar het
examen doornemen op zoek naar onvolkomenheden. Als dat laatste het geval is, dan wordt er een
erratum opgesteld dat voorafgaand aan de afname van het examen wordt voorgelezen en/of
uitgereikt of verstrekt bij het correctievoorschrift.
Het kan voorkomen dat een vraag, een antwoord of een combinatie van beide tot een benadeling van
een deel van de leerlingen zou kunnen leiden. In dat geval kan een vraag geschrapt worden, kunnen
punten worden weggegeven of kan de aanvulling bij de normering betrokken worden. De wijze
waarop een onvolkomenheid, die na afname van het examen aan het licht komt, wordt hersteld, wordt
bepaald door het moment waarop deze onvolkomenheid wordt geconstateerd..
Mocht kort na de afname van het examen een onvolkomenheid aan het licht komen, dan wordt deze
rechtgezet via een aanvulling, veelal een verduidelijking, op het correctievoorschrift, zoals
gevisualiseerd in lijn I. in figuur 5. In het geval besloten wordt een aanvulling te doen uitgaan, dan
wordt die verzonden via www.examenblad.nl. Mocht een fout pas op een later moment aan het licht
komen, dan wordt deze rechtgezet via compensatie via normering, zoals gevisualiseerd in lijn II. in
figuur 5. Hoe het normeringsadvies is in geval van wat minder geslaagde vragen genoemd worden,
wordt in bijlage 3 van de ‘normeringsnotitie centrale examens 2016’ beschreven.

(2)
erratum
procedure

afname

(1)
product
specificaties

constructie

II. compensatie via normering

(3)
evaluatie

I. aanvulling op correctievoorschrift
Figuur 5. De wijze van afhandeling van onvolkomenheden na afname van het examen

26

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Soms komen leerlingen met een correcte oplossing voor een opgave die niet in het
correctievoorschrift is voorzien. Omdat er dan geen sprake is van een fout in het correctievoorschrift,
is artikel 3.3 van de algemene correctieregels van toepassing: ‘indien een antwoord op een open
vraag niet in het antwoordmodel voorkomt en dit antwoord op grond van aantoonbare,
vakinhoudelijke gronden als juist of gedeeltelijk juist aangemerkt kan worden, moeten scorepunten
worden toegekend naar analogie of in de geest van het beoordelingsmodel.’ De docent kan dan
gewoon de punten geven maar hij/zij moet het dan wel met de tweede corrector eens worden over
vakinhoudelijke juistheid.
In 2016 werden er voor de eerste-tijdvak-examens 28 erratumbladen voor de opgaven, 1 erratumblad
voor de correctievoorschriften en 51 aanvullingen op het correctievoorschrift verzonden. In totaal
werden in het eerste tijdvak 223 schriftelijke examens afgenomen.
In de onderstaande paragrafen 5.2 en 5.3 wordt de wijze van afhandeling van een geconstateerde
onvolkomenheid voor de examens Biologie vmbo GL/TL 2016 en Duits havo 2016 onderzocht.

5.2. Biologie vmbo GL/TL 2016
Het examen Biologie vmbo GL/TL 2016 bestaat uit 53 items waarop in totaal 65 scorepunten behaald
kunnen worden.
Na afname van het examen is gemeld dat bij een viertal vragen de gehanteerde afbeeldingen niet
volledig duidelijk zijn. Dit betreft de vragen 12, 14, 19 en 25. Ter illustratie is hieronder vraag 25
opgenomen. Opgemerkt werd: ‘vraag 25: over de nieren, bloedzuivering en filtratie is via de
nierschors, Q wijst echter niermerg aan’.

27

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

Conform de geldende procedure, zijn de opmerkingen besproken door de examencommissie. Uit de
evaluatie kwam naar voren dat de geconstateerde verminderde nauwkeurigheid van de afbeeldingen
bij de betreffende vragen niet compensatiewaardig zijn. Dit wordt bevestigd door de toets- en
itemanalyse, waaruit volgt dat de gemiddelde moeilijkheidsgraad (p-waarde) van de vier vragen
uitkomt op 0,65. Vraag 14, met een individuele moeilijkheidsgraad van 0,86, is, ondanks de minder
nauwkeurige afbeelding, feitelijk zelfs een te gemakkelijke opgave. Voor de vier vragen kan worden
gesteld dat de optie ‘compensatie via normering’, zoals gevisualiseerd in lijn II. in figuur 5 op correcte
wijze is besproken.

5.3. Duits havo 2016
Het examen Duits havo 2016 bestaat uit 43 items waarop in totaal 50 scorepunten behaald kunnen
worden. Bij vraag 39 werd tijdig, dat wil zeggen voor afname, een fout geconstateerd. Hierom is
ervoor gekozen een erratum op te nemen bij het Examen HAVO 2016.
Op de voorkant van het examen wordt vermeld dat ‘Achter dit examen is een erratum opgenomen.’
Op het erratumblad Duits havo 2016-1 staat de volgende tekst:
____________________
Aan de secretarissen van het eindexamen van de scholen voor havo,
Bij het centraal examen Duits havo op vrijdag 20 mei, aanvang 9.00 uur, moeten de kandidaten de volgende
mededeling ontvangen. Deze mededeling moet bij het begin van de zitting worden voorgelezen en/of aan de
kandidaten worden uitgereikt.
Op pagina 9 moet vraag 39 overgeslagen.
Instructie:
-

-

zet een streep door vraag 39 in het opgavenboekje
zet op je antwoordblad achter vraag 39 een kruisje
houd bij je antwoorden verder de nummering van het vragenboekje aan en ga door met vraag 40

____________________
In het correctievoorschrift havo 2016 Duits staat bij vraag 39: ‘De kandidaten hoeven deze vraag niet
te maken. Ongeacht of de vraag beantwoord is en ongeacht het gegeven antwoord moet een
scorepunt worden toegekend. Instructie voor wolf: bij deze vraag N invullen.’

28

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

5.4. Samenvatting van de bevindingen
In paragraaf 5.1 werden vier procedures beschreven die voorafgaande of na de afname van het
examen gehanteerd worden in het geval zich onvolkomenheden voordoen. Met deze procedures
kunnen onvolkomenheden zodanig afgehandeld worden dat examenkandidaten hierdoor niet
benadeeld worden.
Bij het examen Biologie vmbo GL/TL 2016 betrof de onvolkomenheid een opmerking over minder
goed leesbare afbeeldingen. Bij deze vragen is de procedure ‘compensatie via normering’ vervolgens
op correcte wijze doorlopen.
Bij het examen Duits havo 2016 betrof de onvolkomenheid een fout in vraag 39 die tijdig ontdekt werd
waardoor een erratum uitgestuurd kon worden zodat de kandidaten en andere betrokkenen bij het
examen op de hoogte gesteld konden worden. Daarnaast werd ook het correctievoorschrift bij vraag
39 aangepast zodat de docenten/correctoren nogmaals op de hoogte gesteld werden over hoe in dit
geval te handelen.

29

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

6. Conclusies en aanbeveling verder onderzoek
6.1. Conclusies inhoudsvaliditeit
Het onderzoekskader voor de inhoudsvaliditeit onderscheidt vier aspecten voor het evalueren van de
inhoud van een toets of examen:
-

domein definitie;
domein representatie;
domein relevantie, en;
adequate toetsconstructieprocedure.

In voorgaande paragrafen zijn voor de examens Biologie vmbo GL/TL 2016 en Duits havo 2016 deze
vier aspecten onderzocht. Op basis van de analyse van de vier aspecten kan geconstateerd worden
dat de procedures voor het realiseren van de inhoudsvaliditeit van de examens Biologie vmbo GL/TL
2016 en Duits havo 2016 voldoen aan de eisen die daaraan volgens nationale en internationale
richtlijnen gesteld worden.
Voor wat betreft Biologie vmbo GL/TL 2016 is er sprake van een domein definitie die als een min of
meer volledige beschrijving van het beoogde examen aangemerkt mag worden. De toetsrationale is
zeer informatief met betrekking tot de domein representatie. Uit de documentatie is niet direct af te
leiden hoe het proces om tot het feitelijke examen te komen, verlopen is. Navraag bij CvTE leert dat
dit proces volgens het schema van figuur 2 op blz. 7 verlopen is. Wij kwalificeren dit als zorgvuldig.
Het examen Biologie vmbo GL/TL 2016 voldoet aan de eisen die aan het aspect domein relevantie
gesteld worden. Deze bevinding wordt ondersteund door de uitkomsten van de enquête die is
uitgevoerd onder de groep docenten / examinatoren. De wijze van construeren van het centraal
examen Biologie vmbo GL/TL 2016 volgt het tien stappenplan voor een adequate
toetsconstructieprocedure.
Voor wat betreft Duits havo 2016 is er met de beschrijving van het domein Leesvaardigheid en de
hierbij verstrekte toetsspecificaties sprake van een domein definitie die als een min of meer volledige
beschrijving van het examen aangemerkt mag worden. Ook hier geldt dat de toetsrationale zeer
informatief is met betrekking tot de domein representatie. Uit de documentatie is niet direct af te
leiden hoe het proces om tot het feitelijke examen te komen, verlopen is. Navraag bij CvTE leert dat
dit proces volgens het schema van figuur 2 op blz. 7 verlopen is. Wij kwalificeren dit als zorgvuldig.
Afgaande op de samenstelling en vakdeskundigheid van de vaststellingscommissie, mag ervan uit
worden gegaan dat het examen Duits havo 2016 voldoet aan de eisen die aan het aspect domein
relevantie gesteld worden. Deze bevinding wordt ondersteund door de uitkomsten van de enquête die
is uitgevoerd onder de groep docenten / examinatoren. De wijze van construeren van het centraal
examen Duits havo 2016 volgt het tien stappenplan voor een adequate toetsconstructieprocedure.
Hiermee voldoen de procedures voor het realiseren van de inhoudsvaliditeit voor beide examens aan
de nationale en internationale richtlijnen zoals beschreven in hoofdstuk 3.

30

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

6.2. Conclusies afhandeling onvolkomenheden
Naast het onderzoek naar de inhoudsvaliditeit is ook gekeken naar de wijze waarop
onvolkomenheden in de examens zijn afgehandeld. Hoe dat gebeurt, wordt bepaald door het tijdstip
van constateren, voorafgaande, kort na of langer na de afname van het examen. Daarbij zijn er drie
opties:
-

bij constatering voorafgaande aan de afname volgt er een erratumprocedure;
bij constatering kort na afname volgt er een correctievoorschrift;
bij constatering langer na afname volgt er een compensatie via normering.

Bij beide examens die door het RCEC zijn onderzocht was sprake van onvolkomenheden. Bij het
examen Biologie vmbo GL/TL 2016 betrof de onvolkomenheid een opmerking over minder goed
leesbare afbeeldingen bij vier verschillende opgaves. Deze constatering werd langer na afname
gedaan. Het gevolg hiervan is dat overwogen moest worden of er compensatie via de normering
moest volgen. De procedure ‘compensatie via normering’ is vervolgens op correcte wijze doorlopen.
De onvolkomenheden betreffende de afbeeldingen bij de vier opgaven waren volgens de
normeringsvergadering niet zodanig dat er gecompenseerd moest worden, d.w.z. dat de leerlingen
een hoger cijfer zouden hebben moeten krijgen. Dit is in lijn met de resultaten van de toets en item
analyse die laat zien dat de betreffende opgaven een gemiddelde p-waarde van 0,65 hebben.
Bij het examen Duits havo 2016 betrof de onvolkomenheid een fout in vraag 39 die voorafgaande aan
de afname werd geconstateerd. Aangezien deze onvolkomenheid voorafgaande aan de afname werd
geconstateerd, moest de erratumprocedure in gang worden gezet. Deze procedure is correct
gevolgd. Er werd een erratum uitgestuurd, zodat de kandidaten en andere betrokkenen bij het
examen op de hoogte gesteld konden worden. Daarnaast werd ook het correctievoorschrift bij vraag
39 aangepast zodat de docenten/correctoren nogmaals op de hoogte gesteld werden over hoe in dit
geval te handelen.
Op grond hiervan kunnen we concluderen dat beide onvolkomenheden op een juiste manier zijn
afgehandeld. Bij beide examens werden de procedures voor het omgaan met geconstateerde
onvolkomenheden op een correcte manier uitgevoerd.

6.3. Aanbeveling verder onderzoek
Terugblikkend op het uitgevoerde onderzoek kan worden gesteld dat het in hoofdstuk 3 beschreven
onderzoekskader een goede beoordeling van de inhoudsvaliditeit mogelijk maakt; een beoordeling
die verschillende invalshoeken combineert. Daarmee ligt er een theoretisch kader dat ingezet zou
kunnen worden voor het beoordelen van de centrale examens van vakken per profiel en per
onderwijsniveau. Om dit op uniforme en doeltreffende wijze te kunnen doen lijkt een efficiency slag
gewenst. Hierbij wordt gedacht aan de mogelijkheid van een checklist voor het beoordelen van de
inhoudsvaliditeit van centrale examens. Het RCEC zou samen met het CvTE een dergelijke checklist
kunnen ontwerpen en valideren via de beoordeling van een tweetal centrale examens uit een
specifiek profiel per schooltype.

31

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl

7. Geraadpleegde literatuur
AERA (2014). Standards for educational and psychological testing. Joint Committee on Standards for
Educational and Psychological Testing. Washington D.C.: American Educational Research
Association.
Downing, S.M., & Haladyna, T.M. (2006). Handbook of test development. Lawrence Erlbaum
Associates.
Kuhlemeier, H., Til, A. van, & Sanders, P.(Red.) (2012). Toetsen op School: Voortgezet onderwijs.
Arnhem: Cito. Online: www.toetsenopschool.nl
Sanders, P.F., Dijk, P. van, Eggen, T., Otter, D. den, & Veldkamp, B. (2016). RCEC
Beoordelingssysteem voor de kwaliteit van studietoetsen en examens. Enschede: RCEC.
Online: www.rcec.nl/Beoordelingssysteem
Sanders,
P.F.
(Red.)
Online: www.toetsenopschool.nl

(2013).

Toetsen

op

School.

Arnhem:

Cito.

Sireci, S.G. (1998a). Gathering and analyzing content validity data. Educational Assessment, 5, 299321
Sireci, S.G. (1998b). The construct of content validity. Social indicators Research, 45, 83 – 117.
Sireci, S.G., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26,
100 – 107.
Tweede Kamer der Staten-Generaal, vergaderjaar 2013–2014 (2014). 33 905 Transitie in
onderwijstoezicht, nr. 7 motie van het lid Jadnanansing. Geraadpleegd februari 2017, van
https://zoek.officielebekendmakingen.nl/kst-33905-7.html
Veldkamp B.P. (2016. De inhoud en constructie van toetsen. In Sanders, P.F. (Red.), Toetsen op
School: Hoger onderwijs (pp. 21 – 30). Arnhem: Cito. Online: www.toetsenopschool.nl
Wools, S. (2013). De validiteit van toetsscores In: Sanders, P.F. (Red.),Toetsen op School (pp. 69 –
83). Arnhem: Cito. Online: www.toetsenopschool.nl

32

RCEC
p/a UT-BMS/OMD
Postbus 217
7500 AE Enschede
www.rcec.nl