Title: wetten.nl - Regeling - Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen po - BWBR0047445

Source: https://wetten.overheid.nl/BWBR0047445/

Content:
{"title": "wetten.nl - Regeling - Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen po - BWBR0047445", "content": "Regeling van het College voor toetsen en examens van 7 november 2022, nummer CvTE-22.00963,\n                                    houdende vaststelling van het beoordelingskader voor de toetsen behorende tot leerling-\n                                    en onderwijsvolgsystemen in het primair onderwijs (Regeling beoordelingskader voor\n                                    de toetsen behorende tot leerling- en onderwijsvolgsystemen PO)\n\nHet College voor toetsen en examens,\n\nGelet op artikel 3a, eerste lid, onderdeel g, van de Wet College voor toetsen en examens;\n\nGezien de goedkeuring van de Minister voor Primair en Voortgezet Onderwijs, gegeven\n                                    op 4 november 2022, nummer 1301072,\n\nBesluit:\n\nHet beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen\n                                    als bedoeld in artikel 3a, eerste lid, onderdeel g van de Wet College voor toetsen en examens wordt vastgesteld als opgenomen in de bijlage van deze regeling.\n\nDeze regeling treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal\n                                       onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het\n                                       basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting\n                                       van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen\n                                       in het basisonderwijs (Stb. 2022, 135) in werking treedt.\n\nDeze regeling wordt aangehaald als: Regeling beoordelingskader voor de toetsen behorende\n                                    tot leerling- en onderwijsvolgsystemen po.\n\nDeze regeling zal met de toelichting in de Staatscourant worden geplaatst.\n\nHet College voor toetsen en examens,\n\nde voorzitter,\n\nJ.H. van der \nVegt\n\nBijlage behorende bij artikel 1 van de Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen\n                                 po\n\nAanbieder\n\nEen indiener van een leerlingvolgsysteem.\n\nAbsolute normen\n\nStandaarden waaraan de vaardigheidsniveaus van leerlingen gerelateerd kunnen worden.\n                                                      Deze standaarden worden vastgesteld op basis van inhoudelijke en/of toetsspecifieke\n                                                      criteria.\n\nBetrouwbaarheid\n\nDe betrouwbaarheid is de mate waarin de toetsscores vrij zijn van toevallige meetfouten.\n\nCAT\n\nEen Computergestuurde adaptieve toets op itemniveau. Een CAT is een\u00a0toets waarvan de opgaven tijdens de afname geselecteerd worden. Hierdoor krijgt elke leerling opgaven aangeboden die aansluiten bij diens niveau.\n                                                      Bij een goed antwoord krijgt de leerling een moeilijkere opgave, bij een fout antwoord\n                                                      een makkelijkere opgave.\n\n(Referentie)Cesuur\n\nDe minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief\n                                                      genoeg is voor het halen van een (referentie)niveau.\n\nConstructvaliditeit\n\nDe eigenschap die een LVS-instrument heeft als kan worden aangetoond dat het instrument\n                                                      het door de constructeur beoogde kenmerk van de leerling (onderliggende trek, vaardigheid)\n                                                      meet. Deze wordt per kenmerk binnen een LVS bepaald.\n\nCvTE\n\nCollege voor toetsen en examens\n\nDIF\n\nDifferentieel item functioneren is een verschijnsel dat items verschillend functioneren\n                                                      voor bepaalde (sub)groepen leerlingen, zelfs wanneer deze (sub)groepen leerlingen\n                                                      een vergelijkbaar prestatieniveau hebben.\n\nDomein\n\nVerzameling van onderling samenhangende kennis en vaardigheden waarover getoetst wordt.\n\nGebruiksdoel\n\nOmschrijving van de beoogd te meten construct(en), doelgroep(en), oftewel een populatie,\n                                                      en functie(s) van het volgsysteem.\n\nIJken\n\nBij een observatie- of registratie-instrument worden de indicatoren van observeerbare\n                                                      (gedrags-)kenmerken van de ontwikkelingsdoelen en eventuele tussentijdse mijlpalen\n                                                      in het instrument voorzien van ijkpunten (c.q. referentiepunten). IJken is het volgens\n                                                      bepaalde regels omzetten van de periodieke registraties van geobserveerde gedragingen\n                                                      in een signaal waarmee de gebruiker kan vaststellen in welke mate een individuele\n                                                      leerling zich op een zeker moment een specifiek ontwikkelingsdoel eigen heeft gemaakt.\n\nInhoudsvaliditeit\n\nDe eigenschap dat de operationalisering van de inhoud van het instrument een representatieve\n                                                      weergave is van de te observeren en te volgen ontwikkeling.\n\nIRT\n\nItemresponstheorie (IRT) is een theorie binnen de testleer waarbij op het niveau van\n                                                      items op een wiskundige manier een relatie wordt gelegd tussen de antwoorden die leerlingen\n                                                      geven en een onderliggende latente vaardigheid.\n\nKTT\n\nDe klassieke testtheorie is gebaseerd op een model waarbij men er vanuit gaat dat\n                                                      de waargenomen toetsscore (bijvoorbeeld het aantal correct) uit twee componenten bestaat:\n\n(1) een ware score en\n\n(2) een toevallige meetfout.\n\nDe meetfout is geheel toevallig en hangt daarom met geen enkele andere variabelen\n                                                      samen. Dit model wordt ook wel het klassieke testmodel genoemd. Alle eigenschappen\n                                                      die volgen uit dit model vormen gezamenlijk de klassieke testtheorie.\n\nLVS\n\nHet (leerling)volgsysteem (LVS) betreft een systeem met onderliggende data waarmee\n                                                      de ontwikkeling van de leerling kan worden gevolgd over de tijd heen en waarmee kan\n                                                      worden ge\u00efnterpreteerd in hoeverre deze ontwikkeling in lijn is met de leerdoelen\n                                                      van de verschillende leerjaren en, vanaf groep 3, met de ontwikkeling van de andere\n                                                      leerlingen uit hetzelfde leerjaar.\n\nEr is sprake van een volgaspect wanneer een aantal (twee of meer) verschillende observatiemomenten\n                                                      op hetzelfde construct plaatsvinden; de afnamemomenten kunnen daarbij vast of variabel\n                                                      zijn.\n\nLokale betrouwbaarheid\n\nDe mate waarin de toetsscores op een specifiek deel van de meetschaal vrij zijn van\n                                                      toevallige meetfouten.\n\nMST\n\nBij een multistage toets bepaalt een algoritme het niveau van de leerling op basis\n                                                      van diens antwoorden op een set opgaven. Daarna krijgt de leerling een nieuwe set\n                                                      opgaven, afgestemd op het eerder bepaalde niveau.\n\nNormeren\n\nHet toekennen van een waardering aan een behaalde score. Onderdeel van het normeren\n                                                      is het vaststellen van de cesuren.\n\nRelatief beoordelen\n\nHet rapporteren op basis van relatieve normen.\n\nRelatieve normen\n\nRelatieve normen plaatsen de leerling op een schaal die betrekking heeft op de relatieve\n                                                      positie van een leerling in een specifieke, goed gedefinieerd populatie (zie gebruiksdoel).\n                                                      Een relatieve norm is derhalve gebaseerd op een onderlinge vergelijking van de toetsprestaties\n                                                      van de kandidaten binnen die populatie.\n\nSignaleringsfunctie\n\nTerrein\n\nDe functie van een toets die de leerkracht helpt aan te zetten tot handelen om de\n                                                      leerling te helpen (beoogde) vorderingen te maken (op de gemeten trek).\n\nEen te toetsen onderdeel bijvoorbeeld rekenen ofwel Nederlandse taal.\n\nToetsmatrijs\n\nEen adequate, schematische representatie van het meetdoel.\n\nUnidimensionaliteit\n\nEigenschap van een schaal wanneer de items in een toets dezelfde vaardigheid meten.\n                                                      Met elke willekeurige subset van items uit de gekalibreerde itembank kan dezelfde\n                                                      onderliggende vaardigheid worden vastgesteld.\n\nWet CvTE\n\nWet College voor toetsen en examens\n\nWEC\n\nWet op de expertisecentra\n\nWPO\n\nWet primair onderwijs\n\nScholen zijn ingevolge artikel 45b WPO en artikel 48c, eerste en tweede lid WEC respectievelijk artikel 51a en 51b van de Wet primair onderwijs BES verplicht om in ieder geval gebruik te maken van door het CvTE erkende toetsen verbonden\n                                       aan het LVS voor de terreinen Nederlandse taal en rekenen behoudens voor de eerste\n                                       twee schooljaren. Dit beoordelingskader is daarnaast ook toepasbaar op LVS-instrumenten\n                                       voor het derde tot en met het achtste leerjaar voor de niet wettelijk verplichte terreinen.\n                                       Scholen mogen ook LVS-instrumenten voor het derde tot en met het achtste leerjaar\n                                       inzetten die niet door het CvTE goedgekeurd zijn voor de wettelijk verplichte terreinen\n                                       Nederlandse taal en rekenen, mits zij daarnaast ook door het CvTE erkende LVS-instrumenten\n                                       voor het derde tot en met het achtste leerjaar gebruiken. Verder staat het scholen\n                                       vrij om LVS-instrumenten van verschillende toetsaanbieders te combineren. Toetsaanbieders\n                                       kunnen ook onderdelen van een LVS door het CvTE laten beoordelen. Het onderhavige\n                                       beoordelingskader biedt criteria voor de kwaliteit van de toetsen behorende tot het\n                                       LVS. Aanbieders van een LVS voor (ook) de eerste twee leerjaren kunnen hun instrument\n                                       eveneens door het CvTE laten beoordelen.\n\nHet CvTE kan ook onderdelen van het LVS beoordelen. In dit beoordelingskader wordt\n                                       een onderscheid gemaakt in vier typen instrumenten die kunnen worden ingezet om de\n                                       leerling te volgen:\n\ni. Observatie- en registratie-instrumenten voor de eerste twee leerjaren.\n\nii. Observatie- en registratie-instrumenten voor het derde tot en met het achtste leerjaar.\n\niii. LVS-instrumenten voor het derde tot en met het achtste leerjaar voor de voorgeschreven\n                                             terreinen Nederlandse taal en rekenen.\n\niv. LVS-instrumenten voor het derde tot en met het achtste leerjaar voor niet voorgeschreven\n                                             terreinen, zoals genoemd in artikel 8, tweede lid WPO en artikel 11, derde lid, WEC. De instrumenten richten zich bijvoorbeeld op het meten van de emotionele en de verstandelijke\n                                             ontwikkeling, op de ontwikkeling van creativiteit, en/of op de verwerving van noodzakelijke\n                                             kennis van sociale, culturele en lichamelijke vaardigheden.\n\nHet CvTE beoordeelt of de toets voor een periode van tien jaar kan worden erkend.\n                                       De beoordeling wordt uit verschillende delen opgebouwd. De onderdelen van de beoordeling\n                                       worden na elkaar uitgevoerd. Als op \u00e9\u00e9n van de onderdelen de toets niet voldoet aan\n                                       het beoordelingskader, kan het daarop volgende onderdeel onbesproken blijven.\n\nEen LVS bestaat uit observatie- en registratie instrumenten die in vier typen worden\n                                       onderscheiden.\n\nDe aanvraag voor erkenning van observatie- en registratie-instrument type (I) en (II)\n                                          bevat de volgende kenmerken en bescheiden:\n\n\u2212 Er is sprake van een observatie- en registratie-instrument als het als doel heeft\n                                                de ontwikkeling van leerlingen op basis van een onderbouwde theorie (c.q. inhoud)\n                                                op een objectieve manier in kaart te brengen en te volgen. Aan deze (kwalitatieve)\n                                                beschrijvingen geeft ofwel de gebruiker ofwel het instrument vervolgens betekenis.\n\n\u2212 Kenmerkend voor het volgen van de ontwikkeling van de leerling met het instrument\n                                                is dat:\n\n\u00b0 er sprake is van een aantal (twee of meer) verschillende observatiemomenten op hetzelfde\n                                                      construct; de afnamemomenten kunnen daarbij vast of variabel zijn;\n\n\u00b0 er tenminste vergelijkingen met zichzelf (t.o.v. het vorige observatiemoment) worden\n                                                      gemaakt, en vanaf groep 3 eventueel ook met andere leerlingen.\n\nAlvorens het CvTE een aanvraag in behandeling neemt, moet de aanvrager de navolgende\n                                          gegevens en bescheiden verstrekken:\n\n\u00b0 Het instrument met bijbehorende ondersteunende materialen voor de gebruiker (c.q.\n                                                leerkracht) van het instrument.\n\n\u00b0 Een handleiding voor de leerkracht met informatie over de minimaal vereiste expertise\n                                                van de leerkracht, en met duidelijke instructies voor de leerkracht over het zo objectief\n                                                mogelijk en professioneel uitvoeren en periodiek registreren van de observaties van\n                                                de individuele leerling(en), inclusief richtlijnen voor het veilig bewaren van en\n                                                omgaan met het materiaal zodra dit op de scholen aanwezig is. Een en ander aangevuld\n                                                met een overzicht van veel gestelde vragen.\n\n\u00b0 De (digitale) registratieformulieren waarin de leerkracht periodiek de verzamelde\n                                                observaties over een langere periode invult.\n\n\u00b0 Een voorbeeld van het (observatie)rapport waarin de observaties op overzichtelijke\n                                                wijze zijn weergegeven voor de individuele leerling. Daar waar van toepassing aangevuld\n                                                met voorbeelden van de (observatie)rapporten per groep en per school.\n\n\u00b0 Indien van toepassing: Cd's, dvd's en/of usbsticks en log-ins en wachtwoorden bij\n                                                online instrumenten.\n\nAls de aanvraag niet compleet is, wordt de aanvrager in gelegenheid gesteld zijn aanvraag\n                                          aan te vullen. Als de aanvrager niet alsnog de informatie verstrekt die noodzakelijk\n                                          is voor het behandelen van diens aanvraag, kan het CvTE besluiten de aanvraag buiten\n                                          behandeling te laten.\n\nVerder gelden als aanvullende voorwaarden voor observatie- en registratie-instrumenten\n                                             voor leerlingen in de eerste twee leerjaren (type I):\n\n\u2212 Een toets die wordt afgenomen bij leerlingen in het eerste of tweede leerjaar, beschrijft\n                                                   uitsluitend de leervorderingen door de leerling te observeren. \u2018Schoolse\u2019 LVS-Toetsen\n                                                   voor de eerste twee leerjaren zullen daarom niet door het CvTE worden erkend. Onder\n                                                   een schoolse toets wordt verstaan het in een voor de kleuter onnatuurlijke setting\n                                                   (c.q. klassikaal aan een tafel in stilte) afnemen van een (papieren) toets uit een\n                                                   toetsboekje. Met behulp van concrete gedragsbeschrijvingen observeert en evalueert\n                                                   de leerkracht gedurende de kleuterjaren de leerling in dagelijkse situaties, met als\n                                                   doel het beschreven gedrag meermaals en in verschillende situaties daadwerkelijk waar\n                                                   te nemen en periodiek te registreren in het observatie- en registratie-instrument.\n\n\u2212 De rapportage van observatie- en registratie-instrumenten voor leerlingen in de eerste twee leerjaren mag niet bestaan uit relatieve scores of interpretaties.\n\n\u2212 Op basis van de rapportage en inhoudelijke gronden wordt onderbouwd dat individuele\n                                                   leerlingen gedurende de eerste twee leerjaren ten opzichte van zichzelf een verandering\n                                                   laten zien, rekening houdend met al dan niet tijdelijke ontwikkelingsgaten en -sprongen.\n                                                   In die zin hebben observatie- en registratie-instrumenten een signaleringsfunctie,\n                                                   doordat de leerkracht op de langere termijn aan de hand van de kwalitatieve beschrijvingen\n                                                   zicht krijgt op de voortgang van de individuele leerling. Het interpreteren van de\n                                                   geobserveerde gedragscriteria mag niet op basis van een relatieve normering plaatsvinden.\n\nDe aanvraag voor erkenning van LVS-instrument type (III) of (IV) bevat de volgende\n                                          gegevens en bescheiden:\n\n\u2212 Het aangeleverde informatiepakket bevat de door het CvTE voorgeschreven informatie\n                                                / documentatie zijnde in ieder geval:\n\n\u00b0 het instrument / de toets met bijbehorende ondersteunende materialen voor de leerkracht;\n\n\u00b0 antwoordformulieren;\n\n\u00b0 scoringssleutels;\n\n\u00b0 een praktische handleiding voor de leerkracht inclusief richtlijnen voor het veilig\n                                                      bewaren van en omgaan met het materiaal zodra dit op de scholen aanwezig is;\n\n\u00b0 een wetenschappelijk inhoudelijke verantwoording, inclusief leeswijzer;\n\n\u00b0 voorbeeld leerlingrapport en groepsoverzichten / schoolrapportages;\n\n\u00b0 cd\u2019s, dvd\u2019s en/of usb-sticks bij geautomatiseerde instrumenten en log-ins en wachtwoorden\n                                                      bij online-instrumenten.\n\n\u2212 Aanvullend dient voor een LVS-instrument van het type (III) het aangeleverde informatiepakket\n                                                eveneens te bestaan uit:\n\n\u00b0 het toetsreglement;\n\n\u00b0 in geval van normatieve toetsing, het vertrouwelijk delen van de normtabellen, en;\n\n\u00b0 indien van toepassing: documentatie over geautomatiseerde scoring.\n\nAls de aanvraag niet compleet is, wordt de aanvrager in gelegenheid gesteld zijn aanvraag\n                                          aan te vullen. Als de aanvrager niet alsnog de informatie verstrekt die noodzakelijk\n                                          is voor het behandelen van diens aanvraag, kan het CvTE besluiten de aanvraag buiten\n                                          behandeling te laten.\n\nOp basis van artikel 11, eerste lid, onderdeel b Toetsbesluit PO geeft het CvTE een oordeel over de volgende algemene criteria van observatie- en\n                                       registratie-instrumenten en toetsinstrumenten: inhoudelijke validiteit, betrouwbaarheid\n                                       en deugdelijke normering. In paragraaf 1.4.1 en 1.4.2 worden deze algemene criteria\n                                       voor observatie- en registratie-instrumenten en LVS-instrumenten toegelicht.\n\nConform het Toetsbesluit PO worden bij het kwaliteitsoordeel over observatie- en registratie-instrumenten (type\n                                          I en II) in ieder geval betrokken:\n\na) de wijze waarop de ontwikkeling van leerlingen op cognitief of niet-cognitief gebied\n                                                met behulp van het instrument systematisch wordt geobserveerd en in het instrument\n                                                wordt geregistreerd op \u00e9\u00e9n of meerdere van de onder b genoemde gebieden;\n\nb) de mate waarin de instrumenten de ontwikkelingsmomenten van de leerling(en) registreren\n                                                op de gebieden, genoemd in artikel 8, tweede lid WPO of artikel 11, derde lid WEC: de emotionele en de verstandelijke ontwikkeling, het ontwikkelen van creativiteit,\n                                                het verwerven van kennis en sociale, culturele en lichamelijke vaardigheden;\n\nc) de wijze waarop de ontwikkeling van leerlingen voor de ouders, voogden of verzorgers\n                                                en leerkrachten inzichtelijk worden gemaakt.\n\nIn paragraaf 1.5 wordt uiteengezet hoe deze criteria worden geoperationaliseerd.\n\nBij het kwaliteitsoordeel over LVS-instrumenten (type III en IV) worden in ieder geval\n                                          betrokken:\n\na) de wijze waarop de vorderingen van leerlingen op cognitief of niet-cognitief gebied\n                                                systematisch worden gemeten op de onder b genoemde gebieden;\n\nb) de mate waarin de instrumenten de kennis en/of vaardigheden van de leerling(en) meten\n                                                op de gebieden, genoemd in artikel 8, tweede lid WPO of artikel 11, derde lid WEC: de emotionele en de verstandelijke ontwikkeling, het ontwikkelen van creativiteit,\n                                                het verwerven van kennis en van sociale, culturele en lichamelijke vaardigheden;\n\nc) de wijze waarop de leervorderingen van leerlingen voor de ouders, voogden of verzorgers\n                                                en docenten inzichtelijk worden gemaakt.\n\nIn de paragraaf 1.5 wordt uiteengezet hoe deze criteria worden geoperationaliseerd.\n\nDe voorgaande algemene criteria uit paragraaf 1.4 zijn in dit beoordelingskader in\n                                       de onderstaande tabellen per type instrument gespecificeerd naar de voor dat type\n                                       instrument geldende kwaliteitseisen voor onderwijskundige aspecten (kwaliteitseisen\n                                       O.I.1 t/m O.VI.4 in hoofdstuk 2), psychometrische aspecten (kwaliteitseisen P.I.1\n                                       t/m P.VIII.3 in hoofdstuk 3) en organisatorische aspecten (kwaliteitseisen B.I.1 t/m\n                                       B.I.6 in hoofdstuk 4).\n\nDe onderwijskundige aspecten richten zich op de inhoudsvaliditeit en de eerder genoemde\n                                       punten b) en c) in de paragrafen 1.4.1 en 1.4.2. De psychometrische aspecten richten\n                                       zich op de in paragraaf 3.1 genoemde betrouwbaarheid en deugdelijke normering en het\n                                       eerder genoemde punt a) in de paragrafen 1.4.1 en 1.4.2. De organisatorische aspecten\n                                       richten zich op de criteria voor veilig toetsen.\n\nPer kwaliteitseis is per type instrument met zwarte balletjes aangegeven wanneer de\n                                       eis altijd beantwoord en beoordeeld moet worden. Doorzichtige balletjes betekenen\n                                       dat de kwaliteitseis ook niet van toepassing kan zijn. Wanneer dat geldt, wordt beschreven\n                                       bij de kwaliteitseisen in de betreffende paragrafen. Voor wat betreft de psychometrische\n                                       kwaliteitseisen voor instrument type II heeft de aanbieder de keuzemogelijkheid om\n                                       de psychometrische kwaliteitseisen voor instrument type I te volgen, de psychometrische\n                                       kwaliteitseisen voor instrument type III en IV te volgen, of om een combinatie van\n                                       de psychometrische kwaliteitseisen voor instrument type I en voor instrument type\n                                       III en IV te volgen. Welke combinaties mogelijk zijn, wordt eveneens in onderstaande\n                                       tabellen aangegeven.\n\nKwaliteitseis O.I\n\nParagraaf 2.2.1\n\nUitgangspunten van de constructie van het observatie- en registratie-instrument, met\n                                                      specifieke aandacht voor de kwaliteitseis inhoudsvaliditeit.\n\nType I\n\nType II\n\nType III\n\nType IV\n\nO.I.1\n\n\u2022\n\n\u2022\n\nO.I.2\n\n\u2022\n\n\u2022\n\nO.I.3\n\n\u25cb\n\n\u25cb\n\nO.I.4\n\n\u25cb\n\n\u25cb\n\nO.I.5\n\n\u2022\n\n\u2022\n\nO.I.6\n\n\u2022\n\n\u2022\n\nKwaliteitseis O.II\n\nParagraaf 2.2.2\n\nInzicht in de individuele ontwikkeling, met specifieke aandacht voor de kwaliteitseisen\n                                                      signaleringsfunctie en/of volgaspect.\n\nO.II.1\n\n\u2022\n\n\u2022\n\nO.II.2\n\n\u25cb\n\n\u25cb\n\nO.II.3\n\n\u25cb\n\n\u25cb\n\nO.II.4\n\n\u2022\n\n\u2022\n\nKwaliteitseis O.III\n\nParagraaf 2.3.1\n\nToetsconstructie\n\nO.III.1\n\n\u2022\n\n\u2022\n\nO.III.2\n\n\u2022\n\n\u2022\n\nO.III.3\n\n\u2022\n\n\u2022\n\nO.III.4\n\n\u2022\n\n\u25cb\n\nO.III.5\n\n\u2022\n\n\u2022\n\nKwaliteitseis O.IV\n\nParagraaf 2.3.2\n\nInhoudsvaliditeit\n\nO.IV.1\n\n\u2022\n\n\u2022\n\nO.IV.2\n\n\u2022\n\n\u2022\n\nO.IV.3\n\n\u2022\n\n\u2022\n\nKwaliteitseis O.V\n\nParagraaf 2.3.3\n\nReferentieniveaus\n\nO.V.1\n\n\u2022\n\nO.V.1a\n\n\u25cb\n\nO.V.1b\n\n\u25cb\n\nKwaliteitseis O.VI\n\nParagraaf 2.3.4\n\nInzicht in de leervorderingen\n\nO.VI.1\n\n\u2022\n\n\u2022\n\nO.VI.2\n\n\u2022\n\n\u2022\n\nO.VI.3\n\n\u2022\n\n\u2022\n\nO.VI.4\n\n\u2022\n\n\u2022\n\nKwaliteitseis P.I\n\nParagraaf 3.2.1\n\nDataverzameling, met specifieke aandacht voor de kwaliteitseis steekproef van leerlingen.\n\nType I\n\nType II\n\nType III\n\nType IV\n\nP.I.1\n\n\u25cb\n\n\u25cb en/of P.IV.1 t/m P.IV.2\n\nKwaliteitseis P.II\n\nParagraaf 3.2.2\n\nIJking, met specifieke aandacht voor de kwaliteitseis niet relatieve normering.\n\nP.II.1\n\n\u25cb\n\n\u25cb en/of P.V.1 of P.V.4\n\nP.II.2\n\n\u25cb\n\n\u25cb en/of P.V.2 of P.V.5\n\nP.II.3\n\n\u25cb\n\n\u25cb en/of P.V.3 of P.V.6\n\nKwaliteitseis P.III\n\nParagraaf 3.2.3\n\nInterbeoordelaarsbetrouwbaarheid, met specifieke aandacht voor de kwaliteitseis betrouwbaarheid\n                                                      van de observaties.\n\nP.III.1\n\n\u25cb\n\n\u25cb en/of P.VI.1 t/m P.VI.3\n\nP.III.2\n\n\u25cb\n\n\u25cb\n\nKwaliteitseis P.IV\n\nParagraaf 3.3.1\n\nDe kwaliteit van de dataverzameling\n\nP.IV.1\n\n\u25cb en/of P.I.1\n\n\u2022\n\n\u2022\n\nP.IV.2\n\n\u25cb en/of P.I.1\n\n\u25cb\n\n\u25cb\n\nKwaliteitseis P.V\n\nParagraaf 3.3.2\n\nNormering\n\nP.V.1\n\n\u25cb en/of P.II.1\n\n\u25cb\n\n\u25cb\n\nP.V.2\n\n\u25cb en/of P.II.2\n\n\u25cb\n\n\u25cb\n\nP.V.3\n\n\u25cb en/of P.II.3\n\n\u25cb\n\n\u25cb\n\nP.V.4\n\n\u25cb en/of P.II.1\n\n\u25cb\n\n\u25cb\n\nP.V.5\n\n\u25cb en/of P.II.2\n\n\u25cb\n\n\u25cb\n\nP.V.6\n\n\u25cb en/of P.II.3\n\n\u25cb\n\n\u25cb\n\nKwaliteitseis P.VI\n\nParagraaf 3.3.3\n\nBetrouwbaarheid\n\nP.VI.1\n\n\u25cb en/of P.II.1 t/m P.II.2\n\n\u2022\n\n\u2022\n\nP.VI.2\n\n\u25cb en/of P.II.1 t/m P.II.2\n\n\u2022\n\n\u2022\n\nP.VI.3\n\n\u25cb en/of P.II.1 t/m P.II.2\n\n\u2022\n\n\u2022\n\nKwaliteitseis P.VII\n\nParagraaf 3.3.4\n\nConstructvaliditeit\n\nP.VII.1\n\n\u25cb\n\n\u25cb\n\n\u25cb\n\nP.VII.2\n\n\u25cb\n\n\u25cb\n\n\u25cb\n\nP.VII.3\n\n\u25cb\n\n\u2022\n\n\u2022\n\nP.VII.4\n\n\u25cb\n\n\u25cb\n\n\u25cb\n\nP.VII.5\n\n\u25cb\n\n\u2022\n\n\u2022\n\nKwaliteitseis P.V.III\n\nParagraaf 3.3.5\n\nVolgaspect of signaleringsfunctie\n\nP.VIII.1\n\n\u25cb\n\n\u2022\n\n\u2022\n\nP.VIII.2\n\n\u25cb\n\n\u2022\n\n\u2022\n\nP.VIII.3\n\n\u25cb\n\n\u2022\n\n\u2022\n\nKwaliteitseis B.I\n\nParagraaf 4.1\n\nAfname en organisatorische aspecten\n\nType I\n\nType II\n\nType III\n\nType IV\n\nB.I.1\n\n\u2022\n\n\u2022\n\n\u2022\n\n\u2022\n\nB.I.2\n\n\u2022\n\n\u2022\n\n\u2022\n\n\u2022\n\nB.I.3\n\n\u2022\n\n\u2022\n\n\u2022\n\n\u2022\n\nB.I.4\n\n\u2022\n\n\u2022\n\n\u2022\n\n\u2022\n\nB.I.5\n\n\u2022\n\n\u2022\n\n\u2022\n\n\u2022\n\nB.I.6\n\n\u2022\n\n\u2022\n\nDe aanbieder kan het observatie- en registratie-instrument voor het volgen van de\n                                       leerling indienen bij het CvTE. De adviseur heeft de taak om het CvTE te adviseren\n                                       over de onderwijskundige, psychometrische en organisatorische aspecten van de LVS-instrumenten\n                                       en de observatie- en registratie-instrumenten. De procedure voor het beoordelen van\n                                       de instrumenten en het bijbehorende tijdpad zijn gepubliceerd op de website van het\n                                       CvTE.\n\nDe onderwijskundige aspecten, psychometrische aspecten en organisatorische aspecten\n                                          uit paragraaf 1.5 zijn alle drie geconcretiseerd in kwaliteitseisen in vraagvorm inclusief\n                                          bijbehorende codes. De vragen van de separate kwaliteitseisen zijn te beantwoorden\n                                          met \u2018ja\u2019, \u2018nee\u2019 of soms met \u2018niet van toepassing\u2019. De beslisregel is als volgt: Om\n                                          een aspect met een voldoende te kunnen afsluiten, dienen alle vragen van de kwaliteitseisen\n                                          van het betreffende aspect met \u2018ja\u2019 of \u2018niet van toepassing\u2019 te worden beantwoord.\n\nOp basis van de beslisregels worden de drie aspecten uit paragraaf 1.5 separaat gescoord\n                                          met:\n\n\u2212 voldoende;\n\n\u2212 onvoldoende.\n\nBij \u2018onvoldoende\u2019 geeft het CvTE aan welke kwaliteitseisen per aspect nog niet voldoende\n                                          zijn.\n\nVolgens artikel 3a, derde lid, Wet CvTE besluit het College binnen 15 weken.\n\nDe initi\u00eble beoordeling door het CvTE is een uitgebreide beoordeling van de onderwijskundige,\n                                          psychometrische en organisatorische aspecten van het instrument. De erkenning van\n                                          de toetsen is vanaf de datum van afgifte tien jaar geldig.\n\nDe erkenning door het CvTE van een LVS-instrument is tien jaar geldig. In tien jaar\n                                          kunnen er echter veel ontwikkelingen plaatsvinden die de kwaliteit van een LVS-instrument\n                                          be\u00efnvloeden. Daarom vinden er \u00e9\u00e9n of meerdere tussentijdse beoordelingen plaats. De\n                                          aanbieder is gehouden de informatie aan het Cvte te verstrekken die het nodig heeft\n                                          om een tussentijdse beoordeling uit te voeren.\n\n1. \nGeen wijzigingen\n\nVoor een instrument dat in tien jaar niet verandert, vindt er vijf jaar na afgifte\n                                                van een kwaliteitsoordeel een tussentijdse check plaats.\n\n2. \nPeriodieke wijzigingen\n\nAls de inhoud van de toets periodiek wezenlijk verandert en dit in de verantwoording\n                                                beschreven staat, maakt het CvTE bij de initi\u00eble beoordeling met de aanbieder afspraken\n                                                over de frequentie en omvang van tussentijdse beoordelingen. Dit zou bijvoorbeeld\n                                                bij jaarlijkse verversing van items in een itembank het geval kunnen zijn.\n\n3. \nIncidentele wijzigingen\n\nAls er incidenteel fundamentele wijzigingen worden voorzien, zoals het vervangen van\n                                                enkele items, het wijzigen van de afnamevorm (digitaal in plaats van papier) of het\n                                                wijzigen van de normering (bijvoorbeeld het type normering of een wijziging van de\n                                                schaal) meldt de aanbieder dit bij het CvTE. Over de relevantie en impact van de veranderingen\n                                                en de noodzaak van een tussentijdse check, vindt overleg plaats tussen het CvTE en\n                                                de aanbieder. Afhankelijk van de wijzigingen vindt er al dan niet een extra tussentijdse\n                                                beoordeling plaats of dient de aanbieder de instrumenten (deels) opnieuw in.\n\nDe beoordeling richt zich vooral op de items en observatiecategorie\u00ebn. De LVS-ontwikkelaars\n                                          dienen inzicht te geven in de volgende twee vragen:\n\n1. \nZijn de items of de observatie-categorie\u00ebn nog steeds actueel?\n\n\u2212 Is het taalgebruik in de opgaven verouderd of niet langer passend?\n\n\u2212 Zijn er veranderingen in het onderwijsaanbod geweest (bijv. wijzigingen in het curriculum\n                                                      en dus in methodes, toetswijzer en referentiekader)?\n\n\u2212 Zijn er maatschappelijke ontwikkelingen geweest (bijv. verandering munteenheid of\n                                                      nieuw ontstane gevoeligheden)?\n\n2. \nIs de normering nog steeds passend en actueel?\n\n\u2212 Functioneren de items of observatiecategorie\u00ebn nog steeds hetzelfde als bij eerdere\n                                                      indiening? Dat wil zeggen, zijn de psychometrische eigenschappen (p-waarden of IRT\n                                                      itemparameters, en de relatie tussen items of observatiecategorie\u00ebn en het totale\n                                                      instrument, zoals IRT discriminatie waarden, en/of item/testcorrelaties) nog vergelijkbaar?\n\n\u2212 Zijn items niet te zeer bekend geworden of hebben de onder punt 1 aangehaalde problemen\n                                                      de psychometrische eigenschappen van de items of observatiecategorie\u00ebn veranderd?\n\nEen tussentijdse check kan resulteren in het oordeel 'voldoende of 'onvoldoende. Bij\n                                                een oordeel 'onvoldoende' volgt intrekking van de erkenning.\n\nDe hoofdstukken in dit kader behandelen respectievelijk de onderwijskundige aspecten\n                                       (Hoofdstuk 2), de psychometrische aspecten (Hoofdstuk 3) en de organisatorische aspecten\n                                       (Hoofdstuk 4). Zoals beschreven in paragraaf 1.5 zijn de aspecten geoperationaliseerd\n                                       in verplichte of optionele kwaliteitseisen per type instrument. Daarnaast kunnen,\n                                       afhankelijk van het type instrument, kwaliteitseisen ook niet van toepassing zijn.\n                                       Een en ander is gevisualiseerd in de tabellen in paragraaf 1.5.\n\nDe beoordeling van de onderwijskundige aspecten van een LVS-instrument richt zich\n                                       op de in paragraaf 1.4 genoemde inhoudsvaliditeit.\n\nDe kwaliteitseisen onderwijskundige aspecten voor observatie- en registratie-instrumenten\n                                       type (I) en (II) zijn te vinden in de paragrafen 2.2.1 en 2.2.2. De kwaliteitseisen\n                                       onderwijskundige aspecten voor LVS-instrumenten type (III) en (IV) zijn te vinden\n                                       in de paragrafen 2.3.1 tot en met 2.3.4.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de uitgangspunten van de constructie\n                                          van het observatie- en registratie-instrument, met specifieke aandacht voor de kwaliteitseis\n                                          inhoudsvaliditeit.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.I.1\n\nIs er een bij de inhoud van het instrument passende, gedegen en complete verantwoording,\n                                                         indien nodig inclusief leeswijzer waarin is onderbouwd hoe de visie van de aanbieder\n                                                         op de ontwikkeling van het (jonge) kind is geborgd in de actuele pedagogische en/of\n                                                         psychologische wetenschappelijke literatuur?\n\nja/nee\n\nO.I.2\n\nIs er een actuele inhoudelijke verantwoording waarin gedegen en compleet is onderbouwd\n                                                         hoe de visie van de aanbieder op de ontwikkeling van het (jonge) kind is geoperationaliseerd\n                                                         in te observeren ontwikkelingsdoelen?\n\nja/nee\n\nO.I.3\n\nIs er een actuele gedegen en gedetailleerde onderbouwing van het ontwikkelingsverloop,\n                                                         verbijzonderd in bijpassende indicatoren van observeerbare (gedrags)kenmerken en met\n                                                         een verwijzing naar relevante brondocumenten?\n\nja/nee/n.v.t.\n\nO.I.4\n\nVoldoet de formulering van de indicatoren van observeerbare (gedrags)kenmerken in\n                                                         het instrument aan de kwaliteitscriteria voor observatie-categorie\u00ebn: relevantie,\n                                                         objectiviteit, effici\u00ebntie, specificiteit en neutraliteit?\n\nja/nee/n.v.t.\n\nO.I.5\n\nIs de doelgroep van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nO.I.6\n\nIs het gebruiksdoel van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nToelichting bij O.I.1:\n\nDe aanbieder beschrijft ten minste op gedegen en complete wijze zijn visie op de ontwikkeling\n                                          van het (jonge) kind en geeft hiervoor een deugdelijke onderbouwing, indien nodig\n                                          inclusief leeswijzer, bijvoorbeeld door middel van referenties naar de actuele pedagogische\n                                          en/of psychologische wetenschappelijke literatuur.\n\nToelichting bij O.I.2:\n\nMet de actuele inhoudelijke verantwoording is er sprake van een (kwalitatieve) verantwoording\n                                          van de representativiteit van de ontwikkelingsdoelen voor de onderbouwde theorie (c.q.\n                                          inhoud) van het instrument. Daarmee wordt voldaan aan de eis voor inhoudsvaliditeit,\n                                          zijnde de eigenschap dat de operationalisering van de inhoud van het instrument een\n                                          representatieve weergave is van de te observeren en te volgen ontwikkeling van het\n                                          (jonge) kind.\n\nToelichting bij O.I.3:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren (c.q. observatie-categorie\u00ebn) van observeerbare (gedrags)kenmerken,\n                                          wordt er een actuele gedegen en gedetailleerde onderbouwing van het ontwikkelingsverloop\n                                          van de ontwikkelingsdoelen en eventuele tussentijdse mijlpalen gegeven.\n\nAls voorbeeld: er is een actuele gedegen en gedetailleerde beschrijving van het ontwikkelingsverloop\n                                          van taal, met een verbijzondering in het domein Mondelinge taalvaardigheid. De inhoud\n                                          van dit domein wordt gedegen en in detail beschreven in bijvoorbeeld de mijlpalen\n                                          Gesprekken voeren en Geletterdheid. De mijlpalen worden daarbij geoperationaliseerd\n                                          in indicatoren van observeerbare (gedrags)kenmerken (bijvoorbeeld: de leerling begrijpt\n                                          dat lezen van links naar rechts gaat) op basis waarvan de leerkracht zijn of haar\n                                          observaties over een zelf gekozen dan wel over een door het instrument voorgeschreven\n                                          periode kan registreren in het instrument. Ter inspiratie kan bijvoorbeeld gekeken\n                                          worden naar de inhoudskaarten met aanbodsdoelen voor het jonge kind van Expertisecentrum\n                                          SLO, zoals opgesteld voor de verschillende domeinen uit de WPO.\n\nToelichting bij O.I.4:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags)kenmerken, voldoet de formulering\n                                          van deze indicatoren aan de kwaliteitscriteria voor observatie-categorie\u00ebn: relevantie,\n                                          objectiviteit, effici\u00ebntie, specificiteit en neutraliteit, een en ander zoals gespecificeerd\n                                          in de Checklist voor het beoordelen van de kwaliteit van observatie-categorie\u00ebn en\n                                          toetsopgaven, versie 2022.1006cl.\n\nToelichting bij O.1.5:\n\nDe definitie van de doelgroep van het instrument betreft het noemen van de leerjaren\n                                          waarin het instrument ingezet kan worden. Indien van toepassing dient de aanbieder\n                                          in aanvulling hierop aan te geven in welke bijzondere situaties(s) en/of bij welke\n                                          individuele ondersteuningsbehoeften van een leerling het instrument niet geschikt\n                                          is.\n\nToelichting O.1.6:\n\nEr is in de verantwoording aangegeven dat het gebruiksdoel het observeren, registreren\n                                          en, indien van toepassing, signaleren van de individuele ontwikkeling van het (jonge)\n                                          kind betreft, zoals gedefinieerd in de doelgroep en een en ander conform de in hoofdstuk\n                                          1 genoemde bepalingen.\n\nDeze paragraaf beschrijft de kwaliteitseisen betreffende het inzicht in de individuele\n                                          ontwikkeling, met specifieke aandacht voor de kwaliteitseisen signaleringsfunctie en/of volgaspect\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.II.1\n\nStelt het instrument voor iedere (jonge) leerling een rapport samen met daarin een\n                                                         gedegen en compleet overzicht van de in ieder geval vaker dan \u00e9\u00e9n keer door de leerkracht\n                                                         geregistreerde observaties?\n\nja/nee\n\nO.II.2\n\nBevat het individuele rapport per (jonge) leerling per registratiemoment de bij diens\n                                                         door de leerkracht geobserveerde indicatoren?\n\nja/nee/n.v.t.\n\nO.II.3\n\nBevat het individuele rapport een gedegen en complete toelichting over hoe de geregistreerde\n                                                         indicatoren ge\u00efnterpreteerd dienen te worden, zodat de ontwikkeling van de (jonge)\n                                                         leerling (ook) voor ouders, verzorgers, voogden en leerkrachten begrijpelijk is?\n\nja/nee/n.v.t.\n\nO.II.4\n\nBiedt de informatie in het individuele rapport een eenduidige en gedegen basis voor\n                                                         de leerkracht om de ontwikkeling te evalueren en, waar nodig, door zichzelf gekozen\n                                                         vervolgstappen te formuleren?\n\nja/nee\n\nToelichting O.II.1:\n\nEr is bij een volgaspect altijd sprake van een aantal (twee of meer) verschillende\n                                          observatiemomenten op hetzelfde construct; de afnamemomenten kunnen daarbij vast of\n                                          variabel zijn.\n\nToelichting O.II.2:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags-)kenmerken, bevat het rapport per\n                                          (jonge) leerling per registratiemoment de wel (en nog niet of niet langer) bij hem\n                                          of haar door de leerkracht geobserveerde indicatoren van de verbijzonderde ontwikkelingsdoelen.\n                                          Het betreft hier een neutrale registratie van de observatie, zonder waardeoordeel.\n                                          Zo geeft het rapport een overzichtelijk beeld van de individuele ontwikkeling in de\n                                          tijd zowel op de verschillende ontwikkelingsdoelen afzonderlijk als in samenhang met\n                                          elkaar voor wat betreft de ontwikkelingsdoelen per construct, waarbij geen sprake\n                                          is van een relatieve normering van de individuele (jonge) leerling. Het rapport maakt\n                                          het op deze manier voor de leerkracht mogelijk om observaties van een (jonge) leerling\n                                          op verschillende momenten en in verschillende situaties met elkaar te kunnen vergelijken.\n                                          Daarmee heeft het instrument tevens een signaleringsfunctie in de zin dat het instrument\n                                          de eigen ontwikkeling van de individuele (jonge) leerling weergeeft.\n\nToelichting O.II.3:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags)kenmerken, bevat het individuele\n                                          rapport een toelichting over hoe de geregistreerde indicatoren ge\u00efnterpreteerd dienen\n                                          te worden, waarmee het instrument begrijpelijke handvatten geeft voor de interpretatie\n                                          van het verloop van de ontwikkeling (groei en/of stagnatie) van de individuele (jonge)\n                                          leerling door de diverse betrokkenen, zoals ouders, verzorgers, voogden en leerkrachten.\n\nToelichting O.II.4\n\nDe informatie in het individuele rapport dient dusdanig concreet en gedetailleerd\n                                          te zijn, dat het duidelijk is welk verloop in de ontwikkeling van de (jonge) leerling\n                                          aandacht verdient. Het ondersteunt de leerkracht in het zelfstandig en op basis van\n                                          de eigen professionaliteit formuleren van passende vervolgstappen in lijn met de door\n                                          de aanbieder van het instrument geoperationaliseerde en bij de visie passende ontwikkelingsdoelen\n                                          en eventuele tussentijdse mijlpalen.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de uitgangspunten van de toetsconstructie.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.III.1\n\nIs de afnamevorm van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nO.III.2\n\nIs (zijn) de doelgroep(en) van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nO.III.3\n\nIs het meetdoel van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nO.III.4\n\nIs er een actuele gedegen en gedetailleerde inhoudelijke theoretische inkadering van\n                                                         het instrument?\n\nja/nee/n.v.t.\n\nO.III.5\n\nIs het gebruiksdoel van het instrument gedegen en compleet gedefinieerd?\n\nja/nee\n\nToelichting O.III.1:\n\nIn de handleiding van het instrument is op gedegen en complete wijze aangegeven voor\n                                          welk afnamevorm(en), papier of digitaal, het instrument geschikt is.\n\nToelichting O.III.2:\n\nDe definitie van de doelgroep(en) van het instrument betreft het noemen van de leerjaren\n                                          waarin het instrument kan worden ingezet. Daarnaast is er ook relevante informatie\n                                          gegeven over het vereiste niveau van de leerlingen en is er vermeld in welke situatie(s)\n                                          en/of bij welke individuele ondersteuningsbehoeften het instrument niet geschikt is.\n                                          In plaats van genoemde toelichting mag de toetsaanbieder er ook voor kiezen om expliciet\n                                          te benoemen voor welke doelgroep(en) het instrument niet geschikt is.\n\nToelichting O.III.3:\n\nDe definitie van het meetdoel betreft het benoemen van wat de leerling op het moment\n                                          van inzetten van het instrument dient te beheersen. Hieraan is toegevoegd een gedetailleerde\n                                          beschrijving van domeinen en onderdelen, een toetsmatrijs en/of een verwijzing naar\n                                          actuele en relevante en brondocumenten.\n\nToelichting O.III.4:\n\nEr is, indien van toepassing op het type instrument, aangegeven hoe de inhoud van\n                                          het instrument aansluit bij het theoretische kader. En er is aangegeven op welke (analyse)methoden\n                                          de indeling van de vaardigheden is gebaseerd.\n\nToelichting O.III.5:\n\nDe definitie van het gebruiksdoel bestaat uit een gedegen en complete beschrijving\n                                          van de combinatie van niveaubepaling en inzicht in de leervorderingen.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de inhoudsvaliditeit/ representativiteit\n                                          van het LVS-instrument.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.IV.1\n\nIs de toetsmatrijs een adequate, schematische representatie van het meetdoel?\n\nja/nee\n\nO.IV.2\n\nVoldoen de toetsopgaven in het instrument aan de kwaliteitscriteria voor toetsopgaven:\n                                                         relevantie, objectiviteit, effici\u00ebntie, specificiteit en neutraliteit?\n\nja/nee\n\nO.IV.3\n\nVoldoen de toetsopgaven in het instrument aan de constructievoorschriften voor gesloten\n                                                         vragen, open vragen en/of nieuwe vraagtypes?\n\nja/nee\n\nToelichting O.IV.1:\n\nDe toetsmatrijs is een adequate, schematische representatie van het meetdoel. Er is\n                                          sprake van een adequate, schematische representatie wanneer de eind- en toetstermen\n                                          het meetdoel representeren. Dit blijkt uit het gegeven dat:\n\n\u2212 de toetstermen concreet en eenduidig zijn omschreven en, voor wat betreft instrument\n                                                type (III) vanaf groep 6, aansluiten bij de referentieniveaus voor de onderdelen Nederlandse\n                                                taal en rekenen;\n\n\u2212 de toetsmatrijs in ieder geval bevat:\n\n1. het aantal vragen met bijbehorende scorepunten;\n\n2. de toetsvorm en/of het type vragen;\n\n3. de verdeling van de verschillende vraag- en teksttypes in de toets;\n\n4. de verdeling van de toetsopgaven over de onderdelen en domeinen in de toets;\n\n5. de toegestane hulpmiddelen;\n\n6. en in het geval van een niet adaptieve toets: (7) de toetsduur.\n\nToelichting O.IV.2:\n\nDe adviseur evalueert in opdracht van het CvTE de relevantie van de inhoud van de\n                                          toets en de inhoudsvaliditeit van alle papieren toetsopgaven dan wel alle digitale\n                                          items uit de itembank op de vijf kwaliteitscriteria relevantie, objectiviteit, effici\u00ebntie,\n                                          specificiteit en neutraliteit, zoals beschreven in de Checklist voor het beoordelen\n                                          van de kwaliteit van observatie-categorie\u00ebn en toetsopgaven, versie 2022.1006cl.\n\nToelichting bij O.IV.3:\n\nDe auditor van de adviseur evalueert in opdracht van het CvTE of de toetsopgaven in\n                                          de toets voldoen aan de constructievoorschriften voor toetsvragen, zoals beschreven\n                                          in de Checklist voor het beoordelen van de kwaliteit van observatie-categorie\u00ebn en\n                                          toetsopgaven, versie 2022.1006cl.\n\nDeze paragraaf beschrijft ten behoeve van instrumenten van het type (III) de kwaliteitseisen\n                                          voor de referentieniveaus.\n\nLVS-instrumenten van het type (III) maken onderdeel uit van de doorlopende, methodevrije\n                                          leerlijn richting de doorstroomtoets in groep 8. Omdat de doorstroomtoetsen zijn gekoppeld\n                                          aan referentieniveaus, is het belangrijk dat ook de LVS-instrumenten van het type\n                                          (III) vanaf groep 6 hierbij aansluiten. Ongeacht de toetsvorm, moet het instrument\n                                          het mogelijk maken om voor elke leerling vanaf groep 6 uitspraken te doen over de\n                                          beheersing van het 1F niveau en het 2F/1S niveau. Er is dan inzicht in de vorderingen\n                                          van de leerling richting het eindniveau.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.V.1\n\nBevat de verzameling van LVS-instrumenten van het type (III) van groep 6-8 voor wat\n                                                         betreft de wettelijk verplichte voorgeschreven terreinen Nederlandse taal en rekenen\n                                                         \u00e9n de optionele domeinen van taal, de inhouden van 1F en 2F/1S?\n\nja/nee\n\nO.V.1a\n\nIndien er sprake is van een CAT (adaptieve toets op itemniveau), voldoet de gehele\n                                                         itembank van de verzameling van LVS-instrumenten van het type (III) van groep 6-8\n                                                         voor wat betreft de bij O.V.1 genoemde domeinen aan de kwaliteitseis O.V.1?\n\nja/nee/n.v.t.\n\nO.V.1b\n\nIndien er sprake is van een MST (adaptieve toets op moduleniveau), voldoet het gehele\n                                                         design van de verzameling van LVS-instrumenten van het type (III) van groep 6 tot\n                                                         en met 8 voor wat betreft de bij O.V.1 genoemde domeinen aan de kwaliteitseis O.V.1?\n\nja/nee/n.v.t.\n\nToelichting O.V.1:\n\nDit aspect moet uit de toetsmatrijs naar voren komen. Dat wil zeggen dat de verhouding\n                                          1F en 2F/1S vragen in de toetsmatrijs is gespecificeerd en dat de verhouding van de\n                                          vragen erin wordt benoemd.\n\nToelichting O.V.1a:\n\nIndien er sprake is van een CAT, dient voor elke individuele leerling voor de onderdelen\n                                          taal en rekenen in de periode groep 6-8 een uitspraak over het behaalde niveau 1F\n                                          of 2F/1S te worden gedaan.\n\nToelichting O.V.1b\n\nIndien er sprake is van een MST, dient elke routing binnen het MST design voor elke\n                                          individuele leerling voor de onderdelen taal en rekenen in de periode groep 6-8 een\n                                          uitspraak over het behaalde niveau 1F of 2F/1S te doen.\n\nDeze paragraaf beschrijft de kwaliteitseisen betreffende het inzicht in de leervorderingen.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nO.VI.1\n\nStelt de toetsaanbieder voor elke individuele leerling een leerlingrapport op?\n\nja/nee\n\nO.VI.2\n\nBevat het leerlingrapport het gemeten niveau van de leerling en geeft het rapport\n                                                         de leervordering van de leerling weer?\n\nja/nee\n\nO.VI.3\n\nBevat het leerlingrapport een toelichting bij het gemeten niveau en de leervorderingen\n                                                         van de leerling die (ook) voor ouders, verzorgers, voogden en docenten begrijpelijk\n                                                         is?\n\nja/nee\n\nO.VI.4\n\nIs de informatie in het leerlingrapport een goede basis voor de leerkracht om de leervorderingen\n                                                         te evalueren en vervolgstappen te formuleren?\n\nja/nee\n\nToelichting O.VI.1:\n\nDeze kwaliteitseis behoeft geen nadere toelichting.\n\nToelichting O.VI.2:\n\nIn het leerlingrapport van een LVS-instrument van het type (III) vanaf groep 6 hoeft\n                                          het referentieniveau niet verplicht te worden vermeld. Wel kan de toetsaanbieder ervoor\n                                          kiezen om een vaardigheidsschaal te construeren aan de hand van de LVS-instrumenten,\n                                          op basis waarvan er een uitspraak kan worden afgeleid over de weg richting de referentieniveaus.\n\nToelichting O.VI.3:\n\nEr dient een geschreven toelichting te worden geboden, waarin begrijpelijke handvatten\n                                          gegeven worden voor de interpretatie van de leervorderingen van de leerling door diverse\n                                          betrokkenen.\n\nToelichting O.VI.4:\n\nDe informatie moet dusdanig concreet en gedetailleerd zijn dat het duidelijk is welke\n                                          lacunes in de ontwikkeling van de leerling in het onderwijs aandacht verdienen.\n\nDe beoordeling van de psychometrische aspecten van een LVS-instrument richt zich op\n                                       de in paragraaf 1.4 genoemde betrouwbaarheid en deugdelijke normering, de (construct)validiteit\n                                       en op het in paragraaf 1.4.1 en 1.4.2 genoemde punt a) betreffende de wijze waarop\n                                       de vorderingen van leerlingen op cognitief of niet-cognitief gebied systematisch worden\n                                       gemeten.\n\nDe (optionele) kwaliteitseisen psychometrische aspecten voor observatie- en registratie-instrumenten\n                                       type (I) zijn te vinden in de paragrafen 3.2.1 en 3.2.2. De kwaliteitseisen psychometrische\n                                       aspecten voor LVS-instrumenten type (III) en (IV) zijn te vinden in de paragrafen\n                                       3.3.1 tot en met 3.3.5.\n\nVoor een observatie- en registratie-instrument van het type (II) heeft de aanbieder\n                                       de keuzemogelijkheid om de psychometrische kwaliteitseisen voor instrument type I\n                                       te volgen, de psychometrische kwaliteitseisen voor instrument type III en IV te volgen,\n                                       of om een combinatie van de psychometrische kwaliteitseisen voor instrument type I\n                                       en voor instrument type III en IV te volgen. Welke combinaties mogelijk zijn, is in\n                                       de tabellen in paragraaf 1.5 aangegeven.\n\nDe beoordeling van de psychometrische aspecten van een observatie- en registratie-instrument\n                                       type (I) richt zich op de dataverzameling (paragraaf 3.2.1), de onderbouwing van de\n                                       kwaliteit van de resultaten / uitspraken van het instrument (paragraaf 3.2.2) en op\n                                       de interbeoordelaarsbetrouwbaarheid (paragraaf 3.2.3).\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de dataverzameling, met specifieke\n                                          aandacht voor de kwaliteitseis steekproef van leerlingen.\n\nDeze paragraaf 3.2.1 en de hierin opgenomen kwaliteitseis P.I.1 is van toepassing\n                                          op een observatie- en registratie-instrument type (I), indien de ontwikkelingsdoelen\n                                          in het instrument zijn verbijzonderd in inhoudelijk bijpassende indicatoren van observeerbare\n                                          (gedrags-)kenmerken, zoals verantwoord in de kwaliteitseisen O.I.3 en O.I.4 in paragraaf\n                                          2.2.1.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.I.1\n\nBeschrijft de aanbieder een representatieve steekproef van de indicatoren van observeerbare\n                                                         (gedrags-)kenmerken (c.q. de observatie-categorie\u00ebn) op basis waarvan de steekproefresultaten\n                                                         kunnen worden gegeneraliseerd naar de doelgroep van het instrument, zoals gedefinieerd\n                                                         bij kwaliteitseis O.I.5?\n\nja/nee/n.v.t.\n\nToelichting P.I.1:\n\nIndien van toepassing dient de aanbieder te verantwoorden dat de steekproef groot\n                                          genoeg is, adequaat is gestratificeerd naar betekenisvolle achtergrondvariabelen,\n                                          en is verzameld onder omstandigheden die redelijk vergelijkbaar zijn met de omstandigheden\n                                          waarin de gegevens in een operationele setting zouden worden verzameld.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de ijking van het instrument, met\n                                          specifieke aandacht voor de kwaliteitseis niet relatieve normering.\n\nDeze paragraaf 3.2.2 en de hierin opgenomen kwaliteitseisen P.II.1 tot en met P.II.3\n                                          zijn van toepassing op een observatie- en registratie-instrument type (I), indien\n                                          de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk bijpassende\n                                          indicatoren van observeerbare (gedrags-)kenmerken, zoals verantwoord in de kwaliteitseisen\n                                          O.I.3 en O.I.4 in paragraaf 2.2.1.\n\nHet volgen van de ontwikkeling van de (jonge) leerling met betrekking tot de verschillende\n                                          ontwikkelingsdoelen en eventuele tussentijdse mijlpalen heeft nadrukkelijk niet als\n                                          doel om waardeoordeel over het niveau van de (jonge) leerling in relatie tot het niveau\n                                          van andere leerlingen uit te spreken. Het doel is om de leerkracht van informatie\n                                          te voorzien waarmee hij of zij zelfstandig en op basis van de eigen professionaliteit\n                                          de specifieke ontwikkelbehoefte van de individuele (jonge) leerling kan signaleren\n                                          en desgewenst een voor die specifieke leerling passende interventie kan doen.\n\nOm de gebruiker te kunnen ondersteunen in het bepalen van de mate waarin een individuele\n                                          (jonge) leerling zich op zeker moment een specifiek ontwikkelingsdoel eigen heeft\n                                          gemaakt, dienen de indicatoren van observeerbare (gedrags-)kenmerken van de ontwikkelingsdoelen\n                                          en eventuele tussentijdse mijlpalen in het instrument te worden voorzien van ijkpunten\n                                          (c.q. referentiepunten). Dit noemt men ook wel het normeren van het instrument.\n\nDe leerkracht kan met behulp van het instrument op basis van observaties vaststellen\n                                          en volgen hoe individuele leerlingen gedurende de kleuterjaren zich ontwikkelen in\n                                          het aantal en soort bij hem of haar geobserveerde indicatoren van (gedrags-)kenmerken.\n                                          De ijkpunten van de indicatoren geven daarbij een objectiever beeld van de individuele\n                                          ontwikkeling, zonder dat de leerkracht een waardeoordeel over het niveau van de leerling\n                                          in relatie tot het niveau van andere leerlingen hoeft uit te spreken.\n\nDe ijkpunten worden bij de initi\u00eble ontwikkeling van het instrument door experts bepaald\n                                          en vervolgens periodiek ge\u00ebvalueerd. Het ijken vindt plaats op grond van de inhoud\n                                          van het instrument, zoals verantwoord bij de kwaliteitseisen O.I.1 tot en met O.I.4\n                                          uit paragraaf 2.2.1 en derhalve niet op grond van de relatieve positie van het ene\n                                          kind ten opzichte van andere kinderen. Er zijn verschillende methodes om een instrument\n                                          te ijken, bijvoorbeeld de in de literatuur beschreven standaardbepalingsmethoden.\n                                          Deze methoden hebben gemeenschappelijk dat externe experts worden geraadpleegd en\n                                          dat deze experts op inhoudelijke en/of op kwantitatieve gronden tot voldoende overeenstemming\n                                          moeten komen over de te bepalen ijkpunten van de indicatoren van observeerbare (gedrags-)kenmerken\n                                          van de ontwikkelingsdoelen en eventuele tussentijdse mijlpalen in het instrument.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.II.1\n\nIs de keuze voor de ijkingsmethode gedegen gemotiveerd en op de juiste wijze uitgevoerd?\n\nja/nee/n.v.t.\n\nP.II.2\n\nZijn de experts met inhoudelijke vakdeskundigheid die de ijkpunten van de indicatoren\n                                                         van observeerbare (gedrags-)kenmerken van de ontwikkelingsdoelen en eventuele tussentijdse\n                                                         mijlpalen vaststellen naar behoren geselecteerd en getraind?\n\nja/nee/n.v.t.\n\nP.II.3\n\nIs er voldoende overeenstemming tussen de experts?\n\nja/nee/n.v.t.\n\nToelichting P.II.1:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags-)kenmerken, blijkt uit de verstrekte\n                                          informatie dat er gebruik is gemaakt van een beproefde ijkingsmethode.\n\nIn dat geval blijkt uit de verstrekte informatie ook waarom de gebruikte methode past\n                                          bij het doel.\n\nToelichting P.II.2:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags-)kenmerken, is er een onderbouwing\n                                          van de selectieprocedure, heeft er een selectie van voldoende experts voor de gekozen\n                                          methode met aantoonbaar inhoudelijke vakdeskundigheid plaatsgevonden en zijn deze\n                                          experts getraind in de betreffende ijkingsmethode.\n\nToelichting P.II.3:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags-)kenmerken, toont de aanbieder\n                                          aan dat de mate van overeenstemming tussen de experts resulteert in een co\u00ebffici\u00ebnt\n                                          voor beoordelaarsovereenstemming waarbij de proportie overeenstemming representatief\n                                          is voor een instrument voor minder belangrijke beslissingen (een zogenaamd medium\n                                          stakes instrument) op individueel niveau.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor de interbeoordelaarsbetrouwbaarheid,\n                                          met specifieke aandacht voor de kwaliteitseis betrouwbaarheid van de observaties.\n\nDeze paragraaf 3.2.3 en de hierin opgenomen kwaliteitseisen P.III.1 en P.III.2 zijn\n                                          van toepassing op een observatie- en registratie-instrument type (I), indien de ontwikkelingsdoelen\n                                          in het instrument zijn verbijzonderd in inhoudelijk bijpassende indicatoren van observeerbare\n                                          (gedrags)kenmerken, zoals verantwoord in de kwaliteitseisen O.I.3 en O.I.4 in paragraaf\n                                          2.2.1.\n\nBij observatie- en registratie-instrumenten van het type (I) die van in het instrument\n                                          getrainde observatoren / leerkrachten (holistische) oordelen van de gedragingen van\n                                          jonge kinderen in de dagelijkse praktijk verlangen, dient te worden aangetoond dat\n                                          de betreffende observatoren / leerkrachten deze gedragingen eenduidig kunnen interpreteren\n                                          en correct in het instrument kunnen registreren. De mate waarin op deze manier betrouwbaar\n                                          met het instrument wordt gewerkt, dient de aanbieder aan te tonen, zowel na de initi\u00eble\n                                          ontwikkeling van het instrument als periodiek tijdens de tussentijdse check (zie paragraaf\n                                          1.7.2) van het instrument.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.III.1\n\nWordt er met behulp van stelselmatig onderzoek aangetoond dat de in het instrument\n                                                         getrainde observatoren / leerkrachten de indicatoren van observeerbare (gedrags-)kenmerken\n                                                         (c.q. de observatie-categorie\u00ebn) eenduidig kunnen interpreteren en registreren?\n\nja/nee/n.v.t.\n\nP.III.2\n\nZijn de observatoren / leerkrachten die zijn ingezet om de interbeoordelaarsovereenstemming\n                                                         te schatten, naar behoren getraind?\n\nja/nee/n.v.t.\n\nToelichting P.III.1:\n\nDe aanbieder van het observatie- en registratie-instrument dient bewijslast in te\n                                          leveren, waaruit blijkt dat de in het instrument getrainde observatoren / leerkrachten\n                                          betrouwbaar werken met het instrument.\n\nDe bewijslast bevat een methode die strookt met de (absolute dan wel relatieve bij\n                                          de LVS 3-8) interpretatie van de observatie / resultaten.\n\nToelichting P.III.2:\n\nIndien de ontwikkelingsdoelen in het instrument zijn verbijzonderd in inhoudelijk\n                                          bijpassende indicatoren van observeerbare (gedrags-)kenmerken, zijn de observatoren\n                                          / leerkrachten die door de aanbieder zijn ingezet om de interbeoordelaarsovereenstemming\n                                          te schatten, getraind op een niveau dat gelijk is aan het niveau van de training of\n                                          instructie voor beoordelaars in de praktijk.\n\nDe verantwoording en de beoordeling van de kwaliteit van de psychometrische aspecten\n                                       van een LVS-instrument type (III) of type (IV) bestaat uit de volgende vijf fasen.\n\nFasen psychometrische analyse\n\nToelichting\n\nKwaliteitseisen\n\nFase 1. Data verzameling in een pretestprocedure\n\nDe toetsaanbieder pretest nieuwe items, voordat deze onderdeel worden van (de itembank\n                                                      van) het LVS-instrument (type III en IV). Pretesten kan plaatsvinden in een proeftoets\n                                                      op vrijwillig deelnemende scholen of in een operationele setting.\n\nDe kwaliteit van de dataverzameling wordt beoordeeld met de kwaliteitseisen voor het\n                                                      steekproefkader en de samenstelling van de steekproef (zie \u00a7 3.3.1)\n\nFase 2. Normeren van het LVS-instrument\n\nHet LVS-instrument (type III en IV) wordt genormeerd.\n\nDe kwaliteit van de normering wordt beoordeeld met de kwaliteitseisen voor kalibreren\n                                                      en voor normeren (zie \u00a7 3.3.2).\n\nFase 3. Betrouwbaarheid van het LVS-instrument\n\nNaar aanleiding van het instrument kunnen leerlingen worden gecategoriseerd. De toetsaanbieder\n                                                      schat de betrouwbaarheid van het volledige LVS-instrument en berekent het percentage\n                                                      misclassificaties van de verschillende categorie\u00ebn (type III en IV).\n\nDe kwaliteit van de betrouwbaarheid wordt beoordeeld met de kwaliteitseisen voor betrouwbaarheid\n                                                      (zie \u00a7 3.3.3).\n\nFase 4. Constructvaliditeit van het LVS-instrument\n\nDe toetsaanbieder toont de constructvaliditeit van het LVS-instrument kwantitatief\n                                                      en/of kwalitatief aan.\n\nDe kwaliteit van de constructvaliditeit van het LVS-instrument wordt beoordeeld met\n                                                      de kwaliteitseisen voor constructvaliditeit (zie \u00a7 3.3.4).\n\nFase 5. Volgaspect of signaleringsfunctie\n\nDe toetsaanbieder toont de kwaliteit aan van:\n\nde opbouw;\n\nde betrouwbaarheid (type III en IV), en;\n\nhet gebruik van de schaal, waarop de ontwikkeling (groei) van de leerling zichtbaar\n                                                      wordt gemaakt, aan.\n\nDe kwaliteit van het volgaspect van het LVS-instrument wordt beoordeeld met de kwaliteitseisen\n                                                      voor (1) de opbouw van de schaal, (2) de betrouwbaarheid van de schaal, en (3) het\n                                                      gebruik van de schaal (zie \u00a7 3.3.5).\n\nDe toetsaanbieder verantwoordt de psychometrische analyses in de wetenschappelijke\n                                       handleiding.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor Fase 1 van de psychometrische verantwoording\n                                          van een LVS-instrument van het type (III) en (IV), zijnde de kwaliteit van de dataverzameling\n                                          in een pretestprocedure.\n\nDe kwaliteit van de normering van een LVS-instrument type (III) en (IV) en van de\n                                          betrouwbaarheid van de beslissingen die op basis van de genormeerde scores worden\n                                          genomen, hangt grotendeels af van de kwaliteit van de dataverzameling. Hierop zijn\n                                          de normering en de betrouwbaarheidsgegevens gebaseerd. Daarom wordt de kwaliteit van\n                                          de dataverzameling eerst behandeld.\n\nDe kwaliteit van de dataverzameling wordt beoordeeld met de kwaliteitseisen voor het\n                                          steekproefkader en de samenstelling van de steekproef.\n\nDe dataverzameling kan plaatsvinden door nieuwe items aan te bieden aan scholen via\n                                          een vrijwillige proeftoets, of door nieuwe items direct toe te voegen aan (de itembank\n                                          van) het bestaande LVS-instrument. Wanneer, in dit tweede scenario, blijkt dat de\n                                          nieuw geconstrueerde items naar behoren functioneren, kan de toetsaanbieder ervoor\n                                          kiezen om deze direct mee te laten tellen. Voor een leerling mag het niet herkenbaar\n                                          zijn of een vraag wel of niet meetelt.\n\nVoor beide scenario\u2019s geldt dat de toetsaanbieder er voor kan kiezen om (een deel\n                                          van) de nieuwe items die worden gepretest eerst door het CvTE te laten beoordelen\n                                          op de kwaliteitseisen voor inhoudsvaliditeit O.IV.2 en O.IV.3 uit paragraaf 2.3.2.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.IV.1\n\nIs de steekproef van leerlingen groot genoeg en representatief voor de landelijke\n                                                         populatie?\n\nja/nee\n\nP.IV.2\n\nIndien er sprake is van een onvolledig dataverzamelingsdesign: is het dataverzamelingsdesign\n                                                         adequaat?\n\nja/nee/n.v.t.\n\nToelichting P.IV.1:\n\n\u2212 De steekproef moet groot genoeg zijn voor het schatten van de moeilijkheidsgraad,\n                                                het discriminerend vermogen en de kwaliteit van de afleiders van de items.\n\n\u2212 Voor het pretesten van nieuwe items in een proeftoets omgeving, volstaan zowel het\n                                                gebruik van de klassieke toets theorie als de itemresponstheorie (1PLM of 2PLM IRT\n                                                model).\n\n\u2212 Voor het pretesten van nieuwe items in een operationele setting (het zaaien van nieuwe\n                                                items) binnen een papieren of digitaal lineaire toets volstaan zowel het gebruik van\n                                                de klassieke toets theorie als de itemresponstheorie.\n\n\u2212 Voor het pretesten van nieuwe items in een operationele setting binnen een adaptieve\n                                                toets op itemniveau (CAT) of een adaptieve toets op moduleniveau (MST) volstaat het\n                                                gebruik van een IRT model.\n\nVoor alle genoemde pretestmogelijkheden en toetsvormen geldt in ieder geval:\n\n\u2212 De steekproef moet representatief zijn voor de doelgroep (c.q. de landelijke populatie\n                                                leerlingen) in termen van het onderwijsniveau. Dit betekent dat de steekproef adequaat\n                                                moet zijn gestratificeerd naar de volgende achtergrondvariabelen:\n\n\u00b0 regio (Noord, Zuid, Oost, West)\n\n\u00b0 urbanisatiegraad (G4: de vier grootste gemeenten; G5-G37: de 5 tot 37 grootste steden;\n                                                      >G37: de overige steden)\n\n\u00b0 schoolgrootte (<100; 100-300; >300)\n\n\u00b0 schoolweging (<23; 23-26,99; 27-32,99; 33-36,99; \u2265 37)\n\nTevens moet er informatie geleverd worden over hoe de gerealiseerde steekproef zich\n                                                verhoudt tot de landelijke populatiewaarden met betrekking tot geslacht, regio, urbanisatiegraad,\n                                                schoolgrootte en schoolweging.\n\n\u2212 Bij de steekproef is in een steekproefkader een beschrijving gegeven van de procedure\n                                                waarmee de steekproef tot stand is gekomen.\n\n\u2212 De omstandigheden waaronder de data verzameld zijn, moeten redelijk vergelijkbaar\n                                                zijn met de omstandigheden waaronder de operationele toets wordt afgenomen.\n\n\u2212 De steekproefgegevens over SBO en SO scholen worden, indien van toepassing, buiten\n                                                beschouwing gelaten en aanvullend separaat gerapporteerd en verantwoord.\n\nPretesten van nieuwe items in een proeftoets of in een operationele toets bij gebruik\n                                          van een papieren of digitaal lineaire toets:\n\n\u2212 Een steekproefgrootte van minimaal 300 observaties van elk pretest-item.\n\n\u2212 Wanneer de LVS-instrumenten worden ontwikkeld voor een specifiek schooljaar (bv. groep\n                                                3 of eind groep 4), dan geldt het minimum aantal observaties per pretest-item voor\n                                                de leerlingen uit dat specifieke leerjaar.\n\n\u2212 Wanneer het uitgangspunt is een vaardigheidsschaal met overlap in vaardigheid tussen\n                                                de verschillende leerjaren, dan geldt als voorwaarde dat er gebruik wordt gemaakt\n                                                van een IRT model. In dat geval geldt het minimum aantal observaties per vaardigheidsniveau\n                                                (categorie\u00ebn op basis van theta, bij gebruik van een IRT model).\n\nPretesten van nieuwe items in een proeftoets of in een operationele toets bij gebruik\n                                          van een adaptieve toets op itemniveau (CAT) of bij gebruik van een adaptieve toets\n                                          op moduleniveau (MST):\n\n\u2212 Een steekproefgrootte van minimaal 1.000 observaties van elk pretest item, verzameld\n                                                via een proeftoets of via het zaaien in de itembank.\n\n\u2212 Wanneer de LVS-instrumenten worden ontwikkeld voor een specifiek schooljaar (bv. groep\n                                                3 of eind groep 4), dan geldt het minimum aantal observaties per pretest-item voor\n                                                de leerlingen uit dat specifieke leerjaar.\n\n\u2212 Wanneer het uitgangspunt is een vaardigheidsschaal met overlap in vaardigheid tussen\n                                                de verschillende leerjaren, dan geldt als voorwaarde dat er gebruik wordt gemaakt\n                                                van een IRT model. In dat geval geldt het minimum aantal observaties per vaardigheidsniveau\n                                                (categorie\u00ebn op basis van theta, bij gebruik van een IRT model).\n\n\u2212 Met behulp van het itemresponsemodel maakt de toetsaanbieder de vertaling van itemparameters\n                                                naar de bandbreedtes van vaardigheidsniveau (theta) die horen bij de categorie\u00ebn van\n                                                het LVS-instrument van het type (III) of (IV).\n\nToelichting P.IV.2:\n\nWanneer een LVS-instrument van het type (III) of (IV) of eventueel de itembank van\n                                          het betreffende instrument uit afzonderlijke items bestaat, worden data vaak verzameld\n                                          in een onvolledig \u2018gelinked\u2019 design, waarbij niet alle leerlingen alle items maken.\n                                          Men spreekt vaak van een boekjesdesign. Het staat de toetsaanbieder vrij om zelf een\n                                          best passend dataverzamelingsdesign te kiezen, mits de keuze wordt onderbouwd.\n\nAls gebruik wordt gemaakt van een gelinked design, dan dient deze te bestaan uit een\n                                          overzicht of beschrijving van:\n\n\u2212 het totaal aantal boekjes (\u2018booklets\u2019);\n\n\u2212 het aantal booklets per deelpopulatie \u00f3f het aantal beantwoorde items per kandidaat\n                                                bij een adaptieve toets;\n\n\u2212 het aantal items per domein \u00e9n per niveau.\n\nVerder gelden de volgende aanvullende eisen:\n\n\u2212 Met het oog op de kalibratie moeten de boekjes voldoende \u2018gelinked\u2019 zijn. Dat betekent\n                                                dat er voldoende overlap in observaties tussen de verschillende items en boekjes moet\n                                                zijn.\n\n\u2212 Bij gebruik van een IRT model moet er voldoende evidentie voor de passing van dat\n                                                IRT model worden gepresenteerd, zodat kan worden nagegaan of de dataverzameling adequaat\n                                                is en of er aan de eisen van steekproefgrootten voor het schatten van (item)parameters\n                                                is voldaan. De toetsaanbieder beschrijft hiertoe:\n\n\u00b0 hoe de passing van het IRT model is ge\u00ebvalueerd en voldoet. Dit wordt gedaan door:\n\n\u25a0 aan te tonen dat de itemparameters tussen verschillende afnamen of boekjes niet veranderen,\n                                                            en;\n\n\u25a0 een DIF analyse (differential item functioning) op itemniveau uit te voeren op minimaal\n                                                            de achtergrondvariabele geslacht, waarbij de itemparameterschattingen uit de verschillende\n                                                            boekjes in de pretest worden vergeleken. Wanneer er sprake is van DIF op itemniveau,\n                                                            dient de toetsaanbieder aan te tonen dat dit in overeenstemming is met de verwachting\n                                                            op basis van de relevante literatuur2.\n\n\u00b0 Aanvullend worden de effectgroottes vermeld, waarop de passing van het model is ge\u00ebvalueerd.\n                                                      Hierbij geldt als uitgangspunt dat, het verschil tussen het geobserveerd aantal correcte\n                                                      antwoorden en het verwacht aantal correcte antwoorden op basis van de globale modeltoets\n                                                      R1c (Glas, 1988) en/of de DIF toets op itemniveau kleiner is dan10%. De toetsaanbieder\n                                                      mag hier met de juiste motivering van afwijken.\n\n\u00b0 Wat betreft de schattingsfout (standard error) van de nieuwe items dient de toetsaanbieder\n                                                      informatie over de scoreverdeling aan te leveren, zodat inzichtelijk is welke informatiewaarde\n                                                      (en omgekeerd de standard error) correspondeert met een klassieke betrouwbaarheidsco\u00ebffici\u00ebnt\n                                                      van 0,80.\n\n\u2212 Andere kalibratiemethoden, zoals bijvoorbeeld kernel-equating van Von Davier en Holland\n                                                (2004), zijn ook toegestaan, zolang de betrouwbaarheid analoog is aan de voor IRT\n                                                geformuleerde eisen.\n\n\u2212 Er is beargumenteerd op welke wijze er rekening is gehouden met vermoeidheids- en/of\n                                                volgorde effecten.\n\n\u2212 Wanneer de pretestdata zijn verzameld met een CAT of MST is het niet zinvol om het\n                                                hele onvolledige design weer te geven, omdat iedere leerling dan in principe een unieke\n                                                verzameling items maakt. Ook dan moet wel duidelijk zijn op welke gegevens de linking\n                                                en normering gebaseerd zijn.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor Fase 2 van de psychometrische verantwoording\n                                          van een LVS-instrument van het type (III) en (IV), zijnde de kwaliteit van het normeren\n                                          van het LVS-instrument.\n\nNa het verzamelen van de observaties voert de toetsaanbieder een kalibratie uit met\n                                          de verzamelde pretestdata. In de kalibratie schat de toetsaanbieder de itemparameters,\n                                          zodat de kwaliteit van de in de proeftoets en/of in de operationele versie van de\n                                          toets nieuw gepreteste items kan worden vastgesteld. Vervolgens kan de toetsaanbieder\n                                          het LVS-instrument normeren. Er is onderscheid te maken tussen absolute en relatieve\n                                          normen.\n\nAbsolute normen plaatsen een leerling op een schaal die betrekking heeft op een analyse\n                                          van een inhoudelijk domein. Een absolute norm is gebaseerd op een minimaal acceptabel\n                                          beheersingsniveau van dat inhoudelijke domein. Absolute normen kan men bepalen via\n                                          een standaardsettingsmethode waarbij inhoudelijke experts de minimaal acceptabele\n                                          beheersingsniveaus vaststellen.\n\nRelatieve normen plaatsen de leerling op een schaal die betrekking heeft op de relatieve\n                                          positie van een leerling in een populatie. Een relatieve norm is derhalve gebaseerd\n                                          op een onderlinge vergelijking van de toetsprestaties van de kandidaten in een adequaat\n                                          omschreven populatie. Om deze normen vast te stellen is een pretest met een zuivere\n                                          steekproef nodig, waarna de normen met een psychometrische methode worden vastgesteld.\n\nHet staat de toetsaanbieder vrij om, binnen de eisen van het beoordelingskader, hiervoor\n                                          zelf een best passende wijze van normeren te kiezen. De toetsaanbieder beargumenteert\n                                          dat de eigen gemaakte keuze deugdelijk is. Dit betekent dat er naast de methode van\n                                          standaardsetting met experts of het defini\u00ebren van relatieve normen via pretesten\n                                          ook gebruik gemaakt mag worden van andere manieren. Bijvoorbeeld door de normen af\n                                          te leiden van de referentieniveaus. Dat kan op verschillende manieren worden gerealiseerd.\n                                          Bijvoorbeeld door een toets voor de leerjaren 6-8 te pretesten samen met items uit\n                                          beschikbare referentiesets of door LVS items via een pretest te kalibreren op dezelfde\n                                          schaal als de ankeritems van de doorstroomtoets.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nAbsoluut normeren\n\nP.V.1\n\nIs de keuze voor de standaardbepalingsmethode gedegen gemotiveerd en op de juiste\n                                                         wijze uitgevoerd?\n\nja/nee/n.v.t.\n\nP.V.2\n\nZijn de experts met inhoudelijke vakdeskundigheid die de standaarden (cesuren) vaststellen\n                                                         naar behoren geselecteerd en getraind?\n\nja/nee/n.v.t.\n\nP.V.3\n\nIs er voldoende overeenstemming tussen de experts?\n\nja/nee/n.v.t.\n\nRelatief normeren\n\nP.V.4\n\nAls de normeringssteekproef afwijkt van de kalibratiesteekproef, zijn de normgroepen\n                                                         groot genoeg?\n\nja/nee/n.v.t.\n\nP.V.5\n\nAls de normeringssteekproef afwijkt van de kalibratiesteekproef, zijn de normgroepen\n                                                         representatief?\n\nja/nee/n.v.t.\n\nP.V.6\n\nZijn de normen correct bepaald?\n\nja/nee/n.v.t.\n\nToelichting P.V.1:\n\n\u2212 Uit de verstrekte informatie blijkt dat de kwaliteit van de gekozen standaard- of\n                                                cesuurbepalingsmethode hoog is en dat de methode correct is uitgevoerd en is onderbouwd\n                                                door de erbij betrokken experts met vakdeskundigheid.\n\n\u2212 Uit de verstrekte informatie blijkt waarom de gebruikte methode past bij het doel.\n\n\u2212 Bij LVS-instrumenten van het type (III), waarbij de standaard / cesuur al min of meer\n                                                vastligt in de onderliggende referentiesets dient de cesuur te worden overgebracht\n                                                middels linking en niet door een afzonderlijke standaardbepaling.\n\n\u2212 Het beoordelingskader LVS laat tevens ruimte voor alternatieve vormen van normeren,\n                                                zoals bijvoorbeeld continue normeren waarbij leerlingen uit een lagere groep bij de\n                                                normering ook een \u2018moeilijker\u2019 toets maken voor een hoger leerjaar. Alternatieve vormen\n                                                van normeren dienen inhoudelijk en psychometrisch te worden beargumenteerd door de\n                                                toetsaanbieder.\n\nToelichting P.V.2:\n\n\u2212 Er is een onderbouwing van de selectieprocedure, er heeft een selectie van voldoende\n                                                experts voor de gekozen methode met aantoonbaar inhoudelijke vakdeskundigheid plaatsgevonden\n                                                en deze experts hebben een gedocumenteerde training gevolgd in de betreffende standaardbepalingsmethode.\n\nToelichting P.V.3:\n\n\u2212 De aanbieder toont aan dat de mate van overeenstemming tussen de experts resulteert\n                                                in een co\u00ebffici\u00ebnt voor beoordelaarsovereenstemming waarbij de proportie overeenstemming\n                                                representatief is voor een instrument voor minder belangrijke beslissingen (een zogenaamd\n                                                medium stakes instrument) op individueel niveau.\n\nToelichting P.V.4:\n\n\u2013 De normgroep bestaat uit het bij kwaliteitseis P.IV.1 genoemde minimum aantal observaties\n                                                per item.\n\nToelichting P.V.5:\n\n\u2013 Een beschrijving van de samenstelling van de normgroep voor in ieder geval de achtergrondvariabelen\n                                                sekse, regio, urbanisatiegraad, schoolgrootte en schoolweging is beschikbaar en er\n                                                is gebruik gemaakt van een aselect steekproefmodel.\n\nToelichting P.V.6:\n\n\u2013 Er is een heldere beschrijving van de betekenis en beperkingen van de normschaal en\n                                                het type normschaal is in overeenstemming met het doel van het LVS-instrument van\n                                                het type (III) of (IV).\n\nDeze paragraaf beschrijft de kwaliteitseisen voor Fase 3 van de psychometrische verantwoording\n                                          van een LVS-instrument van het type (III) en (IV), zijnde de kwaliteit van de betrouwbaarheid\n                                          van het LVS-instrument.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.VI.1\n\nZijn of worden de betrouwbaarheidsgegevens van de metingen correct berekend?\n\nja/nee\n\nP.VI.2\n\nZijn de betrouwbaarheidsgegevens voldoende gezien de conclusies en eventuele beslissingen\n                                                         die met het instrument genomen worden?\n\nja/nee\n\nP.VI.3\n\nIs er een indicatie gegeven van het percentage misclassificaties van de verschillende\n                                                         categorie\u00ebn van het LVS-instrument van het type (I) of (II)?\n\nja/nee\n\nLeerlingen worden na afname van het LVS-instrument gecategoriseerd. De toetsaanbieder\n                                          schat de betrouwbaarheid van het volledige LVS-instrument van het type (III) of (IV)\n                                          en berekent het percentage misclassificaties van de verschillende categorie\u00ebn van\n                                          het LVS-instrument van het type (III) of (IV).\n\nVoor het schatten van de betrouwbaarheid van niveaubepaling en groei mag alleen gebruik\n                                          gemaakt worden van items die onderwijskundig en psychometrisch goed functioneren.\n                                          Wanneer de toetsaanbieder er toch voor kiest om, om andere redenen, minder goed functionerende\n                                          items mee te nemen, dan dient de toetsaanbieder dit te beargumenteren.\n\nToelichting P.VI.1:\n\nBij een LVS-instrument van het type (III) of (IV) is er normaliter sprake van meerdere\n                                          categorie\u00ebn of van een relatieve categorisatie ten opzichte van een referentiepopulatie.\n                                          De betrouwbaarheid van het LVS-instrument van het type (III) of (IV) hangt samen met\n                                          percentage verwachte misclassificaties. De betrouwbaarheid moet adequaat worden aangetoond.\n                                          In de psychometrie maakt men een onderscheid tussen globale en lokale betrouwbaarheid:\n\nGlobale betrouwbaarheid heeft betrekking op de mate waarin men twee willekeurig getrokken\n                                          leerlingen uit een adequaat gedefinieerde populatie kan onderscheiden. Een maat voor\n                                          de globale betrouwbaarheid is een variantieratio: de verhouding tussen de relevante\n                                          variatie in de te meten vaardigheid (de ware variantie) en de totale variantie, die\n                                          de som is van de ware variantie en irrelevante variatie (de ruis). Deze ratio is zowel\n                                          met CTT als met een IRT model te berekenen. Het is hierbij belangrijk om alle variantie-componenten\n                                          in de schatting van de betrouwbaarheid mee te nemen. Dus ook variantie tussen beoordelaars,\n                                          of de effecten van clustering van leerlingen in schoolklassen op de variantieschatting.\n                                          Zoiets is bijvoorbeeld te realiseren met generaliseerbaarheidstheorie en multilevelanalyse.\n                                          Vaak kan men de globale betrouwbaarheid correct schatten met Cronbach's Alpha, maar\n                                          bij hi\u00ebrarchische steekproeven en beoordelingen door beoordelaars, zijn de genoemde\n                                          meer geavanceerde technieken nodig.\n\nLokale betrouwbaarheid heeft betrekking op de meetprecisie bij specifieke punten op\n                                          de schaal. Bijvoorbeeld bij categoriegrenzen. Voor het schatten van de lokale betrouwbaarheid\n                                          is IRT het meest ge\u00ebigend. Meestal gebruikt men Fishers informatie bij bepaalde punten\n                                          op de latente vaardigheidsschaal.\n\nToelichting P.VI.2:\n\nBij een LVS-instrument van het type (III) of (IV) is de co\u00ebffici\u00ebnt voor globale betrouwbaarheid\n                                          berekend over minimaal 300 kandidaten. Bij hi\u00ebrarchische steekproeven moet bij het\n                                          bepalen van steekproefgrootten ook rekening gehouden worden met de effecten van clustering\n                                          van leerlingen. De betrouwbaarheidsco\u00ebffici\u00ebnt moet voldoende zijn voor een medium\n                                          stakes instrument, wat neerkomt op een betrouwbaarheid \u2265 0,70.\n\nLokale betrouwbaarheid kan gebruikt worden om een schatting te maken van het percentage\n                                          leerlingen dat foutief wordt geclassificeerd. Wat in dit nog acceptabel is, hangt\n                                          af van de meetpretentie van de toets. Goed vergelijkingsmateriaal is te vinden in\n                                          de schattingen van percentages misclassificaties in verantwoordingen van andere LVS-toetsen\n                                          en doorstroomtoetsen voor het primair onderwijs.\n\nToelichting P.VI.3:\n\nDe toetsaanbieder geeft een indicatie van het percentage misclassificaties van de\n                                          verschillende categorie\u00ebn van het LVS-instrument van het type (III) of (IV). Voor\n                                          een voldoende op kwaliteitseis B3 dient het percentage misclassificaties < 20% te\n                                          zijn.3\n\nDeze paragraaf beschrijft de kwaliteitseisen voor Fase 4 van de psychometrische verantwoording\n                                          van een LVS-instrument van het type (III) en (IV), zijnde de kwaliteit van de constructvaliditeit\n                                          van het LVS-instrument.\n\nDe construct- of begripsvaliditeit is de eigenschap die het LVS-instrument heeft als\n                                          kan worden aangetoond dat het instrument het door de constructeur beoogde kenmerk\n                                          van de leerling (onderliggende trek, vaardigheid) meet. De toetsaanbieder kan de constructvaliditeit\n                                          kwantitatief en/of kwalitatief aantonen.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.VII.1\n\nIs aangetoond dat er sprake is van unidimensionaliteit?\n\nja/nee\n\nP.VII.2\n\nIs aangetoond dat de itemkwaliteit op orde is?\n\nja/nee\n\nP.VII.3\n\nIs er onderzoek uitgevoerd naar de convergente en divergente validiteit?\n\nja/nee\n\nP.VII.4\n\nIs aangetoond dat er geen sprake is van item bias?\n\nja/nee\n\nP.VII.5\n\nIs onderzoek uitgevoerd naar de prestaties van relevante subgroepen?\n\nja/nee\n\nToelichting P.VII.1:\n\nDe resultaten van de uitgevoerde kalibratie maken het aannemelijk dat er bij het LVS-instrument\n                                          van het type (III) of (IV) sprake is van unidimensionaliteit. Dit betekent dat met\n                                          elke willekeurige subset van items uit de gekalibreerde itembank dezelfde onderliggende\n                                          vaardigheid kan worden vastgesteld. De unidimensionaliteit kan op klassieke wijze\n                                          worden aangetoond met een confirmatieve factoranalyse gekoppeld aan multidimensionale\n                                          betrouwbaarheidsindices4. Het gebruik van IRT biedt daarnaast de mogelijkheid om met multidimensionele IRT\n                                          modellen, testlet modellen of bi-factormodellen een complexere dimensiestructuur te\n                                          modelleren.\n\nToelichting P.VII.2:\n\nDe itemkwaliteit wordt aangetoond met een passende moeilijkheidsparameter en met voldoende\n                                          discriminerend vermogen.\n\nToelichting P.VII.3:\n\nNaar mate de complexiteit van het te meten onderdeel toeneemt (bv. het meer complexe\n                                          onderdeel sociaal-emotionele ontwikkeling versus het meer overzichtelijk terrein rekenen)\n                                          wegen de inhoudelijke argumenten zwaarder dan de kwantitatieve argumenten. Met bijvoorbeeld\n                                          een Multi Trait Multi Method matrix kan worden onderbouwd hoe een instrument zich\n                                          gedraagt. Voor de meer complexe onderdelen is er vaak beperkt of geen extern vergelijkingsmateriaal.\n                                          In die situatie biedt een meer argument based approach (Kane, 2004) of bijvoorbeeld\n                                          een operationalisering van de inhoudsvaliditeit uitkomst. Dit betreft een meer beschrijvende\n                                          manier op basis van de blueprint /toetsmatrijs, waarbij gelet wordt op de representativiteit\n                                          en evenwichtigheid.\n\nBovendien kan een DIF analyse worden toegevoegd als onderdeel van een validity argument.5\n\nToelichting P.VII.4:\n\nIn het kader van itembias is er onderzoek uitgevoerd naar differentieel item functioneren\n                                          (DIF) met betrekking tot in ieder geval de achtergrondvariabele sekse.\n\nToelichting P.VII.5:\n\nDe prestaties van relevante subgroepen is onderzocht door de gemiddelde score en standaarddeviatie\n                                          per leeftijdsgroep en per sekse te bepalen. Tevens dienen de effectgroottes te worden\n                                          toegevoegd, waarbij geldt dat een klein effect < 0.2 voldoende is.\n\nDeze paragraaf beschrijft de kwaliteitseisen voor Fase 5 van de psychometrische verantwoording\n                                          van een LVS-instrument van het type (III) en (IV), zijnde de kwaliteit van het volgaspect\n                                          of de signaleringsfunctie.\n\nOm leervorderingen te kunnen meten, moeten de scores van de leerling op een schaal\n                                          te plaatsen zijn die de ontwikkeling van leerlingen zichtbaar maakt. Dit leidt voor\n                                          LVS-instrumenten van het type (III) of (IV) tot drie criteria met betrekking tot de\n                                          schaal waarop groei wordt uitgedrukt: (1) de opbouw van de schaal, (2) de betrouwbaarheid\n                                          van de schaal, en (3) het gebruik van de schaal.\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nP.VIII.1\n\nIs er een voldoende empirische onderbouwing van de schaal waarop de groei van een\n                                                         leerling wordt uitgedrukt? Wordt groei op een adequate manier gemeten?\n\nja/nee\n\nP.VIII.2\n\nWordt de betrouwbaarheid van de groei op die schaal adequaat weergegeven?\n\nja/nee\n\nP.VIII.3\n\nWorden er gegevens verstrekt over hoe groei ge\u00efnterpreteerd dient te worden?\n\nja/nee\n\nToelichting P.VIII.1:\n\n\u2212 Er dient duidelijk invulling te worden gegeven aan het begrip \u2018volgsysteem\u2019. Het betreft\n                                                een systeem met onderliggende data waarmee de ontwikkeling van de leerling kan worden\n                                                gevolgd over de tijd heen en waarmee kan worden ge\u00efnterpreteerd in hoeverre deze ontwikkeling\n                                                in lijn is met de leerdoelen van de verschillende leerjaren en met de ontwikkeling\n                                                van de andere leerlingen uit hetzelfde leerjaar. Het volgsysteem moet hierom bestaan\n                                                uit werkelijke gegevens om scores van verschillende afnames met elkaar te kunnen vergelijken\n                                                en/of om duiding te kunnen geven in termen van bijvoorbeeld groei. Tevens dienen er\n                                                duidelijke handvatten voor testgebruikers te komen hoe zij de toetsresultaten kunnen\n                                                gebruiken als volgsysteem. Bij het gebruik van bijvoorbeeld IRT modellen wordt de\n                                                vergelijkbaarheid al iets makkelijker (uitgaande van een juiste linking tussen allen\n                                                items/toetsversies). Omdat veel docenten en ouders niet weten hoe IRT werkt en hoe\n                                                dit moet worden toegepast, moeten de toetsaanbieders uitleggen hoe zij de resultaten\n                                                moeten lezen en interpreteren.\n\n\u2212 Alle overwegingen over steekproeftrekking, betrouwbaarheid en normering gelden eveneens\n                                                voor een reeks van twee of meer opeenvolgende meetmomenten. Dus beide steekproeven\n                                                moeten representatief zijn en het design, dat in dit geval bijna per definitie onvolledig\n                                                is, moet adequaat zijn in de termen die hierboven zijn gedefinieerd.\n\n\u2212 Verder moet er empirische informatie zijn over de schaalbaarheid van opeenvolgende\n                                                meetmomenten. Het hoeft niet het geval te zijn dat de schaal strikt uni-dimensioneel\n                                                is in de zin van een uni-dimensioneel IRT model (hoewel dit wel de meest voor de hand\n                                                liggende schaal is). Wel dient er in ieder geval betekenisvolle informatie gegeven\n                                                te worden over de samenhang tussen de twee (of meer) meetmomenten. Essentieel is dat\n                                                de schaal waarop de groei wordt weergegeven grondig is onderbouwd.\n\nToelichting P.VIII.2:\n\n\u2013 Daarbij is het voor LVS-instrumenten van het type (III) of (IV) ook van belang om\n                                                een indicatie van de betrouwbaarheid van die gevolgtrekking weer te geven. Vertaald\n                                                naar een uni-dimensioneel IRT model betekent dit dat de schattingsfout van het verschil\n                                                van de vaardigheid op twee tijdstippen geschat moet zijn. Voor percentielscores betekent\n                                                dit dat de betrouwbaarheid van de verandering van de percentielscores geschat moet\n                                                zijn.\n\n\u2013 Bij gebruik van CTT zijn de percentielscores gebaseerd op een somscore met een meetfout.\n                                                Het verschil in percentielscores kan vertaald worden in het verschil in onderliggende\n                                                scores en hun betrouwbaarheid6. Omdat de transformatie van ruwe scores of theta scores naar percentielscores niet\n                                                lineair is, kan dit wel resulteren in een zekere bias. Deze kan de toetsaanbieder\n                                                onderbouwen in de verantwoording.\n\n\u2013 Bij gebruik van IRT zijn de percentielscores gebaseerd op vaardigheidsscores die geschat\n                                                zijn met een zekere mate van betrouwbaarheid.7\n\nToelichting P.VIII.3:\n\nDe handleiding moet een beschrijving bevatten van hoe de gebruiker (zoals docenten\n                                          en ouders) de gegevens met betrekking tot de groei (en/of stagnatie) van een leerling\n                                          inhoudelijk en relatief ten opzichte van een referentiepopulatie dient te interpreteren.\n                                          De geschreven toelichting moet consistent zijn met de resultaten uit het betrouwbaarheids-,\n                                          validiteits- en normeringsonderzoek, dat wil zeggen dat de gebruiker een goed beeld\n                                          moet krijgen van de (relatieve) onderwijskundige waarde en meetpretentie van de resultaten.\n\nDe beoordeling van de organisatorische aspecten van een LVS-instrument richt zich\n                                       op de criteria voor veilig toetsen en observeren / registreren. Onderstaande kwaliteitseisen\n                                       zijn van toepassing op zowel observatie- en registratie-instrumenten type (I) en (II)\n                                       als op LVS-instrumenten type (III) en (IV).\n\nCode\n\nVragen\n\nMogelijke antwoorden\n\nB.I.1\n\nHeeft de aanbieder de functies en verantwoordelijkheden van de functionarissen die\n                                                      betrokken zijn bij de inhoud en de beveiliging van het LVS-instrument volledig en\n                                                      juist beschreven?\n\nja/nee\n\nB.I.2\n\nHebben de functionarissen van de aanbieder die betrokken zijn bij de inhoud en de\n                                                      beveiliging van het LVS-instrument aantoonbaar een geheimhoudingsverklaring ondertekend?\n\nja/nee\n\nB.I.3\n\nWaarborgt de aanbieder op gedegen en complete wijze de privacy van de leerkracht,\n                                                      (jonge) leerling en ouder conform de Algemene Verordening Gegevensbescherming)?\n\nja/nee\n\nB.I.4\n\nHanteert de aanbieder op gedegen en complete wijze incidentmanagement inclusief een\n                                                      protocol datalekken, zoals voorgeschreven door de Autoriteit Persoonsgegevens?\n\nja/nee\n\nB.I.5\n\nBevat de handleiding voor de schoolleider en leerkracht op gedegen en complete wijze\n                                                      informatie over de wijze waarop het instrument en de ermee verzamelde informatie op\n                                                      een veilige wijze gebruikt en opgeslagen dient te worden?\n\nja/nee\n\nB.I.6\n\nControleert de aanbieder regelmatig het internet en andere media op het bekend raken\n                                                      van (delen) van de inhoud van het LVS-instrument of andere niet-openbare informatie\n                                                      over het LVS-instrument?\n\nja/nee/n.v.t.\n\nToelichting B.I.1 t/m B.I.6:\n\nIndien de aanbieder ISO 27001 is gecertificeerd, volstaat het om naar dit certificaat\n                                       en het achterliggende Information Security Management System (ISMS) te verwijzen.\n\nIn alle andere situaties kan de aanbieder bijvoorbeeld verwijzen naar een verwerkersovereenkomst,\n                                       waar op de kwaliteitseisen B.I.1 t/m B.I.6 wordt ingegaan. Daarbij dient bewijslast\n                                       te worden overlegd van de bij BI.2, BI.3 en BI.4 gevraagde documenten, contracten\n                                       en protocollen.\n\nTer verduidelijking wordt vermeld dat de verantwoordelijkheid voor het goed gebruik\n                                       van het instrument en de ermee verzamelde informatie in de dagelijkse praktijk bij\n                                       de school / de eindgebruiker zelf ligt."}