Besluit:
De regeling voor de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen als bedoeld in artikel 3a, eerste lid, onderdeel f van de Wet College voor toetsen en examens wordt vastgesteld als opgenomen in de bijlage van deze regeling.
De technische specificaties voor de levering van de gegevens voor de beoordeling van de doorstroomtoetsen, als bedoeld in artikel 1, worden beschreven in het handboek doorstroomtoets en het handboek normering of aanvullingen daarop, zoals gepubliceerd op de website van het College voor toetsen en examens (cvte.nl/onderwerpen/toetsen-primair-onderwijs).
Deze regeling treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs (Stb. 2022, 135) in werking treedt.
Deze regeling wordt aangehaald als: Regeling beoordelingsnormen doorstroomtoetsen PO.
Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.
De Regeling beoordelingsnormen doorstroomtoetsen po bevat algemeen verbindende voorschriften voor aanbieders van een tot het stelsel toegelaten doorstroomtoets po. De Regeling beoordelingskader doorstroomtoetsen po schrijft voor dat een toets alleen zal worden erkend als de procedure om te komen tot de beoordelingsnormen van de doorstroomtoets wordt gevolgd.
De Regeling Beoordelingsnormen Doorstroomtoetsen po beschrijft de inhoud en de processtappen van de volgende sleutelonderdelen, met verwijzing naar de paragrafen met kwaliteitseisen zoals opgenomen in de Regeling beoordelingskader doorstroomtoetsen po:
Ter voorbereiding op de landelijke (toetsoverstijgende) normering:
Pretestprocedure (paragrafen 5.2.1 en 5.2.2);
Toetssamenstelling (paragraaf 5.2.3).
De landelijke (toetsoverstijgende) normering (conform deze onderhavige Regeling beoordelingsnormen doorstroomtoetsen po).
Na afronding van de landelijke (toetsoverstijgende) normering:
Kwaliteitsverantwoording (paragraaf 5.3).
Een doorstroomtoets wordt erkend door het CvTE voor een periode van vier jaar, als die voldoet aan de voorwaarden voor erkenning en de regeling beoordelingskader doorstroomtoetsen po.
Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet (langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens.
|
Aanbieder |
aanbieder van een doorstroomtoets. |
|
Ankeropgave(n) |
item(s) dat in twee of meer (varianten van een) doorstroomtoets wordt opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende (varianten van de) toets vast te kunnen stellen. |
|
Betrouwbaarheid |
mate waarin de toetsscores vrij zijn van toevallige meetfouten. |
|
CAT |
Computergestuurde adaptieve toets (CAT) op itemniveau. |
|
Cesuur |
minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief is voor het halen van een (referentie)niveau of toetsadviescategorie. |
|
Doorstroomtoets |
vervanger van de eindtoets primair onderwijs. |
|
Equivaleren |
op dezelfde schaal te brengen van verschillende doorstroomtoetsen. voor de leerling. |
|
Vertrouwelijkheid |
bevoegdheden en mogelijkheden om kennis te nemen van informatie voor een gedefinieerde groep gerechtigden. Classificatie gaat in op de mogelijke gevolgen wanneer informatie in handen komt van derden die hiertoe niet zijn geautoriseerd. |
Waar haalbaar en mogelijk worden de eisen aan de software geoperationaliseerd in lijn met de BIV (Beschikbaarheid, Integriteit, Vertrouwelijkheid)-classificatie. Informatie moet beschikbaar en toegankelijk zijn. Classificatie gaat in op de mogelijke gevolgen als informatie, of een informatieset, niet beschikbaar is. De BIV-classificatie is een indeling die binnen de informatiebeveiliging wordt gehanteerd, waarbij de beschikbaarheid (continuïteit en repliceerbaarheid), de integriteit (betrouwbaarheid en transparantie) en de vertrouwelijkheid (exclusiviteit en privacy) van informatie en systemen wordt aangegeven.
Aanvullend op de beveiligingseisen conform de BIV-classificatie dient de functionaliteit van de software passend en toereikend te zijn voor het uitvoeren van de landelijke (toetsoverstijgende) normeringsprocedure, voor gebruik van een twee parameter logistisch itemresponsemodel (2PL) – dat wil zeggen een model waarin de moeilijkheidsgraad en het onderscheidend vermogen van de toetsopgaven worden meegenomen.
Het CvTE laat periodiek de software, die door de adviseur wordt gebruikt voor de landelijke toetsoverstijgende normering, extern valideren op bovenstaande criteria.
De pretestprocedure, uit te voeren door de toetsaanbieder, heeft als doel om met behulp van itemkalibratie het functioneren van een nieuw item vast te stellen (zie de Regeling beoordelingskader doorstroomtoetsen po)
De pretestprocedure is ook van toepassing op nieuw geconstrueerde of nieuw toegevoegde gezamenlijke ankeropgaven voor het meten van de referentieniveaus Lezen (1F / 2F), Taalverzorging (1F / 2F) en Rekenen (1F / 1S).
De Regeling beoordelingskader doorstroomtoetsen po biedt twee scenario’s voor het pretesten:
nieuwe opgaven pretesten in een separate losse afname, of
nieuwe opgaven pretesten door deze te zaaien in een operationele toets.
Voor beide mogelijkheden worden eisen gesteld aan de omvang en samenstelling van de steekproef, voor zowel lineaire (papier of digitaal) als adaptieve toetsen. Ook worden eisen gesteld aan het dataverzamelingsdesign (zie de Regeling beoordelingskader doorstroomtoetsen po).
Na het verzamelen van de pretestresultaten, worden de nieuwe (anker)opgaven door de aanbieder gekalibreerd in een 2PL itemresponsemodel en met gebruik van hiertoe geëquipeerde software om zo de psychometrische kwaliteit van de (anker)opgaven vast te stellen. De kwaliteitseisen die hiervoor gelden zijn beschreven in de Regeling beoordelingskader doorstroomtoetsen po.
Na afronding van de kalibratie van de nieuwe (anker)opgaven, stelt de aanbieder de (varianten van de) definitieve doorstroomtoets voor het eerstkomende schooljaar (T+1) samen. De psychometrische eisen die aan de toets worden gesteld, zijn beschreven in de regeling beoordelingskader doorstroomtoetsen po. Hierin worden de eisen voor de verschillende toetsvormen (lineair of adaptief en met of zonder gebruik van een itembank) apart vermeld.
Voor alle vormen en varianten van de doorstroomtoetsen gelden de volgende eisen:
De items van de verplicht op te nemen subsets van het gezamenlijk anker moeten op een zodanige wijze over de toets worden verspreid, dat de positie in de toets zo min mogelijk invloed op de prestatie van de leerling heeft en de ankeritems qua lay-out en tekstuele vormgeving niet als opvallend afwijkend in de toets herkenbaar zijn. Voor wat betreft een adaptieve toets op moduleniveau (MST) moet het design aantonen dat de ankers op de juiste manier aan bod komen, voor wat betreft een computergestuurde adaptieve toets op itemniveau (CAT) moet dit in het algoritme zijn verantwoord. De afname dient zo te zijn ingericht dat er aan alle eisen ten aanzien van het gezamenlijk anker kan worden voldaan zoals geformuleerd in de regeling beoordelingskader doorstroomtoetsen po.
Alle gezamenlijke ankeritems moeten meetellen in de totaalscore van de leerling, mits uit de analyse achteraf door een adviseur van het CvTE volgt dat de items naar behoren functioneren.
Zolang de toetsaanbieder voldoet aan de eisen ten aanzien van het opnemen en afnemen van de subsets van gezamenlijke ankeritems die moeten worden ingebouwd, staat het de aanbieder vrij om ook een eigen (intern) anker in de toets op te nemen. Het intern anker kan niet het gezamenlijk anker vervangen.
Op 31 mei levert de aanbieder de voorgestelde toetssamenstelling (T+1) met bijbehorende verantwoordingsdocumenten, een en ander zoals voorgeschreven in het Normeringshandboek Doorstroomtoetsen po en zoals voorgeschreven in de Regeling beoordelingskader doorstroomtoetsen po, in bij het CvTE. Uiterlijk 15 weken na aanlevering van de volledige set verantwoordingsdocumenten beslist het CvTE of de voorgestelde doorstroomtoets (T+1) in het jaar daarop mag worden afgenomen op de scholen.
Na afname van de varianten van de doorstroomtoetsen in de maanden februari en maart van het vigerende kalenderjaar, start de landelijke (toetsoverstijgende) normering. In deze Regeling Beoordelingsnormen Doorstroomtoetsen po worden normeringsstappen beschreven. Het CvTE stelt vervolgens voor ieder van de afgenomen doorstroomtoetsen de normering vast.
De aanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig beschikbaar stellen van consistente data uit de operationele afname van de varianten van de in de maanden februari en maart afgenomen doorstroomtoets.
De aanbieder levert de voor de landelijke normering voorgeschreven documenten en bijbehorende data over de in de maanden februari en maart afgenomen doorstroomtoets in bij het CvTE. Een adviseur controleert in opdracht van het CvTE de aangeleverde data op tijdigheid, volledigheid en bruikbaarheid en beschrijft hoe de aanbieder de betreffende data dient aan te leveren. Vervolgens worden de toets- en itemparameters door een adviseur opnieuw geschat in een 2PL itemresponsemodel met gebruik van extern gevalideerde software. Items worden niet gebruikt in de toetsoverstijgende item-kalibratie van de landelijke normering wanneer:
het item minder dan 200 observaties heeft;
er sprake is van een item met één scorecategorie;
het item een discriminatieparameter in 2PL heeft van a < 0.1.
Wanneer de controles uitwijzen dat er een verschil is tussen wat gevonden wordt en wat verwacht wordt, wordt de aanbieder hiervan op de hoogte gesteld. Om recht te doen aan een betrouwbare en valide inschatting van het vaardigheidsniveau van leerlingen, het vergroten van de vergelijkbaarheid, in het geval van een calamiteit of anderszins gewichtige reden, kan het CvTE besluiten om van de in deze Regeling Beoordelingsnormen Doorstroomtoetsen po beschreven wijze van normering af te wijken.
In het geval van ingrijpen door het CvTE omdat de normering bij een specifieke doorstroomtoets niet kan worden uitgevoerd, kan dat consequenties hebben voor de erkenning of toelating van de betreffende doorstroomtoets voor het erop volgende jaar.
Nadat de gescoorde data door een adviseur van het CvTE zijn gecontroleerd, geanalyseerd en gekalibreerd, volgt de landelijke (toetsoverstijgende) normeringsprocedure.
De normering wordt door een adviseur van het CvTE uitgevoerd met behulp van het gezamenlijke anker en bestaat uit de volgende stappen:
De itemparameters van de items van de wettelijk verplichte onderdelen Lezen, Rekenen en Taalverzorging worden door een adviseur per aanbieder geschat in het 2PL itemresponsemodel. De berekeningen worden uitgevoerd in een daarvoor voorgeschreven gevalideerde software.
Met deze itemparameters worden vervolgens vaardigheidsschattingen uitgevoerd voor alle leerlingen voor deze toetsonderdelen. De vaardigheidsschattingen worden vergeleken met de meest recent bepaalde cesuurpunten voor de referentieniveaus 1F en 2F/1S voor de drie wettelijk verplichte onderdelen.
Naast de wettelijk verplichte onderdelen worden ook de optionele onderdelen die meetellen in het toetsadvies van iedere aanbieder door een adviseur gekalibreerd door middel van een voorgeschreven kalibratiewijze met bijbehorende schattingsmethode, uit te voeren in de extern gevalideerde software, waarbij per aanbieder dezelfde populaties als bij de wettelijk verplichte onderdelen worden gebruikt.
Voor iedere leerling van wie de gegevens zijn aangeleverd door de aanbieder worden de vaardigheden op alle voor het te berekenen toetsadvies meetellende onderdelen samengevoegd tot een GLV. De GLV’s worden vervolgens vergeleken met de meest recent door een adviseur van het CvTE vastgestelde cesuurpunten voor de toetsadviescategorieën om op basis hiervan een toetsadvies toe te kennen. De gewichten (c.q. de weging van de toetsonderdelen) voor de GLV worden bepaald met behulp van het meest recent uitgevoerde Toelatings- en Doorstroomonderzoek en worden, indien nodig, periodiek geactualiseerd.
Een adviseur berekent de cesuren voor de referentieniveaus voor de wettelijk verplichte onderdelen Lezen, Taalverzorging en rekenen en de cesuren voor toetsadviescategorieën. Nadat het CvTE deze heeft vastgesteld, maakt een adviseur op basis van de door de toetsaanbieder aangeboden normeringssteekproef een inschatting van de verdeling van de behaalde referentieniveaus en toetsadviezen. Dit gebeurt met behulp van de items met tenminste 200 observaties, met tenminste twee scorecategorieën en met een discriminatieparameter van a>= 0.1 in het 2PL itemresponsemodel, waarmee de vaardigheid geschat wordt van de leerlingen waar de data van gedeeld is.
Aansluitend stelt de aanbieder zelf op basis van de door het CvTE vastgestelde cesuren voor de referentieniveaus voor de wettelijk verplichte onderdelen Lezen, Taalverzorging en Rekenen en de cesuren voor toetsadviescategorieën per individuele leerling de definitief behaalde referentieniveaus en het toetsadvies vast.
In de Regeling beoordelingskader doorstroomtoetsen po wordt vermeld dat de aanbieder ieder jaar na de operationele afname van de doorstroomtoets met gebruik van hiertoe geëquipeerde software een verantwoordingsdocument samenstelt, tenzij de aanbieder besluit om vanaf het daaropvolgende jaar (T+1) te stoppen als aanbieder van een doorstroomtoets. De aangeboden kwaliteitsverantwoording is onderdeel van de indiening tot erkenning van de doorstroomtoets voor het eerstvolgende schooljaar.