Totstandkoming toetsuitslag

Nadat een landelijke kennistoets door de studenten is gemaakt, volgt het proces van normering. Hoeveel vragen moet een student goed hebben om een voldoende te krijgen? Bij de landelijke kennistoets is dat niet ‘even een grens trekken bij een bepaald percentage goed of fout’, maar een zorgvuldig proces met verschillende stappen. Het is een intensief proces, waarin de resultaten van de toets worden geanalyseerd en beoordeeld. Dit proces heeft een wetenschappelijke basis en ligt in handen van vakdeskundigen. Het is mogelijk om bij twee verschillende afnames een gelijke score te halen, maar toch een ander cijfer toegekend te krijgen. Dit heeft te maken met de berekening van de cijfers. Het cijfer is niet alleen afhankelijk van de behaalde score, maar ook van de cesuur, de gokscore en het aantal vragen in de toets. Na het processchema wordt dit toegelicht.

Processchema toetsuitslag

Psychometrische analyse
Nadat de toets gemaakt is vindt een voorlopige psychometrische analyse plaats. Eerst wordt de betrouwbaarheid van de toets beoordeeld en worden de psychometrische eigenschappen van iedere vraag afzonderlijk berekend. De psychometricus van 10voordeleraar berekent de gokscore van de toets en onderzoekt de tijd die studenten aan de toets besteed hebben. Ook wordt gekeken naar het aantal studenten dat een vraag goed heeft beantwoord. Er zijn vastgestelde eigenschappen waarbinnen de toetsvragen moeten vallen. Vragen die afwijkende statistieken vertonen worden meegenomen in de data-analysebijeenkomst. 

 

Cesuurbepaling door normeringspanel
Het normeringspanel bepaalt aan de hand van een wetenschappelijke methode de moeilijkheidsgraad van de toets: wat is de ondergrens voor een voldoende? Voor de landelijke kennistoetsen van de pabo’s wordt de Hofstee-methode gebruikt. Voor de tweedegraadslerarenopleidingen de Angoff-methode. Hieruit volgt een cesuuradvies. Normeringspanelleden hebben ook de mogelijkheid om inhoudelijke opmerkingen te maken over de toetsvragen. Deze worden na afloop van het normeringspanel meegenomen naar het data-analysegesprek. De normeringspanels bestaan minimaal uit vier vakdocenten van hogescholen en vier leerkrachten uit het werkveld.

 

Data-analyse door de hoofdredacteur
Uit de psychometrische analyse en de bijeenkomst van het normeringspanel komt een aantal vragen naar voren met afwijkende statistieken. Tijdens de data-analyse bekijken de hoofdredacteur (namens het constructieteam dat de vragen heeft gemaakt) en de projectleider van 10voordeleraar al deze vragen opnieuw. Mocht er aanleiding voor zijn, dan kan een vraag achteraf uit de toets gehaald worden of kan er nog een extra alternatief goed gerekend worden. De toets is nu defnitief samengesteld.

 

Goedkeuring cesuur door de raad
Het cesuuradvies wordt ter goedkeuring voorgelegd aan de Raad voor kwaliteitsborging landelijke kennistoetsen. Zij beoordelen of de statistische uitkomsten conform de procedure zijn en of de uitkomsten verdedigbaar zijn.

 

Vaststelling cesuur
De cesuur wordt vastgesteld door de vaststellingscommissie. De vaststellingscommissie bestaat uit afgevaardigden van de examencommissies van de hogescholen. Er is een vaststellingscommissie voor de pabo en één voor de tweedegraadslerarenopleidingen. De vaststellingscommissie controleert of de voorgeschreven procedures rondom de uitslagbepaling zorgvuldig zijn doorlopen en stellen vervolgens de cesuur definitief vast.

 

Uitslagverstrekking
Nadat de vaststellingscommissie de cesuur vastgesteld heeft, berekent 10voordeleraar de cijfers en plaatst de resultaten op het beveiligde extranet voor toetsafnamecoördinatoren. Naast het cijfer verstrekt 10voordeleraar ook per student het aantal goed gemaakte vragen per domein uit de toets en het landelijke gemiddelde. 10voordeleraar heeft een sjabloon beschikbaar gesteld, waarmee de toetsafnamecoördinator de uitslag eenvoudig kan verstrekken aan de student. Daarnaast ontvangt de toetsafnamecoördinator een hogeschoolrapportage met daarin een vergelijking van de resultaten van de opleiding met landelijke gemiddelden ter verspreiding aan betrokkenen. De toetsafnamecoördinator van de hogeschool zorgt ervoor dat de uitslag bij de student en de betreffende vakdocenten komt. 

 

Inzage en beroep
De student kan zijn gemaakte toets onder examencondities inzien. Dit wordt door 10voordeleraar georganiseerd. De student die het niet met de uitslag eens is kan in beroep gaan bij de eigen opleiding, overeenkomstig de procedure die geldt voor alle tentamens en examens. De ‘eigen’ examencommissie neemt een besluit.

 

Toelichting op verschillende scores voor dezelfde toets
Het is mogelijk om bij twee verschillende afnames in een studiejaar van dezelfde toets een gelijke score te halen, maar toch een ander cijfer toegekend te krijgen. Dit heeft te maken met de berekening van de cijfers. Het cijfer is niet alleen afhankelijk van de behaalde score, maar ook van:

  • de cesuur
  • de gokscore
  • het aantal vragen in de toets

De cesuur is de laagste voldoende score op een toets. Een cesuur van 45 bij een toets van 75 vragen betekent dat een deelnemer aan de toets minimaal 45 vragen goed moet hebben beantwoord om een voldoende score op de toets te behalen. Deze cesuur verschilt van toets tot toets, omdat de moeilijkheidsgraad van de vragen en daarmee de toetsen kan verschillen. Hoewel geprobeerd wordt zoveel mogelijk vergelijkbare toetsen te maken, worden er nieuwe vragen in de toets gebruikt waarvan de precieze moeilijkheid nog niet bekend is. In het bovengenoemde normeringspanel wordt de moeilijkheid van de totale toets bepaald. De inhoudelijke experts bepalen de cesuur, die bij een moeilijkere toets lager zal liggen dan bij een makkelijkere versie van de toets.


De gokscore heeft te maken met het feit dat studenten door middel van puur gokken (zonder het gebruik van kennis) ook het juiste antwoord op een vraag kunnen geven. Bij een vierkeuzevraag is de gokkans gelijk aan 25%; bij een driekeuzevraag is de gokkans gelijk aan 33%; bij een open vraag is de gokkans gelijk aan 0%. Hier wordt voor gecorrigeerd bij het berekenen van het cijfer. De correctie is afhankelijk van het aantal drie- en vierkeuzevragen in de toets. Bij een andere samenstelling zal er dus een andere correctie worden gebruikt.


Het aantal vragen in de toets kan verschillen. Hoewel studenten elke toetsafname dezelfde hoeveelheid vragen voor zich krijgen, worden de vragen na de afname nog eens goed onder de loep genomen. Hoewel de toetsvragen een lange kwaliteitsprocedure doorlopen, kan het altijd voorkomen dat er een enkele vraag in de toets heeft gezeten die toch niet goed blijkt te zijn. Een dergelijke vraag komt dan te vervallen en daarmee zal de uiteindelijke score ook veranderen.