‘De landelijke kennistoets borgt het individuele kennisniveau van de student aan het einde van de opleiding’

Binnen het programma 10voordeleraar werkt het team psychometrie na elke toetsperiode van de landelijke kennistoets aan de uitslagverwerking. Wie zijn deze psychometrici en wat doen zij nu eigenlijk? Een interview!

Wie werken er allemaal binnen het team psychometrie?

Monika: ‘Samen met mijn collega’s Jeroen en Jasmijn vormen wij het team psychometrie. Wij zijn met name bezig met het proces rondom de uitslagverwerking. Daarnaast maken wij overzichten van de overkoepelende resultaten van de landelijke kennistoetsen. Ik zelf ben hoofd van het team psychometrie en werk hier 8,5 jaar, waarvan ik 5,5 jaar ook een promotieonderzoek heb gedaan naar het cesuurstellingsproces. Dit promotieonderzoek is gericht op het bepalen en handhaven van de cesuur op verschillende toetsversies met kleine steekproeven volgens een wetenschappelijke onderbouwde methodologie. Dit kunnen wij reeds toepassen bij 10voordeleraar. Nu houd ik mij bezig met deelraadoverleggen met de Raad van Kwaliteitsborging Lerarenopleidingen, de planning en geef ik advies richting de programmadirecteur van 10voordeleraar over de resultaten van de landelijke kennistoetsen.’

Jeroen: ‘Ik werk ongeveer een half jaar bij 10voordeleraar. Ik heb een achtergrond in het onderwijs als docent Lichamelijke Opvoeding en heb in 2021 de master toetsdeskundige afgerond. Ik draag bij aan de professionalisering van de kernteams in toetsdeskundigheid, bijvoorbeeld door middel van het geven van psychometrische terugkoppelingen en het ondersteunen van constructieteams door het geven van advies over itemconstructie.

Jasmijn: ‘Ik ben net als Jeroen ongeveer een half jaar in dienst. Ik heb een achtergrond in statistiek van de psychologie. Ik houd mij bezig met het verder automatiseren van het analyseproces in R-software, zodat dit proces volgens de nieuwste methodologie wordt toegepast. Ook zorg ik voor de rapportages waarbij veel data over de uitslagverwerkingsprocessen moeten worden verwerkt. Denk hierbij aan de jaarlijkse rapportages van de landelijke kennistoetsen die onlangs naar de hogescholen zijn verzonden.’

Waarom is een landelijke kennistoets een goed instrument in het kader van horizontale kwaliteitsborging van de vakkenniscomponent?

Monika: ‘De landelijke kennistoets borgt het individuele kennisniveau van de student aan het einde van de opleiding. Het is een landelijk objectief meetpunt over alle betrokken hogescholen, ongeacht de vooropleiding en hogeschoollocatie. Zo kunnen verschillende beoordelingseffecten voorkomen worden, zoals verschillen tussen strenge en milde docenten. Doordat er strenge eisen worden gesteld aan de kwaliteit van de ontwikkelde vragen, zowel inhoudelijk als psychometrisch, is de uitslag van de student op deze toets valide en betrouwbaar. Het mooiste van de landelijke kennistoetsontwikkeling is dat de inhoud van het getoetste tot stand komt door de lerarenopleiders zelf. Ook stellen wij per toetsversie een landelijke cesuur vast, waardoor voor alle studenten bij die toetsversie dezelfde landelijke normering wordt toegepast.’

“‘De landelijke kennistoets is een landelijk objectief meetpunt over alle betrokken hogescholen, ongeacht de vooropleiding en hogeschoollocatie.’”

Jeroen: ‘De landelijke kennistoets heeft dus het doel om het kennisniveau te toetsen en niet om het kennisniveau te veranderen. Dat laatste is aan de hogescholen. De landelijke kennistoets is een meetinstrument met het doel om valide en betrouwbaar te meten. Je kunt het vergelijken met een weegschaal. De weegschaal meet je gewicht en daar zou je zelf de conclusie uit kunnen trekken dat je moet afvallen, maar de weegschaal zelf zorgt er niet voor dat je afvalt.’

Waar moet een redacteur op letten bij het maken van een goede toetsvraag en de hoofdredacteur bij het samenstellen van de toets?

Jeroen: ‘Het maken van een goede toetsvraag is niet eenvoudig en vergt veel deskundigheid van de redacteurs en de hoofdredacteur. Een item moet minimaal aan vijf kenmerken voldoen: relevantie, objectiviteit, specificiteit, efficiëntie en moeilijkheid. Een hoofdredacteur stelt de toets samen en daarvoor het is het van belang om niet alleen op itemniveau te kijken, maar naar de toets als geheel. Daarbij is het belangrijk dat het studentperspectief niet vergeten wordt.’

Monika: ‘Sinds een aantal jaren hebben de hoofdredacteuren de wens om meer invulvragen in de toets op te nemen. Het is alleen moeilijk om aan de vijf kenmerken die Jeroen noemde te voldoen. Dat maakt het lastig om in de praktijk kwalitatief goede invulvragen te ontwikkelen.’

“‘Een goede toetsvraag moet minimaal aan vijf kenmerken voldoen: relevantie, objectiviteit, specificiteit, efficiëntie en moeilijkheid.’”

Hoe ziet het proces van de uitslagverwerking eruit?

Jeroen: ‘Nadat een toets is afgenomen, analyseren wij de studentenantwoorden op alle afzonderlijke toetsvragen. Alle studentgegevens worden anoniem behandeld. Mogelijke problematische vragen signaleren wij en bespreken wij met de hoofdredacteur tijdens het itemanalysegesprek. Zo verhogen wij de psychometrische kwaliteit van de definitieve toets. Eventuele scoringswijzigingen - bijvoorbeeld het extra goed rekenen van de alternatieven - worden vervolgens meegenomen in de definitieve scores. Op basis van de definitieve scores wordt de cesuurscore bepaald en kunnen wij de scores bepalen. Vervolgens stellen we de uitslagverwerkingsrapportages op voor de Raad van Kwaliteitsborging Lerarenopleidingen ter goedkeuring en de vaststellingscommissie ter vaststelling. De studenten krijgen bij hun uitslag zowel de definitieve totaalscore, het cijfer, alsook de scores op afzonderlijke onderdelen van de toets.’

Jasmijn: ‘Tijdens het uitslagverwerkingsproces maken wij ook hogeschoolrapportages, zodat iedere hogeschool informatie over de toets, landelijke cijfers en cijfers van de betreffende hogeschool kan inzien.’

Hoe bepalen jullie de cesuurscore?

Jeroen: ‘Op elke afzonderlijke toetsversie wordt de cesuurscore bepaald met behulp van de Cohenmethode. Omdat de toetsen deels uit nieuwe vragen bestaan, waarvan de moeilijkheid van de vragen onbekend is, kan de cesuurscore per toetsversie verschillen. Als een toetsversie moeilijker is, zal de cesuurscore dus lager zijn en andersom. Voordeel van de Cohenmethode is dat deze eenvoudig toe te passen is op de toetsscores.’

Monika: ‘Naast de Cohenmethode is de tweedegraadslerarenopleiding wiskunde vanaf studiejaar 2021-2022 overgestapt naar de methodiek waarbij de cesuurscore wordt overgebracht met itemresponstheorie. Bij dat proces hebben de lerarenopleiders wiskunde van verschillende hogescholen gezamenlijk de cesuurscore op een toets bepaald, dat vervolgens wordt overgebracht naar de nieuwe toetsversies. De tweedegraadslerarenopleiding natuurkunde is ook bezig met deze overstap.’

Wat valt jullie op bij de resultaten van de studenten?

Monika: ‘Wij zien grote verschillen in resultaten tussen eerstekansers en herkansers. Die verschillen variëren tussen de hogeschoollocaties. Geen enkel vak is daarin afwijkend. Deze verschillen zijn in de afgelopen jaren niet veel veranderd.’

Wat kunnen de lerarenopleidingen van elkaar leren met betrekking tot de landelijke kennistoetsen?

Jasmijn: ‘Ieder jaar maken wij per vak een rapportage van de resultaten op de landelijke kennistoets. Deze rapportage kunnen bijvoorbeeld landelijke vakoverleggen gebruiken als aanknopingspunt voor een gesprek over factoren die met de resultaten samenhangen. Aan de hand van grote hogeschoolverschillen kunnen lerarenopleidingen in een peerreviewachtige setting met elkaar in gesprek gaan om te kijken of eventueel aanpassingen gemaakt kunnen worden in het onderwijs om de verschillen te verkleinen.’

“‘Aan de hand van de resultaten kunnen lerarenopleidingen met elkaar in gesprek om hun onderwijs te verbeteren door van elkaar te leren.’”

Waar zijn jullie als team nog meer mee bezig naast specifiek de landelijke kennistoetsen?

Monika: ‘Soms krijgen we aanvragen om mee te denken over de consequenties van mogelijke andere manieren van het inzetten van de landelijke kennistoetsen, zoals het indelen van landelijke kennistoetsen in domeintoetsen of het inzetten van landelijke kennistoetsen als voortgangstoetsen.’

Welke ontwikkelingen zien jullie op toetsgebied?

Monika: ‘Digitale toetsing wordt veel meer van belang, ook in het voortgezet onderwijs. Vanwege de vele lockdowns is men er meer van bewust geworden dat digitale toetsing efficiënter kan en dat een rijke itembank die in de loop der jaren is opgebouwd vaak ook meer lucht geeft om afzonderlijke toetsversies te ontwikkelen. Er zijn ook ontwikkelingen in bring your own device toetsing. Mogelijk kan dit in de toekomst ook relevant zijn voor 10voordeleraar. Daarnaast is er bij de hogescholen veel aandacht voor het inrichten van de programmatisch toetsen.’