‘Als functioneel beheer monitoren en begeleiden wij het gehele proces van toetsontwikkeling tot toetsafname’

Binnen het programma 10voordeleraar heeft Functioneel Beheer een belangrijke rol rond de landelijke kennistoetsen. Wie zijn deze functioneel beheerders en wat doen zij precies? Een interview!

Wie werken er allemaal binnen Functioneel Beheer?

Ineke: ‘Binnen ons team zijn Wouter de Groot en ik - Ineke Verburg – werkzaam. Ik vervul tevens de rol van toetsafnameregisseur. Dit houdt in dat ik bij calamiteiten of vragen buiten het reguliere proces de beslissingen moet nemen of een toets al dan geen doorgang kan hebben. Bij Wouter liggen met name de toetsverwerking en de inzages. Op dit moment springt Rachel van Leeuwaarde daar waar nodig bij. Wouter werkt inmiddels al weer twee jaar bij Functioneel Beheer en ikzelf werk er al bijna acht jaar.’

Wat is de rol van Functioneel Beheer binnen 10voordeleraar?

Wouter: ‘De rol van Functioneel Beheer is best groot als het om de landelijke kennistoetsen gaat. Wij monitoren en begeleiden het gehele proces van toetsontwikkeling tot toetsafname.’

Hoe vaak worden de toetsen aangeboden en op welke manier?

Ineke: ‘De landelijke kennistoetsen worden voor de pabo zeven keer per jaar aangeboden en voor de tweedegraadslerarenopleidingen drie keer per jaar. Vooral juni en december zijn daarmee drukke periodes. Jaarlijks worden er zo om en nabij de 20.000 toetsen afgenomen. De toetsen worden digitaal afgenomen op de hogescholen.’

“‘De constructieteams die de toetsen ontwikkelen kunnen bij vragen bij ons aankloppen’”

Hoe komt een toets tot stand en welke rol hebben jullie hierbij?
Ineke: ‘Als functioneel beheerder ben ik nauw betrokken bij de constructieteams die de toetsvragen ontwikkelen en de toets samenstellen en heb ik veel contact met de projectmedewerkers binnen het programmabureau die de teams aansturen. Bij vragen of problemen kunnen ze bij mij aankloppen. Vlak voor de toetsafname controleer ik alle toetsen of er geen problemen meer zijn. Na controle publiceren wij de toetsen naar de online afnameomgeving.’

Wat komt er allemaal bij kijken om te zorgen dat studenten hun toetsen kunnen maken op de hogeschool?
Ineke: ‘Studenten kunnen zich bij hun eigen hogeschool aanmelden om deel te nemen aan de landelijke kennistoets. De hogeschool importeert alle deelnemers in een zogenoemde ‘klas’. Wij voeren hier nog een controle op uit en koppelen dit terug aan de hogeschool. Daarna gaan wij over op het roosteren. De roosteringen worden per vak en per tijdslot aangemaakt. Vervolgens maken wij pincodebestanden aan en plaatsen deze op het extranet. De hogescholen kunnen hiermee de inlogbrieven aanmaken waarmee de studenten kunnen inloggen in het toetssysteem.’

Hoe verlopen de toetsafnames zelf en hoe monitoren jullie het proces?
Wouter: ‘Voor aanvang van de toets loggen studenten in met hun gegevens. Als dat gelukt is zien ze in het toetssysteem een toets klaar staan. Als ze deze starten wordt er om een pincode gevraagd, die in de inlogbrief staat. Op de achtergrond monitoren wij het gehele proces, zodat we kunnen zien hoe ver de studenten zijn qua ingelogde tijd en of er voortgang is. We kunnen op de achtergrond toetsen zelfs pauzeren of extra tijd bijgeven als er problemen zijn.’

Ineke: ‘Tijdens een afname kunnen de contactpersonen van de hogescholen met vragen of inlogproblemen bij ons terecht via de mail of via de chat van het extranet. We hebben een responstijd van tien minuten, maar veelal reageren wij direct of binnen een minuut. We kiezen bewust voor deze communicatiekanalen, omdat we dan altijd bereikbaar zijn voor de hogescholen. Als de hogescholen ons gaan bellen met een probleem, dan zijn wij op dat moment niet bereikbaar voor andere hogescholen en dit willen wij voorkomen. We willen altijd iedereen meteen of in ieder geval zo snel mogelijk kunnen helpen.’

“‘Tijdens de toetsafnames willen wij te allen tijde bereikbaar zijn voor de hogescholen’”

Gebeurt het weleens dat een toetsafname niet door kan gaan?

Ineke: ‘Bij grotere incidenten vallen wij terug op ons incidentenprotocol en we hebben de afgelopen jaren een aantal keer helaas moeten beslissen een afname te staken. De oorzaak hiervoor kan zowel bij het toetssysteem liggen door technische mankementen als bij de hogeschool. Zo heeft bijvoorbeeld een hogeschool onlangs te maken gehad met een gesprongen waterleiding. En een keer konden studenten door winters weer hun hogeschool niet bereiken. In zulke situaties bieden wij de hogescholen een vervangende toetsafname.’

Wat is jullie rol in de totstandkoming en verstrekking van de uitslag?
Wouter: ‘Na de afnames importeren wij de resultaten vanuit het toetssysteem in onze eigen backoffice. Van daaruit gaat het team Psychometrie aan de slag met de data. Wij voeren daar een parallel proces naast en we controleren op meerdere momenten of we beiden dezelfde uitkomsten hebben. Als wij het eens zijn over de resultaten gaan we over tot publicatie op het extranet voor de hogescholen. De hogescholen verstrekken vervolgens de uitslag aan hun studenten. De uitslag bestaat uit het cijfer, de totaalscore en de domeinscores. Aan de domeinscores kunnen studenten zien welke domeinen ze beheersen en op welke domeinen ze zich nog kunnen ontwikkelen.’

Hebben jullie leuke contacten met de hogescholen?
Ineke: ‘Wij vinden dat we zeker leuke contacten met de hogescholen hebben. Het voelt als een gezamenlijk proces. De band met een groot aantal toetsafnamecoördinatoren en instituutsbeheerders is zeker vriendschappelijk te noemen in plaats van alleen maar zakelijk. In de loop van dit studiejaar hopen we ook eens langs te kunnen gaan om de toetsafnames live mee te maken en onze band te verstevigen.’

“‘Door de overstap naar een nieuw toetssysteem hebben wij helaas te maken gehad met kinderziektes’”

In 2017 zijn jullie overgestapt op een nieuw toetssysteem. Hoe is dit proces verlopen?
Ineke: ‘In 2017 hebben we de overstap gemaakt naar een nieuw toetssysteem, omdat we hier betere kansen zagen voor het doorontwikkelen van items en toetsmogelijkheden. Later hebben wij ook nog een overstap moeten maken naar een nieuwe player. Deze player draait in de online afnameomgeving en zorgt ervoor dat de toetsen in beeld komen. Hierdoor hebben wij wel een toetsafname moeten annuleren, omdat we zeker wilden zijn van een ongestoorde afname in het nieuwe systeem. Door de implementatie van het nieuwe toetssysteem hebben wij helaas wel te maken gehad met kinderziektes. Sinds het begin van dit studiejaar kunnen we gelukkig spreken van een ongestoorde afname.’

Sinds dit jaar kunnen studenten hun toets inzien op de eigen hogeschool. Wat is er voor jullie veranderd?
Ineke: ‘Studenten kunnen hun landelijke kennistoets op een bepaald aantal momenten onder examencondities inzien na de uitslagverstrekking. De inzage is bedoeld als leermoment. Het geeft samen met de domeinscores die de student bij de uitslag krijgt inzicht op welke onderdelen nog verbetering mogelijk is. Voorheen namen wij de inzages af op één centrale locatie. In twee pilotrondes in februari en mei is ervaring opgedaan met het organiseren van digitale inzages op de hogescholen zelf. Vanwege de reisafstand gingen studenten niet altijd naar de inzage. Nu is die drempel veel lager. Er komt wel wat kijken bij de organisatie van de digitale inzage op locatie. De inschrijving en inzage worden nu door de toetsafnamecoördinator georganiseerd en de surveillanten hebben uitgebreide instructies gekregen hoe te handelen tijdens de inzages.’

Wouter: ‘Om inzage op de hogescholen mogelijk te maken, hebben we in samenwerking met de leverancier een wijziging doorgevoerd in de manier waarop we in het systeem de inzages kunnen plannen. Hierdoor kunnen we eenvoudiger en grotere aantallen studenten toegang geven tot een inzage. Dit heeft intern tot wat procesmatige wijzigingen geleid, maar het levert tot nu toe alleen maar winst op. Voor de inzages werken wij veel samen met het team Projectmanagementondersteuning.’

Tegen welke uitdagingen lopen jullie aan?
Wouter: ‘De contacten met de hogescholen zijn goed en bij problemen willen wij graag snel helpen. Helaas is het niet altijd mogelijk om direct een oplossing te bieden als het gaat om technische functionaliteiten in het toetssysteem. Het doorvoeren van wijzigingen door de leverancier heeft tijd nodig.’

“‘Het onder druk werken en daarnaast de vele strakke deadlines vergen best het nodige in deze functie’”

Welke eigenschappen zijn belangrijk voor de functie?
Ineke: ‘Je moet echt stressbestendig zijn en zeer accuraat en secuur kunnen werken. Technische zaken zijn allemaal aan te leren, maar het onder druk werken en daarnaast de vele strakke deadlines vergen best het nodige in deze functie. Kijk alleen al naar de hoeveelheid afnames die we per jaar aanbieden.’

Wat maakt het werken voor Functioneel Beheer zo leuk?
‘Het werken als Functioneel Beheerder is vooral leuk omdat we veel contact met hogescholen hebben. Daarnaast weten we dat we het voor de studenten doen. En dat is een extra motivatie, naast de technische uitdaging, om te zorgen dat het allemaal naar behoren werkt.’