’Irrelevante details in toetsvragen kunnen studenten afleiden’

Luc van de Laar is als docent-onderzoeker verbonden aan Fontys Hogeschool Kind en Educatie. Hij heeft onderzoek gedaan naar het gebruik van zogenaamde multimedia in vragen van de landelijke kennistoetsen van biologie en aardrijkskunde voor de tweedegraadslerarenopleidingen en wiskunde voor de pabo. Onder multimedia worden bijvoorbeeld afbeeldingen, grafieken, stukjes van een krantenartikel of uitgevoerde berekeningen door leerlingen verstaan. Wat is de invloed van deze multimedia op het beantwoorden van een vraag door een student? Leiden ze af, of versterken ze de vraag? We spraken Luc hierover.

Je hebt je onderzoek naar het gebruik van multimedia in toetsitems gedaan. Hoe ben je op dit idee gekomen?

‘Ik ben al langer geïnteresseerd in het onderwerp toetsen, mede door mijn rol als voorzitter van de examencommissie van Fontys Hogescholen. Tijdens de toetsconferentie van Fontys Hogescholen in 2019 ontmoette ik Halszka Jarodzka. Zij is hoogleraar aan de Open Universiteit en expert op het gebied van het gebruik van multimedia bij toetsen. We spraken over de landelijke kennistoetsen voor leraren en de mogelijkheid hier onderzoek naar het gebruik van multimedia in toetsvragen aan te verbinden. Na een vervolggesprek tijdens de trendsconferentie van de Open Universiteit leidde dit tot een onderzoeksvoorstel dat in april 2021 door de Open Universiteit is goedgekeurd. Het onderzoek Irrelevante Details in een (Digitaal) Toetsitem. Wat nu? Een onderzoek naar de betekenis van seductive details bij digitale toetsen heb ik inmiddels afgerond.’

 Hoe heb je dit aangepakt?

‘In mijn onderzoek wilde ik nagaan of de multimedia bij de vragen van de landelijke kennistoetsen voor leraren mogelijk details bevatten die studenten kunnen afleiden van de (juiste) beantwoording ervan, het zogenaamde seductive detail effect. Allereerst heb ik literatuuronderzoek gedaan naar het gebruik van multimedia in toetsen. Ik kwam erachter dat multimedia een toetsvraag kunnen versterken, maar ook irrelevante details kunnen bevatten die juist afleiden van de toetsvraag en de juiste beantwoording ervan. Deze bevindingen heb ik gebruikt om onderzoek te doen naar het gebruik van multimedia in de landelijke kennistoetsen van aardrijkskunde en biologie voor de tweegraadslerarenopleidingen en wiskunde voor de pabo. Hierbij hebben we ons gericht op de toetsvragen die in de voorbeeldtoetsen van deze vakken staan. Via online-sessies ben ik in gesprek gegaan met de leden van deze redactieteams en heb hen een vragenlijst naar het gebruik van multimedia bij deze toetsvragen in laten vullen. Op grond hiervan heb ik mijn uiteindelijke onderzoeksvraag kunnen beantwoorden.’

‘Redacteuren houden, mogelijk onbewust, al rekening met het gebruik van multimedia bij toetsvragen.’

Wat is je bij het onderzoek naar het gebruik van multimedia in onze toetsitems opgevallen?

‘Allereerst houden de betreffende redacteuren, mogelijk onbewust, rekening met het gebruik van multimedia bij het maken van toetsvragen. Ook geven ze aan dat in de gebruikte toetsitems afbeeldingen, grafieken of andere multimedia, soms afleiden van de vraag en de juiste beantwoording ervan. Dit zou niet de bedoeling moeten zijn.’

‘Het gebruik van een passende afbeelding of krantenartikel kan de vraag verduidelijken.’

Wat zijn de voor- en nadelen van het gebruik van multimedia bij toetsitems?

‘Een duidelijk voordeel is dat de opname van een passende afbeelding of krantenartikel de vraag en de vraagstelling kunnen verduidelijken. Het kan een vraag ook aantrekkelijker maken voor een student. Een nadeel is dat dergelijke multimedia kunnen afleiden van de vraag. Soms letterlijk, omdat je tijdens het lezen van de vraag ook de afbeelding of de grafiek moet bekijken. Dit kan extra tijd kosten en kan, als de afbeelding of de grafiek irrelevante informatie bevat, ook leiden tot een verkeerd antwoord.’

Welke misconcepties leven er rondom het gebruik van multimedia in toetsvragen?

‘Dat is een goede vraag. In elk geval dat het toevoegen van bijvoorbeeld een plaatje of een grafiek altijd een toegevoegde waarde heeft. Mijn onderzoek laat duidelijk zien dat dit niet het geval is. Ook dat het niet uitmaakt op welke manier je dergelijke multimedia bij de vraag presenteert, op een beeldscherm bijvoorbeeld. Het maakt wel degelijk uit op welke manier bijvoorbeeld de grafiek of de afbeelding wordt gekoppeld aan de vraag.’

Hoe ziet de ideale toetsvraag, waarin gebruik is gemaakt van multimedia, er dan uit?

‘Bij een dergelijke vraag zijn de tekst en de afbeelding met elkaar geïntegreerd. Ook versterkt de afbeelding de tekst, het helpt de student bij de beantwoording van de vraag. Om dit voor elkaar te krijgen kunnen redacteuren bij het maken van een nieuwe toetsvraag gebruik maken van de ontwerpprincipes voor multimedialeren. Die worden trouwens opgenomen in de schrijf- en constructiewijzer voor het maken van nieuwe toetsvragen door 10voordeleraar.’

‘De kijkwijzer helpt om multimedia op een juiste wijze toe te passen op toetsvragen.’

Welke tips en suggesties geef je de redactieteams mee?

‘Ik wil de redacteuren wijzen op het onderzoek van Halszka naar richtlijnen voor het gebruik van multimedia bij online toetsen. Meer informatie hierover staat op haar website bij de Open Universiteit. Daarnaast verwijs ik graag door naar een kijkwijzer die ik op basis van de uitkomsten van mijn onderzoek voor 10voordeleraar heb samengesteld. Deze kijkwijzer helpt om multimedia op een juiste wijze op te nemen bij het maken van nieuwe toetsvragen. Redacteuren kunnen deze kijkwijzer erbij pakken om toetsvragen te maken waarin op verantwoorde wijze bijvoorbeeld afbeeldingen, grafieken of uitgevoerde berekeningen door leerlingen zijn opgenomen. Dit komt de toetsvraag, de toets en uiteindelijk ook het leren van studenten ten goede.’