De kwaliteit van toetsen: een lastig onderwerp waar op veel verschillende manieren naar wordt gekeken. Want wat weten we eigenlijk precies over toetskwaliteit? En waar hangt de kwaliteit van een goede toets van af? Aan de hand van die vragen deed het Research Center voor Examinering en Certificering, een samenwerkingsverband tussen Universiteit Twente en Cito, een uitvoerige literatuurstudie. Lees gauw verder voor de resultaten.
Verschillende kenmerken
In de behandelde literatuur worden veel verschillende kenmerken en criteria genoemd, waaraan een kwalitatief goede toets moet voldoen. In het onderzoeksverslag zijn al deze aspecten onderverdeeld in de categorieën betrouwbaarheid, generaliseerbaarheid, validiteit (Meet de toets wat deze zou moeten meten?), het gebruik van toetsresultaten en de randvoorwaarden om een toets goed te kunnen maken. Van deze categorieën wordt betrouwbaarheid het vaakst genoemd (in 28% van de onderzochte studies). Met name de objectiviteit en deskundigheid van de beoordelaar en het beoordelingsvoorschrift van een toets blijken belangrijke kwaliteitskenmerken te zijn.
Een toetscyclus bestaat uit vier fasen: de toetsconstructie, de afname van de toets, de beoordeling en de evaluatie van de toets. De meeste literatuur over de kwaliteit van toetsing richt zich op de afname van de toets en de beoordeling. Ook voor de beoordelingsfase is betrouwbaarheid (zoals beschreven in vorige alinea) een essentieel kwaliteitskenmerk. De genoemde aspecten spelen binnen iedere laag van het onderwijs een rol; er is geen verschil naar gelang het niveau of het soort onderwijs dat onderzocht is. Wel is er over het algemeen beduidend minder aandacht voor de kwaliteit van toetsen in het primair onderwijs dan in het hoger onderwijs.
Summatief of formatief?
Het toetsdoel blijkt medebepalend voor de kwaliteitscriteria waaraan een goede toets moet voldoen. Zo blijkt uit de literatuurstudie dat bij summatieve toetsen ‘validiteit’ een belangrijk kwaliteitskenmerk is. Volgens de onderzoekers is dat logisch, omdat de gevolgen van een verkeerd antwoord bij een summatieve toets vele malen groter zijn dan bij een formatieve toets of overhoring. Denk aan het eindexamen of de laatste kans om die onvoldoende te veranderen is een krappe voldoende. Summatieve toetsen leiden doorgaans tot belangrijkere beslissingen op papier. De wijze waarop de normering en cesuur worden vastgesteld en gehanteerd, is daarom van groot belang voor de kwaliteit van een summatieve toets. Bij formatieve toetsen is met name de ‘consequentiële validiteit’ – de bedoelde en onbedoelde gevolgen van een toetsresultaat op het gedrag van docenten en studenten – belangrijk. Deze wordt bepaald door wat de docent en leerling daadwerkelijk doen met het behaalde resultaat: Ontvangt de leerling feedback? Geeft de docent de nodige bijsturing? Of dient de formatieve toets slechts ter kennisgeving?
Verschil theorie en praktijk
Ook toont de literatuurstudie een discrepantie aan tussen de theoretische beschrijvingen en de studies waarbij praktijkonderzoek is uitgevoerd. Waar in de theoretische studies veelvuldig wordt gesproken over ‘validiteit’ en ‘generaliseerbaarheid’ als belangrijke factoren, komt in artikelen waarbij praktijkonderzoek is uitgevoerd de ‘aanvaardbaarheid’ van een toets veel vaker naar voren. Dat wil dat een toets, voor een optimaal toetsresultaat, zowel door de docent als door de leerling als nuttig moet worden ervaren. Deze verschillen – zo blijkt ‘validiteit’ een hoofdzakelijk theoretisch begrip te zijn – geven aan dat kwaliteitscriteria van een goede toets niet alleen afhankelijk zijn van het doel, maar ook van de vorm van het onderzoek.
Verder lezen
De bevindingen uit de literatuurstudie resulteren in een aantal punten waarmee u als docent rekening kunt houden bij het ontwikkelen, afnemen en beoordelen van toetsen. In het schema rechts van dit artikel staan vast een aantal voorbeelden. Later deze week publiceert OVM een uitgebreid vervolgartikel met tips en trucs voor het ontwikkelen van effectieve toetsen. Kunt u niet wachten? Download dan de reader Eerste Hulp bij Toetsen. Wilt u meer weten over de visie van Malmberg over anders toetsen en leren? Bezoek dan de speciale themawebsite Toets VO.
Herkent u de resultaten uit de reviewstudie in uw eigen lespraktijk? Of vindt u juist heel andere elementen belangrijk als het gaat om de kwaliteit van uw toetsen? Laat een reactie achter via onderstaand reactieformulier.
