Binnen het in 2017 gehonoreerde project “Equality: een duurzame verbetering van de kwaliteit van toetsen” is in nauwe samenwerking met docenten, onderwijsdirecteuren en examencommissies een methode ontwikkeld die opleidingen de mogelijkheid biedt om de kwaliteit van toetsing transparant inzichtelijk te maken en te verbeteren. Evaluaties onder pilotgebruikers heeft duidelijk gemaakt dat een laatste vervolgstap van de methode nodig is voor continue monitoring en duurzame inbedding in de staande organisatie. Hiervoor is een vervolg projectaanvraag gedaan, en toegekend in 2020, om de ontwikkeling van de toetskwaliteit over meerdere jaren inzichtelijk te maken, toetsdata uit remindo en osiris te koppelen, een rapportagefunctie te ontwikkelen en professionaliseringsmodules aan te bieden aan een toenemende groep gebruikers.  

Achtergrond

Zowel door accrediterende organen (NVAO accreditatiekader 2018), de Onderwijsinspectie (De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs 2018), als door de Universiteit Utrecht (Richtlijn Onderwijs Universiteit Utrecht 2018) wordt het belang benadrukt van een cyclisch systeem van interne kwaliteitszorg. Het proces van het monitoren en borgen van toetskwaliteit is hierin een essentieel onderdeel. Echter, een transparante, eenduidige, toegankelijke weergave hiervan is voor opleidingen niet tot zeer moeilijk te realiseren (Maassen et al., 2015). Inzicht ontbreekt vaak t.a.v. de opbouw van eindtermen door het curriculum heen, de aansluiting van eindtermen op de leerdoelen per cursus, de wijze waarop de eindtermen getoetst worden en de kwaliteit van deze toetsing. Kortom, de toetscyclus wordt dikwijls niet gesloten en passende acties blijven uit.

Beschrijving

Het eerste project ‘Equality: een duurzame verbetering van de kwaliteit van toetsen’ (2017) heeft geleid tot de ontwikkeling van de Equality applicatie. Deze applicatie biedt opleidingen de mogelijkheid om zowel op curriculum- als op cursusniveau de kwaliteit van de toetsing transparant inzichtelijk te maken en is ontwikkeld in nauwe samenwerking met de verschillende gebruikersgroepen en. Voor zowel docenten, onderwijsmanagement, opleidings-verantwoordelijken (bijv. examen-commissieleden, onderwijsdirecteuren) als accreditatie-instanties geeft de applicatie een helder overzicht van de huidige stand van zaken en biedt het betekenisvolle handvatten.

Figure 1. Screenshot of Equality application

Equality biedt gebruikers nog niet de mogelijkheid om de ontwikkeling van de toetskwaliteit over meerdere jaren inzichtelijk te maken. Daarnaast ontbreken automatische koppelingen met Osiris en Remindo en is er nog geen longitudinale rapportagefunctie op basis van innovatieve datamanagement oplossingen. Hiervoor is in 2020 het vervolgproject Equality 2.0 gestart, waarbij niet alleen gekeken wordt naar kenmerken van afzonderlijke toetsen , maar ook naar toetsprogramma’s, toetsbeleid en de samenhang tussen de verschillende onderdelen. We sluiten daarbij aan bij de definitie en operationalisering van kwaliteit van toetsing zoals gebruikt door (Van Schilt-Mol et al., 2016) en de methodiek De Toetsing Getoetst (DTG) geïntroduceerd in het hoger beroepsonderwijs door Sluijsmans et al. (2012).

Doelen & verwachte resultaten

Deze projectaanvraag richt zich op het optimaliseren van de toetscultuur d.m.v. het uitbreiden van Equality door:

• Het sluiten van de toetscyclus door ontwikkeling van de toetskwaliteit over meerdere jaren heen inzichtelijk te maken (‘portfoliofunctie’);
• Niet aan student te relateren toetsdata op programma-, cursus- en toetsniveau uit Osiris en Remindo automatisch te koppelen aan Equality;
• Het ontwikkelen van een rapportagefunctie om de gebruiker effectief inzicht te geven in de huidige stand van zaken en trends te kunnen identificeren teneinde de kwaliteit van toetsing te verbeteren en borgen.
• Het opzetten van aanvullende professionaliseringsmodules.

Referenties

• Inspectie van het onderwijs, Ministerie van Onderwijs, Cultuur en Wetenschap. Kwaliteit van toetsing in het hoger onderwijs. Februari 2016.
• Maassen, N. A. M., den Otter, D., Wools, S., Hemker, B. T., Straetmans, G. J. J. M., & Eggen, T. J. H. M. (2015). Kwaliteit van toetsen binnen handbereik: Reviewstudie van onderzoek en onderzoeksresultaten naar de kwaliteit van toetsen. Pedagogische studiën, 92(6), 380-393.
• Sluijsmans, D., Peeters, A., Jakobs, L., & Weijzen, S. (2012). De kwaliteit van toetsing onder de loep. OnderwijsInnovatie, 4, 17-25.
• Van Schilt-Mol, T., Sluijsmans, D., Peters, M., de Beer, F., & Jakobs, L. (2016). De touwtjes in handen: toetskwaliteit in het hbo. Onderwijsinnovatie, 4, 15-24.