Programmatisch Toetsen
Het beoordelen van studentproducten is een moeilijke taak voor iedere docent. Uiteindelijk wil je een valide (of robuuste) beslissing nemen over het leren van een student. Misschien heb je jezelf weleens afgevraagd tijdens het nakijken van een stapel tentamens of dit de beste manier van toetsen was. Geven die tentamens wel een goed beeld van het leren van de student? Is die ene momentopname genoeg om te kunnen zeggen dat de student het vak heeft behaald? En hoe zit het dan met het diploma dat weer afhankelijk is van die tentamens? Dat waren precies het type vragen waar Cees van der Vleuten en collega’s mee aan de slag gingen. Na een lange ontwikkelweg kwamen zij uit bij het concept programmatisch toetsen. Maar wat is dat nu eigenlijk?
Programmatisch toetsen is een methode voor het beoordelen van studenten waarbij je gebruik maakt van verschillende datapunten om inzicht te krijgen in de ontwikkeling van de student. In deze introductie worden 6 uitgangspunten van programmatisch toetsen besproken, die een overzicht geven van wat programmatisch toetsen inhoudt. Daarna behandelen we veel gestelde vragen over dit nieuwe onderwijsconcept. Als je je nog verder wilt verdiepen in programmatisch toetsen, dan hebben we onderaan dit artikel nog wat links opgenomen naar interessante informatie.
Uitgangspunten
Uitgangspunt 1: Inzicht in de ontwikkeling van de student ontstaat door een mix van verschillende datapunten
Binnen programmatisch toetsen maak je gebruik van verschillende soorten informatie uit vragen, opdrachten en observaties om een volledig beeld te krijgen van de ontwikkeling van de student. Dit kunnen bijvoorbeeld quizzes of tussentijdse opdrachten zijn, maar ook observaties van praktijkopdrachten, presentaties, beroepsproducten of feedbackgesprekken. Door veel verschillende datapunten te combineren, ontstaat een completer beeld van de sterke en zwakke punten van de student ten opzichte van de leeropbrengsten.
Figure 1. Links: weinig datapunten, rechts: veel datapunten
Uitgangspunt 2: Elk datapunt is feedbackgericht en kent geen zak-/slaagbeslissing
Bij programmatisch toetsen is elk datapunt gericht op het geven van feedback aan de student en niet op het nemen van een zak-/slaagbeslissing. Het doel is om de student te ondersteunen in diens ontwikkeling op de leeropbrengsten, niet om de student te laten slagen of zakken voor een cursus of toets. Door feedback te geven op verschillende momenten in het leerproces, kan de student zichzelf continu verbeteren en bijsturen.
Uitgangspunt 3: De leeropbrengsten vormen de ruggengraat van het toetsprogramma
Leeropbrengsten staan bij programmatisch toetsen centraal. Dit betekent dat de beoordeling gericht is op het meten van de kennis, vaardigheden en attitudes die de student aan het eind van het jaar of de opleiding moet hebben verworven. Dit betekent dat je als opleiding die leeropbrengsten scherp op het netvlies moet hebben om betekenisvolle datapunten te ontwerpen. Als je dat hebt, dan kun je de beoordeling zo integreren in het leerproces dat het studenten ondersteunt in hun ontwikkeling ten opzichte van de leeropbrengsten.
Uitgangspunt 4: Er is een constante dialoog over het gebruik van feedback voor zelfsturing
De docent of coach is bij programmatisch toetsen in constante dialoog met studenten over het gebruik van feedback voor zelfsturing. Dit betekent dat studenten worden gestimuleerd om zelf de regie te nemen over hun leerproces en te reflecteren op hun ontwikkeling. Door de vele datapunten (en veel feedback) krijgen studenten een goed beeld van waar zij staan (ten opzichte van de leeropbrengsten). Hierdoor zijn zij beter in staat om het roer in handen te nemen in hun leerproces.
Uitgangspunt 5: Het aantal datapunten en de zwaarte van de beslissing zijn proportioneel aan elkaar gerelateerd
Bij programmatisch toetsen is het aantal datapunten dat wordt verzameld afhankelijk van de zwaarte van de beslissing die moet worden genomen. Sowieso wordt er geen beslissing genomen op basis van een enkel datapunt. Bij lichtere beslissingen, zoals een tussentijdse diagnose, kan worden volstaan met een beperkt aantal datapunten. Bij zwaardere beslissingen, zoals de overgang naar een volgend jaar, zijn meer datapunten nodig om een weloverwogen beslissing te kunnen nemen. Het is daarbij van belang om te zorgen voor een goede balans tussen het aantal datapunten en de belasting voor zowel de student als de docent.
Uitgangspunt 6: De zwaarte van een beslissing is leidend voor de hoeveelheid benodigde beoordelaarsexpertise
Bij programmatisch toetsen is de zwaarte van een beslissing leidend voor de hoeveelheid benodigde beoordelaarsexpertise. Bij lichtere beslissingen, zoals een tussentijdse diagnose, kan een enkele docent of mentor de beoordeling doen. Bij zwaardere beslissingen, zoals de overgang naar een volgend jaar, zijn vaak meerdere beoordelaars nodig om een objectievere en betrouwbare beoordeling te kunnen doen. Het is daarbij van belang om te zorgen voor een goede afstemming en training van de beoordelaars, om de betrouwbaarheid en validiteit van de beoordeling te waarborgen.
Veelgestelde vragen
Bij programmatisch toetsen wordt er niet gesproken van herkansingen. Er is dus geen toets of cursus die gehaald moet worden, maar er wordt regelmatig via datapunten ontwikkeling aangetoond op diverse leeruitkomsten. Als er wel een zak-/slaagbeslissing is, (bij een high-stakes beoordeling) dan is dat op basis van de gehele ontwikkeling op de leeruitkomsten die zichtbaar is gemaakt in een portfolio. Als op basis van het portfolio blijkt dat er geen positieve beoordeling kan worden gegeven, spreken we van remediëring. Een remediëringsplan kan per student verschillen en het betekent dan dat de student heel concreet en gericht extra datapunten verzamelt om ontwikkeling aan te tonen op die leeruitkomsten waarop dat nog onvoldoende bleek.
Bij programmatisch toetsen verandert de rol van de docent: van docerend naar coachend. De focus van het lesgeven wordt verlegd naar het sturen van het leerproces (en in mindere mate het direct aanbieden van kennis). De tijd wordt dus anders ingevuld dan bij een regulier programma. Het leren en de toetsing zijn met elkaar verweven. De docent moet actief zicht houden op waar de studenten staan. Betekenisvolle feedback geven is wel tijdrovend. Tegelijkertijd is het een belangrijke voorwaarde voor programmatisch toetsen.
Het concept moet passen bij de visie van de opleiding op onderwijs en op leren. Ook in het maken van keuzes in het verdere ontwerp van programmatisch toetsen helpt het als er een duidelijke onderwijsvisie is: hoe willen we dat studenten leren? Wat is de rol van de student, de docent en de mentor? Het past niet goed bij onderwijsconcepten die uitgaan van beheersingsleren, waarbij bijvoorbeeld een serie vakken moet worden afgesloten. Het past wel goed bij constructivistisch onderwijs waarbij vaak langere leerlijnen zijn ontwikkeld. Complexe vaardigheden worden beter ontwikkeld en beter zichtbaar op een langere termijn.
Verwijzingen
- 12 tips voor programmatisch toetsen
- Leeromgeving programmatisch toetsen
- SIG Programmatisch toetsen
- Programmatisch toetsen: Voorbeelden en ervaringen uit de praktijk
Referenties
Bok, H. G., de Jong, L. H., O’Neill, T., Maxey, C., & Hecker, K. G. (2018). Validity evidence for programmatic assessment in competency-based education. Perspectives on medical education, 7, 362-372.
de Jong, L. H., Bok, H. G., Schellekens, L. H., Kremer, W. D., Jonker, F. H., & van der Vleuten, C. P. (2022). Shaping the right conditions in programmatic assessment: how quality of narrative information affects the quality of high-stakes decision-making. BMC Medical Education, 22, 1-10.
Zie ook
Binnen de UU wordt bij de volgende opleidingen gewerkt met programmatisch toetsen:
You are free to share and adapt, if you give appropriate credit and use it non-commercially. More on Creative Commons