Verschillende opleidingen van de Beta-faculteit maken gebruik van mondelinge toetsvormen. Deze vorm heeft echter enkele valkuilen die mogelijk middels een goed doordacht ontwerp van de toetsprocedure verholpen kunnen worden om de kwaliteit van mondelinge toetsvormen verhogen. Dit project hoopt een interactieve online cursus te ontwikkelen voor het beoordelen van mondelinge toestvormen.

Achtergrond

Mondelinge toetsvormen goed toepassen vraagt een professionalisering van de docent (Burke-Smalley, 2014; Cash et al., 2012; Roberts et al., 2000). Daartoe kunnen trainingen aangeboden worden zodat docenten ontbrekende competenties verwerven: kennis van methoden om de kwaliteit van toetsing te verhogen, zoals rubrics of kalibratiesessies en mogelijke valkuilen kunnen vermijden en hebben aangetoond positief te werken (Cash et al., 2012; Lumley & McNamara, 1995; Jonsson & Svingby, 2007). Beoordelaars zouden ook een training kunnen volgen om hen bewust te maken van bias bij beoordelen en hoe dit te voorkomen. Het verzorgen van trainingen is echter tijdsintensief en het is lastig om voor (nieuwe) docenten een live instructie/training te organiseren voorafgaand aan de toets.

Het doel van dit project is daarom het ontwikkelen van een interactieve online cursus over het beoordelen van mondelinge toetsvormen, waardoor zowel onervaren als ervaren docenten van verschillende opleidingen tijd- en plaatsonafhankelijk hun bekwaamheid in het afnemen van mondelinge toetsvormen kunnen vergroten. De te ontwikkelen cursus draagt bij aan het vergroten van de deskundigheid van beoordelaars ten aanzien van mondelinge toetsvormen. Het project richt zich met name op de stappen ‘afname’ en ‘beoordelen’ van de toetscyclus.

Projectomschrijving

Voor dit project worden de volgende fases onderscheiden:

1.Vooronderzoek:

• Uitvragen bij docenten welke problemen zij ervaren bij het beoordelen en welke deskundigheid zij hebben t.a.v. mondelinge toetsen en wat zij belangrijk vinden bij een dergelijke cursus (tijdsbesteding, inhoud, implementatie)
• Literatuuronderzoek.

2.Ontwerp implementatieplan en didactische cursusplan:

• Draagvlak creëren voor het gebruiken van de online cursus door belanghebbenden te informeren en te enthousiasmeren.
• Inventariseren van de behoeften en uitgangssituatie van de verschillende opleidingen om de herkenbaarheid en bruikbaarheid van de cursus te garanderen.
• Opzet van de verschillende modules uitwerken inclusief leerdoelen.

3.Vormgeving eerste concept en testen: basismodule en één vervolgmodule als pilot:

• Voorbeeldtoetsen en kennisclips opnemen, opdrachten en oefeningen ontwikkelen.
• Testen van de modules (procesmatig/techniek).

4.Bijstellen van de basis- en pilot vervolgmodule en vormgeven van de overige drie vervolgmodules.

5.Implementatie van de module in de werkprocessen van opleidingen/cursussen en evaluatie bij deelnemers aan de cursus en betrokken cursuscoördinatoren.

Doelen

Het doel van dit project is de kwaliteitsverbetering van toetsen door het trainen van docenten en student-assistenten middels een online cursus. Hierbij wordt doelgericht gekeken naar de wensen van verschillende opleidingen, en wordt in samenwerking met de projectleden van verschillende opleidingen samengewerkt zodat zij ook van elkaar kunnen leren en elkaar kunnen inspireren. Voor student-assistenten kan de te ontwikkelen cursus wellicht leiden tot een certificaat of onderdeel zijn van hun studenten-onderwijskwalificatie.

Resultaten

Het eindproduct omvat een interactieve online cursus over het beoordelen van mondelinge toetsen, waarmee zowel onervaren als ervaren docenten tijd- en plaatsonafhankelijk hun bekwaamheid in het afnemen van mondelinge toetsen kunnen vergroten.

De cursus bevat meerdere modules en biedt daarmee een programma op maat:

• Een basismodule met algemene theorie en oefeningen over mondelinge toetsen, waarin verschillende vormen van bias worden behandeld en methodes om de kwaliteit van toetsing te vergroten;
• Vier vervolgmodules voor de specifieke toetsvormen (presentaties, voortgangsbesprekingen, gesprekssimulaties, mondelinge tentamens).

Referenties

Burke-Smalley, L. A. (2014). Using Oral Exams to Assess Communication Skills in Business Courses. Business Communication Quarterly, 77(3). https://doi.org/10.1177/2329490614537873 

Cash, A. H., Hamre, B. K., Pianta, R. C., & Myers, S. S. (2012). Early Childhood Research Quarterly Rater calibration when observational assessment occurs at large scale : Degree of calibration and characteristics of raters associated with calibration. 27, 529–542. https://doi.org/10.1016/j.ecresq.2011.12.006 

Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics : Reliability , validity and educational consequences. 2, 130–144. https://doi.org/10.1016/j.edurev.2007.05.002 

Lumley, T., & McNamara, T. F. (1995). Rater characteristics and rater bias: implications for training. Language Testing, 12(1), 54–71. https://doi.org/10.1177/026553229501200104 

Roberts, C., Sarangi, S., Southgate, L., Wakeford, R., Wass, V., Esmail, A., & May, C. (2000). Oral examinations—equal opportunities, ethnicity, and fairness in the MRCGP. BMJ, 320(7231). https://doi.org/10.1136/bmj.320.7231.370