- Bevat het toetsitem nieuwe informatie? Nieuwe informatie kan gegeven worden in de formulering van de vraag zelf of met behulp van een bron of bronnen. NB: Als het antwoord op deze vraag ‘nee’ is, is de leerling voor de beantwoording aangewezen op geleerde kennis. In dat geval is er meestal sprake van reproductie.
- Moet de leerling geleerde geografische kennis gebruiken? Welke geleerde feitelijke, conceptuele en/of procedurele kennis heeft de leerling nodig om dit item te kunnen beantwoorden? NB: Als het antwoord op deze vraag ‘nee’ is, is de leerling voor de beantwoording aangewezen op de informatie in het toetsitem. In dat geval hoeft de leerling geen geleerde geografische kennis te gebruiken en doet het toetsitem meestal een beroep op ‘algemene’ vaardigheden.
- De leerling moet een geografisch relevante relatie leggen, waarbij hij/zij de nieuwe informatie uit het toetsitem én geleerde kennis moet gebruiken op basis van:
− begrijpen: verklaren, uitleggen of interpreteren;
− toepassen: een bepaalde procedure of (geografische) vaardigheid toepassen;
− evalueren: een standpunt van iemand anders kunnen beoordelen of zelf een standpunt bepalen;
− creëren: zelf met een oplossing komen of een voorspelling doen.
Toetsen en leren: een complexe relatie
In toetsen ligt de nadruk vaak op reproductie van kennis. Maar ze kunnen ook het leerproces bevorderen. Dat vereist wel heel wat van de makers. In een casestudy is onderzocht hoe je docenten daarin kunt ondersteunen.
Toetsen zijn dikwijls bedoeld om te meten wat de leerling geleerd heeft, ze vormen een momentopname na het leren. In reactie op dit zogenoemde summatieve toetsen is er de afgelopen jaren veel aandacht voor het potentieel van formatieve toetsen. Bij die vorm van toetsing geeft de docent gericht feedback zodat de leerling een stapje verder in het leerproces kan zetten. Ook summatieve toetsen kunnen het leerproces bevorderen. Dan moet de focus niet te veel liggen op reproductie van kennis, waarbij leerlingen vooral bezig zijn met het uit het hoofd leren van feitelijke kennis en begrippen. Eerder eigen onderzoek in het vmbo laat echter zien dat de schoolexamens merendeels vragen bevatten die gericht zijn op reproductie (zie ook Geografie november/december 2015). Dit is niet specifiek voor de schoolaardrijkskunde in Nederland; het speelt ook bij andere vakken en in andere landen. Uit een recent onderzoek in de Verenigde Staten blijkt dat een groot deel van grootschalige gestandaardiseerde geografietoetsen de nadruk legt op reproductie. Wat kan docenten helpen bij het maken van summatieve toetsen die het leerproces beter ondersteunen? Een kleinschalige casestudy onder vmbo-docenten in de afgelopen twee jaar levert een hoop inzichten op.
Professionaliseringsprogramma
In 2016 startte een proefprogramma om aardrijkskundedocenten te ondersteunen bij het maken van toetsitems voor vmbo-schoolexamens met een hogere leerwaarde. De vraag was welk soort items zich daarvoor goed leent en hoe docenten hierin geprofessionaliseerd kunnen worden. Na een eerste ronde in 2016 volgde een nieuwe ronde in het voorjaar van 2017, nu met acht docenten die schoolexamens maakten voor 3 vmbo-gt. Tijdens het programma analyseerden de docenten in gezamenlijke bijeenkomsten de toetsitems die zij zelf gemaakt hadden. Ze werden voorbereid met uitleg en instructie, kregen voorbeelden aangereikt van toetsitems met een (veronderstelde) hogere leerwaarde en bespraken samen aan welke eisen de items moesten voldoen. Ze kregen daarbij een aantal instrumenten aangereikt om in te zetten bij het maken van toetsitems of bij oefening in de klas.
Herziene taxonomie van Bloom
Het eerste instrument was een tabel van de gereviseerde taxonomie van Bloom (figuur 1). Deze onderscheidt twee dimensies: typen kennis en cognitieve processen. De cognitieve processen met een hogere leerwaarde, zoals begrijpen, toepassen, evalueren en creëren, worden hierbij onderscheiden van het reproduceren van kennis. Docenten konden deze taxonomie gebruiken bij de toetsconstructie.
Checklist
Het tweede handvat was een checklist voor het maken van toetsitems (figuur 2).
Stappenplan
Het derde instrument was een stappenplan voor leerlingen om de toetsvragen te beantwoorden. Dit kwam in grote mate overeen met de principes die docenten moesten hanteren bij de toetsconstructie uit figuur 2. De leerlingen werden achtereenvolgens gevraagd (1) hun geleerde kennis te expliciteren, (2) op te schrijven welke nieuwe informatie de bron(nen) bevatten en (3) een relatie te leggen tussen de geleerde kennis en de nieuwe informatie. Het was de bedoeling om tijdens de lessen te oefenen met dit stappenplan.
Beoordelingsmodel
Tot slot kregen de docenten een beoordelingsmodel, opnieuw gebaseerd op de principes uit figuur 2. Hiermee konden ze gedifferentieerd punten toekennen wanneer uit het antwoord zou blijken dat de leerling geleerde kennis gebruikte, de bron(nen) goed kon aflezen en interpreteren, en op basis van beide een geografische relatie kon leggen. Het gebruik van dezelfde principes bij het maken van de vragen, bij het oefenen in de klas en bij de beoordeling moest de afstemming bevorderen en leerlingen meer duidelijkheid geven over wat er van hen verwacht werd.
Resultaten en evaluatie
Voor, tijdens en aan het eind van het programma leverden de docenten schoolexamens aan die in 3 vmbo waren afgenomen. De examens werden geanalyseerd aan de hand van de taxonomietabel. Het percentage examenvragen dat een beroep deed op onthouden, bleek significant gedaald en het percentage dat een beroep deed op een vorm van begrijpen, sterk toegenomen. Het aantal toetsitems dat een beroep deed op toepassen, evalueren of creëren, was heel licht gestegen. De docenten vonden dat hun kennis en vaardigheden om examenvragen met een hogere leerwaarde te maken, waren toegenomen. Door te reflecteren op de doelen van hun onderwijs waren ze zich meer bewust geworden van de relatie tussen toetsen en het leren bij leerlingen. De docenten vonden ook dat de gezamenlijke analyses en discussies over de toetsitems hierin belangrijk waren. Over de instrumenten uit het programma waren de meningen verdeeld. De checklist bij het maken van de vragen, en het stappenplan voor leerlingen waren volgens de docenten zeer behulpzaam, maar de taxonomietabel vonden sommigen (te) complex. Ook het beoordelingsmodel was voor de meesten moeilijk te hanteren. Ze vonden het lastig de antwoorden op open, meer complexe examenvragen te beoordelen, vooral als deze afweken van het beoogde antwoord. Sommige docenten hadden het gevoel dat hun beoordeling te subjectief en arbitrair werd. Er is dus meer onderzoek nodig om docenten handvatten te bieden bij het beoordelen van meer open, complexere toetsitems.
Inzichten
De casestudy levert een aantal inzichten op. Allereerst dat docenten zich niet altijd bewust zijn van de inhoud van hun summatieve toetsen en de relatie met het leerproces bij leerlingen. Meer kennis van deze relatie en meer vaardigheden om toetsitems te construeren die bijdragen aan het leerproces bij leerlingen, resulteren daadwerkelijk in toetsen met meer opdrachten met die hogere leerwaarde.
Een tweede belangrijk inzicht is dat kennis en vaardigheden hiervoor niet voldoende zijn. Reflectie op de doelen van het (aardrijkskunde)onderwijs blijkt er sterk aan bij te dragen dat docenten anders gaan denken over de functie van summatieve toetsen. Voor veel deelnemers was een vergelijking van deze doelen met een analyse van hun eigen toetsen een eyeopener. Desgevraagd gaven docenten aan dat de nieuwe wijze van toetsen meerwaarde had voor het leerproces bij leerlingen. Sommigen merkten wel op dat de nieuwe manier van toetsen weerstand opriep bij de leerlingen, doordat deze meer inspanning van ze vereiste. Voor een aantal docenten leek dit een reden hun ambities bij te stellen; anderen staken er juist meer energie in. Eén van de docenten merkte op: ‘Natuurlijk kost het tijd, maar aan de andere kant: als het wat met zich terugbrengt en leerlingen worden daardoor wel enthousiaster of reageren anders op een toets dan anders, is het wel de moeite waard.’ En als de leerlingen niet enthousiast reageren? ‘Wij zijn er wel heel enthousiast over, dus dan hebben die leerlingen wel een beetje pech, ha ha, ha. [...] En als de leerlingen dan nog niet het vertrouwen hebben, moeten we daarmee meer gaan oefenen, ook in de lessen.’
Een belangrijke uitkomst was dat de gezamenlijke bijeenkomsten de docenten motiveerden er meer energie in te steken. Voor veel docenten in het vmbo is het niet vanzelfsprekend om in dezelfde jaarlaag klassen te delen met een collega. Hoewel de docenten hun collega’s uit de vaksectie eigenlijk altijd wel kunnen raadplegen, is deelname aan een groep die in de dagelijkse praktijk met dezelfde uitdagingen geconfronteerd wordt, voor de meesten heel waardevol. Schooloverstijgende leergemeenschappen van docenten aardrijkskunde lijken daarmee een belangrijke impuls te kunnen geven aan de professionele groei bij docenten. Eén docent zegt: ‘Ik heb geleerd niet te bang te zijn leerlingen moeilijkere vragen te stellen, waarbij grotere verbanden gelegd moeten worden waar leerlingen ook zelf hun eigen inbreng kunnen geven […] in plaats van domweg reproduceren wat de methode voorschrijft. […] Met name doordat je een groepje docenten hebt met wie je dat samendoet, durf je meer, ben je minder bang voor controle van bovenaf.’
Professionele groei
Alle docenten lieten tijdens het programma in meer of mindere mate professionele groei zien, maar wel allemaal op hun eigen manier. Voor sommigen was reflectie op de doelen van het aardrijkskundeonderwijs de belangrijkste prikkel om de toetsen aan te passen, voor anderen waren dat de reacties van leerlingen en voor weer anderen de kennis en vaardigheden die tijdens de instructiemomenten ingebracht werden. Professionalisering op het gebied van toetsing is geen lineair, maar eerder een cyclisch en iteratief proces. Toekomstige professionaliseringsprogramma’s zouden daarom docenten de mogelijkheid moeten bieden over een langere periode hun kennis en vaardigheden uit te breiden, hiermee in hun dagelijkse praktijk te experimenteren en daarop te reflecteren. De professionele groei krijgt een extra impuls als docenten kunnen participeren in een groep of leergemeenschap met andere aardrijkskundedocenten.