Centraal schriftelijk 2013

1 april 2014
Auteurs:
Rob Adriaens
KNAG & Het Streek Ede
Dit artikel is verschenen in: geografie april 2014
onderwijs
Nieuws
examen
FOTO: THOMAS GALVEZ/FLICKR

Betere scores op sociale dan op fysische geografie

Afgezien van de commotie rondom de diefstal van examens in Rotterdam was het in 2013 rustig rond de aardrijkskunde-examens vmbo, havo en vwo. Errata bleven uit en de reacties waren overwegend positief. Wel klonk vanuit het veld af en toe de vraag of examens niet anders kunnen.

 

Voor niemand is het examen zo spannend als voor de kandidaten zelf. Toch zijn ook docenten heel nieuwsgierig naar hoe hun leerlingen het hebben gemaakt. En examenmakers willen weten hoe de vragen waaraan zij zo lang gewerkt hebben, uitpakken. Docenten vullen na de correctie de scores van hun leerlingen per vraag in via het programma Wolf. Dit levert interessante gegevens op. 

Analyse

Uit de analyse van de scores blijkt dat in 2013 bij alle examens aardrijkskunde nauwelijks vragen zijn overgeslagen. Dit duidt erop dat de kandidaten voldoende tijd hadden om alle opgaven te maken. Op alle niveaus hebben, net als voorgaande jaren, jongens het examen gemiddeld iets beter gemaakt dan meisjes. De gemiddelde p’-waarden (een maat voor de moeilijkheidsgraad: De p’-waarde wordt berekend door de gemiddelde score op een opgave te delen
door de maximaal haalbare score op die opgave. Een opgave met een p’-waarde
van 0,10 is erg moeilijk; die met een p’-waarde van 0,90 erg gemakkelijk.) lagen voor de examens aardrijkskunde rond de 0,60 – een prima uitslag. Op alle niveaus maakten leerlingen vragen waarbij kaartvaardigheden getoetst werden gemiddeld slechter dan andere vragen. Op de gesloten vragen scoorden ze vaak wat beter dan op de open vragen, al waren er aanzienlijke verschillen. Zo gaf slechts de helft van de havisten het juiste antwoord op enkele reproductievragen over kernbegrippen uit de stofomschrijving. De vwo’ers maakten dit type vragen juist erg goed.

Daarnaast wordt in de analyse gekeken naar het onderscheidende vermogen van een vraag. Met andere woorden: maken kandidaten die de hele toets goed doen een bepaalde opdracht ook goed en maken kandidaten die de hele toets slecht doen die opdracht ook slecht. Om een goed onderscheidend vermogen te hebben, moet de vraag niet te moeilijk of te makkelijk zijn, eenduidig en helder geformuleerd zijn en eenduidig gecorrigeerd kunnen worden.

examenopdracht
FOTO: UNITED STATES GEOLOGICAL SURVEY
Opgave 3 – Mount Saint Helens

Bestudeer de bronnen 1 tot en met 3 uit het bronnenboekje die bij deze opgave horen.

Gebruik bron 1.
(3p) Hoe wordt het type krater genoemd dat zichtbaar is in de bron? Leg uit hoe deze krater ontstaan is als gevolg van de uitbarsting. Je uitleg moet een oorzaak-gevolgrelatie bevatten.

Gebruik bron 3 en kaartblad 172-173 (52e druk: 156-157).
Mount Saint Helens is één van de vele vulkanen in de Cascade Range. Zuidelijker, in California, zijn geen vulkanen.
(2p) Leg uit waardoor in de Cascade Range wel vulkanen voorkomen en in California niet. Betrek in je antwoord de plaattectonische beweging in beide gebieden. Je uitleg moet een oorzaak-gevolgrelatie bevatten.

Het opzwellen van de magmahaard onder Mount Saint Helens leidde tot een aantal aardbevingen voorafgaand aan de uitbarsting. Dit soort aardbevingen wordt vulkanische aardbevingen genoemd.
(2p) Geef twee kenmerken van vulkanisch aardbevingen.

Gebruik bron 2.
(2p) Leg uit hoe een vulkanische aardbeving kon leiden tot de vulkaanuitbarsting van 1980. Je uitleg moet een oorzaak-gevolgrelatie bevatten.

Opgave 3 uit het herexamen vwo 2013 over Mount Saint Helens, Washington (op de foto: uitbarsting 1980). De eerste vraag bleek redelijk eenvoudig (p=0,85; dat is een erg hoge score). Het is deels een reproductievraag. Ook de tweede was meer dan goed te doen (p=0,77). Leerlingen moesten hier stof uit het examenprogramma in een duidelijk geschetste context toepassen. De derde en de vierde vraag bleken aan de moeilijke kant (p=0,30 en 0,31). Leerlingen moesten de specifieke context van Mt. Saint Helens doorgronden en daarbij leerstof uit het examenprogramma gebruiken. In de opgave zitten vaardigheden als veranderen van schaal, gebieden vergelijken en onderscheid maken tussen het bijzondere en algemene. Vraag 1, 2 en 4 discrimineerden sterk, vraag 3 gemiddeld.

Vragen waar veel antwoorden goed zijn of veel antwoorden goed gerekend worden, hebben een zeer laag onderscheidend vermogen. Vaak is er dan een groot verschil in de kwaliteit van de antwoorden. Omdat zowel de kandidaat die het kwalitatief betere antwoord geeft , als de kandidaat die het kwalitatief mindere antwoord geeft scorepunten krijgt, brengen deze vragen minder onderscheid aan tussen de kandidaten. De oplossing lijkt simpel: stel alleen gesloten vragen. Toch is dat te kort door de bocht. Kandidaten moeten bij een examen ook kunnen aantonen dat ze een aardrijkskundige redenering kunnen opstellen of een proces in een aantal stappen kunnen beschrijven of uitleggen. De uitdaging voor zowel examenmakers als correctoren ligt erin het onderscheid in de kwaliteit van de antwoorden goed en op een eenduidige manier tot uiting te laten komen in de scores. 

VMBO 

Net als voorgaande jaren werd het onderwerp De Nederlanders en hun vakantiebestemmingen in 2013 beter gemaakt dan Natuurlijke hulpbronnen. Het eerste ligt waarschijnlijk dichter bij de belevingswereld van de leerlingen en is voor hen dus beter te doorgronden dan het wat abstractere Natuurlijke hulpbronnen. De gemiddelde score op de ‘uitsprakenvragen’ was hoog, die op de ‘noem-’ en ‘citeervragen’ gemiddeld en die op de vragen waarbij een uitleg, reden of argument moest worden gegeven, lager dan gemiddeld.

Het aantal klachten van leerlingen dat bij het LAKS binnenkwam, was vrij laag. De eerste reacties van docenten gaven ook het beeld dat het goed te doen was. Uit de landelijke examenbespreking, georganiseerd door het KNAG, kwam slechts advies voor een aanvulling op drie vragen. Op het examenforum van de aardrijkskundecommunity van Digischool kwamen vooral veel vragen over antwoorden die niet in het correctievoorschrift stonden genoemd. In dat voorschrift nemen de examenmakers de in hun ogen meest voor de hand liggende antwoorden op – een uitputtende opsomming is onhaalbaar en zou ook niet prettig werken. Als een alternatief antwoord van een kandidaat op inhoudelijke gronden juist is, kan de corrector terugvallen op punt 3.3 in de algemene regels:

3.3 Indien een antwoord op een open vraag niet in het beoordelingsmodel voorkomt en dit antwoord op grond van aantoonbare, vak inhoudelijke argumenten als juist of gedeeltelijk juist aangemerkt kan worden, moeten scorepunten toegekend worden naar analogie of in de geest van het beoordelingsmodel.

Ook een steuntje in de rug door collega’s op het forum kan helpen bij de correctie, zolang het goedkeuren van een afwijkend antwoord maar vakinhoudelijk en wetenschappelijk verantwoord onderbouwd kan worden.

Verder werd op het forum geklaagd over het niveau van de kandidaten en de kwaliteit van de vragen in de examens. ‘Ze zouden dat eens door docenten moeten laten maken’, verzuchtte een docent. We kunnen u geruststellen: de examens worden door uw vakcollega’s gemaakt en gescreend (kader ‘Door vele handen’).

examenopdracht
FOTO: WIKIMEDIA COMMONS
Opgave 8 – De wijk Heechterp-Schieringen

Bestudeer de bronnen 1 en 2 uit het bronnenboekje die bij deze opgave horen.

Om de leefbaarheid in een wijk te verbeteren wordt vaak herstructurering toegepast.
(2p) Beredeneer hoe door herstructurering de leefbaarheid in een wijk kan verbeteren.

In plaats van herstructurering kan ook gekozen worden om te investeren in de bewoners. Mensen worden dan geschoold of aan een baan geholpen.
(2p) Beredeneer dat dergelijke investeringen in mensen de leefbaarheid in een wijk toch niet hoeven te verbeteren.

Gebruik bron 1.
In de wijk Heechterp-Schieringen worden verschillende maatregelen genomen waarmee men de leefbaarheid hoopt te verbeteren.
(4p) Geef bij elk van onderstaande maatregelen een redenering hoe men met deze maatregel de leefbaarheid in de wijk kan verbeteren:
- de aanleg van een Cruyff-Court;
- het organiseren van buurtactiviteiten.

Opgave 8 uit herexamen havo 2013 over Heechterp-Schieringen in Leeuwarden. De achterstandswijk was in het nieuws in de periode voorafgaand aan het examen. Ook de vragen in deze opgave waren zeer onderscheidend. De eerste vraag scoorde gemiddeld (p=0,47). De tweede bleek iets aan de moeilijke kant (p=0,30). Hier moesten kandidaten aangeven hoe beleid toegepast op een wijk als Heechterp-Schieringen van invloed kan zijn op de leefbaarheid. De laatste vraag bleek niet heel moeilijk (p=0,74), maar vroeg kandidaten wel een eigen redenering op te zetten.

Uit de reacties van docenten en kandidaten valt af te leiden dat lang niet iedereen even goed is voorbereid op het centraal examen. Docenten (en kandidaten) weten vaak niet dat de syllabus het uitgangspunt is bij het samenstellen van de examens. Ze varen blind op de gebruikte lesmethode. Leerlingen geven aan dat er een verschil zit in de manier van vraagstelling op het SE en het CE en dat niet altijd genoeg geoefend wordt met vragen uit oude examens. Wanneer je de manier van vraagstelling herkent en ermee hebt geoefend, is dat pure winst.

Voor vmbo is 2014 het laatste jaar met het oude examenprogramma. Voor het nieuwe programma heeft Cito in opdracht van het CvE voorbeeldexamens gemaakt. Deze zijn binnenkort te vinden op www.cito.nl. SLO gaat de introductie van het nieuwe programma vanaf komend jaar monitoren. Reacties van docenten en kandidaten op de examenstof en het examen kunnen bijdragen aan verbetering van de examens in de komende jaren. 

HAVO en VWO 

Over het algemeen scoorden leerlingen in 2013 beduidend beter op de sociaalgeografische vragen dan op de fysischgeografische – dat gold vooral bij de vwo’ers. Van de vier domeinen werd op vwo Leefomgeving het best gemaakt, terwijl op de domeinen Aarde en Zuidoost-Azië het minst werd gescoord. Bij havo bleven de resultaten op de domeinen Indonesië en Leefomgeving achter.

Een opvallende trendbreuk met eerdere jaren is dat de kandidaten met een Economie & Maatschappij-profiel de examens in 2013 iets beter maakten dan de kandidaten met een Natuur & Gezondheid-profiel. Dit was altijd andersom. De kleine groep kandidaten met een Natuur & Techniek-profiel maakte het examen opnieuw het best. Kandidaten met een Cultuur & Maatschappij-profiel scoorden gemiddeld het laagst. De vragen waar kandidaten zelf een langer antwoord moesten formuleren, werden op vwo bij de fysischgeografische onderwerpen iets minder goed gemaakt dan gemiddeld. Bij de sociaalgeografische lange antwoordvragen scoorden de leerlingen juist zeer hoog. De vragen waarbij kaartvaardigheden aan bod kwamen, werden bij havo en vwo het slechtst gemaakt.

De reacties op de examens waren overwegend positief, al vonden enkele docenten de moeilijkheidsgraad wat lastig in te schatten. In de Quick Scan, een korte enquête binnen Wolf, beoordelen docenten de lengte, de moeilijkheidsgraad en de aansluiting op het onderwijs als voldoende tot goed. Vooral het laatste aspect scoort de afgelopen jaren duidelijk hoger dan in het verleden.

De syllabus is uitgangspunt bij het opstellen van examens – vaar dus niet blind op de lesmethode

De discussies onder docenten op regionale bijeenkomsten en op het examenforum lijken veranderd te zijn. Ging het er vijf jaar geleden over of het examen wel geografisch was en of bepaalde contexten en typen vraagstelling wel in het examen getoetst moesten worden, de laatste jaren lijkt het vaker over details te gaan. Kan een vraagstelling verduidelijkt worden door gedachtestreepjes te gebruiken? Mag een deel van het antwoord in het correctievoorschrift tussen haakjes geplaatst worden? De discussies worden ook zakelijker, met meer vakinhoudelijke argumenten. Al gaan de discussies nog altijd gepaard met emoties. Er staat voor correctoren ook meer op het spel dan in het verleden. Het functioneren van docenten wordt tegenwoordig deels afgemeten aan de scores van hun leerlingen op het centrale examen. De examenmakers zijn zich terdege bewust van de mogelijke (interpretatie)verschillen tussen correctoren. Bij het maken van nieuwe examens en correctievoorschrift en wordt ernaar gestreefd deze verschillen te beperken. Waar mogelijk krijgen vragen een meer gesloten karakter. Het blijft echter belangrijk dat leerlingen zelf een redenering, een argumentatie of een uitleg kunnen opzetten.

Het examenprogramma voor havo en vwo blijft de komende jaren op hoofdlijnen ongewijzigd. De syllabus voor vwo is voor 2014 wel aangepast, zoals dat eerder bij havo is gebeurd. Er is met name veel energie gestoken in het makkelijker leesbaar maken van de aandachtspunten, en er zijn meer begrippen geschrapt dan er zijn toegevoegd.

De lijn van de afgelopen examens kan doorgetrokken worden naar komende jaren. De vrijwel evenredige verdeling van de scorepunten over de domeinen en over de fysische en sociale geografie blijven gehandhaafd. De contexten van de opgaven zijn uiteraard nieuw. De vraagstelling sluit aan op de trend die al een aantal jaar is ingezet. Waar nodig wordt structuur in de vragen aangebracht, bijvoorbeeld met gedachtestreepjes. Bij ‘leg uit’-vragen staat expliciet dat de uitleg een oorzaak-gevolgrelatie moet bevatten.

Voor havo vanaf 2019 en voor vwo vanaf 2020 gaat een nieuwe syllabus gelden. Voor havo wordt in domein D Indonesië vervangen door Brazilië, en voor vwo Zuidoost-Azië door Zuid-Amerika. 

Door vele handen

Vóór een examen op de tafel van een kandidaat ligt, hebben ongeveer 25 mensen hard gewerkt om te zorgen dat de reeks opgaven recht doet aan het examenprogramma, en kandidaten de kans biedt zich te onderscheiden. De verantwoordelijkheid voor de vaststelling van de opgaven en correctievoorschriften ligt bij het College voor Examens (CvE). Het CvE heeft voor ieder vak in het vmbo en havo/vwo een vaststellingscommissie. Daarin zitten een voorzitter uit het hoger of universitair onderwijs, een docent afgevaardigd door het KNAG en een docent afgevaardigd door de vakbond. Het CvE stelt jaarlijks een constructieopdracht op. Hierin staat bijvoorbeeld hoe de opgaven over de examenstof verdeeld moeten zijn en welke vraagtypen hoe vaak in het examen moeten voorkomen. Het Centraal Instituut voor Toetsontwikkeling (Cito) gaat met deze opdracht aan de slag. Cito werkt met constructiegroepen. Daarin zitten docenten aardrijkskunde met ervaring in de examenklassen. Zij schrijven conceptopgaven met correctievoorschriften. De syllabus is hierbij het uitgangspunt, dus niet de schoolboeken. De conceptopgaven worden binnen de constructiegroep en met de toetsdeskundige(n) van Cito meerdere malen besproken en bijgesteld. Ook de vaststellingscommissie beoordeelt de conceptopgaven. Een aantal opgaven sneuvelt en de andere worden bijgesteld.

De toetsdeskundigen van Cito stellen uit de losse opgaven een examen samen. Dit conceptexamen gaat weer langs de vaststellingscommissie en wordt op basis van haar opmerkingen verder vervolmaakt. Daarna wordt het conceptexamen voorgelegd aan screeners. Gespecialiseerde vakmensen van universiteiten bekijken of de opgaven inhoudelijk juist zijn en docenten nemen het hele concept-examen door om te bepalen of de vragen duidelijk zijn voor leerlingen. Anderen bekijken het concept-examen vooral toetstechnisch. Nadat de toetsdeskundigen het concept-examen opnieuw hebben bijgesteld, wordt het nogmaals helemaal doorgesproken met de vaststellingscommissie, waarna deze het examen officieel vaststelt.

Daarna lezen Cito-medewerkers het examen hardop aan elkaar voor en halen er de laatste taal- en stijlfoutjes uit. Dan volgen drukproefcontroles door de toetsdeskundigen. Daarna gaat het hele pakket naar de drukker.

Tussen de constructieopdracht (het allereerste begin) en de afname van het examen zit bijna twee jaar. In september ligt het examen voor het schooljaar vaak al opgeborgen in de kluis. Er kan dan niet veel meer aan veranderd worden.