Weg uit de publicatieparadox

Volgens de Nederlandse Sociologische Vereniging is de sociologie vervreemd geraakt van de Nederlandse samenleving. Dat komt door de beoordeling van wetenschappelijk onderzoek op basis van publicaties in Engelstalige wetenschappelijke tijdschriften. Er moeten andere procedures komen. Moeten geografen zich aansluiten bij dit pleidooi?

De beoordeling van wetenschappelijk onderzoek en individuele wetenschappers gebeurt voornamelijk op basis van artikelen in peerreviewde Engelstalige wetenschappelijke tijdschrift en die meetellen in de Social Science Citation Index (SSCI). Hoe hoger de SSCI-rating (impactfactor), des te belangrijker een tijdschrift is en des te meer punten een onderzoeker voor een artikel krijgt. We tonen hier de top 5 van geografische tijdschrift en met de hoogste impactfactor (zie voor een uitgebreid overzicht: http://geostasto.eco.uniroma1.it/dotgeoeco/journals.html). Voor de beoordeling van de wetenschappelijke productiviteit tellen Nederlandstalige bladen als Geografie, Rooilijn, S&RO, Agora en ROMagazine niet mee. Artikelen in Spaans-, Duits- en Franstalige tijdschriften, boeken (wetenschappelijke monografieën, studieboeken, populairwetenschappelijke boeken) en beleidsadviezen evenmin. Lezingen op congressen of bijdragen aan het publieke debat ook niet. Deze categorieën komen wel voor in het Standaard Evaluatie Protocol van de KNAW, VSNU en NWO, maar voor de beoordeling van de wetenschappelijke kwaliteit en academische relevantie en de status van een wetenschapper tellen in de praktijk alleen de artikelen in peerreviewde tijdschrift en met een hoge impactfactor of h-index. De andere categorieën worden gebruikt als indicator voor de maatschappelijke relevantie van onderzoek.

Deze beoordelingspraktijk heeft ertoe geleid dat veel universitair onderzoekers zich vooral of uitsluitend richten op artikelen in internationale Engelstalige tijdschriften. Ze zijn voor hun wetenschappelijke carrière van cruciaal belang.

De Nederlandse Sociologische Vereniging (NSV) heeft voor haar vakgebied deze beoordelingspraktijk geanalyseerd en kwam in maart 2013 tot de conclusie dat er een ‘radicale ommezwaai’ nodig is. Hoe ziet die analyse eruit? Wat is het alternatief? Zijn deze analyse en het alternatief ook van toepassing op de Nederlandse geografie en planologie?

Losgezongen

De NSV vindt dat de ‘huidige, eenzijdig op publicaties in Engelstalige wetenschappelijke tijdschrift en georiënteerde aansturing’ het draagvlak van de sociologie in de Nederlandse samenleving bedreigt. De sociologie kan haar tweeledige taak, de samenleving bestuderen én dienen, daardoor niet goed meer vervullen, aldus de NSV. De balans tussen wetenschappelijke kwaliteit en maatschappelijke relevantie is verstoord. Er bestaat een groeiende kloof tussen de Nederlandse sociologie en de Nederlandse samenleving. Volgens de NSV is de Nederlandse sociologie zelfs losgezongen van het eigen land. De gangbare metingen van wetenschappelijke output (wat iets anders is dan outcome – werkelijke invloed en betekenis) werken vervreemdend en hebben geleid tot een verstarrende monocultuur.

Natuurlijk, erkent de NSV, zijn de gangbare metingen er enkele decennia geleden niet voor niets gekomen en hebben ze ook nuttige effecten gehad. Er is een objectieve grondslag voor kwaliteitsbeoordeling gekomen. De lethargie onder academici is doorbroken; universiteiten zijn actieve, productiegerichte organisaties geworden en door de talrijke internationale publicaties isde Nederlandse socio logie wereldwijd flink in aanzien gestegen.

Publicatieparadox

Maar er zijn ook nadelen, stelt de NSV vast.

• Publiceren is een doel op zich geworden, er wordt eindeloos gevarieerd op bekende thema’s; onderzoekers proberen aan één onderzoek zo veel mogelijk publicaties te ontlenen.
• Gebruikers van kennis kunnen de stortvloed aan publicaties niet verwerken. Er is een ‘bijkans onafzienbare stroom artikelen in een explosief groeiende markt van Engelstalige tijdschriften’; elk deelgebiedje heeft een eigen tijdschrift ; niemand heeft nog overzicht of kan alles bijhouden; de meeste artikelen worden ‘slechts door een handjevol vakgenoten gelezen’ en hebben ‘buiten deze kring vrijwel geen betekenis’.
• Wetenschappelijk onderzoek wordt niet vertaald in praktijkkennis en dat leidt tot een lage waardering van toegepast onder zoek; kennis komt niet meer terecht bij mensen die deze kunnen benutten. Professionals lezen de internationale tijdschrift en niet, en de publicaties die ze wel lezen (beleidsadviezen, vakbladartikelen, boeken, bijdragen aan het maatschappelijk debat) tellen niet als publicatie.

De NSV spreekt van een publicatieparadox. ‘Wat telt als publicatie bereikt niet langer enig publiek, terwijl wat wel door het publiek wordt gelezen, niet wordt erkend als publicatie (en zal daarom steeds minder worden geschreven).’

Sloppy science

Volgens de NSV krijgen onderzoekers verkeerde, soms perverse prikkels. Ze moeten zo veel mogelijk publicatiepunten binnenhalen. Overbelaste hoogleraren moeten zo veel mogelijk promovendi afleveren (vanwege de promotiepremies) en daarnaast onbezoldigd in promotiecommissies onderzoek van anderen beoordelen. Reviewers van tijdschrift en moeten anoniem, vertrouwelijk en zonder vergoeding ingezonden artikelen beoordelen zonder enige openlijke waardering, en redacties willen goed scorende (lees: veel geciteerde) artikelen om de impactfactor van hun tijdschrift op te krikken. Deze ontwikkelingen hollen het ‘zelfcontrolerende vermogen van de wetenschap’ uit en leiden tot sloppy science. Ongelukken zoals de wetenschapsfraude van Diederik Stapel (hoogleraar sociale psychologie) en Mart Bax (hoogleraar antropologie) konden daardoor niet uitblijven.

Evenwichtiger beoordelingssysteem

De NSV sluit zich aan bij de KNAW die eveneens in maart 2013 de aanzet gaf tot ‘een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek’. De KNAW onderscheidt twee kwaliteitsdomeinen: wetenschappelijke kwaliteit waarbij de wetenschappers zich op vakgenoten richten, en maatschappelijke relevantie waarbij zij zich op externe doelgroepen richten. En drie beoordelingsdimensies: aantoonbare productie; aantoonbaar gebruik; en aantoonbare blijken van erkenning.

Kennis moet eerst geproduceerd worden voordat deze gebruikt kan worden, en erkenning treedt pas op na gebruik van kennis door anderen. Verder betekent een hoge productie niet automatisch een hoge kwaliteit. Iemand kan weinig publiceren maar zijn publicaties kunnen wel veel gebruikt worden en veel erkenning oogsten, bijvoorbeeld door het winnen van prijzen, Spinozapremies, Veni-, Vidi- of Vici-subsidies of eredoctoraten.

Alle zes cellen moeten volgens de KNAW gevuld worden; ze dienen met elkaar in balans te zijn. Niet op het niveau van de individuele onderzoeker, maar op het niveau van een universitaire vakgroep of afdeling. Voor alle cellen heeft de KNAW lijsten met mogelijke indicatoren opgesteld. Ook geeft zij voorbeelden van toepassing en aanbevelingen aan de opdrachtgevers van kwaliteitsbeoordelingen (doorgaans de gezamenlijke decanen), visitatiecommissies en onderzoeksgroepen.

Op basis van het KNAW-rapport komen de sociologen tot de volgende zeven uitgangspunten voor een herijking van het beoordelingssysteem.

• Er moet een gevarieerde en evenwichtiger lijst met beoordelingscriteria komen. Er dienen meer kennisdragers en publicatiekanalen gehonoreerd en gestimuleerd te worden dan artikelen in Engelstalige internationale tijdschrift en, met name boeken, vakbladartikelen en rapporten voor opdrachtgevers.
• Naast een internationale oriëntatie zijn een stevige worteling in de eigen samenleving en wetenschappelijke bediening van de thuisbasis nodig.
• Actieve benutting van wetenschappelijke kennis moet gestimuleerd worden door zelf de praktijk op te zoeken, aanwezig te zijn in de media en deel te nemen aan maatschappelijke debatten. Ook is een herwaardering nodig van het leerboek als gezaghebbende samenvatting en communicatie van vakkennis.
• Er moet actief gewerkt worden aan verbindingslijnen tussen wetenschap en maatschappij. Dat kan via toegepast onderzoek, samenwerking met (commerciële) onderzoeks- en adviesbureaus en met maatschappelijke partners, en overdracht van kennis naar de samenleving middels leerboeken, publieksboeken, overzichtartikelen, websites en gezaghebbende weblogs.
• Afdelingen moeten een actieve bijdrage leveren aan de gemeenschappelijke voorzieningen en infrastructuur van het vakgebied, zoals Nederlandstalige tijdschrift en, de data-infrastructuur en de beroepsvereniging. Afdelingen mogen zich niet als free riders gaan gedragen.
• De snel groeiende rol van internet (weblogs van wetenschappers, open access tijdschriften) moet meewegen in de beoordelingsindicatoren. De beoordeling betreft zowel de communicatie van wetenschappers met het publiek als die tussen wetenschappers onderling.
• De scores op een verruimde lijst van kwaliteitsindicatoren moeten in balans zijn. Afdelingen die bepaalde indicatoren maximaliseren, maar nalatig zijn op andere, kunnen niet als ‘excellent’ gelden.

BRONNEN

• Dietz, A.J., M. Meadows & C. Vandermotten 2013. The status of geographical journals: issues of ranking, publishing houses and open access. IGU Regional Conference, Kyoto.
• Koninklijke Nederlandse Akademie van Wetenschappen 2013. Naar een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek.
• KNAW, VSNU & NWO 2009. Standard evaluation protocol 2009-2015. Protocol for research assessment in the Netherlands.
• Nederlandse Sociologische Vereniging 2013. Naar een evenwichtige kwaliteitsbeoordeling van sociologische onderzoek.
• Vandermotten, C. 2012. Cotation des revues de géographie, impérialisme scientifique anglo-saxon et culture de l’excellence marchandisée. Belgeo 1-2.
• Vlasblom, D. 2013. Losgezongen van het eigen land. NRC Handelsblad, 18 mei 2013.