De laatste jaren is er veel aandacht voor evaluatie van onderzoek. En dan vooral voor hoe het niet zou moeten en wel zou kunnen. Het gaat dan meestal om onderzoek, en onderzoekers, aan universiteiten. De cultuur en de praktijk aan de hogescholen is misschien anders dan die aan de universiteiten, maar toch zijn de ontwikkelingen ook voor hogescholen relevant. Niet alleen omdat ze laten zien wat niet wenselijk is, onder het motto: “pas op, niet doen!” Maar ook omdat er gewoon heel goeie uitgangspunten voor evaluatie worden geformuleerd.
Achtergrond van de veranderingen
“De applicatie voor patiënten? Die ontwikkel ik in het weekend,” antwoordt de onderzoeker op mijn vraag wanneer hij aandacht besteedt aan de maatschappelijke belofte uit zijn onderzoeksvoorstel. “Dan beschouw je de maatschappelijke aspecten kennelijk niet als onderdeel van je werk,” constateer ik. Hij beweegt zijn hoofd, het is niet duidelijk of hij ja knikt of nee schudt, en zegt dan: “mijn leidinggevende hecht daar nauwelijks waarde aan; die wil dat ik publiceer in vooraanstaande wetenschappelijke tijdschriften.”
Wie wel eens met onderzoekers spreekt kent dit soort reacties waarschijnlijk wel. Aan universiteiten en universitaire medische centra (umc’s) is er veel waardering voor onderzoek en dan vooral voor publicaties en citaties en het verwerven van beurzen. Terwijl onderzoek zoveel meer is dan dat. En die instellingen bovendien ook onderwijs verzorgen, samenwerken met maatschappelijke partners en (de umc’s) aan patiëntenzorg doen. Maar daarvoor is veel minder waardering.
De dominante aandacht voor onderzoek en publicaties leidt al jaren tot kritiek. De “publish or perish”, “publiceer of ga ten onder”, cultuur is velen een doorn in het oog. Onderzoekers en organisaties uit de sociale en geesteswetenschappen storen zich bovendien aan het gebruik van eenvoudige publicatie-indicatoren, die geen recht doen aan de manier waarop zij onderzoek doen en delen. En onderzoeksorganisaties en -afdelingen die maatschappelijke bijdragen belangrijk vinden, zoals hogescholen, willen dat die bijdragen een veel belangrijker rol krijgen bij beoordelingen en evaluaties.
Het laatste decennium heeft die kritiek geleid tot een aantal initiatieven. Allemaal pogingen het tij te keren. Dat gaat moeizaam, maar er zijn veranderingen zichtbaar. De universiteiten spelen een centrale rol, maar soms sluiten ook hogescholen zich aan bij de initiatieven. De belangrijkste initiatieven zijn de volgende vier.
DORA
Tijdens een bijeenkomst van de American Society for Cell Biology in San Francisco bespreken redacteuren en uitgevers van academische tijdschriften hun zorgen over onderzoeksevaluatie. Ze formuleren een aantal aanbevelingen en publiceren die in 2013 als de San Francisco Declaration on Research Assessment (DORA). DORA maakt vooral een statement tegen de dominante rol van wetenschappelijke artikelen en citaties in allerlei evaluatie processen.
De eerste oproep is gericht aan financiers, onderzoeksorganisaties, tijdschriften en onderzoekers: gebruik geen simpele kwantitatieve maten, zoals de Journal Impact Factor, bij het selecteren van onderzoeksvoorstellen en bij de benoeming en promotie van onderzoekers. Verder roept DORA op om de inhoud van het onderzoek voorop te stellen, in plaats van publicaties. En er rekening mee te houden dat resultaten op heel verschillende manieren worden gedeeld, ook bijvoorbeeld via datasets en software.
Medio 2024 zijn er ongeveer 25.000 ondertekenaars van DORA. 454 daarvan komen uit Nederland. Daaronder zijn 27 organisaties, waarvan 1 hogeschool en 427 individuen, waarvan er 6 bij een hogeschool werken.
DORA heeft zich ontwikkeld tot een organisatie met een stuurgroep en een secretariaat. Het financiert het project “Tools to Advance Research Assessment” (TARA) en het deelt de tools die in de loop van dat project worden verzameld via de website.
Leiden Manifesto for research metrics
Het Leiden manifest ontstaat tijdens een andere conferentie, de International Conference on Science, Technology and Innovation Indicators. Dat is de jaarlijkse conferentie over scientometrie, het veld dat zich bezighoudt met het in kaart brengen van wetenschap. Veel scientometrische methoden en indicatoren worden gebruikt voor de evaluatie van onderzoek en onderzoekers, terwijl ze daar helemaal niet geschikt voor zijn. De auteurs publiceren het manifest in 2015 in Nature. Ze laten weten dat de principes uit het manifest niet nieuw zijn en op brede steun in de scientometrische gemeenschap kunnen rekenen, maar dat ze gewoon niet eerder zijn opgeschreven. Het manifest borduurt voort op DORA en geeft iets meer richting.
De kern van het manifest zijn 10 principes. Het eerste is dat kwantitatieve gegevens en indicatoren weliswaar gebruikt kunnen worden, maar wel ter ondersteuning van een kwalitatieve beoordeling door experts. Ook benoemt het manifest dat bij een beoordeling de context meegenomen moet worden. De missie en doelen van een onderzoeksorganisatie, of groep, en zelfs van een onderzoeker, moeten als duidelijk referentiepunt worden gebruikt. Het manifest vraagt ook om aandacht en waardering voor lokaal relevant onderzoek en de lokale taal waarin de resultaten van dat onderzoek worden gedeeld. Denk aan onderzoek naar de Hiv-epidemie in sub-Sahara Afrika, of naar arbeidswetgeving in Spanje.
CoARA
De Coalition for Advancing Research Assessment (CoARA) is een Europees initiatief, gesteund door de Europese Commissie. De European University Association (EUA), Science Europe en consultant Karen Stroobants betrekken een groot aantal organisaties en lidstaten en publiceren in 2022 de “Agreement on reforming research assessment.” Die borduurt voort op de eerdere initiatieven, maar gaat veel verder. De Agreement stelt dat er brede overeenstemming bestaat binnen de hele onderzoeksgemeenschap dat evaluatiepraktijken moeten worden veranderd. Het roept op tot institutionele hervorming van evaluatie.
De agreement roept op om bij evaluatie naar de inhoud van onderzoek te kijken, naar originaliteit en impact. Het benadrukt de verschillende soorten bijdragen, contexten, impacts. Het vraagt aandacht voor het onderzoeksproces, Open Science, diversiteit en inclusiviteit. De reikwijdte is veel groter dan bij de eerdere initiatieven.
Het agreement wordt wereldwijd opgepikt en ondertekend. Van de ongeveer 750 organisaties die CoARA ondertekend hebben komen er 29 uit Nederland. Daaronder is 1 hogeschool. Vanaf eind 2022 is er de wereldwijde Coalitie CoARA, met bestuur en secretariaat, werkgroepen en nationale afdelingen. In 2024 publiceert het de eerste oproep voor projecten die bijdragen aan institutionele verandering van evaluatiepraktijken.
Erkennen en waarderen
In 2019 publiceert een coalitie van Nederlandse kennisorganisaties (zonder de Vereniging Hogescholen) “Ruimte voor ieders talent: naar een nieuwe balans in het erkennen en waarderen van wetenschappers.” Het positiepaper en de verdere activiteiten zijn bekend als “erkennen en waarderen” of “recognition and rewards”. De insteek is iets anders dan bij andere initiatieven. Het paper begint namelijk met een oproep tot meer diversiteit en dynamiek in de loopbanen van wetenschappers. Dat er dan veranderingen nodig zijn in evaluatie (erkennen en waarderen) van onderzoek en onderzoekers is evident.
Uitgangspunt is dat veel wetenschappers een te eenzijdige nadruk ervaren op onderzoek en onderzoeksprestaties, ten koste van aandacht voor onderwijs, impact, leiderschap en patiëntenzorg (umc). Naast de oproep tot diversifiëring en dynamisering van loopbanen, vraagt het paper ook om aandacht voor Open Science, academisch leiderschap en de balans tussen individu en collectief. Natuurlijk is er ook een oproep om bij evaluatie kwaliteit centraal te stellen, en niet kwantiteit.
Er is inmiddels een stuurgroep en een programmabureau. Er zijn jaarlijkse festivals, er is een website en er is een tweede publicatie verschenen: “Ruimte voor ieders talent in de praktijk. Routekaart: zo geven we erkennen & waarderen vorm.” Die routekaart noemt 5 afspraken voor de komende jaren, zoals (nog steeds) Loopbaanpaden diversifiëren en dynamiseren en Focus op kwaliteit.
Stugge verandering
Sinds de publicatie van DORA is er ruim een decennium verstreken. Er zijn steeds nieuwe initiatieven ontwikkeld die voortbouwen op vorige en die verder of dieper gaan. Mede dankzij de oproep tot institutionele verandering, van CoARA en Erkennen en waarderen, zijn er initiatieven en werkgroepen bezig, zeker in Nederland. En tegelijk merk ik dat ondanks die initiatieven er nog veel bij het oude is. Ik heb het laatste halfjaar onderzoekers geïnterviewd die met heel vergelijkbare verhalen komen als de in het weekend knutselende onderzoeker uit het begin. Terwijl dat voorbeeld jaren geleden speelde.
Dat de verandering langzaam gaat ziet ook Kim Huijpen, programmamanager Erkennen & Waarderen. Ze licht de resultaten toe van de “Cultuurbarometer”, die weergeeft wat de stand van zaken is: “We zien dat de meeste wetenschappers zich gelukkig erkend en gewaardeerd voelen. Toch is er wat ons betreft een té grote groep wetenschappers die dat niet zo ervaart. Ook deze medewerkers verdienen waardering en ruimte voor hun talent.”
Laten we teruggaan naar die onderzoeker uit het begin. Wat heeft die nou aan al die initiatieven? DORA zegt: richt je niet op wetenschappelijke artikelen (dat doet de leidinggevende wel), maar op de inhoud van het onderzoek. Het Leiden manifest stelt: neem de context mee in de beoordeling (in dit geval een umc, waar ook aan patiëntenzorg wordt gedaan). Waardeer lokaal relevant onderzoek (misschien gaat het wel om een heel specifieke aandoening, die lokaal veel voorkomt). CoARA vraagt aandacht voor de diversiteit van bijdragen aan onderzoek (dat kan dus ook een applicatie voor patiënten zijn). Erkennen en waarderen tenslotte vraagt om diversifiëring van loopbaanpaden (misschien wil de onderzoeker vooral oplossingen voor patiënten ontwikkelen, dan is een impact-pad voor de hand liggend).
Is onze onderzoeker daarmee geholpen? Misschien wel. De leidinggevende? Ook. Maar zijn de patiënten geholpen? Daar ben ik niet zo zeker van. De vraag is of ze op een applicatie zitten te wachten. Een applicatie die een onderzoeker in het weekend in elkaar sleutelt. Niets ten nadele van die onderzoeker, overigens.
De initiatieven roepen op om peers en andere experts een centrale rol te geven in evaluaties. De vraag is hoe breed commissies in de praktijk zijn en in hoeverre alle aspecten waar de evaluatie over gaat, ook echt belegd zijn in de commissie. Als het gaat om medisch onderzoek, dan ligt het voor de hand dat tenminste artsen, verpleegkundigen en/of patiënten meedoen met de selectie van voorstellen. Dat gebeurt tegenwoordig vaker dan voorheen, en het gebeurt standaard bij een aantal gezondheidsfondsen. Maar het is nog lang geen gemeengoed.
Evaluatie in verandering: wat betekent dit voor hogescholen?
Veel adviezen die hier staan beschreven zijn misschien bekend voor onderzoekers aan hogescholen. En zijn misschien staande praktijk. Maar misschien ook niet. Hoe dan ook zijn ze interessant, bijvoorbeeld omdat de balans tussen verschillende taken en opdrachten van een organisatie aan de orde komen. En waar in een universiteit de balans soms doorslaat naar onderzoek, hoor ik uit lectoraten wel eens dat de balans doorslaat naar onderwijs. Bovendien leert mijn ervaring met de evaluatie van universitair onderzoek, dat een state-of-the-art protocol nog niet betekent dat alle bezwaren verdwenen zijn. Het Strategy Evaluation Protocol (SEP 2021-2027) iseigenlijk conform alle genoemde adviezen. Dat is het Brancheprotocol Kwaliteitszorg Onderzoek van de hogescholen ook. Maar ik merk in de praktijk dat toch gevraagd wordt om eenvoudige kwantitatieve indicatoren, om benchmarking en vergelijking met andere groepen. Bovendien ontbreekt het soms aan expertise op het gebied van specifieke onderwerpen, zoals maatschappelijke relevantie, bij degeëvalueerde groep en in de evaluatie commissie.
Dat gezegd hebbend, misschien is het tijd voor een initiatief van de hogescholen en regieorgaan SIA. Waarin ze delen op welke manier onderzoek en onderzoekers van hogescholen worden erkend, gewaardeerd en geëvalueerd. Gewoon, als voorbeeld voor de universiteiten.
Leonie van Drooge
LvD Impact & Evaluatie
Bronnen
DORA: https://sfdora.org/
Leiden manifest: https://www.nature.com/articles/520429a
CoARA: https://coara.eu
Erkennen en waarderen: https://recognitionrewards.nl/
Cultuurbarometer: https://recognitionrewards.nl/culture-barometer/
SEP 2021-2027: https://www.universiteitenvannederland.nl/files/publications/SEP_2021-2027.pdf
