Veelal worden indicatoren kwantitatief ‘ingevuld’: zoveel publicaties, percentage deelname studenten aan onderzoek, omvang van totale tweede geldstroom et cetera. Cijfers hebben de neiging een eigen leven te leiden als ze los komen van de context waarin ze zijn ontstaan. Een ‘impact’-getal geeft weinig inzicht in voor wie die impact was, wat het effect is geweest van die impact, wat heeft bijgedragen aan het bereiken van de impact et cetera. Zeker in een evaluatieve context kan een getal een (nieuwe) betekenis krijgen van ‘te weinig’ of ‘onder de norm’. Dit decontextualiseren van informatie in indicatoren en de indicator vervolgens weer contextualiseren voor het ‘afrekenen’ van programma’s is een realistisch gevaar (Coombs, 2019). Met andere woorden: indicatoren moeten altijd voor een context worden geselecteerd en in een context worden gepresenteerd “indicators used in impact assessment cannot be universal. Instead, they need to be developed for given contexts” (Pedersen, Grønvad & Hvidtfeldt, 2020, p. 1). Als leidraad kan hierbij de volgende uitspraak worden gehanteerd: “Een werkelijkheid die gereduceerd wordt tot indicatoren is armoedig. Een werkelijkheid die wordt aangevuld met indicatoren is rijk en geeft heldere communicatie” (Drooge et al., 2011, p. 7).
Ten aanzien van het contextualiseren van indicatoren zijn er twee punten te maken. Ten eerste gaat een indicator over het aantoonbaar maken, dat kan zowel kwalitatief geformuleerd worden, bijvoorbeeld positieve feedback van stakeholders in interviews, of kwantitatief, bijvoorbeeld aantal vakpublicaties. Om dit punt te benadrukken is het verstandig niet langer te spreken over het ‘meten’ van impact of doorwerking maar over het ‘aantonen’ van impact/doorwerking.
Ten tweede betekent het contextualiseren dat goed moet worden beschreven in welke context de indicatoren wordt gebruikt. Als richtlijn waaruit die beschrijving minimaal moet voldoen kan gebruik worden gemaakt van de aspecten onderscheiden bij het idee van valorisatiekaarten (Drooge et al., 2011):
1. De scope of het aggregatieniveau van de onderzoeksevaluatie. Veelal gebeurt dit op basis van een organisatorische eenheid (kenniscentrum, lectoraat) of programmatische lijn (Centre of Expertise, groot onderzoeksprogramma). Maar in principe kan de scope ook een geografische zijn: wijk, stad of regio. De keuze van de scope heeft consequenties voor welke indicatoren van belang zijn en hoe die gewogen worden. Bovendien speelt hier het probleem van hoe individuele projecten ‘optellen’ tot een groter geheel, zoals een programma of een instituut, en hoe hier mee om wordt gegaan.
2. Het domein, de sector of de discipline waarover gerapporteerd wordt. Creatieve industrie, zorg, landbouw en transport ‘zitten anders in elkaar’ wat betekent dat de activiteiten en de (aard van) uitkomsten van het onderzoek verschillen. Daar moet recht aan gedaan worden. Indicatoren zijn domein-’neutraal’, wat een sterkte en een zwakte is. Het voordeel is dat de indicatoren breed ingezet kunnen worden en een gedeeld kader bieden, hierdoor wordt het makkelijker onderzoek te vergelijken en er onderling over te communiceren. Het nadeel is dat de eigenheid van een domein niet doorklinkt in de rapportage aan de hand van indicatoren. Dit zal ingebracht moeten worden door het domein te schetsen, onder andere door vragen als: wat is er relevant in hoe domein? Hoe wordt kennis ontwikkeld, gedeeld en gebruikt? Wie zijn belangrijke stakeholders en waarom? Dit zal per domein leiden tot een bepaalde keuze van indicatoren, de weging van indicatoren en de noodzakelijke contextualisering van de indicatoren.
3. De partij of doelgroepen waarover de indicator iets zegt, zoals bijvoorbeeld binnen de BKO onderscheid wordt gemaakt tussen beroepspraktijk/samenleving, onderwijs (studenten en docenten) en het onderzoeksdomein (Vereniging Hogescholen, 2015). Een indicator voor de bijdrage aan de samenleving is zeer waarschijnlijk een andere dan een indicator voor de bijdrage aan het onderwijs.
4. De fase waarin het onderzoek zich bevindt. Een beginnende onderzoeksgroep of een sector/discipline in opkomst, bijvoorbeeld AI, vergt deels andere indicatoren dan een onderzoeksgroep die al meer volwassen is en staat in een al gevormde traditie van onderzoeksmethoden, netwerken en gedeelde onderzoeksagenda’s.
Aan deze vier aspecten die de context van de inzet van indicator beschrijven kan nog een aspect worden toegevoegd. Niet onbelangrijk is de keuze voor een formatief of summatief perspectief, dat wil zeggen worden de indicatoren ingezet als middel om te leren (formatief) of om elkaar de maat te nemen (summatief). De huidige kwaliteitscycli van bijvoorbeeld visitaties zijn vooral een terugkijken, een momentopname wat is bereikt om zo tot kwalificaties te komen van onvoldoende, goed et cetera. Er zijn ook methoden die meer de nadruk leggen op de kennisvergaring hoe impact bereikt kan worden en hoe dat beter kan, of dat nou is door impact pathways te analyseren of door veel nauwgezetter bijdragen van verschillende stakeholders in kaart te brengen. Hierbij is veel meer aandacht voor een verdere optimalisering van het proces, in de veronderstelling dat daarmee ook de impact wordt vergroot. Het is de vraag in hoeverre beide perspectief strijdig met elkaar zijn. Wel wordt het formatieve perspectief vaak te weinig uitgedragen of in ieder geval zichtbaar gemaakt en gewaardeerd.
Harry van Vliet, Augustus 2021
Bronnen
Coombs, S. (2019). Towards Evaluating the Research Impact of Dutch Universities of Applied Sciences: How do we begin? Enschede: Saxion Hogescholen.
Drooge, L. van, Vandeberg, R., Zuijdam, F., Mostert, B., Meulen, B. van der, & Bruins, E. (2011). Waardevol. Indicatoren voor Valorisatie. Den Haag.
Pedersen, D. B., Grønvad, J. F., & Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities – A literature review. Research Evaluation, 0(0), 1-18.
Vereniging Hogescholen (2015). Brancheprotocol Kwaliteitszorg Onderzoek 2016 – 2022. Kwaliteitszorgstelsel Prakijkgericht Onderzoek Hogescholen. Den Haag: Vereniging Hogescholen
