Er is geen gebrek aan indicatoren als het gaat om de impact van onderzoek vast te stellen. Zo telt Bornmann (2013) zo’n 60 indicatoren op het gebied van sociale impact en in de 100+ indicatoren van U-multirank om universiteiten te vergelijken, zitten tientallen indicatoren over onderzoek. De standaardprotocollen voor evaluatie van onderzoek in Nederland hanteren een relatief beperkte set van indicatoren. Voor universitaire onderzoeksevaluatie is dit het SEP (Standard Evaluation Protocol). De vastgesteld SEP voor de periode 2015 – 2021 (KNAW/VSNU/NWO, 2016) bevat 30 indicatoren. Voor onderzoek aan de hogescholen is dit het Brancheprotocol Kwaliteitszorg Onderzoek (BKO) van de Vereniging Hogescholen (Vereniging Hogescholen, 2015). De meest recente versie van de BKO betreft de periode 2016 – 2022 en bevat 40 indicatoren. Een alleszins overzichtelijk aantal, maar op beide protocollen zijn diverse aanvullingen gekomen zoals vanuit de geesteswetenschappen voor de SEP (QRiH, 2017). Binnen het hoger onderwijs heeft een tweetal commissies de BKO verder aangevuld (Pijlman et al. 2017; Franken et al., 2018). Genoeg keuze dus, maar de kwantitatieve overdaad is niet het enige probleem.
Een eerste probleem dat genoemd moet worden is dat lijsten met indicatoren vaak biased zijn, dat wil zeggen dat de meeste indicatoren vanuit specifieke domeinen komen en uitsluitend gericht zijn op output. Bovendien zijn de indicatoren in sommige gevallen ook meer theoretische constructen dan getest in de werkelijkheid. We citeren hier de conclusie over valorisatie-indicatoren uit het rapport van STW, Rathenau instituut en Technopolis (Drooge et al., 2011, p. 17):
“• De meeste indicatoren zijn niet getest en zijn voor zover bekend niet gebruikt na publicatie van de desbetreffende studie.
• De meeste indicatoren betreffen economische benutting; er zijn weinig indicatoren voor maatschappelijke benutting.
• De meeste indicatoren zijn van toepassing op medisch, technisch of natuurwetenschappelijk onderzoek; indicatoren voor andere onderzoeksgebieden zijn er nauwelijks.
• De meeste indicatoren betreffen output; er zijn weinig indicatoren voor impact, interactie of voor andere fasen van het onderzoeksproces”.
Hoewel er sinds het verschijnen van het rapport in 2011 zeker op sommige punten ontwikkelingen zijn, zoals de groeiende aandacht voor (sociale) impact, is het verstandig deze kritiekpunten voor ogen te houden bij het selecteren van indicatoren.
Het voorstel om dit probleem op te lossen is om bij de de keuze van indicatoren gebruik te maken van verschillende bronnen met verschillende perspectieven om niet in een fuik te lopen van alleen maar ‘traditionele’ indicatoren die vanuit een bepaalde historische context zijn ontstaan. Voor het onderzoek aan de hogescholen betekent dit een duidelijke vertegenwoordiging van recente bronnen die zich richten op praktijkgericht onderzoek, bijvoorbeeld studies van de Vereniging Hogescholen, van Katapult en rapporten van derden over praktijkgericht onderzoek. Een uitgebreide database met indicatoren, inclusief broninformatie, als referentie is hiervoor noodzakelijk.
Een tweede aandachtspunt heeft te maken met de vraag of als er sprake is van een grote verscheidenheid in doelen, uitvoering en resultaten bij onderzoek, wel een gedeelde set van indicatoren aangereikt kan worden. Een negatief antwoord hierop klinkt door in het rapport van de Commissie Franken: “Op basis van ervaringen in binnen- en buitenland en de wetenschappelijke literatuur mag de conclusie getrokken worden dat het nagenoeg onmogelijk is om een gemeenschappelijke set aan indicatoren voor alle hoger onderwijsinstellingen te vinden, te meer omdat de doelstellingen van het onderzoek en de praktijk in de verschillende onderzoeksgebieden vaak erg verschillen” (Franken et al., 2018, p. 28). Een ander geluid laten Pedersen, Grønvad & Hvidtfeldt (2020) horen: “Drawing on the strong methodological pluralism emerging in the literature, we conclude that there is considerable room for researchers, universities, and funding agencies to establish impact assessment tools directed towards specific missions while avoiding catch-all indicators and universal metrics” (p. 1). Eenzelfde standpunt is terug te vinden bij een EU expert groep: “An EU expert group that was to develop indicators for the evaluation of RRI [Responsible Research and Innovation], concluded that RRI, being a dynamic and multifaceted concept, would not benefit from a fixed set of indicators. It was rather in need of a toolbox of quantitative and qualitative indicators. The expert group concluded that the assessment of RRI required both indicators of the process and the outcome and impact of research and innovation. The indicators should support the learning process of the actors and organizations involved (Expert Group on Policy Indicators for RRI 2015)” (in: Drooge & Spaapen, 2017, p. 6).
Er zit nog ruimte tussen een aantal indicatoren voor iedereen verplicht voorschrijven en de vrijblijvendheid zoals bijvoorbeeld in het Brancheprotocol Kwaliteitszorg Onderzoek ten aanzien van ‘gebruik’ (“iets over gebruik melden”). Dit is in feite de roep om een toolbox. De League of European Research Universities (LERU) verwoordt het als volgt: “LERU is in favour of the creation of a ‘toolbox’ of indicators, some short, some medium and some longer term, from which, per call or programme, those indicators can be chosen that are most relevant” (Keustermans et al., 2018, p. 10). De geesteswetenschappen hanteert eenzelfde concept van de toolbox: “De indicatoren vormen als het ware een toolbox of gereedschapskist waaruit een keuze kan worden gemaakt voor de zelfevaluatierapporten” (QRiH, 2017, p. 11). Binnen de hogescholen is een roep om een dergelijke toolbox nog niet concreet verwoord, maar kan deze wel als invulling worden gezien van een gezamenlijk statement van ministerie, Nationaal Regieorgaan SIA en de Vereniging Hogescholen om te “werken aan een systeem voor impactmeting” (2019, p. 9) met als stip op de horizon: “Hogescholen zijn in staat om structureel de impact van hun onderzoek kwalitatief en kwantitatief te duiden” (ibid., p. 4).
Wat kunnen we zeggen over zo’n toolbox? In ieder geval zal de toolbox een overzicht moeten bevatten van mogelijk te gebruiken indicatoren waaruit gekozen kan worden. Als voorwerk voor zo’n overzicht is een database te maken van indicatoren voor evaluatie van onderzoek aan universiteiten en hogescholen. Dat gaat al snel om honderden indicatoren waardoor het lastig is overzicht te houden. Er zal dus nog een bepaalde categorisering moeten plaatsvinden en/of een goede zoekstructuur.
De vraag om categorisering of een bepaalde ordening van indicatoren valt ook samen met de constatering dat er bij de introductie van het begrip doorwerking ter typering van het onderzoek aan hogescholen weinig aandacht is gegeven aan een analyse van wat doorwerking ís. Zo’n structurele analyse kan namelijk inzicht geven in belangrijke aspecten van doorwerking waarbij dan indicatoren gezocht kunnen worden. Een eerste poging van zo’n analyse (van Vliet et al., 2020) levert al een tool op die ingezet kan worden om meer gestructureerd naar de rapportering over doorwerking te kijken: de doorwerkingsmatrix.
Harry van Vliet, Juni 2021
Bronnen
Bornmann, L. (2013). What is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of American Society for Information Science and Technology, 64(2), 217-233.
Drooge, L. van, & Spaapen, J. (2017). Evaluation and monitoring of transdisciplinary collaborations. The Journal of Technology Transfer. doi:https://doi.org/10.1007/s10961-017-9607-7
Drooge, L. van, Vandeberg, R., Zuijdam, F., Mostert, B., Meulen, B. van der, & Bruins, E. (2011). Waardevol. Indicatoren voor Valorisatie. Den Haag.
Franken, A., Andriessen, D., van der Zwan, F., Kloosterman, E. & van Ankeren, M. (2018). Meer waarde met HBO. Doorwerking praktijkgericht onderzoek van het hoger onderwijs. Den Haag: Vereniging Hogescholen.
Keustermans, L., Wells, G., Maes, K., Ruiter, E., Alexander, D., Meads, C., & Noble, A. (2018). Impact and the next Framework Programme for Research and Innovation (FP9). Note from the League of European Research Universities.
KNAW, VSNU & NWO. (2016). Standard Evaluation Protocol 2015 – 2021. Protocol for research assessments in the Netherlands. Amsterdam/Den Haag: KNAW.
Ministerie van OCW, Regieorgaan SIA, & Vereniging Hogescholen. (2019). Verkenning praktijkgericht onderzoek op hogescholen. Den Haag: Ministerie van OCW.
Pedersen, D. B., Grønvad, J. F., & Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities – A literature review. Research Evaluation, 0(0), 1-18.
Pijlman, H., Andriessen, D., Goumans, M., Jacobs, G., Majoor, D., Cornelissen, A., de Jong, H. (2017). Advies wekgroep Kwaliteit van Praktijkgericht Onderzoek en het lectoraat. Den Haag: Vereniging Hogescholen.
QRiH. (2017). Handleiding evaluatie van geesteswetenschappelijk onderzoek volgens het SEP. Retrieved from https://www.qrih.nl/nl/over-qrih/de-handleiding
Van Vliet, H., Wakkee, I., Fukkink, R., Teepe, R., & van Outersterp, D. (2020). Rapporteren over doorwerking van Praktijkgericht Onderzoek. Amsterdam: Hogeschool van Amsterdam.
