Wat is een goede indicator?

Los van de inhoudelijke vraag welke indicator te kiezen is er ook nog de vraag of de indicator goed is. De ene indicator is namelijk de ander niet. Indicatoren kunnen getoetst worden op hoe ‘goed’ ze zijn, met andere woorden er zijn criteria op te stellen om een keuze te maken uit mogelijk te gebruiken indicatoren. Een voorbeeld is betrouwbaarheid van de gebruikte data voor de indicator. De literatuur verschilt echter over welke criteria dit zijn. Onderstaande tabel geeft een overzicht van een aantal criteria voor indicatoren vanuit vier verschillende bronnen. 

Er zijn overeenkomsten tussen de criteria die de diverse bronnen noemen, zoals de betrouwbaarheid en validiteit van de data en de relevantie en communicatiekracht van de indicator; maar ook wel verschillen. Wat de verschillende bronnen niet duidelijk maken is dat de genoemde criteria over verschillende ‘dingen’ gaan. Criteria zoals beschikbaarheid en continuïteit gaan over de databron waarop een indicator zich beroept. Zo’n databron kan een administratief systeem zijn (financiële gegevens), een bibliografisch systeem (publicaties, citaties) of een stakeholderpanel als focusgroep die bevraagd wordt over bijvoorbeeld tevredenheid over, en relevantie van, het onderzoek. Criteria zoals betrouwbaarheid, manipuleerbaarheid en validiteit gaan over de data zelf. Een financieel systeem kan continue beschikbaar zijn om informatie te leveren maar de data zelf kan, om wat voor reden dan ook, niet betrouwbaar zijn of gemanipuleerd worden om ‘gunstiger’ voor de dag te komen. Op deze zijn er dus al drie ‘lagen’ te onderscheiden waarover kwaliteitscriteria zijn op te stellen: indicator, data en databron.

Een ander belangrijk onderscheid dat gemaakt moet worden is dat  tussen een criterium en een indicator. Een criterium is een stelregel waar je aan moet voldoen, een indicator is de maat die aangeeft of je aan de stelregel, het criterium, hebt voldaan. Zo geldt bijvoorbeeld voor olympische deelname van sporters de stelregel dat op niveau moet worden gepresteerd, vervolgens is de olympisch limiet de norm waar dit aan wordt afgemeten, de indicator is de gemeten afstand die gesprongen is of de tijd die hardgelopen is. Voor praktijkgericht onderzoek is bijvoorbeeld een stelregel dat resultaten bruikbaar moeten zijn voor de praktijk, vervolgens is een indicator nodig die aantoont dat dit het geval is, bijvoorbeeld door uitspraken van stakeholders over die bruikbaarheid. Een ander voorbeeld is een criterium als ‘resultaten zijn toegankelijk’, een indicator zou dan kunnen zijn het relatieve aandeel van publicaties dat via open access is gepubliceerd. Dit onderscheid wordt niet altijd gemaakt en leidt tot verwarring (van Vliet et al., 2020). Het is soms ook lastig een onderscheid te maken, bijvoorbeeld ‘tevredenheid van stakeholders’ kan zowel als een criterium worden gelezen met dan de vervolgvraag ‘hoe toon ik dit aan?’ oftewel welke indicator kies ik?; maar kan ook gelezen worden als een indicator, met dan de vervolgvraag ‘wat toon ik hiermee aan?’ oftewel aan welk criterium wordt voldaan?

Het verschil tussen criterium en indicator is iets dat goed in de gaten moet worden gehouden, het is het verschil tussen waaraan wil ik voldoen en de keuze hoe dit te bewijzen. Tegelijkertijd is het zaak dat ze als tweespan worden ingezet bij een evaluatie: zowel formuleren waaraan het onderzoek moet voldoen als de keuze hoe hier bewijs voor aan te dragen. Het is niet uitzonderlijk om in onderzoeksevaluaties criteria aan te treffen zonder bewijslast en omgekeerd bewijs gepresenteerd te krijgen waarvan niet duidelijk is waarvoor het bewijs is. Het voorstel is expliciet te zijn in welke criteria worden onderscheiden en welke indicatoren worden gezien als bewijslast voor een betreffend criterium.

Met dit onderscheid kan gezegd worden dat een kwaliteitscriterium als relevantie vooral gaat over het criteria, is ‘resultaten zijn toegankelijk’ een relevant criterium om status van het onderzoek mee aan te tonen? Bovendien moet een criterium zodanig geformuleerd zijn dat het aantoonbaar gemaakt kan worden. Een criterium zoals “Het onderzoek heeft een doorwerking naar de beroepspraktijk en de samenleving” (Pijlman, 2017) is dermate algemeen en alomvattend dat het lastig is dit aan te tonen met een indicator.

Aan de hand van deze analyse kan de volgende ‘gelaagdheid’ worden voorgesteld in criteria voor indicatoren:

De ‘gelaagdheid’ van de verschillende kwaliteitscriteria voor indicatoren geeft al meer houvast waar op te letten en welke afwegingen te maken. Het is verstandig een beperkt aantal criteria op te stellen om indicatoren aan te toetsen. Waarbij men waakzaam moet zijn om niet juist die indicatoren te verwijderen die erg relevant maar niet volledig robuust zijn of waarvoor de data lastig te verzamelen is, want dan blijven al snel alleen de usual suspects over van ‘geld, mensen, publicaties en patenten’ (Brouns, 2016). 

Harry van Vliet, Augustus 2021

Bronnen

Brouns, M. (2016). Van Olympus naar agora. Een frisse blik op praktijkgericht onderzoek. Thema(4), 69-74.

Drooge, L. van, & Spaapen, J. (2017). Evaluation and monitoring of transdisciplinary collaborations. The Journal of Technology Transfer. doi:https://doi.org/10.1007/s10961-017-9607-7

Drooge, L. van, Vandeberg, R., Zuijdam, F., Mostert, B., Meulen, B. van der, & Bruins, E. (2011). Waardevol. Indicatoren voor Valorisatie. Den Haag.

Friedman, M. (2005). Trying hard is not good enough. Sante Fe, New Mexico: Fiscal Policy Studies Institute.

Pijlman, H., Andriessen, D., Goumans, M., Jacobs, G., Majoor, D., Cornelissen, A., de Jong, H. (2017). Advies werkgroep Kwaliteit van Praktijkgericht Onderzoek en het lectoraat. Den Haag: Vereniging Hogescholen.

Scholtes, A., van Vught, F., de Haas, M., et al. (2011), The EDUPROF project: developing indicators of applied research. Brussel: European Union, Education and Culture DG.

Van Vliet, H., Wakkee, I., Fukkink, R., Teepe, R., & van Outersterp, D. (2020). Rapporteren over doorwerking van Praktijkgericht Onderzoek. Amsterdam: Hogeschool van Amsterdam.