In de Masterclass reeks Impact van onderzoek werd op 29 april 2021 de eerste bijeenkomst verzorgd door Sarah Coombs, promovendus bij de Universiteit Leiden en werkzaam bij Saxion hogescholen. Coombs werkt aan een onderzoek naar het meten van maatschappelijke impact van onderzoek door hogescholen, en mede gezien haar positie als Adviseur Research Support bij Saxion was ze daarmee een uitgelezen kandidaat om het spits van de serie masterclasses af te bijten.
Het meten van maatschappelijke impact is ingewikkeld. Het Brancheprotocol Kwaliteitszorg Onderzoek van de Vereniging Hogeschool bevat wel een aantal indicatoren die zijn bedoeld om impact meetbaar te maken, maar deze zijn dusdanig zacht dat een strakke evaluatie van maatschappelijke impact nog altijd problematisch is. Coombs’ onderzoek is erop gericht een nieuw model, een nieuw kader te genereren dat het meten van maatschappelijke impact zowel beter als eerder mogelijk maakt: dus niet alleen achteraf, maar ook tijdens het uitvoeren van onderzoek.
Van groot belang daarbij is het komen tot metrieken (metrics’ in het jargon) om maatschappelijke impact aan af te lezen. Onderzoek aan het hbo is bij uitstek gericht om maatschappelijke vraagstukken te beantwoorden. Voor hbo-onderzoekers, die ook juist producten als opbrengst van onderzoek opleveren en niet alleen schrijfsels, is het van belang te bezien of het product daadwerkelijk wordt gebruikt.
Coombs benadrukt dat haar model, of framework, is geïnspireerd door eerdere pogingen om impact inzichtelijk te maken, zoals Contribution Mapping van Kok en Schuit, het PIPA model van Van Drooge en Spaapen, en de Dublin Research Impact Toolkit. In essentie komt haar framework neer op het verstandig aaneenrijgen van vroege planning op het gebied van impact met stakeholders, komen tot relatief eenvoudig en snel meetbare indicatoren, het gaandeweg monitoren van deze impact en onderweg verzamelen van bewijsmateriaal voor impact, om zo achteraf beter en eenduidiger te kunnen communiceren over wat het onderzoek heeft opgeleverd.
Dat hiermee niet alle vragen op het gebied van maatschappelijke impact van het hbo zijn opgelost, laat de discussie na de presentatie goed zien. Zo is er nog altijd ruimte om te kiezen in de breedte van de impact, variërend van de impact op projectniveau, op het niveau van onderzoekslijnen, of samenhangende onderzoekslijnen in Centers of Expertise.
Een andere invalshoek is de meetbaarheid van de output. Veel van de huidige methodes hebben relatief eenvoudige indicatoren, maar dan vooral voor de inputkant (bijvoorbeeld hoeveel tijd in een project is gestopt) en juist veel minder voor de outputkant. Dit laatste is des te ingewikkelder, omdat niet alle impact van onderzoek leidt tot direct meetbare output, maar bijvoorbeeld ook tot verandering in werkprocessen van organisaties of bedrijven, of andere procesimpact waar maar moeilijk een getal aan vast te plakken valt.
Waar mogelijk kan wellicht gebruik worden gemaakt van bestaande manieren om impact te definiëren. Zo heeft NWO met zijn Theory of Change en de daarin gebruikte impact pathways een begin gemaakt om impact meetbaar te maken. Desgevraagd geeft Coombs aan dat dit wellicht een bruikbare methode is, al geldt ook hier dat deze methode eenvoudiger van toepassing is op typische universiteitsoutput dan op de output van de hogescholen.
Een gerelateerd thema is op welke manier de individuele output van een verzameling projecten op een bepaald gebied kan worden geaggregeerd tot output van de bovenliggende onderzoekslijn. Het simpelweg onder elkaar zetten van de losse onderdelen leidt niet altijd op eenvoudige wijze tot een samenhangend geheel.
Tot slot wordt nog het probleem aangestipt dat het bijhouden van impact vaak tijd vraagt. Tijd die de onderzoekers binnen het project in wezen niet hebben, dan wel niet hebben mee gebudgetteerd. Coombs geeft aan dat juist een tijdig beginnen met het bijhouden van de verwachte indicatoren van impact een majeure exercitie aan het eind van een project kan voorkomen, en op die manier de totale tijd voor het evalueren van impact, kan beperken.
De deelnemers aan de workshop zijn het verder eens dat de discussie niet moet vertroebelen door de verschillende labels voor impact die de ronde doen: “doorwerking” (impact voor hogescholen), relevantie, valorisatie, kennisbenutting (“knowledge utilization”) en nog verschillende andere termen passeren de revue. Hoewel ze op detailinvulling wellicht verschillen, moeten ze niet de aandacht afleiden van het grotere probleem.
Lees een artikel van Sarah Coombs: Towards Evaluating the Research Impact made by Universities of Applied Sciences (2021).
Esther Tielen
