Het missiegedreven innovatiebeleid van de overheid legt een sterke nadruk op de te leveren bijdrage van onderzoek aan maatschappelijke vraagstukken zoals duurzaamheid, gezondheid en veiligheid. De impact van onderzoek op maatschappelijke uitdagingen wint aan prominentie in aanvragen voor, en evaluatie van, onderzoek. Verschillende spelers in de kennisinfrastructuur, zoals NWO en ZonMw, hebben hiertoe een impactstrategie ontwikkeld, of in ieder geval expliciet(er) gemaakt. Ook het onderzoek aan hogescholen zal zich tot deze ontwikkeling moeten verhouden.
De uitgangspositie daarvoor lijkt gunstig, immers de aanduiding van het onderzoek aan hogescholen als ‘praktijkgericht’ of ‘praktijkverbonden’ (Brouns, 2016) veronderstelt een (nauwe) band met de praktijk. Een band die ervoor moet zorgen dat gezamenlijk aan relevante vraagstukken wordt gewerkt en de onderzoeksresultaten direct toepasbaar zijn voor die praktijk. Het ontbreekt dan ook niet aan voorbeelden die dit illustreren (Vereniging Hogescholen, 2020), wat nog een verdere boost zal krijgen met het volgend jaar te lanceren Nationaal Platform Praktijkgericht Onderzoek (Woertman & Doove, 2019). Bovendien wordt het instrumentarium van de hogescholen nog steeds verder uitgebreid middels bijvoorbeeld de Centres of Expertise die als opdracht hebben de verbinding te leggen middels publiek-private samenwerkingen tussen het hoger beroepsonderwijs, topsectoren en maatschappelijke uitdagingen. In de uitwerking (Reiner et al., 2019) zijn suggesties aan te treffen als ‘werk van buiten naar binnen’, en voorwaarden zoals een ‘quadruple’ vertegenwoordiging waarmee ook burgers aan tafel komen te zitten in het ‘aansturen’ van het onderzoek. En ook is nog de ontwikkeling van de Professional Doctorate te noemen, waarvan de ondertitel van het plan van aanpak is ‘Leren interveniëren in complexe praktijken’ (Andriessen et al., 2021), een mooi startblok om op hoog niveau een bijdrage te gaan leveren aan het missiegedreven innovatiebeleid.
Een bepalende factor voor het ‘succes’ is echter hoe de hogescholen structureel gaan rapporteren over de bereikte impact, anders dan met anekdotisch bewijs, hoe overtuigend soms ook. Het huidige kader hiervoor vormt het Brancheprotocol Kwaliteitszorg Onderzoek (Vereniging Hogescholen, 2015) waarin ook het rapporteren over impact door hogescholen is vastgelegd. In dit artikel onderzoeken we welke vragen dit kader moet beantwoorden wil ze aansluiten bij de geschetste ontwikkelingen. Niet alleen omdat het tijd is, de huidige BKO loopt af in 2022, maar omdat het noodzakelijk is.
Het Brancheprotocol Kwaliteitszorg Onderzoek
Het Brancheprotocol Kwaliteitszorg Onderzoek (BKO), een algemeen onderzoek evaluatie framework/protocol van de Vereniging Hogescholen, is onderverdeeld in vijf standaarden, waarvan standaard 4 over de resultaten en de impact van het onderzoek gaat. Het huidige BKO (2016 – 2022) is in ieder geval toe aan ‘klein’ onderhoud, in die zin dat er diverse op zijn minst onhandige formuleringen in het protocol staan. Een voorbeeld hiervan is dat over impact gerapporteerd dient te worden op drie ‘gebieden, te weten: beroepspraktijk en samenleving, onderwijs en professionalisering, en kennisontwikkeling. Dit zijn niet dezelfde grootheden. Het is een mix van op wie de impact gericht is (beroepspraktijk, samenleving, onderwijs), en een typering van de impact zelf (professionalisering, kennisontwikkeling). Beter is om dit te beschouwen als twee aparte dimensies waarmee bijvoorbeeld een matrix kan worden gemaakt van gerichtheid van impact (doelgroepen zoals beroepspraktijk, onderwijs, wetenschap) en de intentie van de impact (kennisontwikkeling, kennisdeling, kennisimplementatie etc.).
Een ander voorbeeld is de presentatie van indicatoren. Voor de onderzoeksinspanning is dit voorschrijvend: er moet gerapporteerd worden over gerealiseerde inkomsten en personele inzet, waarbij precies is hoe te tellen zoals het aantal FTE’s. Voor het gebruik van onderzoeksresultaten is dit veel vrijblijvender geformuleerd: er wordt een mengelmoes aan mogelijke indicatoren genoemd en de hogeschool moet zelf de keuze maken welke indicatoren te gebruiken, als het er maar zes zijn. Een consequentie hiervan is dat er op landelijk niveau geen aggregatie mogelijk is en dus geen onderbouwing van het effect van praktijkgericht onderzoek. Dat is een reden dat we blijven zitten met voornamelijk anekdotisch bewijs om de waarde van praktijkgericht onderzoek aan te wijzen.
Een laatste voorbeeld is de nadruk op producten in het brancheprotocol. Naast publicaties worden weliswaar andersoortige producten genoemd zoals artefacten, demonstraties en onderwijsmodules, maar bijvoorbeeld het werken in netwerken wordt niet genoemd. In het huidige BKO komt het woord netwerk maar enkele keren voor en in het kader van impact alleen als voorbeeld van een indicator voor gebruik (‘participatie in netwerken’). Ook allerhande kennisinteracties zoals co-creatie sessies, trainingen, hackatons en afstudeerlabs zijn niet terug te vinden. Een meer systematisch overzicht van soorten onderzoeksresultaten zou helpen, zeker ook omdat dat soort overzichten voorhanden zijn (Spaapen & van Drooge, 2011; van Vliet et al., 2020).
Dat het huidige BKO onderhoud behoeft wordt ook onderkend door enkele rapporten die de afgelopen jaren verschenen zijn. De commissie Pijlman (Pijlman et al., 2017) bracht een advies uit over de kwaliteitscriteria voor praktijkgericht onderzoek. In aansluiting op de BKO constateert de commissie dat er behoefte is aan verduidelijking van met name standaard 3 (kwaliteit van onderzoek). De commissie Franken (Franken et al., 2018) richtte zich op de maatschappelijke waardecreatie van het praktijkgericht onderzoek, en daarmee voornamelijk op standaard 4 van het BKO. Ze maken zich hierin hard voor de term ‘doorwerking’ zoals al geëntameerd door de commissie Pijlman. Deze term doorwerking is niet nieuw in de context van praktijkgericht onderzoek. Zo wordt er al op gezinspeeld in het innovatiemodel dat geschetst wordt in het WRR rapport ‘Naar een lerende economie’ (2013). Nog eerder treffen we de term al aan in het beoordelingskader van de RAAK-regeling van SIA waar gesproken wordt over ‘duurzame doorwerking’ als één van de vijf pijlers (van Vliet & Slotman, 2006). De term doorwerking legt vooral de nadruk op het feit dat in de voorbereiding van een onderzoek en tijdens de uitvoering van het onderzoek al waarde wordt gecreëerd, ingegeven door de samenwerking met en in de praktijk. Alleen praten over impact als zijnde een resultaat (lang) na afloop van het onderzoek, heeft onvoldoende oog hiervoor. Met de term doorwerking lijkt dan ook meer recht te worden gedaan aan de aard van praktijkgericht onderzoek als gericht op interventies in de praktijk, met een kort-cyclische multidisciplinaire werkwijze in comakership met diverse verschillende stakeholders. In het rapport van de commissie Franken vindt er echter onvoldoende uitwerking plaats van wat de introductie van dit concept betekent voor standaard 4. Er is geen reflectie op wat dit betekent voor de evaluatie van het onderzoek, er is geen doorvertaling naar indicatoren, en de gegeven definitie van doorwerking is gebaseerd op een procestypering namelijk dat beïnvloeding ook tijdens en niet alleen na het onderzoek. Dat is een schrale definiëring, het zegt niets over de beïnvloeding zelf, met andere woorden wat de aard is van doorwerking.
Stof tot nadenken
Het ’to do’-lijstje voor het nieuwe BKO begint zo al aardig vorm te krijgen, en hoe belangrijk de genoemde punten ook zijn ze raken nog niet aan meer dieperliggende aspecten van het BKO die om een herbezinning vragen. Een zo’n dieperliggend vraagstuk is welk onderliggend perspectief op impactkader wordt gehanteerd? Het huidige BKO lijkt impliciet een zogenaamd logisch model te volgen. Een logisch model heeft tot doel een inzichtelijke roadmap te bieden hoe tot bepaalde resultaten te komen. Die roadmap bestaat uit een beschrijving van een causale keten van activiteiten en de verwachte opbrengsten. De meest simpele vorm van een logisch model is een keten van input – activiteiten – output – outcome – impact. In deze keten is een onderscheid te maken tussen geplande inspanningen (input en activiteiten) en verwachte resultaten (output, outcome en impact). Een belangrijke bijdrage van logische modellen is de aandacht voor uitkomsten en doorwerking van programma’s, in plaats van programma’s alleen te evalueren aan de hand van input (hoeveelheid budget) en activiteiten (verrichte inspanning). Het BKO spreekt over input, producten (output/outcome?) en gebruik/erkenning (impact?), maar is niet expliciet of dit gebaseerd is op onderliggend logisch model. Wordt zo’n logisch model gekozen dan dringt zich de vraag op hoe dit zich verhoudt tot het concept van doorwerking. Een logisch model ziet impact als resultante van een productieketen (mode 1 van Gibbon), doorwerking legt de nadruk op het proces van kennisontwikkeling, kennisuitwisseling en -toepassing die ontstaat in (complexe) interacties voor, tijdens en na het onderzoek (mode 2 van Gibbon).
Het gebrek aan een expliciet impactkader in het huidige BKO maakt ook dat de gepresenteerde indicatoren willekeur uitstralen. Kwantiteit is daarbij niet zo zeer het probleem, er is immers geen gebrek aan indicatoren als het gaat om impact van onderzoek. Zo telt Bornmann (2013) al zo’n 60 indicatoren op het gebied van sociale impact en in de 100+ indicatoren van multirank zitten tientallen indicatoren over onderzoek. Genoeg keuze dus, des te urgenter de vraag welke te kiezen. De keuze voor indicatoren moet worden gestuurd vanuit een samenhangend perspectief op het object van evaluatie, in dit geval praktijkgericht onderzoek. Dit perspectief zorgt er ook voor dat de gevonden waarden van de indicatoren in samenhang geduid kunnen worden. Omgekeerd geven de indicatoren relevant inzicht in hoe het gesteld is met het praktijkgericht onderzoek. Bovendien maakt een (gedeeld) raamwerk de communicatie over resultaten makkelijker en maakt het ook onderlinge vergelijkingen mogelijk. Een raamwerk dat vooral gericht is op kwantitatieve gegevens heeft het gevaar is zich dat cijfers los komen van de context waarin ze zijn ontstaan. Een ‘impact’-getal geeft weinig inzicht in voor wie die impact was, wat het effect is geweest van die impact, wat heeft bijgedragen aan het bereiken van de impact et cetera. Zeker in een evaluatieve context kan een getal een (nieuwe) betekenis krijgen van ‘te weinig’, ‘onder de norm’. Dit decontextualiseren van informatie in indicatoren en de indicator vervolgens weer contextualiseren voor het ‘afrekenen’ van programma’s is een realistisch gevaar. Een raamwerk dat indicatoren meer in de context van het onderzoek plaatst kan een veel betere duiding geven aan wat er daadwerkelijke aan de hand is. Dit laatste punt stipt een belangrijk punt aan, namelijk van de onderzoekscontext waarin impact wordt gecreëerd: als er sprake is van een grote verscheidenheid in doelen, uitvoering en resultaten van het praktijkgericht onderzoek, en dat is er (Vereniging Hogescholen, 2016), kan er dan wel met een gedeelde set van indicatoren aangereikt worden?
De vraag naar indicatoren van praktijkgericht onderzoek roept nog een andere vraag op, namelijk wat het doel is van het ‘meten’ van de stand van zaken van het praktijkgericht onderzoek? De huidige kwaliteitscycli van visitaties op basis van de BKO zijn toch vooral een terugkijken (ex post), een momentopname van wat is bereikt om zo tot kwalificaties te komen van onvoldoende, goed et cetera. De ruimte voor wijzigingen in de plannen (ex ante) is aanwezig door te vragen om zelfreflectie door de onderzoeksgroep maar blijft beperkt, niet in de laatste plaats door de cyclus van 6 jaar. Ruimte voor ‘realtime’ evaluatie komt al helemaal niet ter sprake. Dit hangt samen met het onderscheid tussen formatief en summatief, het onderscheid tussen een nadruk op leren in plaats van op verantwoorden. Er zijn methoden voorhanden die veel meer de nadruk op de kennisvergaring hoe impact bereikt kan worden en hoe dat beter kan, of dat is door impact pathways te analyseren of door veel nauwgezetter bijdragen van verschillende stakeholders in kaart te brengen. Hierbij is veel meer aandacht voor een verdere optimalisering van het onderzoeksproces, in de veronderstelling dat daarmee ook de doorwerking wordt vergroot. De BKO als gericht op het verbeteren van de kwaliteit van het praktijkgericht onderzoek zou dit formatieve meer kunnen uitdragen. Maar de vraag is of de BKO zo’n ‘soort’ evaluatiekader wil zijn of meer vasthoudt aan accountability?
Een agenda voor een nieuw BKO
De adviesrapporten van de commissie Pijlman en de commissie Franken worden beide gepresenteerd vanuit de constatering dat het belang van praktijkgericht onderzoek steeds meer gezien en benoemd wordt, en zelfs dat het praktijkgericht onderzoek “aan de vooravond staat van een nieuwe fase” (2017, p. 5). Ze staan niet alleen in dit soort typeringen van de ontwikkeling van het praktijkgericht onderzoek (Vereniging Hogescholen en Ministerie van OCW, 2018). Een nieuw BKO kan daar niet omheen. De volgende versie van het BKO kan niet volstaan met wat (redactionele) onderhoudswerk, hoe nuttig ook. Er is een aantal dieperliggende vraagstukken die bediscussieerd moeten worden. We noemen er hier drie in lijn met de eerder aangedragen punten:
- Welk impactkader wordt gekozen van waaruit naar de impact van praktijkgericht onderzoek wordt gekeken? De tekortkomingen van (simpele) logische modellen zijn niet onopgemerkt gebleven, niet in de laatste plaats door te toenemende gerichtheid van (praktijkgericht) onderzoek op relevante complexe maatschappelijke vraagstukken en de toenemende druk op accountability van publiek gefinancierd onderzoek. Dit heeft niet alleen geleid tot vele detailuitwerkingen van logische modellen voor verschillende toepassingsgebieden maar ook de introductie van vele (deel)oplossingen en alternatieve methodes voor het meten van (maatschappelijke) impact van onderzoek. Deze zullen bekeken moeten worden op hoe goed ze aansluiten bij de aard van het praktijkgericht onderzoek aan hogescholen (zie Coombs & Meijer, 2021).
- Hoe komen we tot een geaggregeerd beeld van de doorwerking/impact van praktijkgericht onderzoek gegeven dat we te maken hebben met de vele verschillende onderzoekscontexten en beroepspraktijken? De meningen of deze vraag überhaupt te beantwoorden is lopen uiteen. Een negatief antwoord hierop klinkt door in het rapport van de Commissie Franken: “Op basis van ervaringen in binnen- en buitenland en de wetenschappelijke literatuur mag de conclusie getrokken worden dat het nagenoeg onmogelijk is om een gemeenschappelijke set aan indicatoren voor alle hoger onderwijsinstellingen te vinden, te meer omdat de doelstellingen van het onderzoek en de praktijk in de verschillende onderzoeksgebieden vaak erg verschillen” (Franken et al., 2018, p. 28). Een positiever geluid is te vinden bij een EU expert groep aangaand ‘Policy indicators for Responsible Research and Innovation’ die een toolbox van kwantitatieve en kwalitatieve indicatoren voorstelt (zie van Drooge & Spaapen, 2017). Welk standpunt gaat het BKO hierin innemen?
- Wat voor soort protocol wil het BKO zijn? Ondanks dat er veel bereikt is in de afgelopen twintig jaar met het praktijkgericht onderzoek, is duidelijk dat er nog veel geleerd kan worden. Wordt er gekozen voor ‘accountability’ met bijvoorbeeld een precieze telwijze van het aantal FTE’s aan onderzoekers of wordt er gekozen voor een protocol waarin de drijvende vraag is ‘hoe of waarom werkt dit, voor wie en onder welke omstandigheden’? De nadruk op co-productie in het concept doorwerking betekent dat de vraag niet is of er impact is op die praktijk maar hoe die impact is ontstaan en die impact nog verder verbeterd kan worden (van Drooge & Spaapen, 2017). Of zijn dit twee perspectieven die verenigd kunnen worden?
De huidige BKO heeft te leiden onder de snelle ontwikkelingen van het praktijkgericht onderzoek en lijkt in sommige gevallen al over het hoofd te worden gezien door de eigen vereniging: “Hier [de doorwerking van het onderzoek] zou per instelling, maar bij voorkeur ook in verenigingsverband, studie en overleg over gestart mogen worden om te kijken hoe de doorwerking van praktijkgericht onderzoek binnen het hbo kan worden gemonitord” (Franken et al., 2018, p. 28). In ieder geval wordt de opdracht nog eens krachtig neergezet in een gezamenlijk statement van ministerie, regieorgaan SIA en de Vereniging Hogescholen om te “werken aan een systeem voor impactmeting” (2019, p. 9) met als stip op de horizon: “Hogescholen zijn in staat om structureel de impact van hun onderzoek kwalitatief en kwantitatief te duiden” (ibid., p. 4). Dat begint met het stellen van de juiste vragen.
Harry van Vliet & Sarah Cooms
Bronnen
Andriessen, D., van der Zwan, F., Vossensteyn, H., Paans, W., van Vliet, H., & van de Giessen, M. (2021). University of Applies Sciences Professional Doctorate. Leren interveniëren in complexe praktijken. Den Haag: Vereniging Hogescholen.
Bornmann, L. (2013). What is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of American Society for Information Science and Technology, 64(2), 217-233.
Brouns, M. (2016). Van Olympus naar agora. Een frisse blik op praktijkgericht onderzoek. Thema (4), 69-74.
Coombs, S. K., & Meijer, I. (2021). Towards evaluating the research impact made by Universities of Applied Sciences. Science and Public Policy, 1-9.
Franken, A., Andriessen, D., van der Zwan, F., Kloosterman, E., & van Ankeren, M. (2018). Meer waarde met HBO. Doorwerking praktijkgericht onderzoek van het hoger beroepsonderwijs. Den Haag: Vereniging Hogescholen.
Ministerie van OCW, Nationaal Regieorgaan Praktijkgericht Onderzoek SIA., & Vereniging Hogescholen. (2019). Verkenning praktijgericht onderzoek op hogescholen. Den Haag.
Ministerie van OCW, & Vereniging Hogescholen. (2018). Sectorakkoord hoger beroepsonderwijs 2018. Den Haag.
Pijlman, H., Andriessen, D., Goumans, M., Jacobs, G., Majoor, D., Cornelissen, A., de Jong, H. et al. (2017). Advies werkgroep Kwaliteit van Praktijkgericht Onderzoek en het Lectoraat. Den Haag: Vereniging Hogescholen.
Reiner, C., Bekke, H., Hooghiemstra, E., van Mil, T., de Ruiter, H., & Rullens,L. (2019). Centres of Expertise: groeibriljant voor excellente samenwerking in het hbo. In allianties werken aan maatschappelijke impact voor de toekomst. Den Haag: Vereniging Hogescholen.
Spaapen, J., & van Drooge, L. (2011). SIAMPI final report: Social Impact Assessment Methods for research and funding instruments through the study of productive interactions between science and society. Brussel.
van Drooge, L., & Spaapen, J. (2017). Evaluation and monitoring of transdisciplinary collaborations. The Journal of Technology Transfer. doi:https://doi.org/10.1007/s10961-017-9607-7
van Vliet, H., & Slotman, R. (2006). De regio als basis voor innovatie in het MKB. Thema, 6(1), 30-36.
van Vliet, H., Wakkee, I., Fukkink, R., Teepe, R., & van Outersterp, D. (2020). Rapporteren over doorwerking van Praktijkgericht Onderzoek. Amsterdam: Hogeschool van Amsterdam.
Vereniging Hogescholen. (2015). Brancheprotocol Kwaliteitszorg Onderzoek 2016 – 2022. Kwaliteitszorgstelsel Prakijkgericht Onderzoek Hogescholen. Den Haag: Vereniging Hogescholen.
Vereniging Hogescholen. (2016). Onderzoek met Impact: Strategische Onderzoeksagenda HBO 2016 – 2020. Den Haag: Vereniging Hogescholen.
Vereninging Hogescholen, Nationaal Regieorgaan Praktijkgericht Onderzoek SIA, & Netwerk Onderzoekscommunicatie Hogescholen. (2020). De (verborgen) waarde van praktijkgericht onderzoek bij hogescholen. 17 voorbeelden voor journalisten en programmamakers. Den Haag.
Wetenschappelikke Raad voor het Regeringsbeleid. (2013). Naar een lerende economie. Investeren in het verdienvermogen van Nederland. Den Haag: WRR.
Woertman, E., & Doove, J. (2019). Nationaal Platform Prakijkgericht Onderzoek. Utrecht: Surf.
