Het toewerken naar een geïntegreerde onderwijs/onderzoeksomgeving betekent dat we ook tegen de vraag gaan aanlopen hoe we gaan beoordelen of het goed gaat en waar we de (on)tevredenheid over de uitkomsten op baseren. Een goed startpunt voor de beantwoording van die vraag is om na te gaan hoe je tegen beoordeling van onderwijs en onderzoek afzonderlijk kan aankijken. Dan kunnen we beter bepalen of we op zoek moeten gaan doen naar nieuwe beoordelingscriteria of bestaande criteria kunnen gaan integreren. Hieronder zal ik kort aangeven hoe je naar beoordeling van onderzoek kunt kijken.
De vraag naar criteria voor de beoordeling van onderzoek kan op verschillende manieren worden beantwoord. Een manier is om een aantal onderzoekers lijstjes te laten maken van criteria en daar consensus over zien te bereiken. Daar zal best iets zinnigs uit komen, hoewel we niet moeten onderschatten hoe verschillend onderzoekers denken over de waarde van hun onderzoek, of eigenlijk de waarde van andermans onderzoek. Dit is niet alleen het geval tussen disciplines maar ook in dezelfde discipline. Zeker als er criteria ‘gewogen’ moeten worden kan er zo maar een ‘methodenstrijd’ losbarsten. Een andere manier is te lenen van wat er al is. Onderzoek wordt vaak uitgevoerd in projectvorm, en veel onderzoeksgeld is gekoppeld aan onderzoeksprogramma’s. De verleiding is dan al snel om projectcriteria te gaan gebruiken voor de beoordeling van onderzoek, zoals procesindicatoren (doorlooptijd) en outputindicatoren (deliverables). Dan krijg je situaties dat je als onderzoeker bij de aanvraag van een meerjarig onderzoek al moet aangeven wat je na zoveel jaren van onderzoek precies gaat opleveren…
Er kan ook voor een manier worden gekozen waarin gebruik wordt gemaakt van (filosofisch) onderzoek naar wat onderzoek is en hoe het werkt. Daarmee wordt niet alleen recht gedaan aan het systematisch nadenken over beoordelingscriteria (het is meer dan een lijstje) maar ook wordt meer tegemoetgekomen aan de eigenheid van onderzoek (het valt niet samen met zoiets als een project). Om de vraag naar criteria voor onderzoek te kunnen beantwoorden is dus een framework nodig waarin de soorten van criteria systematisch in kaart worden gebracht die recht doen aan de eigenheid van onderzoek. Een mogelijk beginpunt is het in de wetenschapsfilosofie gemaakte onderscheid tussen de context of discovery en de context of justification. Het is het verschil tussen de vragen ‘Hoe kom je tot een onderzoeksvraag?’ en ‘Hoe beantwoord je de onderzoeksvraag?’.
De context of discovery gaat over de manier waarop tot een te onderzoeken vraag wordt gekomen. Het antwoord kent een bandbreedte van de lone genius met een geniale ingeving tot het monnikenwerk van eindeloos observeren en uitpluizen wat uiteindelijk leidt tot een vraag. De wetenschapsgeschiedenis is rijk aan voorbeelden hiervan. De vraag is of deze context of discovery onderhevig is aan een bepaalde logica, bepaalde heuristische regels kent waaraan je kan afmeten of het ‘goed gaat’ (proces) en relevant is (output). Die laatste is zeker interessant want waar haal je die relevantie vandaan? Met andere woorden, welke ‘peers’ of communitas bekrachtigen die relevantie: zijn dit de onderzoekscollega’s en/of zijn dit de beroepsprofessionals in een specifiek domein. Het onderzoek aan de hogescholen kenmerkt zich door de relevantie primair bij de beroepsprofessional te halen of in de mond te leggen… Je zou hier dus kunnen spreken van niet zozeer praktijkgericht alswel praktijk gebaseerd onderzoek, dat tot stand is gekomen middels, om een modieuze term te gebruiken, vraagarticulatie.
De context of justification gaat over hoe een onderzoeksvraag wordt beantwoord en dan vooral de legitimering van de juistheid, de accuratesse van het antwoord. Dit vatten we veelal samen in de zogenaamde ‘wetenschappelijke methode’, met alle discussie die daarbij horen. Ook daar is de wetenschapsgeschiedenis rijk aan voorbeelden. Er zijn handboeken, gedragscodes en commissies die dit sturen en toetsen. Binnen het gilde van de onderzoekers spreken we elkaar aan als professionals om die legitimering zo transparant mogelijk te maken en gezamenlijk bij te dragen aan de ‘vooruitgang’ van de wetenschappelijke kennis. In de zin is het altijd onderzoek, niet toegepast of academisch onderzoek, gewoon onderzoek. Er is niets eigens aan de context of justification van onderzoek aan hogescholen, helemaal niets.
Een aspect dat met deze twee contexten onderbelicht blijft is de consequentie die de onderzoeksresultaten hebben oftewel: wat gebeurt er vervolgens mee? Eigenlijk is er een context of application nodig. Hier wordt overigens zorgvuldig dat andere modieuze woord van valorisatie vermeden. Valorisatie is verbonden met een opvatting van innovatie als een lineair en rationeel proces (onderzoek – ontwikkeling – productie – markt), opererend vanuit uitsluiting (sterke positie gevestigde partijen, regionale concentratie, vaststaande uitkomsten) en een te sterke nadruk leggend op technologie en wetenschap, lees R&D. Een redeneerwijze zo prachtig door de politiek, lees: Maxim Verhagen, opgepakt en platgeslagen in het adagium: kennis – kunde – kassa. Een andere opvatting is om innovatie te zien als een proces met onvoorspelbaarheid als wezenlijk kenmerk. Onvoorspelbaarheid is een gevolg van een evolutionair perspectief op innovatie waarin dingen kunnen ontstaan zonder concrete doelen vooraf, gevolgd door een brede verspreiding van wat succesvol blijkt te zijn. De nadruk komt eerder te liggen op efficiënte selectie van ideeën en uitwerkingen. Dus een context of application… Daar ligt de uitdaging om criteria te formuleren omdat we begrijpen dat die ‘toepassing’ niet geheel gedekt wordt door publicatie aantallen in peer-reviewed tijdschriften. Wat zijn die andere toepassingen dan, welke verschijningsvormen kennen ze en misschien wel belangrijker welke onderliggende criteria kunnen worden geformuleerd? Gaat het om hoe ‘open’ die toepassing is, hoe ‘generiek of specifiek’ die toepassing is, gaat het om bereik, om wie je bedient met de toepassing et cetera.
De discussie over beoordelingscriteria voor onderzoek kan preciezer worden gevoerd door een raamwerk te hanteren dat rekening houdt met de eigenheid van onderzoek. Een onderscheid maken tussen de contexten van discovery, justification en application, kan daartoe een aanzet zijn.
Harry van Vliet
* Deze tekst is eerder verschenen in 2017 op de website van het AMOO (Amsterdams Model Onderwijs en Onderzoek).
