Hoe toon je aan dat jouw onderzoek een verschil heeft gemaakt? Er zijn veel verschillende methoden die kunnen helpen bewijs te verzamelen om doorwerking zichtbaar te maken. In Pedersen, Grønvad & Hvidtfeldt (2020) worden de meest gebruikte methoden beschreven. Aan de hand van een literatuurstudie naar impactonderzoek komen de auteurs tot onderstaande conclusies en inzichten. De beschrijving begint bij de populairste methode van impactevaluatie.
Interviews
Impactinterviews worden genoemd als een van de nuttigste informatiebronnen en zijn de meest gebruikte methode (ruim 40 procent) om impact van onderzoek aan te tonen. Interviews worden ingezet om uit eerste hand inzicht te verkrijgen in de samenwerking binnen het onderzoek en de manier waarop kennis is ontwikkeld, gedeeld en toegepast. Vaak worden ook niet-onderzoekers en (eind-)gebruikers geïnterviewd en gevraagd te reflecteren op hoe en welke doorwerking is bereikt.
Case studies
Een andere populaire methode om impact inzichtelijk te maken zijn: case studies. Deze worden ingezet om de (complexe) samenhang in een specifiek geval van activiteiten en samenwerking te beschrijven om zo aan te tonen wat heeft bijgedragen aan de doorwerking van het onderzoek in de praktijk. Het geeft onderzoekers en anderen de mogelijkheid een coherent narratief te produceren, dat beschrijft wie of wat heeft geprofiteerd of is beïnvloed door het onderzoek. Een voordeel van deze methode is dat er een breed scala aan impactpaden (bijv. beleid, cultuur) kunnen worden beschreven en aangetoond, die minder goed uit de verf komen bij een meer kwantitatieve benadering.
Enquêtes
In 40 procent van de onderzochte evaluaties worden vragenlijsten gebruikt. Enquêtes worden vooral ingezet voor het verzamelen van gegevens over zaken als motivatie, waargenomen barrières en relationele ervaringen. Vragenlijsten maken het mogelijk om een vergelijkende analyse te maken in tijd en onder verschillende doelgroepen tijdens het onderzoeksproces.
Peer review
Peer review is de overkoepelende term voor een op expertise gebaseerde beoordelingspraktijk; experts of collega’s beoordelen het onderzoek of delen daarvan, bijvoorbeeld op wetenschappelijke excellentie of (sociale) impact. Deze methode om doorwerking inzichtelijk te maken kan tijdens elke fases van het onderzoek worden ingezet: bij de toewijzing van onderzoeksfinanciering of voor tussentijdse – en eindevaluatie.
Statistieken
Bij ruim een derde van de onderzochte impactstudies wordt statistieken ingezet om onderzoeksinfrastructuren, zoals inkomsten, opleidingsniveau van de onderzoekers en wetenschappelijke prijzen te beschrijven. Statistieken maken het mogelijk ontwikkelingen in tijd en tussen onderzoekseenheden te volgen.
Data over commercialisering
Deze data worden vaak gebruikt om economische effecten van onderzoek te onderbouwen. De gebruikte standaardindicatoren zijn: octrooien, licenties, gezamenlijk onderzoek en ontwikkeling, financiering door partners, spin-outs en spin-offs. Commercialiseringsgegevens kunnen ook de formele en contractuele relaties tussen onderzoekers en stakeholders weergeven.
Bibliometrics
Bibliometrics is een statistische methode om individuele wetenschappelijke prestaties te beoordelen en te rangschikken en de impact van onderzoek te onderbouwen aan de hand van het aantal publicaties, citaties en co-auteurschappen. Bibliometrische gegevens kunnen ook informatie geven over onderzoekoutput, zoals datasets, software, financiering en netwerken van onderzoekers. Deze analyses dragen dan bij aan de objectiviteit en transparantie van het onderzoeksevaluatieproces en geven een overzicht van publicatiepatronen en wetenschappelijke netwerken, die anders niet zo snel aan het licht komen vanuit het perspectief van een individuele onderzoeker.
Impact plannen en veranderingstheorie
Impact plannen kunnen met terugwerkende kracht worden ontwikkeld om de context, activiteiten en resultaten van een onderzoek en de maatschappelijke doorwerking ervan te beschrijven. Ook vooraf kan in kaart worden gebracht welke activiteiten en interventies kunnen bijdragen aan het na te streven doel. Vaak wordt hiervoor een theory of change gebruikt, die fungeert als een routekaart die de betrokkenen bij het project begeleidt en de maatschappelijke doorwerking laat zien. Gedurende het onderzoeksproces wordt er regelmatig getoetst; ‘wordt er onderzocht wat er onderzocht moet worden?’. Zo worden bijvoorbeeld aannames en indicatoren gefilterd en – waar nodig – geherformuleerd.
Workshops en focusgroepen
Deze methoden zijn een georganiseerde vorm om discussies te faciliteren tussen onderzoekers en stakeholders. De methoden worden toegepast in verschillende fasen van een beoordelings- en onderzoeksproces. Workshops kunnen in een vroeg stadium worden gebruikt om onderzoekers en stakeholders bij elkaar te brengen om ideeën te produceren en gedeelde doelstellingen op te stellen. Ook worden ze achteraf ingezet om onderzoeksresultaten en de waardering en het gebruik ervan te helder te krijgen en de doorwerking aan te tonen.
Evaluatie van stakeholders/(eind-)gebruikers
In deze methode spelen stakeholders en/of (eind-)gebruikers een rol bij het ontwikkelen, het uitvoeren en/of het beoordelen van het onderzoek. Doel is een grotere deelname en betrokkenheid bij het onderzoeksproces en een (meer) substantiële inbedding van de onderzoeksresultaten in de (beroeps-)praktijk. Het betrekken van stakeholders in het gehele onderzoeksproces kan leiden tot coproductie van kennis en evaluatieve indicatoren.
Impact repositories
Databases en repositories maken deel uit van de Open Science-agenda van Europese overheden. Databases maken het mogelijk om individuen (collega’s binnen hogescholen en universiteiten en medewerkers buiten de onderzoekswereld) te vinden. Ze worden ook gebruikt om onderzoeksresultaten en -gegevens te delen om een bredere verspreiding over projecten en velden te bevorderen. Repositories vergemakkelijken studies naar impactgegevens en helpen bij het inzichtelijke maken van doorwerking op verschillende terreinen.
Altmetrics
Altmetrics maakt het mogelijk communicatie over en het delen van (onderzoeks-)resultaten via sociale media en digitale platformen in kaart te brengen. Het gaat hierbij om berichten en posts op bijvoorbeeld Twitter, Facebook, blogs, Mendeley, CiteULike of Impact Story. Ook beleidsrapporten, white papers of handleidingen kunnen via altmetrics worden gevonden. Uit deze bronnen kunnen verschillende vormen van data worden verzameld, variërend van citaten, views, downloads, clicks, tweets, shares, likes, bookmarks en commentaren die verder gaan dan de traditionele bibliometrische gegevens. Altmetrics biedt de mogelijkheid om big data te verzamelen, waardoor het delen van (onderzoeks-)resultaten en de effecten op wetenschappelijke gesprekken in de digitale sfeer kunnen worden gekwantificeerd.
Impact tracking
Deze methode is sterk verwant aan ‘impact plannen’, maar stelt minder voorwaarden aan het planmatige. Bij impact tracking gaat het om het traceren van ‘impact pathways’: vooruit denkend vanuit een onderzoeksdoel naar activiteiten en resultaten, of terugdenkend vanuit een bepaalde impact proberen te achterhalen welke resultaten en activiteiten daartoe geleid hebben.
Review en analyse van documenten
Uit het literatuuronderzoek van Pedersen, Grønvad & Hvidtfeldt blijkt dat bij 10 procent gebruik wordt gemaakt van documentanalyses. Deze analyses hebben betrekking op documenten (beleidsplannen, projectplannen, visiedocumenten, evaluatierapporten etc.) om de context van het onderzoek te achterhalen en daarmee de behaalde resultaten beter te kunnen duiden. Dit kan ook (deels) geautomatiseerd door text mining.
Veld-/locatiebezoeken
Het bezoeken van locaties (fieldlabs, ateliers, werkplaatsen, labs, onderzoeksruimten) kan een extra dimensie geven aan evaluaties door het direct observeren van de werkomstandigheden, bedrijvigheid en manier van werken en communiceren. Zeker als met de mensen ter plekke kan worden gesproken over ervaringen, wensen en strategieën.
Esther Tielen
