Participatory Research Evaluation Framework

Wat is het Participatory Research Evaluation Framework?

Het Participatory Research Evaluation Framework is een methodologisch raamwerk dat is ontworpen om de maatschappelijke effecten van participatief duurzaamheidsonderzoek vast te leggen en te evalueren. Participatief onderzoek betrekt niet-academische belanghebbenden, zoals overheden, bedrijven en burgers, bij het onderzoeksproces, met als doel oplossingen te ontwikkelen voor complexe maatschappelijke problemen, zoals klimaatverandering, stedelijke ontwikkeling en gezondheid.

Belangrijk element van het evaluatieraamwerk is dat het zich naast concrete onderzoeksresultaten ook richt op maatschappelijke veranderingen zoals verbeterde besluitvorming, versterkte netwerken, en duurzame transformaties. Het raamwerk richt zich dus op het meten van effecten op zowel korte termijn resultaten (zoals verbeterde kennis) en lange termijn resultaten (zoals gedragsveranderingen). Het onderscheid vier hoofdcategorieën van effecten:

1. Bruikbare producten (o.a. technologieën of actieplannen)
2. Versterkte capaciteit (o.a. kennisdeling en vaardighedenontwikkeling)
3. Netwerkeffecten (o.a. opbouwen van vertrouwen en samenwerkingsverbanden)
4. Structurele veranderingen (o.a. beleidswijzigingen en gedragsverandering)

Het raamwerk koppelt de effecten aan specifieke kenmerken van het participatieve onderzoeksproces om een mogelijke verklaring te vinden voor de effecten van het project. Deze kenmerken hebben namelijk een invloed op de bovengenoemde effecten. Deze kenmerken omvatten:

• De representativiteit van deelnemers (zorg dat alle relevante groepen zijn betrokken).
• De mate van interactie en samenwerking tussen onderzoekers en stakeholders.
• Transparantie in hoe de input van stakeholders wordt verwerkt in het onderzoek.

Dit raamwerk is vooral geschikt wanneer je onderzoek doet dat gericht is op het ontwikkelen van oplossingen voor complexe maatschappelijke problemen in samenwerking met niet-academische belanghebbenden. Denk hierbij aan onderzoek binnen duurzaamheidsthema’s zoals klimaatverandering, stadsplanning of volksgezondheid, waarbij beleidsmakers, bedrijven, gemeenschappen en maatschappelijke organisaties nauw betrokken zijn. Afhankelijk van de doelstellingen van het onderzoek en de betrokken partijen, kan het raamwerk voor verschillende redenen gebruikt worden:

• Evaluatie van maatschappelijke doorwerking: Het kan worden gebruikt door onderzoekers en financierende organisaties om te bepalen welke maatschappelijke effecten een bepaald participatief onderzoeksproject heeft gehad.
• Verbetering van het onderzoeksproces: Door de participatieve kenmerken van het onderzoek te koppelen aan de gemeten effecten, kunnen onderzoekers inzicht krijgen in wat werkt en wat niet. Dit kan helpen om toekomstige participatieve onderzoeksprojecten beter te ontwerpen en te optimaliseren.
• Beoordeling van programma’s of beleid: Overheden en beleidsmakers kunnen het raamwerk gebruiken om de effectiviteit van participatief onderzoek te beoordelen en te bepalen of het heeft bijgedragen aan beleidsverandering of de oplossing van maatschappelijke problemen.
• Rapportage aan belanghebbenden: Onderzoekers kunnen het raamwerk gebruiken om hun resultaten te communiceren aan een breder publiek, inclusief de niet-academische belanghebbenden die betrokken waren bij het onderzoek.

Hoe gebruik je het Participatory Research Evaluation Framework?

Figuur 1 geeft de stappen weer voor het gebruik van het Participatory Research Evaluation Framework. Het gebruik van het raamwerk verloopt via een viertal stappen waarbij verschillende onderzoeksmethoden worden ingezet.

De volgende stappen worden onderscheiden:

1. Identificatie van projecten (indien van toepassing): De eerste stap is om het selecteren van relevante onderzoeksprojecten gericht op het ontwikkelen van oplossingen voor complexe duurzaamheidsuitdagingen. Het kan gaan om één specifiek project, maar ook een programma bestaande uit verschillende projecten. Het is belangrijk dat deze projecten in samenwerking met belanghebbenden worden uitgevoerd. Na deze identificatie worden documenten (zoals verslagen en notulen) verzameld om een goed begrip te krijgen van de participatieve activiteiten binnen het project.
2. Documentanalyse: In deze stap worden de participatieve elementen van het project geanalyseerd, zoals events (e.g. workshops, focus groepen). Denk hierbinnen aan het proces (e.g. aantal events en motivatie van deelnemers om mee te doen) en de kwaliteit van de events (representativiteit van de relevante doelgroepen). Deze informatie wordt gevisualiseerd in een storyboard, dat een chronologische weergave biedt van de participatieve activiteiten binnen het project. Dit storyboard helpt bij het vaststellen van mogelijke maatschappelijke effecten die aan het project kunnen worden toegeschreven.
3. Enquête en analyse: Om een gedetailleerde evaluatie te maken van de effecten, wordt een enquête gehouden onder de betrokken belanghebbenden. Deze enquête bevat vragen over hun betrokkenheid bij het project en de waargenomen effecten ervan, zoals verbeterde kennis of netwerken. Statistische methoden, zoals correlatie- en regressieanalyse, kunnen worden gebruikt om te onderzoeken hoe specifieke kenmerken van het participatieve proces, zoals het aantal evenementen of de mate van interactie tussen de belanghebbenden, samenhangen met de gemeten maatschappelijke effecten. Hierdoor wordt het mogelijk om bijvoorbeeld vast te stellen of een intensievere samenwerking tussen belanghebbenden heeft geleid tot sterkere netwerkeffecten of verbeterde besluitvorming.
4. Interviews en verdiepende analyse: Naast de enquête worden interviews gehouden met projectdeelnemers om aanvullende informatie te verzamelen over de waargenomen effecten. Deze interviews geven vaak diepgaandere inzichten in hoe de participatieve activiteiten hebben bijgedragen aan specifieke maatschappelijke resultaten. Deze kwalitatieve gegevens worden vervolgens geanalyseerd om de attributie van effecten aan specifieke participatieve elementen van het project verder te valideren.

Een van de uitdagingen van het gebruik van het raamwerk is de tijdsvertraging tussen het einde van het project en de zichtbare maatschappelijke effecten, zoals beleidsveranderingen of structurele transformaties. Het is daarom essentieel om het raamwerk zowel tijdens als na het project te gebruiken om zowel kortetermijn- als langetermijneffecten te meten. Het combineren van verschillende methodologische benaderingen, zoals het verzamelen van real-time gegevens tijdens het project en het uitvoeren van post-projectevaluaties, kan helpen om een completer beeld te krijgen van de maatschappelijke doorwerking.

Voorbeeld: Project Planlt Calgary

Een casestudy die wordt genoemd is het project “PlanIt Calgary,” waarin participatieve methoden werden gebruikt om duurzaamheidsprincipes te integreren in stadsontwikkeling. Dit project betrok stakeholders zoals gemeentelijke instanties, burgers en experts in interactieve workshops en enquêteprocessen. Een specifiek resultaat was de ontwikkeling van gevisualiseerde scenario’s voor stedelijke patronen, die de basis vormden voor verdere beleidsvorming. Het project demonstreerde hoe participatieve evenementen konden leiden tot verbeterde besluitvormingscapaciteit en bredere maatschappelijke betrokkenheid bij duurzaamheidsdoelen.

Waar komt het Participatory Research Evaluation Framework vandaan?

Het raamwerk is gebaseerd op een uitgebreide literatuurstudie en een workshop met belanghebbenden, inclusief overheden en bedrijven. Het doel was om een systematisch en praktisch toepasbaar schema te creëren dat de maatschappelijke effecten van participatief duurzaamheidsonderzoek kan vastleggen.

Participatory Research Evaluation Framework vindt zijn oorsprong in een aantal wetenschappelijke benaderingen en methodologische tradities die zich richten op het betrekken van niet-academische stakeholders bij de productie van kennis en oplossingen. Het is ontstaan uit kritiek op traditionele academische onderzoekspraktijken die vaak weinig directe maatschappelijke impact hebben. De ontwikkeling van het raamwerk vond plaats binnen de bredere context van vernieuwende onderzoeksbenaderingen, zoals transdisciplinair onderzoek. Binnen deze typen onderzoek werken wetenschappers nauw samen met niet-academische belanghebbenden om oplossingen te ontwikkelen voor complexe maatschappelijke uitdagingen. Het raamwerk bouwt voort op eerdere inspanningen om de bredere maatschappelijke doorwerking van onderzoek vast te leggen, maar biedt een meer gestandaardiseerde en toepasbare benadering die geschikt is voor verschillende soorten participatief duurzaamheidsonderzoek.