Contextuele Respons Analyse

Wat is het Contextuele Respons Analyse?

Contextuele Respons Analyse (CRA) biedt inzicht in waar, hoe en door wie resultaten van onderzoek worden gebruikt. Meer precies brengt het in kaart welke maatschappelijke actoren, op welke manier gebruik maken van onderzoek. CRA is ontwikkeld door Ad Prins, die het heeft toegepast in evaluaties van maatschappelijke impact van onderzoeksinstituten en planbureaus.

Een CRA is bij uitstek geschikt om inzicht te krijgen in doorwerking van onderzoek. Het uitgangspunt is dat het mogelijk is om sporen van gebruik van onderzoek te vinden en dat die sporen, of de respons, van belang zijn. Want zo’n respons betekent dat een actor moeite heeft gedaan om naar de resultaten van onderzoek te verwijzen.

Een CRA biedt inzicht in de hoeveelheid respons. Maar nog interessanter is dat het ook inzicht biedt in de soort respons en gebruik: positief of negatief, alleen een algemene verwijzing, ook een beschouwing, of misschien wel een nadruk op een bepaald aspect. Bovendien laat een CRA ook zien wie of wat dat doet.

CRA is deels in lijn met traditionele citatie analyses, want beide methoden hechten belang aan een citatie, of aan respons, door een gebruiker. Dat is een belangrijke indicatie van verder gebruik, want er is die actor die moeite doet. Maar CRA is ook een reactie op die traditionele citatie analyses en maakt echt andere keuzes. Een CRA kan namelijk starten met heel verschillende resultaten van onderzoek zoals een boek of rapport, een tool of term, terwijl traditionele citatie analyses vooral starten met wetenschappelijke publicaties. Daarnaast staan bij een CRA juist maatschappelijke gebruikers en maatschappelijke bronnen centraal, zoals de zoekmachines en krantenbanken, en niet de wetenschappelijke gebruikers en wetenschappelijke tijdschriften en conferenties. Tenslotte gaat het bij een CRA ook om het soort respons, de manier waarop naar het onderzoek wordt verwezen. En dat biedt inzicht in maatschappelijke waardering voor onderzoek.

Hoe gebruik je Contextuele Respons Analyse?

Een CRA start met het bepalen over welke resultaten van onderzoek de analyse gaat. Dat kunnen alle rapporten zijn uit een bepaalde periode, zoals bij de CRA van de Onderwijsraad. De analyse was in het kader van een evaluatie, en dus besloeg de analyse alle rapporten uit de periode onder evaluatie. Het kan ook een boek zijn, dat (mede) geschreven is voor een maatschappelijk publiek, zoals “De depressie epidemie” van Trudy Dehue of “Winnaars en verliezers. Een Nuchtere Balans Van Vijfhonderd Jaar Immigratie” van Leo & Jan Lucassen. Of het is een langdurend panel of monitor, zoals bij de CRA van het Amsterdam Institute for Social Science Research, dat bijdraagt aan het “Continu onderzoek burgerperspectieven”, of bij de CRA van het Planbureau voor de Leefomgeing, die de “Monitor Infrastructuur en Ruimte” uitvoert.

Dat zoeken gebeurt via systematische opdrachten in verschillende bronnen. Bijvoorbeeld in algemene internet zoekmachines als Google en Bing. De zoekmachine selecteert bijvoorbeeld websites van belangenorganisaties, die reageren op een rapport, of de website van de uitgeverij van een boek, of bijdragen op social media. Het systematisch nagaan van de resultaten is noodzakelijk, bijvoorbeeld om vals positieve resultaten uit te sluiten. De resultaten kunnen vervolgens op verschillende manieren worden geclassificeerd. Bijvoorbeeld naar functie van de site, zoals een kennisplatform, een repository of bibliotheek, of een weblog. Daarnaast is het ook mogelijk om de sector te classificeren die de verwijzing vertegenwoordigt, zoals opleiding, overheid, politiek, media, of de culturele of sociale sector. Dit soort nadere classificaties biedt inzicht in het soort gebruik.

Ook kan voor de respons in meer specifieke bronnen worden onderzocht. Denk bijvoorbeeld aan de commissieverslagen van vergaderingen in de Tweede Kamer of een gemeenteraad. De analyse kan dan dieper ingaan op wie op welke manier verwijst naar de resultaten van onderzoek. Welke partij verwijst hoe vaak naar het onderzoek, in welke debatten doen ze dat, en wat zeggen ze dan? Halen ze het onderzoek aan als waardevol, verwijzen ze naar een specifiek aspect dat in hun politieke visie past, of melden ze dat ze het oneens zijn met de inzichten?

Een andere specifieke bron is die van de dagbladen. Een analyse van respons in de dagbladen die in Nederland verschijnen kan inzicht bieden in uiteenlopende aspecten. Bijvoorbeeld naar het soort krant dat verwijst, zoals een landelijk dagblad of een regionale krant. Of naar het soort verwijzing. Gaat het om een opiniestuk van de onderzoekers zelf, waar de krant verder niet achter hoeft te staan, of om een interview dat redacteuren hebben gevoerd met de onderzoekers, of wordt het onderzoek als een degelijke informatiebron genoemd (“volgens het rapport van…”).

Bij al die analyses kan het moment van de respons interessant zijn. Is de respons ten tijde van de publicatie van de resultaten, als de onderzoekers op respons hopen of het verwachten? Of is het veel later, bijvoorbeeld als er ontwikkelingen zijn waar het onderzoek weer relevant voor is. Zoals bijvoorbeeld gebeurde toen een Tweede Kamerlid zei: “Afgelopen jaar nog waarschuwde de Onderwijsraad….”

Het kan soms praktisch gezien noodzakelijk zijn om het aantal onderzoeksresultaten te beperken. Zo is bij de CRA van de Onderwijsraad voor de parlementaire respons gebruik gemaakt van alle 24 rapporten uit de periode van de evaluatie. Voor de andere respons analyses is gebruik gemaakt van 6 rapporten die representatief zijn voor de periode.

Tenslotte kan het handig zijn om aanvullende zoektermen te gebruiken, om meer specifieke respons te vinden. Een van de rapporten bij de CRA van de Onderwijsraad gaat over de toenemende invloed van bijles instituten. Voor de analyse van kranten respons zijn ook de termen “bijlesindustrie” en “schaduwonderwijs” gebruikt, termen die specifiek in het rapport staan.

Waar komt Contextuele Respons Analyse vandaan?

Ad Prins ontwikkelt de Contextuele Respons Analyse gedurende een langere periode. Beginpunt is het project SIAMPI, ook wel bekend van de introductie van het begrip “productieve interacties”. In de jaren na die eerste aanzet voert Ad Prins analyses uit voor een scala aan onderzoeksinstituten en -afdelingen die interesse hebben in de maatschappelijke respons, het maatschappelijk gebruik, van de resultaten van hun onderzoek. Dat biedt de mogelijkheid om de methode verder te ontwikkelen.

De gebruikte voorbeelden komen uit Contextuele Respons Analyses die Ad Prins in het afgelopen decennium heeft uitgevoerd.