TOOLKIT
—————
PROJECTEN EVALUEREN

HOE EN WAAROM?

MET DANK AAN VICE VERSA EN MARUSJA AANGEENBRUG

De informatie in deze toolkit is tot stand gekomen op basis van een special in Vice Versa over projectevaluatie.
De informatie in de toolkit is een samenvatting van het oorspronkelijke artikel geschreven door Marusja Aangeenbrug.

PROJECTEN EVALUEREN

Er zijn verschillende methodes om een project te evalueren. De Amerikaanse evaluatie-expert Michael Quin Patton vertelde tijdens een expertseminar aan de Wageningen Universiteit dat hij 150 verschillende methoden op een rijtje had gezet. Niet iedere evaluatie methode is geschikt voor een klein project.
Er bestaat überhaupt geen gouden standaard. Evaluatie is maatwerk. Dit zijn de 3 belangrijkste aandachtspunten van Patton:

1.Bij evalueren draaide het lange tijd vooral om verantwoording over afgebakende projecten, inmiddels gaat het om het krijgen van inzicht en het veranderen van complexe situaties.

2. Evaluaties worden op uiteenlopende manieren kenbaar gemaakt. Het papieren rapport lijkt bijna ouderwets, want het delen van de uitkomsten gebeurt steeds vaker op visuele manieren, zoals foto’s en video’s. De aandacht verschuift ook van studies naar streams: van de dikke evaluatierapporten stappen we steeds vaker over op online dataverzameling. We gebruiken internet en sociale media om continu informatie te delen over de voortgang van het project.

3. Verifieerbare uitkomsten: evaluaties mogen geen ruimte laten voor inconsistenties. Deze trend is mede ingegeven door de roep om verantwoording: publiek en politiek willen bewijzen zien.
Met name door de vraag naar ‘bewijzen’ is het ook voor kleine stichtingen raadzaam te denken aan een vorm van evaluatie, ook al hebben zij geen verantwoording af te leggen aan een subsidiegever. Want ook de donateur van een stichting weet graag wat er met zijn/haar geld is gebeurd en tot welke resultaten dat heeft geleid. Uw website of facebookpagina leent zich goed voor rapportage over de voortgang en resultaten van uw project. Op deze pagina staan verschillende methoden van projectevaluatie kort beschreven en dienen ter inspiratie.

Kwantitatief versus kwalitatief
Grofweg zijn de evaluatiemethoden in te delen in kwalitatieve en kwantitatieve methoden. Kwantitatief onderzoek draait, simpel gezegd, vooral om de cijfers. Men ondervraagt een grote groep mensen met een standaard vragenlijst om resultaten op tafel te krijgen die met elkaar vergeleken kunnen worden. Bij kwalitatief onderzoek gaat het meer om het verhaal er achter.
Kwalitatieve methoden zijn bovendien vaak participatief: de mensen voor wie het ontwikkelingsproject bedoeld was, werken zelf mee aan de evaluatie. Steeds vaker gebruiken evaluatoren mengvormen. Ze zetten bijvoorbeeld een kwalitatieve methode in en voeren een survey uit om kwantitatieve gegevens te verzamelen. De methode die u kiest is mede afhankelijk van de intenties die u hebt. Als u wilt weten welk effect een programma heeft gehad op een dorpsgemeenschap, kunt u outcome mapping gebruiken. Maar ook een eventuele subsidiegever (vermogensfonds, Wilde Ganzen) heeft een vinger in de pap: die vraagt om verantwoording voor een goed beeld van de resultaten. Mike Zuijderduijn van MDF Training & Consultancy vindt die focus op verantwoording jammer. Want van een kwalitatief onderzoek (met participatie van de doelgroep) leert de lokale partner óók.

Hiernaast staan een paar evaluatiemethoden beschreven waaruit u inspiratie kunt putten om de voortgang, het resultaat en misschien zelfs de impact van uw eigen projecten monitoren. Niet alle beschreven methoden zijn even geschikt voor kleine stichtingen.

Most significant Change Method
Kwalitatieve methode waarbij mensen uit de doelgroep hun ervaringen vertellen. Zij geven aan in hoeverre hun leven is veranderd in een bepaalde periode. Deze verhalen breng je onder in verschillende categorieën, zoals bijvoorbeeld werkgelegenheid en huisvesting.
Vervolgens redeneer samen met de mensen om wie het gaat terug: welke veranderingen waren het belangrijkst en in hoeverre heeft het project bijgedragen aan de veranderingen?

Timeline analysis
Kwalitatieve, participatieve methode waarin betrokkenen de geschiedenis reconstrueren door aan te geven op welke momenten er verandering optrad op bepaalde terreinen.

Participatory Assessment of Development (PADEV)
PADEV is een nog experimentele, kwalitatieve methode die de ervaringen van de lokale bevolking als uitgangspunt neemt. Onderzoekers vragen de lokale bevolking in hoeverre hun leven is veranderd gedurende een lange periode (bijvoorbeeld 30 jaar) en welke externe factoren (zoals projecten en subsidies, maar ook oorlogen) daarop van invloed zijn geweest. De respondenten leggen zelf causale verbanden en geven vervolgens een waardering aan de ontwikkelingen. PADEV is ontwikkeld voor complexe situaties, zie ook www.padev.nl

Logical Framework
Een logical framework of kortweg en logframe is een instrument om de meest belangrijke kenmerken van een project of een programma in een matrix te omschrijven. Ze wordt gebruikt voor de planning, het bijsturen en het evalueren van het projecten. De methode wordt vooral gebruikt door overheden en multilaterale instellingen.

Result Chain Analysis
Dit is een variant van de logframemethode die uitgaat van 4 stadia die ook voor kleine stichtingen te definiëren zijn:
-Input (bijvoorbeeld: een organisatie geeft een cursus om een groep mensen te helpen hun managementvaardigheden te verbeteren)
-Output (X mensen hebben de cursus gevolgd)
-Outcome (het effect van de cursus: wat hebben ze geleerd, wat doen ze met die kennis?)
-Impact (wat is het sociaal economisch effect hiervan? Met andere woorden, wie profiteert allemaal van de verbeterde kennis van de groep cursisten?)
Door stapsgewijze terug te redeneren, kun je vaststellen in welke mate deze stadia zijn bereikt.

Outcome mapping
Participatieve methode om stapsgewijze te werk te gaan en terug te redeneren, maar dan op een minder strakke manier dan in een logframe. De nadruk ligt op het meten van gedragsverandering. Het verschilt per situatie hoeveel fases je hierbij in kaart brengt. De mensen uit de doelgroep geven zelf aan in welk stadium ze op dat moment denken te zitten. Zie ook: www.outcomemapping.ca