Deze
keer slechts een artikel: in de zomer is er weinig nieuws en wil ik
vooral veel lezen in de honderd + rapporten en publicaties die ik de
afgelopen 2,5 jaar heb verzameld.
Eind maand werd een overzicht
gepubliceerd van impactmeting in de praktijk van en voor goede doelen
in Nederland door het Centraal Bureau Fondsenwerving, CBF, de
geaccrediteerde en certificerende instelling voor fondsenwervende
instellingen en kansspel begunstigden.
GELEZEN
Resultaat-
en impactmeting voor goede doelen Op weg naar beter evalueren,
meten en verantwoorden van bestedingen. Drs E.M. Ten Hoorn
(CentraalBureauFondsenwerving) en drs W.M. Stubbe (CSR Academy)
Centraal Bureau Fondsenwerving Amsterdam. Vlinderend geefgeld
Schenkt het best uit onszelf Effect van vertrouwen
(op de achterkant)
Door
wie en waarom?
Recent
gepubliceerd door het Centraal Bureau Fondsenwerving dat de inkomsten
van goede doelen gerubriceerd registreert, online openbaar maakt en
keurmerken geeft. De intentie is om een impuls te geven aan
resultaat- en impactmeting door goede doelen door in de handreiking
modellen en instrumenten te presenteren met hun toepassing, sterke en
minder punten afhankelijk van de (bijv internationale) context en het
werkterrein. (welzijn, natuur, gezondheid etc).
Wat
is impact?
De
definities van impact worden onderverdeeld in 2 stromingen: -1-
impact als duurzame lange termijn verandering als gevolg van een
activiteit of interventie (OECD-DAC)
Nb dat kan zowel positief als
negatief zijn en bedoeld en onbedoeld. En
-2- Impacteffecten als de verandering die tot stand is gebracht door
de activiteit minus wat er toch al aan veranderingen zou hebben
plaats gevonden Toewijzing van een effect, attributie,
staat centraal. Clark et al
Noot
van de Blogger Ook Karen Maas en de Nederlandse impactmeting
school. Ik vermeld hier alvast even het onderscheidend rijtje:
input-output-outcome en impact waarbij impact = outcome minus wat er
ook zonder de interventie zou hebben plaatsgevonden.
(Uitgebreide toelichting op pag. 16-118)
In
de samenvatting een fasenoverzicht van impactmeting:
1
keuze wat evalueren en wat wil ik bereiken (Theory
of Change)
2
SMART doelstellingen +
prestatie indicatoren
3
Nulmeting en betrekken belnghebbenden hierbij
4
Context en attributie: wat doen anderen wat is mijn bijdrage
5
Meetmodel beschrijven
6
Meetinstrument kiezen
7
Gegevens verzamelen en analyseren
8
Evaluatie rapportage
9
Leren ven evalueren
10
Communiceren van de bevindingen aan belanghebbenden
Ontwikkeling
van impactmeting
In
de inleiding beschrijft Prof Ruerd Ruben (Radboud Universiteit en
Directeur van de Inspectie Ontwikkelingssamenwerking) 2 (4)
generaties effect- en resultaatonderzoek: de eerste legde de nadruk
op noodhulp (logistieke steun) en lokale projecten en de tweede keer
meer naar de rol van 'katalysator' en 'mobilisator' en het effect op
internationale systeemverandering. Effectmeting wordt proces
georiënteerd.
Ook in de evaluatieliteratuur verschuift het accent van 'meten' en
'beschrijven' van resultaten naar 'waarderen' en 'reconstrueren' van
het interventieproces. Ruben noemt als uitgangspunten bij de keuze
voor een evaluatieaanpak: (cursief van mij)
1
Selectiviteit, focus
2
Proportionaliteit, verhouding
kosten omvang en/of doel
3
Kwaliteit, let
op indicatoren, steekproef en controlegroep
4
Creativiteit, combineer
kwalitatieven en kwantitatieve methoden*
5
Onafhankelijkheid, voorkeur
voor externe deskundigheid?
*
Voor impact (investing) rating is deze insteek echter een beperkende
factor omdat de vergelijkbaarheid afneemt.
Waarom
impact-denken?
In Hoofdstuk 1 een korte schets van
trends in de goede doelen werkwijzen en fondsenwerving: van Trust
me via tell me naar show me en prove to me en
involve me (Noot van de Blogger:
hoewel die laatste trend er Nederland altijd al is geweest met de
omvangrijke collecte organisaties en andere vormen van vrijwilligers
inzet. Doordat nieuwe generaties op een andere manier worden geworven
en social media wordt ingezet lijkt de trend sterker aanweziger/ Maar
een middag in het winkelcentrum of rondje in de buurt collecteren is
wel een andere meer waardevolle en directe fondsenwervende manier van
meewerken voor de goede zaak dan even een Facebook like en/of share
doen.
In de sector groeide de
belangstelling voor de effectiviteit van projecten en het resultaat
van hun werk. Noot van de Blogger:
ondanks de begrijpelijke huiver voor tegenvallende conclusies. De
Nederlandse Hartstichting liet als eerste haar totale impact meten
door Karen Maas, opgenomen in haar promotie thesis, een voorbeeld dat
helaas niet is gevolgd door andere gezondheidsfondsen, ondanks een
aanzet door Price Waterhouse Coopers. Zie IINieuws
15juli2012 NB Daarvoor al was een belangrijk impact
onderzoek gedaan in het tamelijk vernietigend rapport van de
Wetenschappelijk Raad voor het Regeringsbeleid over de ambities en
vooral de pretenties van het Nederlandse ontwikkelingsbeleid en
sector die veel doet aan impact en effectmeting getuige de vele
meetmethoden in dit overzicht.
Voor goede doelen organiseert het
Erasmus Centre for Strategic Philanthropy ECSP bijeenkomsten en doet
belangwekkend onderzoek. Ook relevant is dat de Transparantprijs
veel aandacht besteed aan impact en impactverantwoording in haar
beoordeling en hiervoor workshops organiseert.
Interessant is dat Kellie Liket gaat
promoveren op de effectiviteit van projecten van goede doelen
organisaties Hoofdstuk 2 van haar thesis Strategic Philanthropy
(nog te verschijnen maar al aan te vragen bij de auteurs).
In 2007 concluderen wetenschappers
dat er weinig wordt gedaan aan resultaat- en impactmeting anno 2013
verwacht ik dat er een flinke vooruitgang is geboekt, ondanks de
administratieve belasting en overhead kosten die de activiteiten met
zich meebrengen. Liket en Maas maken onderscheid tussen missie-impact
en maatschappelijke-impact, het 1e betreft de doelstellingen van de
actor/organisatie, de 2e de toegevoegde waarde (of schade) voor de
maatschappij. Noot van de Blogger:
Omdat veel chari's zich richten op het oplossen van maatschappelijke
problemen of tekorten is dat laatste aspect heel belangrijk. Denk
bijvoorbeeld aan de kosten van gezondheidszorg voor de samenleving
die door gewenst gedrag en effectievere gezondheidszorg kunnen worden
terug gedrongen.
In het 1e hoofdstuk ook
aandacht voor he fenomeen dat door de overheid gefinancierde goede
doelen vaker (want vereist) impact meten, dan goede doelen die vooral
door particulieren worden gefinancierd. (in Nederland o.a. e
gezondheidsfondsen). In Hoofdstuk 2 viel mij de % bestedingen
aan impactmeting op: Volgens een OECD onderzoek uit 2007 gemiddeld
0,5-1% van het activiteitenbudget bij wat grotere
ontwikkelingsprojecten maar bij kleinere zo'n 2-5%. Bij experimentele
projecten is het verdedigbaar dat een aanzienlijk deel -tot wel een
derde(!)- gereserveerd wordt Noot van de Blogger:
maar welk project is tegenwoordig niet innovatief?
Prof Ruben schat 1 tot 2% van het
budget van de gehele organisatie reeel omdat organisaties gefundeerde
verwachtingen zullen hebben over de impact.
Noot van de Blogger: In IINnieuws 15mei13 een artikel over een Amerikaanse non-profit
GiveWell, gerund door voormalig Wall Street analysten dat chari's beoordeelt op basis van hun impact, kosten-effectiviteit, concreet
onderbouwde behoefte aan (meer)fondsenwerving, transparantie en
accountability. Zij tonen aan dat hoog-presterenden 0,8% meer (11,5%) uitgaven aan
administratie waaronder impact.
In hoofdstuk 3 worden
meetsystemen behandeld, op pag
7 en 52 een vergelijking van 6 meetmethoden en hun prestaties op
theory of Change,
SMART-indicatoren, de beginsituatie, Context/Attributie en het
Meetmodel. Het begint met de Social Return on Investment SROI methode
waarbij ik het opvallend vindt dat er staat deze 'momenteel
in toenemende mate gebruikt (wordt) door bedrijven' (pag 40). De SROI
methode is de enige die in haar 7 principes ook financiële
aannamen en resultaten verifieert. De SROI methode kan zowel
evaluerend als voorspellend worden toegepast. Meer in IINieuws 15sept13 onder Gelezen What
is the relationship between IRIS and SROI?
Volgens
de meetmethoden matrix komen PIA, the Particpatory Impact
Assesment en de Log map het beste uit de bus (meeste +-en). PIA
kijkt naar veranderingen in lokale gemeenschappen sinds de start van
een project en welke aanwijsbaar door de activiteit komen. Men
gebruikt kwalitatieve indicatoren en de participatie van de
deelnemers/doelgroep. Het Logical Framework is een matrix
model op basis van input-output-outcome-impact en op de y-as een
hiërarchie van doelen,
verifieerbare indicatoren, verificatie middelen en aannames. De
matrix bevat een samenvatting van het project dat de vragen
beantwoord waarom het project wordt uitgevoerd en welke impact het
zal hebben. Dit model wordt veel gebruikt door NGO's en
overheidsinstellingen om hun subsidie-aanvragen / beleidsvoorstellen
te presenteren mn voor ontwikkelingssamenwerking en oa gebruikt in de
Europese Unie.
Financiers
schrijven uiteraard ook meetmethoden voor, waarbij ruwweg onderscheid
gemaakt wordt tussen: procesmethoden, impactmethoden en
monetaire methoden (Noot van de Blogger:
waarvan de laatste m.i. relevant is voor maatschappelijke impact
meting.)
Vermeldenswaardig
vind ik de opmerking op pag. 56 in paragraaf 3.3.1 over attributie,
het toerekenen van resultaat aan een activiteit. Alleen al het
vermelden van mogelijk (externe) factoren en partijen die van invloed
kunnen zijn (geweest) op de uitkomsten van een activiteit een beter
en eerlijke beeld kunnen geven op de bijdrage van een goede doelen
organisatie.
In
Hoofdstuk 4 gaat het
over verantwoording en leren van resultaat- en impactmeting. Ook de
externe communicatie met belanghebbenden en donateurs komt aan de
orde. Het CBF, Centraal Bureau Fondsenwerving, dat elk jaar van ruim
duizend goede doelen de inkomsten en bestedingen registreert ziet
vooral output rapportages en veel minder 'een
klein deel' outcome
(vermoedelijke effecten). Het citeert op pag 64 Nicholls et al als
het stelt dat specifiek voor de monetaire rapportage die onderdeel is
van de SROI methode daar weinig waarde aan gehecht moet worden en een
beschrijving van de behaalde verandering en de participanten
veelzeggender zijn. Noot
van de Blogger:
dat lijkt nogal in tegenspraak met het groeiend gebruik door
bedrijven hierboven.
Een
goede evaluatie geeft
begrijpelijke informatie over de klassieke communicatie
informatievereisten: wat, waarom, wie, hoe, waar en wanneer?
Evaluaties verdwijnen in lades als zij geen antwoorden geven op
vragen van belanghebbenden, niet aansluiten bij de doelgroep(en),
onbegrijpelijk of onduidelijk zijn, de timing niet zinvol is in
relatie tot besluitvorming, de uitkomsten te veel uitdaging en te
weinig antwoorden en aanbevelingen bevatten. De Development
Assistance Committee (DAC) van de OECD beveelt 5
criteria aan voor
evaluaties: relevantie van de activiteit, effectiviteit, efficiëntie,
impact en duurzaamheid of lange termijn effecten van de activiteit.
Voor
het communiceren met
belanghebbenden
staat op pag 70 een korte checklist: wat is het doel?, wie zijn de
belanghebbenden?, wat zijn de belangrijkste boodschappen?, hoe kunnen
de belanghebbenden het best worden bereikt?, wat is hun
informatiebehoefte? Hoe om te gaan met gevoelige of negatieve
resultaten. Communiceren
met donateurs over
impact en resultaten wordt mede-geïnspireerd
door de verwachting dat daarmee het gestaag afnemend vertrouwen en
geefbereidheid weer zullen toenemen. Critici wijzen op de
ongefundeerdheid van deze aanname en de extra (overhead) kosten van
impact en resultaatmeting. Het CBF presenteert ook nog 3 typen
donateurs naast de traditionele donateur, het zijn de calculerende
burger (beloon me),
de betrokken donateur (inspireer
me) en de sturende
donateur (betrek me).
Noot
van de Blogger:
Allen lijken mij gevoelig voor impact comunicatie maar met een toon
en insteek op het type.
Tot
slot 4
aanbevelingen:
– Veranker
resultaat- en impactmeting in de organisatiecultuur;
– Maak
budget vrij voor resultaat- en impactmeting;
– Zet
ook eenvoudige instrumenten en best
practices op de
onderzoeksagenda;
– Leer
van elkaars ervaringen en werk samen.
Het
CBF wil met de publicatie impactmeting professionaliseren en
implementeren om zo de bestedingen nog beter te kunnen verantwoorden.
Evaluaties zijn al een belangrijk onderdeel voor toekenning van het
CBF keur en het CBF certificaat voor kleine goede doelen en het
procesmatig meten van resultaten en impact. Maar
het zal 'geen vergaande inhoudelijke eisen stellen aan goede doelen
die het keur of certificaat hebben'. .. 'Organisatie blijven vrij in
de manier waarop zij evaluaties binnen hun processen en activiteiten
en de mate waarin zij hierin investeren en er extern over
communiceren'.
Nawoord
van de Blogger:
Ik ken het CBF als een innoverende organisatie die door het
''organisch'' ontwikkelen van de CBF toetsing, het keur en
certificaat de professionalisering van de goede doelen sector
stimuleert. Dat het CBF impactmeting aanmoedigt, maar nog niet verder
uitwerkt in haar werk vind ik jammer als impact investing promotor.
Maar als het CBF van mening is dat de tijd hiervoor nog niet rijp is,
is dat een belangrijk signaal en niet echt verrassend op basis van de
gesignaleerde beperkte praktijk van impact evaluaties binnen de
sector. Kennelijk is de tijd hiervoor nog niet rijp en daarnaast is
impactmeting als specialisatie nog volop in ontwikkeling, getuige de
presentatie en sterkte-zwakte analyse van diverse modellen. Of de
overheid hierin het voortouw moet en kan met beleid of geld nemen is
een derde factor die zowel aanhangers als tegenstanders op de been
brengt.
Belangrijker
is de vraag in hoeverre goede doelen in staat zullen zijn hun
doelstellingen te realiseren zonder impact evaluaties en het
ontwikkelen van activiteiten die door hun impact kunnen opschalen
door grote kapitaalstromen aan te trekken voor het maatschappelijk
tekort dat zij willen oplossen.
Voor
de impact investor die open staat voor initiatieven van Nederlandse
goede doelen om in te investeren btekent dit hoogstens dat het aanbod
beperkt zal blijven maar initiatieven als die van de Nierstichting
IINieuws 1juli13 en St Else IINieuws 1 en 15juni13 geven aan dat er
interessante initiatieven plaatsvinden waarvoor investeerders worden
gezocht.
Met
dank aan Adrie Kemps van het CBF die mij exemplaar van de publicatie
gaf. een interactieve versie is te vinden op cbf.nl/CBF-publiceert-handige-toolkit-Resultaat--en-Impactmeting. Gedrukte exemplaren
zijn te bestellen door 20 euro over te maken op rekening ING rek 11
75 34 CBF Amsterdam o.v.v. naam, adres en woonplaats.
