15 juli 2013

Impact Investing Nieuws 15 juli 2013

Deze keer slechts een artikel: in de zomer is er weinig nieuws en wil ik vooral veel lezen in de honderd + rapporten en publicaties die ik de afgelopen 2,5 jaar heb verzameld. 
Eind maand werd een overzicht gepubliceerd van impactmeting in de praktijk van en voor goede doelen in Nederland door het Centraal Bureau Fondsenwerving, CBF, de geaccrediteerde en certificerende instelling voor fondsenwervende instellingen en kansspel begunstigden.

GELEZEN

Resultaat- en impactmeting voor goede doelen Op weg naar beter evalueren, meten en verantwoorden van bestedingen. Drs E.M. Ten Hoorn (CentraalBureauFondsenwerving) en drs W.M. Stubbe (CSR Academy) Centraal Bureau Fondsenwerving Amsterdam. Vlinderend geefgeld Schenkt het best uit onszelf Effect van vertrouwen (op de achterkant)

Door wie en waarom?
Recent gepubliceerd door het Centraal Bureau Fondsenwerving dat de inkomsten van goede doelen gerubriceerd registreert, online openbaar maakt en keurmerken geeft. De intentie is om een impuls te geven aan resultaat- en impactmeting door goede doelen door in de handreiking modellen en instrumenten te presenteren met hun toepassing, sterke en minder punten afhankelijk van de (bijv internationale) context en het werkterrein. (welzijn, natuur, gezondheid etc).

Wat is impact?
De definities van impact worden onderverdeeld in 2 stromingen: -1- impact als duurzame lange termijn verandering als gevolg van een activiteit of interventie (OECD-DAC) Nb dat kan zowel positief als negatief zijn en bedoeld en onbedoeld. En -2- Impacteffecten als de verandering die tot stand is gebracht door de activiteit minus wat er toch al aan veranderingen zou hebben plaats gevonden Toewijzing van een effect, attributie, staat centraal. Clark et al
Noot van de Blogger Ook Karen Maas en de Nederlandse impactmeting school. Ik vermeld hier alvast even het onderscheidend rijtje: input-output-outcome en impact waarbij impact = outcome minus wat er ook zonder de interventie zou hebben plaatsgevonden. (Uitgebreide toelichting op pag. 16-118)

In de samenvatting een fasenoverzicht van impactmeting:
1 keuze wat evalueren en wat wil ik bereiken (Theory of Change)
2 SMART doelstellingen + prestatie indicatoren
3 Nulmeting en betrekken belnghebbenden hierbij
4 Context en attributie: wat doen anderen wat is mijn bijdrage
5 Meetmodel beschrijven

6 Meetinstrument kiezen
7 Gegevens verzamelen en analyseren

8 Evaluatie rapportage
9 Leren ven evalueren
10 Communiceren van de bevindingen aan belanghebbenden

Ontwikkeling van impactmeting
In de inleiding beschrijft Prof Ruerd Ruben (Radboud Universiteit en Directeur van de Inspectie Ontwikkelingssamenwerking) 2 (4) generaties effect- en resultaatonderzoek: de eerste legde de nadruk op noodhulp (logistieke steun) en lokale projecten en de tweede keer meer naar de rol van 'katalysator' en 'mobilisator' en het effect op internationale systeemverandering. Effectmeting wordt proces georiënteerd. Ook in de evaluatieliteratuur verschuift het accent van 'meten' en 'beschrijven' van resultaten naar 'waarderen' en 'reconstrueren' van het interventieproces. Ruben noemt als uitgangspunten bij de keuze voor een evaluatieaanpak: (cursief van mij)
1 Selectiviteit, focus
2 Proportionaliteit, verhouding kosten omvang en/of doel
3 Kwaliteit, let op indicatoren, steekproef en controlegroep
4 Creativiteit, combineer kwalitatieven en kwantitatieve methoden*
5 Onafhankelijkheid, voorkeur voor externe deskundigheid?
* Voor impact (investing) rating is deze insteek echter een beperkende factor omdat de vergelijkbaarheid afneemt.

Waarom impact-denken?
In Hoofdstuk 1 een korte schets van trends in de goede doelen werkwijzen en fondsenwerving: van Trust me via tell me naar show me en prove to me en involve me (Noot van de Blogger: hoewel die laatste trend er Nederland altijd al is geweest met de omvangrijke collecte organisaties en andere vormen van vrijwilligers inzet. Doordat nieuwe generaties op een andere manier worden geworven en social media wordt ingezet lijkt de trend sterker aanweziger/ Maar een middag in het winkelcentrum of rondje in de buurt collecteren is wel een andere meer waardevolle en directe fondsenwervende manier van meewerken voor de goede zaak dan even een Facebook like en/of share doen.

In de sector groeide de belangstelling voor de effectiviteit van projecten en het resultaat van hun werk. Noot van de Blogger: ondanks de begrijpelijke huiver voor tegenvallende conclusies. De Nederlandse Hartstichting liet als eerste haar totale impact meten door Karen Maas, opgenomen in haar promotie thesis, een voorbeeld dat helaas niet is gevolgd door andere gezondheidsfondsen, ondanks een aanzet door Price Waterhouse Coopers. Zie IINieuws 15juli2012 NB Daarvoor al was een belangrijk impact onderzoek gedaan in het tamelijk vernietigend rapport van de Wetenschappelijk Raad voor het Regeringsbeleid over de ambities en vooral de pretenties van het Nederlandse ontwikkelingsbeleid en sector die veel doet aan impact en effectmeting getuige de vele meetmethoden in dit overzicht.
Voor goede doelen organiseert het Erasmus Centre for Strategic Philanthropy ECSP bijeenkomsten en doet belangwekkend onderzoek. Ook relevant is dat de Transparantprijs veel aandacht besteed aan impact en impactverantwoording in haar beoordeling en hiervoor workshops organiseert.

Interessant is dat Kellie Liket gaat promoveren op de effectiviteit van projecten van goede doelen organisaties Hoofdstuk 2 van haar thesis Strategic Philanthropy (nog te verschijnen maar al aan te vragen bij de auteurs).
In 2007 concluderen wetenschappers dat er weinig wordt gedaan aan resultaat- en impactmeting anno 2013 verwacht ik dat er een flinke vooruitgang is geboekt, ondanks de administratieve belasting en overhead kosten die de activiteiten met zich meebrengen. Liket en Maas maken onderscheid tussen missie-impact en maatschappelijke-impact, het 1e betreft de doelstellingen van de actor/organisatie, de 2e de toegevoegde waarde (of schade) voor de maatschappij. Noot van de Blogger: Omdat veel chari's zich richten op het oplossen van maatschappelijke problemen of tekorten is dat laatste aspect heel belangrijk. Denk bijvoorbeeld aan de kosten van gezondheidszorg voor de samenleving die door gewenst gedrag en effectievere gezondheidszorg kunnen worden terug gedrongen.

In het 1e hoofdstuk ook aandacht voor he fenomeen dat door de overheid gefinancierde goede doelen vaker (want vereist) impact meten, dan goede doelen die vooral door particulieren worden gefinancierd. (in Nederland o.a. e gezondheidsfondsen). In Hoofdstuk 2 viel mij de % bestedingen aan impactmeting op: Volgens een OECD onderzoek uit 2007 gemiddeld 0,5-1% van het activiteitenbudget bij wat grotere ontwikkelingsprojecten maar bij kleinere zo'n 2-5%. Bij experimentele projecten is het verdedigbaar dat een aanzienlijk deel -tot wel een derde(!)- gereserveerd wordt Noot van de Blogger: maar welk project is tegenwoordig niet innovatief?
Prof Ruben schat 1 tot 2% van het budget van de gehele organisatie reeel omdat organisaties gefundeerde verwachtingen zullen hebben over de impact.

Noot van de Blogger: In IINnieuws 15mei13 een artikel over een Amerikaanse non-profit GiveWell, gerund door voormalig Wall Street analysten dat chari's beoordeelt op basis van hun impact, kosten-effectiviteit, concreet onderbouwde behoefte aan (meer)fondsenwerving, transparantie en accountability. Zij tonen aan dat hoog-presterenden 0,8% meer (11,5%) uitgaven aan administratie waaronder impact. 

In hoofdstuk 3 worden meetsystemen behandeld, op pag 7 en 52 een vergelijking van 6 meetmethoden en hun prestaties op theory of Change, SMART-indicatoren, de beginsituatie, Context/Attributie en het Meetmodel. Het begint met de Social Return on Investment SROI methode waarbij ik het opvallend vindt dat er staat deze 'momenteel in toenemende mate gebruikt (wordt) door bedrijven' (pag 40). De SROI methode is de enige die in haar 7 principes ook financiële aannamen en resultaten verifieert. De SROI methode kan zowel evaluerend als voorspellend worden toegepast. Meer in IINieuws  15sept13 onder Gelezen What is the relationship between IRIS and SROI?

 

Volgens de meetmethoden matrix komen PIA, the Particpatory Impact Assesment en de Log map het beste uit de bus (meeste +-en). PIA kijkt naar veranderingen in lokale gemeenschappen sinds de start van een project en welke aanwijsbaar door de activiteit komen. Men gebruikt kwalitatieve indicatoren en de participatie van de deelnemers/doelgroep. Het Logical Framework is een matrix model op basis van input-output-outcome-impact en op de y-as een hiërarchie van doelen, verifieerbare indicatoren, verificatie middelen en aannames. De matrix bevat een samenvatting van het project dat de vragen beantwoord waarom het project wordt uitgevoerd en welke impact het zal hebben. Dit model wordt veel gebruikt door NGO's en overheidsinstellingen om hun subsidie-aanvragen / beleidsvoorstellen te presenteren mn voor ontwikkelingssamenwerking en oa gebruikt in de Europese Unie.
Financiers schrijven uiteraard ook meetmethoden voor, waarbij ruwweg onderscheid gemaakt wordt tussen: procesmethoden, impactmethoden en monetaire methoden (Noot van de Blogger: waarvan de laatste m.i. relevant is voor maatschappelijke impact meting.)

Vermeldenswaardig vind ik de opmerking op pag. 56 in paragraaf 3.3.1 over attributie, het toerekenen van resultaat aan een activiteit. Alleen al het vermelden van mogelijk (externe) factoren en partijen die van invloed kunnen zijn (geweest) op de uitkomsten van een activiteit een beter en eerlijke beeld kunnen geven op de bijdrage van een goede doelen organisatie.

In Hoofdstuk 4 gaat het over verantwoording en leren van resultaat- en impactmeting. Ook de externe communicatie met belanghebbenden en donateurs komt aan de orde. Het CBF, Centraal Bureau Fondsenwerving, dat elk jaar van ruim duizend goede doelen de inkomsten en bestedingen registreert ziet vooral output rapportages en veel minder 'een klein deel' outcome (vermoedelijke effecten). Het citeert op pag 64 Nicholls et al als het stelt dat specifiek voor de monetaire rapportage die onderdeel is van de SROI methode daar weinig waarde aan gehecht moet worden en een beschrijving van de behaalde verandering en de participanten veelzeggender zijn. Noot van de Blogger: dat lijkt nogal in tegenspraak met het groeiend gebruik door bedrijven hierboven.

Een goede evaluatie geeft begrijpelijke informatie over de klassieke communicatie informatievereisten: wat, waarom, wie, hoe, waar en wanneer? Evaluaties verdwijnen in lades als zij geen antwoorden geven op vragen van belanghebbenden, niet aansluiten bij de doelgroep(en), onbegrijpelijk of onduidelijk zijn, de timing niet zinvol is in relatie tot besluitvorming, de uitkomsten te veel uitdaging en te weinig antwoorden en aanbevelingen bevatten. De Development Assistance Committee (DAC) van de OECD beveelt 5 criteria aan voor evaluaties: relevantie van de activiteit, effectiviteit, efficiëntie, impact en duurzaamheid of lange termijn effecten van de activiteit.

Voor het communiceren met belanghebbenden staat op pag 70 een korte checklist: wat is het doel?, wie zijn de belanghebbenden?, wat zijn de belangrijkste boodschappen?, hoe kunnen de belanghebbenden het best worden bereikt?, wat is hun informatiebehoefte? Hoe om te gaan met gevoelige of negatieve resultaten. Communiceren met donateurs over impact en resultaten wordt mede-geïnspireerd door de verwachting dat daarmee het gestaag afnemend vertrouwen en geefbereidheid weer zullen toenemen. Critici wijzen op de ongefundeerdheid van deze aanname en de extra (overhead) kosten van impact en resultaatmeting. Het CBF presenteert ook nog 3 typen donateurs naast de traditionele donateur, het zijn de calculerende burger (beloon me), de betrokken donateur (inspireer me) en de sturende donateur (betrek me). Noot van de Blogger: Allen lijken mij gevoelig voor impact comunicatie maar met een toon en insteek op het type.

Tot slot 4 aanbevelingen:
Veranker resultaat- en impactmeting in de organisatiecultuur;
Maak budget vrij voor resultaat- en impactmeting;
Zet ook eenvoudige instrumenten en best practices op de onderzoeksagenda;
Leer van elkaars ervaringen en werk samen.

Het CBF wil met de publicatie impactmeting professionaliseren en implementeren om zo de bestedingen nog beter te kunnen verantwoorden. Evaluaties zijn al een belangrijk onderdeel voor toekenning van het CBF keur en het CBF certificaat voor kleine goede doelen en het procesmatig meten van resultaten en impact. Maar het zal 'geen vergaande inhoudelijke eisen stellen aan goede doelen die het keur of certificaat hebben'. .. 'Organisatie blijven vrij in de manier waarop zij evaluaties binnen hun processen en activiteiten en de mate waarin zij hierin investeren en er extern over communiceren'.

Nawoord van de Blogger: Ik ken het CBF als een innoverende organisatie die door het ''organisch'' ontwikkelen van de CBF toetsing, het keur en certificaat de professionalisering van de goede doelen sector stimuleert. Dat het CBF impactmeting aanmoedigt, maar nog niet verder uitwerkt in haar werk vind ik jammer als impact investing promotor. Maar als het CBF van mening is dat de tijd hiervoor nog niet rijp is, is dat een belangrijk signaal en niet echt verrassend op basis van de gesignaleerde beperkte praktijk van impact evaluaties binnen de sector. Kennelijk is de tijd hiervoor nog niet rijp en daarnaast is impactmeting als specialisatie nog volop in ontwikkeling, getuige de presentatie en sterkte-zwakte analyse van diverse modellen. Of de overheid hierin het voortouw moet en kan met beleid of geld nemen is een derde factor die zowel aanhangers als tegenstanders op de been brengt.

Belangrijker is de vraag in hoeverre goede doelen in staat zullen zijn hun doelstellingen te realiseren zonder impact evaluaties en het ontwikkelen van activiteiten die door hun impact kunnen opschalen door grote kapitaalstromen aan te trekken voor het maatschappelijk tekort dat zij willen oplossen.
Voor de impact investor die open staat voor initiatieven van Nederlandse goede doelen om in te investeren btekent dit hoogstens dat het aanbod beperkt zal blijven maar initiatieven als die van de Nierstichting IINieuws 1juli13 en St Else IINieuws 1 en 15juni13 geven aan dat er interessante initiatieven plaatsvinden waarvoor investeerders worden gezocht. 
 
Met dank aan Adrie Kemps van het CBF die mij exemplaar van de publicatie gaf. een interactieve versie is te vinden op cbf.nl/CBF-publiceert-handige-toolkit-Resultaat--en-Impactmeting. Gedrukte exemplaren zijn te bestellen door 20 euro over te maken op rekening ING rek 11 75 34 CBF Amsterdam o.v.v. naam, adres en woonplaats.