Malene Sønderskov og Dorthe Skovgaard Mortensen samarbejder begge med danske og internationale organisationer om strategiudvikling og evaluering af udviklingsbistand – i henholdsvis StrategyHouse og GROWkonsult
I de sidste 25 år har international udviklingsbistand skiftet fokus fra enkeltstående projekter til i dag at adressere underliggende strukturelle, politiske, økonomiske og sociale dynamikker, der bidrager til fattigdom, skaber klimaforandringer og ødelægger naturens økosystemer.
Hvor det for 30 år siden var nok at levere sundhed, uddannelse, landbrugsudvikling og vand og sanitet, har landeprogrammer og rammeaftaler med Danida i dag et stærkt fokus på at forstå og forandre de økonomiske og politiske økosystemer, som bidrager til den fattigdom, bistanden skal afhjælpe.
Det er vores påstand, at metoderne til monitorering og evaluering (M&E) – altså arbejdet med at vurdere om projekterne gennemføres som planlagt, opnår planlagte mål og leverer værdi for målgruppen – ikke er fulgt tilsvarende med tiden.
De gode gamle projektdage
Projekttilgangen, som havde sin storhedstid i 1990’erne og begyndelsen af 2000’erne, var kendetegnet ved geografisk afgrænsede og tidsbegrænsede projekter med målbare resultater inden for specifikke sektorer. Børn kom i skole og blev vaccineret, der blev etableret vandboringer, og nogle lande fik skattesystemer.
Projekterne var typisk designet ud fra en lineær tankegang, hvor inputs næsten per automatik førte til aktiviteter, der resulterede i outputs og ønskede outcomes, og hvor vi antog, at positive erfaringer fra et projekt kunne overføres til det næste. Alt sammen nydeligt opstillet i resultatrammer og logframes med resultater, der kunne opnås og måles inden for en tidsramme på tre til fem år.
Succes blev typisk målt ved hjælp af kvantitative indikatorer i form af et øget høstudbytte eller en forbedret sundhedstilstand for projektets målgruppe. Og det var relativt nemt at dokumentere projektets bidrag til resultaterne – i hvert fald hvis indsatsen ikke var i konkurrence med andre, lignende indsatser i samme område eller sektor.
Fra projekt til program og systemisk forandring – hvad er forskellen?
Helt så nemt er det ikke med de programmer og rammeaftaler, der i dag skal bidrage til bredere, mere grundlæggende og langsigtede forandringer af politiske og økonomiske økosystemer, som bidrager til fattigdom, klimaforandringer og
Systemforandring tager tid. Ikke desto mindre er det enkelte programs økonomiske levetid stadig begrænset til fire til fem år. Det er alt for kort tid, når det gælder effektmåling. Derudover er det nærmest umuligt at måle succesen med kvantificerbare indikatorer, når programmerne fokuserer på at påvirke en diskurs, relationer og forskydninger i magtdynamikker.
De systemer, vi skal påvirke, består af mange aktører og faktorer, som interagerer på måder, vi sjældent kan forudsige eller styre. Derfor er det svært at vurdere sammenhængen mellem årsag og virkning, mellem inputs, outputs og outcomes. For slet ikke at tale om den udfordring, det er at isolere effekten af vores arbejde i en kontekst, hvor mange forskellige aktører trækker i forskellige retninger.
Alligevel er det, som om vi i udviklingssektoren antager, at “alt er som i de gode gamle projektdage”, når vi designer vores M&E-systemer. De fleste donorer stiller stadig krav om og accepterer en afrapportering med fokus på meget smalle outcome-formuleringer og kvantificerbare indikatorer. Det siger noget om rækkevidden af arbejdet – for eksempel antallet af personer involveret eller politikker ændret, men kun ganske lidt eller slet ingenting om den ønskede forandring.
Alligevel er det, som om vi i udviklingssektoren antager, at “alt er som i de gode gamle projektdage”, når vi designer vores M&E-systemer
Dertil kommer, at programmerne nærmest altid planlægges med en forventning om, at de skal bidrage til en positiv forandring i systemet over tid, mens en del udviklingsbistand reelt bidrager til at forhindre, at ting bliver værre – eksempelvis når det gælder klimaforandringer og migrationsstrømme.
Hvis ikke vores M&E-design tager højde for, at der er stor forskel på at måle succes i et projekt og i et program, så risikerer rapporteringen at blive en mekanisk beskrivelse af kortsigtede resultater uden refleksion over, hvorvidt vores programmer har haft den ønskede effekt på de systemer, som vi ønsker at påvirke.
Monitorering af komplekse programmer – kan vi gøre det bare lidt bedre?
Hvis M&E af komplekse programmer skal bidrage til mere end blot at dokumentere kortsigtede og forudbestemte resultater, så er her tre principper, vi med fordel kan følge, når vi i fremtiden skal monitorere og evaluere vores udviklingsarbejde:
- Mere åbenhed for uplanlagte resultater og større fokus på læring:
Hvis M&E skal være en hjælp i komplekse programmer må vi lægge større vægt på læring og gøre op med den klassiske forestilling om, at udvikling altid kan opsummeres i kvantificerbare indikatorer. Systemforandringer tager tid og er sjældent lineære. De sker uventet og med dynamikker, vi har svært ved at forudse.
For at være relevant må M&E-arbejdet planlægges, så det i højere grad hjælper os med at tilpasse vores strategier og opsamle læring, samtidig med at vi dokumenterer effekten af vores arbejde.
Det kræver, at vi får mulighed for at beskrive den ønskede forandring i et længere tidsperspektiv end fire til fem år, at vi arbejder systematisk med feedback loops, og at vi indsamler data kontinuerligt og bruger den til at justere vores strategier undervejs.
Det er vigtigt, at M&E ikke kun bruges retrospektivt til at vurdere resultater, men også bruges i real-tid til at justere og reagere på de erfaringer, vi gør os undervejs.
- Mere lokalt ejerskab:
Vi skal huske at inddrage de mennesker, der er en del af indsatsen, når vi definerer den ønskede forandring eller status quo. I komplekse programmer kan vi ikke undvære deres hjælp til at forstå, hvordan relationer, magtstrukturer og samarbejder udvikler sig og bidrager til at hæmme eller drive systemforandring fremad.
Derfor må vi skabe plads og redskaber til at vores partnere, målgrupper og andre interessenter kan analysere og forstå, hvad der virker – og hvorfor. Ikke kun med udgangspunkt i tal, men også ved hjælp af kvalitative data, der kan give en mere nuanceret forståelse af systemiske forandringer.
- Større fokus på værdi for målgruppen:
USA’s præsident Trumps beslutning om at lukke USAID afspejler, at det desværre ikke altid er værdien og relevansen for målgruppen, der definerer, om projekter skal fortsætte eller lukke. Alligevel vil vi mene, at det i en tid, hvor bistandskronerne bliver færre og ikke flere, er vigtigere end nogensinde, at vi formår at dokumentere værdien af det udviklingsarbejde, der udføres for den målgruppe, den er tilsigtet. Ikke for dokumentationens skyld, men for at sikre, at hjælpen er så relevant og effektiv som muligt.
Det er sjældent gjort med tal alene, men det kræver, at vi bliver bedre til at bruge og blande kvantitative og kvalitative data til at forstå og formidle, hvem bistanden virker for – og hvordan, hvornår og hvorfor.
Indlægget er udelukkende udtryk for skribenternes holdning.
Ligger du inde med et emne, du gerne vil debattere? På Globalnyt er alle velkomne i debatsektionen, så skriv til Globalnyts debat- og medlemsredaktør på sidsel.hasberg@globalnyt.dk
