Beobachtung, Auswertung und Lernen – MEL (Monitoring, Evaluation and Learning)

Warum ist die Wirksamkeitsprüfung und -beobachtung wichtig? // Warum?

Jedes Programm, das Das Hunger Projekt durchführt, wird in mehreren Schritten ausgewertet. Es ist uns wichtig, unsere Arbeit kontinuierlich zu evaluieren, um sicherzugehen, dass wir damit die größtmögliche Wirkung erzielen.

Das Hunger Projekt sieht sich dazu verpflichtet seinen Akteuren (in 12 Programmländern und in mehr als 16.000 Gemeinden, mehr als 17 Millionen Personen) und Mitgliedern der Interessensgruppen aktuelle, objektive und verlässliche Angaben über die Ergebnisse der durchgeführten Projekte und die weitreichende Wirkung der organisationseigenen Strategien bereitzustellen. Unseren Fortschritt zu messen ist essentiell, um unserer Mission, Hunger und Armut in der Welt zu beenden, nachzukommen.

Das kontinuierliche Beobachten und die Auswertung der Projektarbeit ist unsere zentrale Methode, um festzustellen, welche Fortschritte gemacht wurden. In jeder Gemeinde, in der wir tätig sind, sammeln wir kontinuierlich Daten, um unsere Projektarbeit mit zu verfolgen und zu evaluieren. Wir bezeichnen dies als  MEL-Methode (Monitoring, Evaluation and Learning), also Beobachten, Auswertung und Lernen. Dabei werden zum einen die kurzfristigen Resultate eruiert und zum anderen die langfristigen, umfassenden Veränderungen, die wir auf Haushaltsebene und in den Dorfgemeinschaften als Ergebnis unserer Programme erwarten. Es wurden grundlegende Indikatoren für die Ergebnis- und Wirkungsmessung entwickelt, um den Fortschritt in Richtung Zielerreichung besser messbar zu machen.

In Afrika begleiten wir Projekte in acht Ländern: Benin, Burkina Faso, Äthiopien, Ghana, Malawi, Mozambik, Senegal und Uganda. Dort arbeiten wir mit einem ganzheitlichen Ansatz, der sog. Epizentren-Strategie. Dabei werden Frauen und Männer mobilisiert, ihre eigene Zukunft zu verbessern und ihre Grundbedürfnisse zu decken. Die Auswertung der Projektarbeit ist unsere zentrale Methode um festzustellen, welche Fortschritte die Epizentren in unseren afrikanischen Programmländern auf dem Weg zu ihrem Ziel der Eigenständigkeit machen.

Die Ziele der Epizentren-Strategie:

  1. Ländliche Dorfgemeinschaften zu mobilisieren um kontinuierlich die eigenen Entwicklungsziele festzulegen und zu erlangen.
  2. Frauen und Mädchen in Dorfgemeinschaften zu bestärken.
  3. Zugang zu sauberem Trinkwasser und Sanitäreinrichtungen in Dorfgemeinschaften verbessern.
  4. Alphabetisierung und Bildung in Dorfgemeinschaften verbessern.
  5. Die Vorherrschaft von Hunger und Unterernährung in Dorfgemeinschaften verringern, insbesondere für Frauen und Kinder.
  6. Den Zugang und den Nutzen von Gesundheitsressourcen in den Dörfern verbessern.
  7. Die Armut in den Dörfern reduzieren.
  8. Den landwirtschaftlichen Ertrag und die klimatisch bedingte Belastung von Kleinbauern verbessern.

Diese Ziele werden durch unsere Projektarbeit vor Ort in den Bereichen Bestärkung von Frauen, Wasser und Hygiene, Alphabetisierung und Bildung, Lebensmittelsicherheit und Landwirtschaft, Mobilisierung von Gemeinschaften, Gesundheit und Ernährung sowie Mikrofinanzierung und Lebensunterhalt erreicht.

Durch die MEL Methode können wir feststellen, inwieweit die von der Gemeinde selbstgesteckten Ziele erfüllt worden sind und ob ein Epizentrum eigenständig wird.

Wie sieht eine Projektevaluierung aus? // Wann?

Die Auswertung von Ergebnissen besteht aus der Sammlung von sowohl quantitativen als auch qualitativen Daten, um die Indikatoren hervorzuheben, die zu Ergebnissen und Veränderungen führen. Die quantitativen Daten werden durch eine breite Befragung von Haushalten gesammelt, während die qualitativen Daten bei Diskussionen in Fokusgruppen und Interviews mit Schlüsselpersonen gewonnen werden.

Jede Auswertung wird vom zuständigen MEL-Programmleiter des Landes durchgeführt und technisch vom MEL-Team im Büro New York unterstützt.

Baseline Datensammlung

Zu Beginn eines neuen Projekts/Programms wird seit 2012 eine Baseline-Studie durchgeführt, um die Ausgangssituation zu bestimmen. Dieser Status Quo dient als Vergleichswert für kommende Auswertungen. Um die Entwicklung über einen längeren Zeitraum nachverfolgen zu können, werden in späteren Evaluationen die gleichen Methoden zur Datensammlung genutzt, wie bei der Baseline-Studie.

Mittelfristige Datensammlung

Alle Programme des Hunger Projekts durchlaufen eine erneute Datensammlung, wenn die Hälfte der Programmzeit erreicht ist, um die Entwicklung bestimmter Schlüssel-Indikatoren über einen längeren Zeitraum zu messen. Diese Studie wird mindestens zwei Jahre vor Beendigung des Programms durchgeführt, damit im Anschluss genug Zeit bleibt, um das Programm gegebenenfalls umzugestalten. Wenn es entsprechende Rücklagen gibt, werden auch mehrere mittelfristige Datensammlungen durchgeführt. Dies ist besonders dann wichtig, wenn die Programmdauer acht Jahre übersteigt, da in verschiedenen Zeitintervallen oft wichtige Veränderungen eintreten.

Abschließende Datensammlung

Um ein Programm abschließen zu können, ist es wichtig, einen Fortschritt verglichen mit der Ausgangssituation nachweisen zu können. Eine abschließende Wirksamkeitsprüfung analysiert daher, inwieweit Gemeinden und Menschen ihre Ziele erreicht haben und prüft die tatsächlichen Auswirkungen des Programms anhand der Schlüsselpunkte, die Das Hunger Projekt zu Anfang des Programms festgelegt hat.

Externe Evaluationen

Auch externe Gutachter analysieren die Arbeit des Hunger Projekts, die nicht unter der Kontrolle oder dem Einfluss derer stehen, die das Projekt oder Programm entworfen und durchgeführt haben.

Nachträgliche Evaluationen

In bestimmten Fällen führt das Hunger Projekt nachträgliche Datensammlungen drei bis fünf Jahre nach der Beendigung eines Programms durch, um die Effektivität und die Nachhaltigkeit einer Herangehensweise zu verstehen. Solche Studien liefern wichtige Erkenntnisse, um Programm-Entwürfe in der Zukunft weiter zu verbessern.

Quartalsberichte und Jahresabschlussberichte:

Jedes Programmland liefert seit 2008 einen vierteljährlichen Bericht und einen Jahresabschlussbericht an das MEL Team in New York. Die Berichte sind einheitlich strukturiert und erfassen sowohl erreichte Ziele als auch Vorhaben für das nächste Quartal gemäß der allgemeingültigen Indikatoren. Mit der Auswertung der Daten werden sowohl die Fortschritte als auch der Nachbesserungsbedarf sichtbar.

 

Wie prüfen wir die Wirksamkeit unserer Programme? // Wie?

Jede Auswertung wird von dem zuständigen MEL-Programmleiter des jeweiligen Landes durchgeführt und technisch vom MEL-Team im Büro in New York unterstützt. Die Auswertung besteht aus drei Komponenten: Haushaltserhebungen, Diskussionen in Fokusgruppen und Interviews mit Schlüssel-Informanten.

Quantitative Daten: Studien zur Programmwirksamkeit

Die Haushaltserhebungen liefern Informationen über jeden Programmbereich des Hunger Projekts, so zum Beispiel auch im Bereich Gesundheit oder Mikrofinanzierung. Obwohl jedes am Programm beteiligte Land dieselben Indikatoren verfolgt, hat dennoch jedes Land die Möglichkeit die Erhebungen durch zusätzliche Messfaktoren zu ergänzen und so dem lokalen Kontext anzupassen.

Während sich die Art und Weise der stichprobenartigen Auswahl der Haushalte in verschiedenen Ländern unterscheiden kann, wird grundsätzlich immer zuerst ein geographisches Areal innerhalb des Epizentrums-Einzugsgebiets ausgewählt, aus welchem dann zufällig Haushalte für die Erhebung ausgewählt werden. Die Zahl der Haushalte ist proportional zur Bevölkerung und somit groß genug um präzise und statistisch signifikante Ergebnisse zu liefern.

Für die Haushaltserhebungen greift das Hunger Projekt auf partizipatorische Evaluierungsmethoden zurück. So rekrutiert und bildet der MEL-Mitarbeiter des Landes sog. Zählfrauen/-männer aus den Gemeinden aus, die Erhebungen selbst durchzuführen. Die Ausbildung umfasst eine Pilotstudie, bei dem die Teilnehmer (die zukünftigen Zählfrauen und -männer) die Möglichkeit bekommen, sich mit den Fragebögen und dem Equipment für die Datensammlung vertraut zu machen. Die Daten werden mittels des iFormBuilders (link zu weiteren Erklärungen), einer elektronischen Erfassungsanwendung (App), auf mobilen iPods und Android Geräten, gesammelt. Die Daten werden später in Excel-Listen exportiert und analysiert.

Die mobile Plattform von iFormBuilder ermöglicht es, die Daten auch ohne Internetverbindung auf mobilen Geräten zu speichern. Sobald eine Verbindung besteht, werden die Daten über die Cloud geteilt. Die früher benötigte Zeit zur Auswertung der Daten wurde durch den Einsatz des iFormBuilders um 60% reduziert. Das Hunger-Projekt wurde offiziell für seine Arbeit mit dem iFormBuilder ausgezeichnet und erhielt 2014 den iFormBuilder Distinguished Project Award.

Qualitative Daten: Diskussionen in Fokusgruppen und Interviews mit Schlüsselpersonen

Der qualitative Teil der Evaluierung besteht aus Diskussionen in Fokusgruppen und Interviews mit Schlüsselpersonen. Die Ergebnisse dieser qualitativen Diskussionen können die zuvor gesammelten quantitativen Daten bestätigen oder um einen neuen Blickwinkel ergänzen. Die Fokusgruppen bestehen aus eingeladenen interessierten Mitgliedern aus der Gemeinschaft, wobei Männer und Frauen oftmals getrennt befragt werden. Die Fokusgruppen werden an verschiedenen geographischen Orten innerhalb des Einzugsgebietes des Epizentrums organisiert, um die Repräsentanz vieler verschiedener Gruppen sicherzustellen. Die Anzahl der Fokusgruppen hängt von der Zahl der Bevölkerung der Epizentren ab. Das Landesmitarbeiterteam entwickelt einen Fragebogen mit verschiedenen Themenfeldern in Bezug zur Programmarbeit des Hunger Projekts und den Entwicklungsindikatoren.

Die Interviews mit den Schlüsselpersonen sind tiefgreifende Gespräche mit Führungspersönlichkeiten der Gemeinschaften und konzentrieren sich auf jene Personen, die über eine breite Kenntnis der Programme des Hunger Projekts und deren Einfluss auf die Gemeinde verfügen. Das Landesmitarbeiterteam stellt auch hierfür die Fragebögen zusammen.

Beispiele, Indices:

Womens Empowerment Index (WEI)

Das Überwinden von Geschlechterungleichheiten ist absolut essentiell, wenn man Hunger und Armut dauerhaft beenden will. Frauen tragen häufig die Verantwortung für die Ernährung und das Wohlergehen der Familie, gleichzeitig haben sie oftmals keinen Zugriff auf Ressourcen & Informationen und sind ihrer Freiheit eingeschränkt. Studien haben gezeigt, dass wenn Frauen gefördert und gestärkt werden, die ganze Gesellschaft davon profitiert. Das Empowerment von Frauen ist ein wichtiger Schwerpunkt in allen Programmen des Hunger Projekts. In der Konsequenz hat das Hunger Projekt im Oktober 2015 den Womens Empowerment Index (kurz WEI) eingeführt.

Der WEI ist ein aus mehreren Faktoren zusammengesetzter Index, der den Fortschritt von Frauen-Empowerment auf einer multi-dimensionalen Weise darstellt und erfasst. Der Index definiert Empowerment einmal in den Errungenschaften der Frauen, aber auch in der Geschlechtergerechtigkeit. Der WEI Index misst den Fortschritt von Empowerment durch die Sammlung von Ergebnissen in 5 Schlüsselgebieten (sog. domains). Jede Domain besteht aus einer Serie von unterschiedlichen Messzahlen (Indikatoren).

The Composite Capacity Index – THP India

THP- India hat eine statistische Kennzahl eingeführt, um das weitgreifende Empowerment von Frauenabgeordneten (elected women representatives – EWR), die an unseren Programmen teilnehmen, zu messen: the Composite Capacity Index

In Indien ist unsere Arbeit auf Leadership Entwicklung und Frauenempowerment fokussiert. Dabei beziehen wir uns auf die Förderung und Bestärkung von Frauen, die in ihren lokalen Gemeinderäten gewählt worden sind. Eine Vielzahl dieser Frauen wurde bisher weder gehört noch wurde ihnen das Recht auf Information, Bewegungsfreiheit und auf Redefreiheit zugestanden.

Der Composite Capacity Index versucht die Entwicklung der Gesamtkapazität von EWRs zu sammeln und zu messen. Ausgewertet wird hierbei die Entwicklung der EWRs, die von THP India über einen Zeitraum von 5 Jahren trainiert und begleitet wurden. Hinter dem Index steht die Annahme, dass EWRs die mit den richtigen Fähigkeiten, Wissen und Unterstützung ausgestattet sind, einen großen Unterschied/ Verbesserung in ihren Kommunen/Gemeinden bewirken können, indem sie die Entwicklung vorantreiben und soziale und Geschlechtergerechtigkeit für alle Bürger fördern.

Der Index liefert Werte zwischen 0 bis 100, wobei 100 das beste Ergebnis darstellt. Die Messung und Evaluierung bezieht sich auf 3 Hauptgebiete:

  • Skills/Fähigkeiten: z.B. Allgemeinkenntnisse über Geschlechterrollen, Verantwortlichkeiten, bestehende Systeme und lokale Regierungsstrukturen
  • Agency/Vertretung: z.B. Beteiligung an Veranstaltungen im öffentlichen Raum, Vertrauensniveau, Interaktion mit lokalen Regierungsvertretern und anderen Panchayat Mitgliedern (lokaler Gemeinderate)
  • Leadership/Führungsqualitäten: z.B. ihre Fähigkeit zu planen, Strategien aufzustellen und Ziele zu verwirklichen.

Der Index wurde 2014 in Madhya Pradesh entwickelt, und findet seitdem auch Anwendung in den Staaten Rajasthan, Karnataka, Bihar, Tamil Nadu und Odisha.

Der Index wurde bis heute bei 3.000 EWRs angewandt. In einer Ergebnis Evaluierung von THP India in Odisha wurde der Index über den Zeitraum der letzten Wahlperiode (2012 – 2017) erhoben, dabei ist der Index auf 67% angestiegen. Diese Zahl besagt, dass über die 5 Jahre das Verständnis der EWRs über ihre Rolle und ihre Führungsqualitäten im hohen Maße gestiegen sind.