Bread for the World: Evaluation of Human Rights Project Area
Evaluierung des Förderbereiches Menschenrechte
Terms of Reference
1. Einleitung
Brot für die Welt ist das weltweit tätige Entwicklungswerk der evangelischen Landesund Freikirchen in Deutschland, das in fast 100 Ländern rund um den Globus arme und ausgegrenzte Menschen befähigt, aus eigener Kraft ihre Lebenssituation zu verbessern.
Schwerpunkte der Arbeit sind die Ernährungssicherung, die Förderung von Bildung und Gesundheit, die Achtung der Menschenrechte sowie die Bewahrung der Schöpfung.
Durch Lobby-, Öffentlichkeits- und Bildungsarbeit in Deutschland und Europa wird versucht, politische Entscheidungen im Sinne der Armen zu beeinflussen und ein Bewusstsein für die Notwendigkeit einer nachhaltigen Lebens- und Wirtschaftsweise zu schaffen.
2012 schlossen sich der Evangelische Entwicklungsdienst e.V. (EED) und das Diakonische Werk der Evangelischen Kirche in Deutschland e. V. zum Evangelischen Werk für Diakonie und Entwicklung e.V. (EWDE) zusammen. Die Ökumenische Diakonie (OED), früherer entwicklungspolitischer Teilbereich des Diakonischen Werks, wurde hierbei mit dem EED zusammengelegt und bildet nun den Bereich Brot für die Welt in der neuen Organisation.
Im Rahmen der zwischen den kirchlichen Zentralstellen und dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) im Jahr 2009 vereinbarten „Leitlinien zur ziel- und wirkungsorientierten Erfolgskontrolle im Bereich der Förderung entwicklungswichtiger Vorhaben der Kirchen“ führt Brot für die Welt zum vierten Mal eine Evaluation eines Förderbereiches durch. Gegenstand der diesjährigen Förderbereichsevaluierung (FBE) ist der Förderbereich Menschenrechte.
Die Förderbereichsevaluierung Menschenrechte findet bei Brot für die Welt als auch Misereor als paralleler Prozess statt.
2. Förderbereich Menschenrechte bei Brot für die Welt
Brot für die Welt unterstützt zivilgesellschaftliche Organisationen bei ihrem Eintreten für Rechte, Würde und Beteiligungschancen aller Menschen. Zentraler Schwerpunkt ist der Kampf gegen Hunger und Armut. Dabei setzten sich Brot für die Welt und seine Partner dafür ein, dass die Ursachen von Unterdrückung, Diskriminierung und Gewalt überwunden werden. Die Verwirklichung der bürgerlichen und politischen wie der wirtschaftlichen, sozialen und kulturellen Menschenrechte ist eine wichtige Strategie hierfür.
Um die vielen Formen von Armut zu überwinden, die durch Diskriminierung, Marginalisierung und Rechtsverletzungen von Menschen verursacht werden, ist es notwendig, Betroffene in die Lage zu versetzen, ihre Rechte zu verteidigen bzw. die Verursacher von Unrecht zur Verantwortung zu ziehen. Ohne Rechtssicherheit im Zugang zu produktiven Ressourcen beispielsweise fällt es Kleinbäuerinnen und -bauern schwer, ein angemessenes Einkommen zu erzielen. Soziale Entwicklung kann ohne Umsetzung der Menschenrechte nicht gelingen. Entwicklungsbemühungen sind nicht erfolgreich, wenn nicht auch Teilhaberechte, Mitbestimmung und Zugang zu Beschwerdeverfahren und Gerichtsbarkeit, Rechtsstaatlichkeit und entsprechende Formen von Staatlichkeit existieren.
Entwicklung darf nicht an den Menschen vorbei geplant werden und kann nicht ohne staatliches Engagement für die Umsetzung der Menschenrechte funktionieren.
Eine lebendige Demokratie, die die Bekämpfung von Armut, Gerechtigkeit und Frieden im Blick hat, braucht eine starke und eigenständige Zivilgesellschaft, die sich einmischt und diese kritisch begleitet.
Der Schutz vor Menschenrechtsverletzungen und die Unterstützung von Menschenrechtsverteidigerinnen und Menschenrechtsverteidigern ist wichtiger Teil der Arbeit von Brot für die Welt. Gewaltsame Konflikte um politische Macht, knapper werdende Ressourcen und die Zerstörung der Umwelt gehören weiterhin zu den größten entwicklungspolitischen Herausforderungen. Deshalb setzt sich Brot für die Welt dafür ein, dass zivilgesellschaftliche Organisationen weltweit handlungsfähig bleiben, in der Entwicklungspolitik gehört werden und sie mitgestalten können.
Menschenrechtsarbeit findet bei Brot für die Welt auf verschiedenen Ebenen statt. Brot für die Welt unterstützt lokale Partnerorganisationen bei der Nutzung nationaler, regionaler und internationaler Menschenrechtssysteme und juristischer Verfahren sowie durch Beistand und politische Interventionen in Situationen akuter oder anhaltender Bedrohung von Menschenrechtsverteidigerinnen und Menschenrechtsverteidigern. In Deutschland und Europa setzt Brot für die Welt menschenrechtliche Anliegen auf die politische Agenda und verdeutlicht die Zusammenhänge zwischen der Politik in Europa und der Menschenrechtssituation im globalen Süden.
Unter Berücksichtigung des Mehrebenenansatzes ist die Vielzahl der Förderungen von Brot für die Welt auf der Mikroebene angesiedelt. Auf der Meso- und Makroebene finden Kooperationen mit relevanten nationalen, internationalen und transnational tätigen Menschenrechtsorganisationen und –institutionen statt.
3. Beschreibung und Auswahl der Grundgesamtheit
Gegenstand der Evaluation sind Maßnahmen im Bereich Menschenrechte. Die Förderung der Menschenrechte durch Brot für die Welt geschieht durch finanzielle und durch personelle Förderung. Evaluiert werden Maßnahmen, die durch Mittel des BMZ, durch Spenden sowie durch Mittel des Kirchlichen Entwicklungsdienstes der Evangelischen Kirche in Deutschland (KED) finanziert wurden. Rund 55% aller Projekte haben einen Rechtebezug, die Hälfte von ihnen sind explizite Menschenrechtsprojekte. Die anderen Projekte haben andere Projektziele, die sie mit einem rechtebasierten Ansatz verfolgen.
Solche Projekte können aufgrund des Umfangs nicht Gegenstand dieser Evaluation sein.
Voraussetzung für die Einbindung in die Grundgesamtheit (GG) sind die folgenden
Kriterien:
· Bewilligungszeitraum von 2013 bis 2015.
· Die Fördermaßnahmen können, müssen aber nicht abgeschlossen sein.
· Die Fördermaßnahmen sind explizite Menschenrechtsprojekte, d.h. sie thematisieren
in ihren Zielen oder den Indikatoren die Menschenrechte.
Die Inlands- und Stipendienförderung wird nicht berücksichtigt.
Die Grundgesamtheit setzt sich aus folgenden Projekttypen zusammen:
Finanzielle Förderung:
Die Maßnahmen der finanziellen Förderung stellen die große Mehrheit dar. Sie finden in allen Förderregionen statt. Sie werden in ihrer Mehrheit durch den Vorstandsbereich Internationale Programme bzw. die Regionalabteilungen gefördert. Weitere Projekte werden von der Abteilung Politik des Präsidialbereichs unterstützt.
Auswahl der GG der finanziellen Förderung:
1. Insgesamt 149 BMZ-finanzierte Maßnahmen: sie sind in den CRS Schlüsseln 15130 (Entwicklung von Recht und Gerichtswesen), 15150 (Demokratische Teilhabe und Zivilgesellschaft), 15160 (Menschenrechte) und 15170 (Organisationen und Institutionen zur Förderung der Gleichberechtigung der Frau) kodiert. Hiervon befinden sich 112 Projekte mindestens in der dritten Förderphase, wobei eine Förderphase drei Jahre umfasst und 37 Projekte sind Neuanträge.
2. Insgesamt 83 spendenfinanzierte Maßnahmen: sie sind in den Handlungsfeldern 1 (Zivile und politische Menschenrechte verwirklichen), HF 2 (Wirtschaftliche, soziale und kulturelle Menschenrechte verwirklichen), HF 4 (Zivilgesellschaft stärken, politische Partizipation fördern), HF 11 (Frauen fördern) und HF 12 Geschlechter-Gerechtigkeit fördern) kodiert. Für das Jahr 2015 werden die analogen Sektorkodierungen verwandt. Hiervon befinden sich 74 Projekte mindestens in der dritten Förderphase, wobei eine Förderphase drei Jahre umfasst und 9 Projekte sind Neuanträge.
Für die Projekte gilt eine Mindestfördersumme von 100.000 €.
3. Projekte, die durch die Politikabteilung, Referat Menschenrechte und Frieden, gefördert werden. Für diese Projekte gilt eine Mindestfördersumme von 25.000 €.
Auswahl der GG der personellen Förderung:
Insgesamt 14 Fachkräfte sind 2013, 2014 und 2015 im Menschenrechtsbereich aktiv gewesen.
Sieben Personen sind in Lateinamerika beschäftigt gewesen, drei in Südostasien, zwei in Nahost und zwei in Afrika.
4. Ziele der Förderbereichsevaluation
1) Die dem Förderbereich Menschenrechte zu Grunde liegende Wirkungslogik und die Wirksamkeit der geförderten Projekte sind überprüft. Hemmende und fördernde Faktoren der Planung und Durchführung von Menschenrechtsprojekten sind erfasst und Lessons learnt identifiziert.
2) Die Spezifika der unterschiedlichen Projekttypen und die Synergien sind herausgestellt hinsichtlich
1) finanzieller Förderung (VIP), insbesondere Langzeitförderung und neue innovative Projekte
2) Förderung durch das Referat Menschenrechte und Frieden
3) personeller Förderung.
3) Empfehlungen für eine organisatorische und institutionelle Weiterentwicklung der Förderlogik von BfdW werden gegeben, um gemeinsam mit den Partnerorganisationen die Wirksamkeit von Entwicklungsmaßnahmen zu verbessern.
4) Eine unabhängige Grundlage zur Rechenschaftslegung gegenüber der Öffentlichkeit und dem BMZ liegt vor.
5. Aufgabenbeschreibungen
Die Darstellung und Bewertung der Förderpraxis im Bereich Menschenrechte von Brot für die Welt umfasst die in der Grundgesamtheit (siehe Punkt 3) dargestellten Maßnahmen der finanziellen Förderung von Projekten durch BMZ-, KED- oder Spendenmittel.
Konkret sollen folgende Aspekte in der Evaluation bearbeitet werden:
1) Beschreibung und Darstellung des Förderbereichs Menschenrechte, auf Grundlage der bereits definierten Grundgesamtheit und einer vorzunehmenden Dokumentenanalyse.
2) Bewertung in Bezug auf die folgenden Punkte:
a) Einbettung in die nationalen und internationalen Menschenrechts-Debatten bzw. State of the Art der Menschenrechts- und Frauenrechtsarbeit.
b) Umfeldanalyse der implementierten Projete (personelle und finanzielle Förderung) des Förderbereiches aufgeteilt in
·Risikoanalyse: Einfluss von Konflikt, Kriminalisierung, Fragilität und Gewalt auf Wirksamkeit von den geförderten Menschenrechtsprojekten,
·Partneranalyse der Zusammenarbeit bezüglich
- der Organisationsentwicklung der Partnerorganisation,
- ihrer Rolle in der Akteurs- und Geberlandschaft sowie ihres Einflusses auf der Implementierungsebene ·und Zusammenarbeit der Partner mit Brot für die Welt bezüglich
- Kommunikation, Verfahren und Unterstützungsprozesse.
c) Erstellen eines Wirkungsgefüges für den Förderbereich Menschenrechte und auf dieser Basis Durchführung einer Erfolgskontrolle
· Darstellung eines Wirkungsgefüges für Projekte des Förderbereichs Menschenrechte auf Grundlage der Ursache- Wirkungszusammenhänge und der zugrunde liegenden Annahmen (Theory of Change)
· Zielerreichungs-, Wirkungs- und Wirtschaftlichkeitskontrolle der Maßnahmen
d) Die Identifizierung von projektübergreifenden Wirkfaktoren in Entwicklungsmaßnahmen des Förderbereichs Menschenrechte, insbesondere Identifizierung wiederkehrender Stärken und Schwächen, Trends und Muster bzw. Erfolgs- und Misserfolgsfaktoren. Darstellung der Ursachen für Wirksamkeit und Nichtwirksamkeit der in 4.2 genannten unterschiedlichen Projekttypen in Rückkopplung mit den Analysen unter c) in Bezug auf
- die ökonomischen, politischen, kulturellen, institutionellen und rechtlichen Hindernisse
- die Partizipation der Zielgruppen
- die Gleichberechtigung der Geschlechter (sowohl durch Frauenrechtsprojekte als auch durch Gender Mainstreaming) als auch den Respekt der Genderidentitäten
- den Einfluss von Konflikt, Repression, Fragilität und Gewalt,
- und die Finanzierungsmodelle der Partnerstrukturen
- die Zusammenarbeit mit anderen Akteuren der Zivilgesellschaft.
e) Darstellung von Verbesserungspotentialen sowie handlungs- und umsetzungsrelevanter Empfehlungen zum einen für die Partner und zum anderen für Brot für die Welt
f) Darstellung von Empfehlungen für die Durchführung weiterer Förderbereichsevaluationen
6. Untersuchung nach DAC Kriterien
Die nachfolgenden Fragestellungen sind untergliedert nach den fünf Evaluierungskriterien des OECD-DAC und wurden für die Thematik dieser Förderbereichsevaluation entsprechend präzisiert. Sie sind vor dem Hintergrund einer übergreifenden Bewertung des von Brot für die Welt – Evangelischer Entwicklungsdienst verfolgten Förderbereichs zu verstehen.
Die unten aufgeführten Evaluationsfragen dienen als Grundlage für die Evaluation.
6.1 Relevanz
a) Inwieweit zielen die Projekte auf relevante Menschen- und Frauenrechtsprobleme und ihre Ursachen in den jeweiligen Ländern ab? Inwieweit sind Genderanalysen und Analysen im Bereich Menschenrechte der Konzeption der Projekte zur Bekämpfung von Menschen- und Frauenrechtsverletzungen vorausgegangen?
Inwieweit sind die Projekte strategisch darauf ausgerichtet, diese strukturellen Ursachen zu überwinden?
b) Inwieweit zielen die Projekte auf Bedürfnisse und strategische Interessen der Zielgruppen bzw. auf eine Ermächtigung der Zielgruppe ab, damit diese sich für ihre Rechte einsetzen kann? Wer gibt der Partnerorganisation ihr Mandat? Wie war und ist die Beteiligung der Zielgruppe und anderer Interessensgruppen und Stakeholder an der Planung und Umsetzung der Maßnahmen?
c) Inwieweit werden Minderheiten als Zielgruppe durch die Partnerorganisationen wahrgenommen bzw. vertreten, z.B. Menschen mit Behinderungen, Indigene, sexuelle Minderheiten auch mit Bezug auf Intersektionalität? Werden in den Projekten die Ärmsten der Armen erreicht? Sind dies die stark Marginalisierten? Wie ist die geschlechtliche Verteilung?
d) Arbeiten die Partnerorganisationen mit einem Genderansatz im Bereich Menschenrechte?
e) Inwieweit sind nationale und internationale Rechtskonventionen, Verträge und Abkommen in den von Brot für die Welt geförderten Ansätzen/Strategien berücksichtigt bzw. inwieweit werden Menschenrechtsinstrumente genutzt?
f) Fördert Brot für die Welt im Menschenrechtsbereich on-demand oder wird aktiv Partner- bzw. Projektsuche betrieben? In wie weit nimmt Brot für die Welt-Einfluss auf Projektinhalt und Strategie? Erfolgt ein Agenda Setting durch die Partnerorganisationen oder die Geberstrukturen?
g) Welchen Beitrag leistet Brot für die Welt für die Realisierung der Menschenrechte im Hinblick auf die zunehmende Gefährdung für MenschenrechtsverteidigerInnen weltweit (shrinking space)?
h) Wie ist die Rolle der Partner in der Akteurslandschaft und in wie weit sind sich die Partner ihrer Rolle bewusst? Welche Potentiale haben die Partner?
i) Gibt es Spezifika von glaubensbasierten bzw. kirchlichen Partnerorganisationen?
Wenn ja, welche? Wie wirken sie sich aus (positiv und negativ)? Werden potentielle Einflussmöglichkeiten der Kirche ausreichend genutzt?
6.2 Effektivität
a) Inwieweit werden die Ziele der Maßnahmen erreicht? Inwieweit haben die Projekte dazu beigetragen, dass Zielgruppen sich für ihre jeweiligen Rechte effektiv einsetzen bzw. diese wahrnehmen können oder erfolgt die Arbeit vorwiegend anwaltschaftlich? Inwieweit gibt es genderspezifische Unterschiede, auch in Bezug auf marginalisierte Gruppen wie Menschen mit Behinderungen, Indigene, sexuelle Minderheiten, auch mit Bezug auf Intersektionalität, in der Zielerreichung?
b) Gibt es „Etappensiege“ im Wirkungsgefüge? Wenn ja, wann und wodurch werden sie erreicht?
c) Inwieweit haben die Projekte dazu beigetragen, dass Staaten ihren Rechtsverpflichtungen gegenüber den Zielgruppen nachkommen? Wie realistisch ist das Ziel der gesetzlichen Verbesserung?
d) Inwieweit gibt es RechterinhaberInnen, die durch die Entwicklungsmaßnahme benachteiligt oder gar nicht erst miteinbezogen wurden? Wenn ja, warum?
e) Welcher Mehrwert ergibt sich aus den unter 4.2. dargestellten Projekttypen und wie ergänzen sie sich?
f) Inwieweit wirkt sich die Verknüpfung von finanzieller und personeller Förderung positiv auf die Erreichung der Projektziele aus?
g) Wo ist der Einsatz einer Fachkraft im Bereich Menschenrechte besonders effektiv, wo sind Chancen für weitere Einsatzmöglichkeiten von Fachkräften? Welche Einsatzmodelle haben sich weniger bewährt?
h) Haben die Partnerorganisationen eine Theory of Change formuliert? Ist die Projektplanung in einem Wirkungsgefüge mit den zugrundeliegenden Annahmen dokumentiert?
i) Existiert einWirkungsmonitoring mit aussagekräftigen Indikatoren und einem Rückfluss in die Projektsteuerung? Werden auf Basis dieser Indikatoren regelmäßig Daten erhoben und ausgewertet? Handelt es sich um genderdesaggregierte Daten? Wenn nicht, warum werden keine gender-desaggregierten Daten erhoben? Wie ist die Organisation für die Datenerhebung personell und technisch aufgestellt? Werden neue Informations- und Kommunikationstechnologien genutzt?
j) Inwieweit gelingt es, Menschenrechtsverletzungen angemessen zu dokumentieren? Erhalten die Projektberichte mit Daten unterfütterte Aussagen zu Wirkungen und Nachhaltigkeit? Wo sind die Herausforderungen z.B. bei der Messung der Zielerreichung der Bewusstseinsbildung? Gibt es hierfür Good Practices?
k) Welchen Zugang haben die Partnerorganisationen zu EntscheidungsträgerInnen und wie nutzen sie diesen? Sind die Organisationen in der Lage, Medien und Öffentlichkeit für ihre Anliegen zu mobilisieren?
l) Welche langfristige(n) Strategie(n) verfolgen die Organisationen? Wie realistisch sind diese?
m) Wie flexibel reagiert die Organisation auf politische Veränderungen, erkennt und nutzt Windows of Opportunity?
n) Wie wird Menschenrechtsarbeit in Kontexten von gewaltsamen Konflikten gestaltet?
Gibt es strategische Schnittstellen zwischen Methoden der Konflikttransformation und der Menschenrechtsarbeit? Wie werden diese von Partnern gestaltet?
o) Inwieweit nutzen Partnerorganisationen sowohl Brot für die Welt als auch Netzwerke vor Ort für einen Austausch? Potenzieren sich die Wirkungen der Projekte durch Netzwerke?
6.3 Effizienz
a) Inwieweit ist es den Projektpartnern gelungen, Projektziele in der anvisierten Zeit zu erreichen?
b) Gibt es Unterschiede in den Kosten der Menschenrechtsprojekte für identische Aktivitäten, die nicht kontextabhängig sind?
c) Sind die Partner mit ausreichenden Kapazitäten und finanziellen Ressourcen für die Menschenrechtsarbeit ausgestattet? Sind die Partnerorganisationen für den notwendigen Datenschutz in ihrer Arbeit technisch ausgestattet?
Werden neue Informations- und Kommunikationstechnologien genutzt und deren Risiken realistisch eingeschätzt?
d) Inwiefern werden die verschiedenen Förderinstrumente von Brot für die Welt kosteneffizient eingesetzt?
e) Wurden genug Ressourcen für ein Gendermainstreaming und die Erreichung marginalisierter Gruppen wie Menschen mit Behinderung, Indigene , sexuelle Minderheiten, auch mit Bezug auf Intersektionalität eingeplant? Inwieweit kamen die Ressourcen vor allem marginalisierten Gruppen zugute?
f) Inwieweit behindert die Konkurrenz um die Fördermittel die Netzwerkarbeit der Partner?
g) Erlauben die Standards der Projektarbeit von Brot für die Welt, dass Partnerorganisationen mit veränderten politischen Ereignissen flexibel umgehen können? Entsprechen unsere Forderungen nach Planungssicherheit (für Zeiträume bis zu drei Jahren) dem Aktionsbedarf der Menschenrechtsorganisationen?
Wieviel Flexibilität kann Brot für die Welt einbauen? Wieviel sollte einbaut werden?
6.4 Übergeordnete entwicklungspolitische Wirkungen
a) Inwiefern waren die Projekte modelhaft, strukturbildend oder breitenwirksam?
b) Welche sonstigen Effekte (auch negative) sind auf der Ebene der übergeordneten Wirkungen feststellbar?
c) Wie wäre die Entwicklung ohne das Projekt verlaufen?
d) Gibt es Projekte, die einen Beitrag im übergeordneten Wirkungsbereich erreicht haben hinsichtlich der
· effektiven Ausübung/Schutz von Menschenrechten
· Verabschiedung und Umsetzung von Gesetzen
· politischen Teilhabe
· Stabilisierung der Situation in Bezug auf Konflikt, Fragilität und Gewalt,
· sozialen, wirtschaftlichen und politischen Gleichberechtigung der Frau
· Armutsminderung der Familien der Zielgruppen bzw. Familienmitglieder
(Frauen, Männer, Kinder/Jugendliche) durch einen verbesserten Lebensstandard (z.B. Zugang zu Gesundheit, Bildung, Nahrung),
· Einflussnahme auf andere Akteure (hier vor allem institutionelle und staatliche auf Meso- und Makroebene)?
e) Lassen sich weitere langfristig übergeordnete Wirkungen (positive, negative, intendierte, nicht intendierte) darstellen, zu denen die Maßnahmen einen Beitrag geleistet haben können?
f) Wie viele Förderphasen erscheinen im Menschenrechtsbereich als notwendig, um Wirkungen zu erzielen? Erkennt Brot für die Welt den Moment eine Exit Strategie zu formulieren? Gibt es ein Abhängigkeitsrisiko?
g) Welche Langzeitwirkungen lassen sich bei den Projekten mit mindestens zwei Vorphasen messen?
6.5 Nachhaltigkeit
a) Wie nachhaltig sind die erreichten Wirkungen der Projekte, nachdem diese beendet wurden?
b) Inwieweit wurden Zielgruppen befähigt, selbstständig für ihre Rechte einzutreten?
c) Inwieweit wurden Basisorganisationen nachhaltig aufgebaut?
d) Inwieweit wurden strategische Allianzen und Synergien mit Strukturen des Staates aufgebaut, inwieweit war dieses möglich?
e) Auf welche Art wurden nationale, lokale und traditionelle Führungskräfte in die Projekte miteinbezogen? Spielen sie eine aktive Rolle nach Beendigung des Projektes?
f) Welche langfristigen externen kulturellen und politischen Faktoren beinträchtigen die Nachhaltigkeit im Förderbereich Menschen/Frauenrechte?
g) Welche Form, Instrumentenmix und welcher Zeitraum der Förderung ist notwendig für die Erzielung von nachhaltiger Wirkung?
7. Methoden und Standards
Es wird vorausgesetzt, dass die Evaluationsstandards der Deutschen Gesellschaft für Evaluation (DeGEval) sowie die Prinzipien und Standards der OECD-DAC für eine partizipative, glaubwürdige, gendersensitive und faire Evaluierung berücksichtigt werden.
Es ist darauf zu achten, dass sowohl quantitative als auch qualitative Methoden genutzt werden. Die Erhebung in den Feldphasen sollten einen partizipativen Charakter haben und Selbstreflexion vor allem bei den stark marginalisierten und diskriminierten Zielgruppen befördern. Die angewandten Methoden sollten inklusiv sein und die sozial kulturellen Kontexte respektieren. Zu der Durchführung von Evaluierungsworkshops mit Partnerorganisationen wird ermutigt.
Die Dokumentation der methodischen Vorgehensweise ist elementarer Bestandteil eines jeden Evaluationsberichts von Brot für die Welt.
In der Methodenauswahl muss forschungsethisch korrekt vorgegangen werden. Der Feldzugang erfolgt mit Respekt für kulturelle Traditionen. Die Evaluierung unterliegt dem do no harm Prinzip.
8. Ablauf
Die Evaluation setzt sich aus folgenden Phasen zusammen:
1. Einer Desk-Phase, in der unter Punkt 5 beschriebene Aufgaben erfüllt werden. Eine erste Bestandsaufnahme zur Grundgesamtheit liegt vor. Die Desk-Studie kann sich auf eine repräsentative Stichprobe beziehen, für die ausführliche Projektunterlagen gesichtet werden sollen, insbesondere die
- Projektanträge, Bewilligungsvorlagen und fachlichen Stellungnahmen,
- Sach- und Endberichte, PME Bögen
- Beratungs- und Reiseberichte,
- sowie vorhandenen Studien und Evaluationsberichte.
Zudem erfolgt eine Befragung von Schlüsselpersonen bei Brot für die Welt und ggf. externen relevanten Stakeholdern Gewonnene Erkenntnisse werden in Relation gesetzt zu:
- Grundsatzpapieren von Brot für die Welt
- und Positionspapieren, Konzeptpapieren und Strategiepapieren zur Einordnung von Menschenrechten in der Entwicklungszusammenarbeit der internationalen Gemeinschaft, nationalen Stakeholdern (staatliche und nichtstaatliche Organisationen) und der wissenschaftlichen Debatte.
Das genaue methodische Vorgehen zur Auswertung der Dokumente (Stichproben, Verwendung von PC Software, etc.) sowie der Befragungen von Schlüsselpersonen bei Brot für die Welt – Evangelischer Entwicklungsdienst wird im Rahmen eines Inception Reports vom GutachterInnenteam vorgeschlagen und mit Brot für die Welt vereinbart.
Am Ende der Desk-Phase erfolgt ein ausführlicher Bericht, der auch Handlungsschritte für die nachfolgende Feldphase aufzeigt. Die Desk-Phase ist für September 2016 bis Februar 2017 geplant.
2. Einer Feldphase, die auf den Ergebnissen der Desk-Phase aufbaut. Sie erfüllt die Aufgaben beschrieben unter 5.2, indem
- im Rahmen eines Stichprobenverfahrens anhand von Kriterien ausgewählte Länder und ihre Projekte besucht werden,
- quantitative und qualitative Erhebungen bei den Partnerorganisationen, Fachkräften, Stakeholdern und Zielgruppen vor Ort durchgeführt werden,
- offene Fragestellungen aus der Desk Studie näher untersucht werden.
Für jede Fallstudie liegt ein Bericht in der jeweiligen Projektsprache vor, in welchem die Projekte nach DAC Kriterien analysiert werden. Eine angemessene und innovative Methodenauswahl wird vorausgesetzt.
Die Feld-Phase ist für das zweite und dritte Quartal 2017 vorgesehen. Es werden voraussichtlich Feldstudien in drei bis vier Ländern in unterschiedlichen Regionen mit mehreren Partnerorganisationen durchgeführt. Die Nutzung neuer Technologien zur Datenerhebung sollte wo möglich in Erwähnung gezogen werden.
3. Einer Synthese-Phase,
in der Ergebnisse der Desk- und Feldphase zusammengeführt und ausgewertet werden.
Sie dient vor allem der Erfüllung der Aufgaben 5.2. Die Synthese-Phase ist für das letzte Quartal 2017 und das 1. Quartal 2018 vorgesehen.
9. Produkte und Berichterstattung
a) Inception Report
Der Inception Report soll nach der Einarbeitungsphase die Rückmeldung geben, wie die in den ToR beschriebenen Ziele, Fragestellungen und Produkte im Rahmen der Evaluation bearbeitet werden. In diesem Zusammenhang werden das Evaluationsdesign und die anzuwendenden Methoden detailliert beschrieben. Es können Vorschläge unterbreitet werden, die die ToR ergänzen bzw. einschränken. Den Vorschlägen, insbesondere wenn es sich um Veränderungen von Zielen und zentralen Fragestellungen handelt, muss der Auftraggeber innerhalb einer vereinbarten Zeit zustimmen, da dies eine Vertragsänderung zwischen Auftraggeber und Auftragnehmer/in darstellt.
Der Inception Report für die Förderbereichsevaluation wird zunächst für die Erstellung der Desk Study erarbeitet und vorgelegt und anschließend im Hinblick auf die Feldphase ergänzt und ausgearbeitet.
b) Workshop zur Erstellung des Wirkungsgefüges
Der Workshop findet mit Brot für die Welt statt.
c) Bericht und Präsentation der Ergebnisse der Desk Study in der ersten Phase.
Der Bericht beinhaltet die Bearbeitung der Aufgaben beschrieben unter Punkt 5. Er wird in einer Präsentation bei Brot für die Welt intern sowie dem BMZ zusammen mit Misereor vorgestellt. Ein gemeinsamer Austausch über das methodische Vorgehen der Feldphase ist vorgesehen.
d) Workshop zur Vorbereitung der Feldphase
Der Workshop zur Planung und Schwerpunktsetzung der Feldphase findet mit Brot für die Welt statt.
e) Workshops mit den Partnern
Im Rahmen der Fallstudien können mit den befragten Partnern einen Landes Erhebungsworkshops stattfinden.
f) Debriefing für die Partnerorganisationen
Am Ende eines jeden Feldaufenthaltes werden die beteiligten Partnerorganisationen im Rahmen einer Abschlussbesprechung durch das Evaluationsteam über die zentralen Ergebnisse der Untersuchung informiert und erhalten die Möglichkeit, die Ergebnisse zu kommentieren. Die zentralen Kommentare werden durch das Evaluationsteam dokumentiert.
g) Einzelne Fallstudienberichte und Präsentation
Die Fallstudienberichte sind sowohl in der Projektsprache des Partnerlandes zu erstellen als auch in einer Zusammenfassung in Deutsch. Der Umfang umfasst ca. 20-30 Seiten und Anhang. Sie werden Brot für die Welt vorgestellt.
h) Austausch und Diskussion als Vorbereitung der Synthesephase
Ein Austausch über die Planung der Synthesephase zwischen dem Team der Gutachter und Gutachterinnen und Brot für die Welt findet statt. Dieser erfolgt in Form einer Präsentation mit anschließender Diskussion.
i) Lernworkshops mit Partnerorganisationen
Im Rahmen der Förderbereichsevaluierung sollen Lernworkshops zur Auseinandersetzung mit den tentativen Ergebnissen der Evaluierung mit Partnerorganisationen erfolgen, um die Ergebnisse von den Partnerorganisationen validieren zu lassen und Ownership der Ergebnisse und kollektive Lernprozesse zu fördern. Die Lernworkshops werden inhaltlich von Brot für die Welt konzipiert und Teilbereiche durch die Gutachtenden gestaltet.
j) Synthesebericht / Endbericht
Der Synthesebericht soll auf Deutsch verfasst sein (ca. 40-50 Seiten und Anhang). Er wird in einer Präsentation bei Brot für die Welt intern sowie dem BMZ zusammen mit Misereor vorgestellt.
Die Formate des Berichtswesens erfolgen in Absprache mit Brot für die Welt.
10. Zeitrahmen
Für die Evaluation ist die Beauftragung einer unabhängigen Beratungsfirma / Organisation (oder auch Zusammenschlüsse von Gutachter/innen) auf der Grundlage mehrerer Angebote vorgesehen. Einzelheiten bezüglich des genauen Zeitablaufs sind noch festzulegen, ebenso wie das genaue Mengengerüst, das nach einem Klärungsgespräch mit den Gutachter/innen über das methodische Vorgehen vereinbart und in Verträgen fixiert wird.
Der vorläufige grobe Zeitplan sieht aus wie folgt:
Bekanntgabe der ToR 24. Juni 2016
Auswahlgepräche 21.-.22. Juli 2016
Bekanntgabe der Auftragsvergabe 25.-27. Juli 2016
Auftragsklärung Mitte September 2016
Inception Report der Desk Study Ende September 2016
Desk Study Ab Oktober 2016
Report und Präsentation der Desk Study Februar 2017
Überarbeiteter Inception Report zur Feldstudy März 2017
Workshop zur Vorbereitung der Feldphase März 2017
Feldphase April bis September 2017
Briefing und Debriefing Notes für die Partner (soweit möglich alle beteiligten
Partner) April bis September 2017
Übersendung der einzelnen Fallstudienberichte an Brot für die Welt Juli bis September 2017
Präsentation der Ergebnisse der Fallstudien September 2017
Synthesephase Oktober bis Februar 2017
Lernworkshops mit Partnerorganisationen November/Dezember 2017
Endbericht und Präsentation März 2018
11. Verantwortlichkeiten und Pflichten
a) Auftraggeber der FBE ist das Stabsreferat Programmkoordination von Brot für die Welt. Federführung in der Operationalisierung der FBE ist das Stabsreferat Ergebnismanagement und Verfahrenssicherung (StR EM-VS). Dies beinhaltet die Begleitung des Evaluationsprozesses und die Endabnahme von Berichten. Zusammen mit den zuständigen Arbeitseinheiten wird das StR EM-VS die relevanten Unterlagen für die Studie zusammenstellen und zugänglich machen. Inhaltliche Begleitung der Förderbereichsevaluierung erfolgt durch die Beraterin auf Zeit Menschenrechte und das Referat Menschenrechte und Frieden.
b) Begleitgruppe: Die interne Begleitgruppe der FBE von Brot für die Welt setzt sich zusammen aus Personen der Regionalreferate aus dem Vorstandsbereich Internationale Programme und dem Präsidialbereich sowie dem Stabsreferat Ergebnismanagement und Verfahrenssicherung und dem Stabsreferat Programmkoordination.
Die Begleitgruppe unterstützt die federführenden Einheiten der FBE in fachlicher Hinsicht in der Vorbereitung und Begleitung der Evaluierung und stellt die Zusammenarbeit mit den Referaten sicher. Sie nimmt an ausgewählten Workshops und Präsentationen der Evaluation teil.
12.Verbreitung der Evaluationsergebnisse
Eine Publikation und Darstellung der Ergebnisse der Evaluation auf der Internetseite von Brot für die Welt sind vorgesehen. Ein Umsetzungsplan wird von Brot für die Welt in Federführung der Beraterin Menschenrechte mit allen Beteiligten erarbeitet und implementiert.
Profil des Teams der Gutachter/innen
Das Team der Gutachter/innen sollte eine Teamleiterin bzw. einen Teamleiter, sowie zwei bis drei Hauptgutachter/innen umfassen. Diese sollten arbeitsteilig vorgehen. Für spezielle Aufgaben können weitere Gutachter/innen bzw. unterstützende Personen hinzukommen.
Die Zusammenarbeit in Teams mit Gutachter/innen aus dem globalen Süden während der Feldstudien wird vorausgesetzt.
Die Gutachter/innen sollen als Team die folgenden Anforderungen erfüllen:
- thematische Kompetenz, wobei alle HauptgutachterInnen einen für den Sektor relevanten Hintergrund haben sollten,
- Arbeitserfahrung in Lateinamerika, Asien und ggf. Afrika
- Erfahrung mit der Arbeit von zivilgesellschaftlichen Strukturen im Süden, insbesondere mit kirchlichen Strukturen,
- umfangreiche Evaluationserfahrungen,
- umfangreiche methodische Kompetenzen im Bereich der Wirkungserfassung von Entwicklungsmaßnahmen im Bereich Menschenrechte und sozialer Gerechtigkeit und mit Gruppen hoher Vulnerabilität, angemessene Methodenkenntnisse in der Erfassung schwer messbarer Wirkungen
- sehr gute Kennnisse von qualitativer und quantitativer Datenerhebung ggf unter Einsatz von ICT
- verhandlungssichere Beherrschung von Deutsch und den Verkehrssprachen Englisch, Spanisch und ggf. Französisch,
- Verständnis für das Partnerschaftsprinzip von Brot für die Welt
- und kulturell angepasstes respektvolles Auftreten bei den Feldbesuchen.
- Das Team soll sowohl Frauen als auch Männer, internationale und lokale Gutachter/ innen umfassen und umfassende Genderkompetenz aufweisen.
13. Angebote
Angebote müssen bis spätestens 17. Juli 2016 an das Stabsreferat Ergebnismanagement und Verfahrenssicherung von Brot für die Welt – Evangelischer Entwicklungsdienst gesendet werden. Ein vollständiges Angebot besteht aus:
§ einem aussagekräftigen Lebenslauf pro Gutachter/in,
§ einem inhaltlichen Angebot, das den Zeitplan präzisiert und schlüssig darlegt, mit welchen Methoden die Ziele der Evaluation erreicht werden sollen. Der Zeitplan stellt differenziert die Tage der Gutachter und Gutachterinnen für die Deskphase und die jeweiligen Feldstudienaufenthalte dar. Es sind circa drei bis vier Feldstudien angedacht, § einem finanziellen Angebot unter Angabe des Honorars zzgl. Umsatzsteuer, der Reise- und Nebenkosten inkl. Umsatzsteuer und der Pauschalen. Alle notwendigen Kosten (inkl. Workshops, Feldphasen, Übersetzungen) müssen im finanziellen Angebot aufgeführt sein. Die Angaben zu den Kosten sind tentativ, da die Länder erst nach der Deskstudie festgelegt werden.
Das vollständige Angebot bitte per E-mail oder per Post an:
Evangelisches Werk für Diakonie und Entwicklung
Stabsreferat Ergebnismanagement und Verfahrenssicherung
z. Hd. Rosilin Bock
Caroline-Michaelis-Straße 1
10115 Berlin
E-Mail: Rosilin.Bock@brot-fuer-die-welt.de
