Mitte der 1990er Jahre intensivierte sich die Diskussion über die Evaluation im Bildungskontext, um Antworten auf folgende Frage zu finden: Wie kann eine professionelle Evaluationskultur in der entwicklungspolitischen Bildungsarbeit etabliert werden? Vorbild waren dabei die Erfahrungen in der Entwicklungszusammenarbeit, in der sich seit den 1970er Jahren eine Evaluationspraxis durchgesetzt hatte. Auf Konferenzen und Treffen diskutierten Wissenschaftler*innen und Praktiker*innen und veröffentlichten neben theoretischen Texten auch konkrete Arbeitshilfen für die Evaluationspraxis in Nichtregierungsorganisationen, die im Globalen Lernen tätig sind.

Definition Evaluierung

Eine Evaluation ist ein Bewertungsinstrument, welches dabei hilft, einzuschätzen wie erfolgreich ein Projekt ist. Mit Hilfe einer Evaluation wird eine Beurteilung der Maßnahmen vorgenommen. Aus den Ergebnissen lassen sich Vorschläge für Veränderungen und deren Umsetzung ableiten. Eine Evaluierung kann helfen, die „großen Ziele“ im Sinne des Globalen Lernens im Blick zu behalten. Zudem hilft sie dem Weltladen dabei sich immer wieder zu fragen, ob die eigenen Bildungsveranstaltungen einen geeigneten (kleinen) Beitrag zur Erreichung dieser Ziele darstellen. Das Vorgehen einer Evaluation ist systematisch organisiert und möglichst objektiv gestaltet, das heißt, egal wer die Evaluation durchführt, es sollten die gleichen beziehungsweise ähnliche Ergebnisse zum Vorschein kommen. Der Evaluationszyklus macht deutlich, dass Evaluation kein einmaliger Vorgang ist, sondern eine begleitende beziehungsweise sich wiederholende Tätigkeit darstellt. Es gibt andererseits – trotz eines schematischen Ablaufs – keine einheitliche Evaluation für verschiedene Bildungsprojekte. Der Weltladen muss also eigene Entscheidungen treffen, was und wie er evaluieren möchte.

Der Evaluationszyklus

Zu Beginn ist es wichtig, dass der Weltladen mit allen an der Evaluation Beteiligten bespricht, warum und mit welchem Ziel die Evaluation durchgeführt wird. Der Weltladen muss festlegen, was genau beschrieben und bewertet werden soll. Grundsätzlich wird zwischen einer Konzeptevaluation (Projektplanung und das zugrundeliegende Konzept), einer Durchführungsevaluation (Realisierung beziehungsweise konkrete Umsetzung des Konzeptes) und einer Wirkungsevaluation (Ergebnisse/Wirkungen einer Maßnahme) unterschieden. Darüber hinaus trifft der Weltladen eine Entscheidung darüber, ob er prozesshaft oder am Ende eines Projektes evaluieren möchte. Überwiegend wird für die Bildungsarbeit in Weltläden eine Selbstevaluation angemessen sein, auf die hier der Schwerpunkt liegt. Der Weltladen kann sich jedoch auch für eine Fremdevaluation entscheiden, bei der eine*n externe*n Evaluator*in hinzugezogen wird. Dies kann zum Beispiel für innovative Bildungsprojekte oder für Weltläden mit hauptamtlichen Bildungsreferent*innen von Interesse sein. Besonders wenn der Weltladen noch keine oder wenig Erfahrung mit Evaluationen hat, empfiehlt es sich, mit einem kleinen Teil der Bildungsarbeit zu beginnen und Erfahrungen zu sammeln. Das kann zum Beispiel eine einzelne Veranstaltung sein.

Selbstevaluierung

Entwicklung von Kriterien und Indikatoren

Wenn der Weltladen die Ziele der Evaluation festgelegt hat, wählt er nun die Kriterien (thematische Aspekte) und dann die Indikatoren (angelegte Urteilsmaßstäbe) aus. Dabei unterscheidet er zwischen der quantitativen und der qualitativen Ebene.

Beispiele für die quantitative Ebene

Beispiele für die qualitative Ebene Hierbei geht es um die Inhalte und diese sind häufig schwieriger zu formulieren und zu messen. Hat der Weltladen sich als Evaluationsziel beispielsweise die Erarbeitung eines „guten“ Seminars gesetzt, könnten Kriterien und Indikatoren folgendermaßen lauten:

Die Zahlenangaben bei den Indikatoren sind fiktiv gewählt. Der Weltladen muss selbst entscheiden, welche Zahl für ihn stimmig ist, um von einer zufriedenstellenden Arbeit zu sprechen.

Auswahl der Methoden/Instrumente und Datenerhebung

Wichtig ist es, geeignete Methoden für die Fragestellung der Evaluation auszuwählen, die dem Umfang der Bildungsveranstaltungen angemessen sind. Häufig werden folgende Methoden und Tools genutzt:

• Fragebögen (für Teilnehmende, Referent*innen)
• Interviews (zum Beispiel mehrere Wochen nach einer Fortbildung mit Teilnehmenden)
• Feedback-Runden am Ende einer Veranstaltung
• Gespräch mit einer Begleitperson (zum Beispiel Lehrkraft, dabei kann später in Erfahrung gebracht werden, ob es noch Fragen oder Rückmeldungen der Schüler*innen gab)
• Durchsicht der verwendeten Materialien (zum Beispiel auf Aktualität oder rassismuskritische Sichtweise)

Der Weltladen sollte darauf achten, dass nur die notwendigen Daten erhoben werden, die zum Evaluationsziel passen, und dass ausreichend Kapazitäten für die Auswertung eingeplant werden. Auch entscheidet der Weltladen jeweils, welche Kombination von Methoden die beste Wahl darstellt.

Datenauswertung

Als nächstes steht die Auswertung und Analyse der Daten an. Dafür sollte ausreichend Zeit eingeplant werden, denn diese Analyse – mit Rückgriff auf die Indikatoren und Kriterien – ist die Grundlage für die Ergebnisse. Der Weltladen sollte sich ein System erarbeiten, wie die verschiedenen Ergebnisse der (Selbst-)Evaluation zusammengefasst werden, so dass sie auch für andere Menschen nachvollziehbar sind.

Kommunikation über die Ergebnisse – Datenschutz

Bei der Kommunikation über die Ergebnisse sollten alle an der Evaluation Beteiligten berücksichtigt werden. Das gewährleistet Transparenz. Wichtig ist, zu beachten, dass es nicht um die Bewertung (oder gar Abwertung) von Menschen geht. Die Arbeit wird in den Blick genommen und deren Stärken sowie Veränderungsmöglichkeiten herausgefiltert. Es kann ratsam sein, die Befragten zu anonymisieren. Führt der Weltladen zum Beispiel mit fünf Lehrkräften Interviews, werden die Fragebögen folgendermaßen durchnummeriert: Lehrkraft 1, Lehrkraft 2 etc. Die Zuordnung von Name und Nummerierung werden nicht veröffentlicht, da sie unter den Datenschutz fällt. Häufig kann es sinnvoll (oder gar notwendig) sein, zu einem Evaluationsgespräch einzuladen. Der Weltladen sollte sich über die folgenden Fragen Gedanken machen:

• Mit wem möchte der Weltladen über die Ergebnisse diskutieren und eventuell Veränderungsvorschläge erarbeiten?
• Wer kann dazu etwas beitragen?

Formulierung von Entwicklungszielen – Konsequenzen

Das Ziel einer Evaluation ist es, Stärken herauszuarbeiten und Veränderungen zu benennen, um die Ziele (noch) besser zu erreichen. Veränderungsvorschläge sollten schriftlich festgehalten werden, auch die „kleinen Aspekte“. Nach einem angemessenen Zeitraum kann erneut evaluiert werden, um festzustellen, ob die vorgenommenen Veränderungen die gewünschten positiven Effekte erzielt haben.

Stand: Dezember 2020

Quelle

Weltladen-Dachverband (2018): Warum wissen meine Eltern das eigentlich nicht\?

Zum Weiterarbeiten

2019 Beispiel Rückmeldung Teilnehmende WL-DV Seminare 2013_Venro_Indikatorenliste_pdf