Evaluation – Selbstevaluation: Was ist das eigentlich?
Evaluation ist für uns ein zentrales Element der Wirkungsorientierung, um unsere Projekte und Angebote stetig weiterzuentwickeln. Darüber hinaus arbeiten wir daran Prozesse zum organisationalen Lernen zu etablieren, damit die Ergebnisse der Evaluationen nicht in einer Schublade verstauben, sondern aktiv genutzt werden können.
Ganz konkret verstehen wir im Bereich Jugend und Wohlfahrt unter Evaluation:
die systematische und objektive Bewertung eines laufenden oder abgeschlossenen Projekts, Programms oder einer Politik, seiner Konzeption, Durchführung und Ergebnisse auf Basis von empirisch gewonnenen Daten (Definition in Anlehnung an die Deutsche Gesellschaft für Evaluation, DeGEval und die International Federation of Red Cross and Red Crescent Societies, IFRC)
Gerade für größere Evaluationen, die methodische Spezialkenntnisse erfordern, beauftragen wir oft externe Expertinnen und Experten. Zurzeit laufen 6 externe Evaluationen zu Projekten in den Themenfeldern Migration und Flucht, Klimaanpassung in Kitas und Resilienzförderung für Kinder und Jugendliche im Bereich Jugend und Wohlfahrt. Über die Ergebnisse und Schlussfolgerungen aus den Evaluationen werden wir Anfang nächsten Jahres hier im Blog berichten.
Bei kleineren Vorhaben oder Fragestellungen bietet sich neben der externen Evaluation auch eine Selbstevaluation an, die von den Projektverantwortlichen selbst durchgeführt wird:
„Die Programmzuständigen bewerten ihre eigene Tätigkeit und befinden sich somit in einer Doppelrolle. Die Selbstevaluation wird in der Regel mit dem vorrangigen Evaluationszweck durchgeführt, das selbst verantwortete Programm zu verbessern oder zu stabilisieren. Eine Selbstevaluation ist zumeist auf Evaluationsgegenstände beschränkt, die von einzelnen Personen oder auch kleineren Teams geplant und umgesetzt werden“ (https://eval-wiki.org/glossar/Selbstevaluation)
In drei Workshops haben wir uns näher mit dem Thema und möglichen Anwendungsfeldern in unserer Arbeit beschäftigt.
Wichtig: Fokus auf einen kleinen Ausschnitt legen
Da die Selbstevaluation von den Personen, die das zu evaluierende Projekt auch durchführen, evaluiert wird, muss der Ausschnitt, der evaluiert wird, gut gewählt und nicht zu groß sein. Denn natürlich benötigt die Selbstevaluation Zeit und je größer die Fragestellung, desto aufwändiger und zeitintensiver die Selbstevaluation. In den Übungen zeigt sich aber gleich wie herausfordernd es ist, hier einen realistischen Maßstab anzusetzen: Oft interessieren uns einfach zu viele Aspekte und da fällt die Auswahl gar nicht so einfach.
Eine Leitfrage, die hier hilft: „Welches Wissen brauchen wir, um unsere Arbeit noch besser machen zu können?“. Dies zeigt auch gleich einen Vorteil der Selbstevaluation: Wir können genau die Frage(n) bearbeiten, die für uns relevant sind und die eigene Arbeit so zielorientiert weiterentwickeln.
Ressourcen schonen: praxisintegrierte Datenerhebungen
Mein persönlicher Aha-Moment war das Thema „praxisintegrierte Datenerhebung“. Um Antworten auf meine Evaluationsfrage(n) zu erhalten, benötigen wir Informationen / Daten. Der erste Impuls ist hier oft einen Fragebogen aufzusetzen. Gerade in Selbstevaluationen braucht es diesen aber oft gar nicht. Einen guten Fragebogen aufzusetzen und später auch auszuwerten, kostet natürlich immer Zeit, meist auch mehr als ursprünglich angenommen. Um die Ressourcen der Personen, die die Selbstevaluation durchführen sowie der Personen, von denen Informationen eingeholt werden sollen, zu schonen, bietet es sich an bereits bestehende Formate dafür zu nutzen – also praxisintegriert zu arbeiten. Das kann eine Punkte- oder Kartenabfrage im Rahmen einer sowieso stattfindenden Teambesprechung sein oder ein paar gezielte Reflexionsfragen in einem informellen Gespräch mit Kolleginnen und Kollegen. Ideen zu einfachFeedback-Methoden, die sich ohne viel Zeit und Aufwand in Termine integrieren lassen, finden sich auch in unserem Methodenbaukasten.
Kompetenzentwicklung vs. Selbstorganisation
Wer eine Selbstevaluation plant und durchführt, kann nicht nur selbst bestimmen, welche Fragen bearbeitet werden und wie die Daten erhoben werden, sondern lernt dabei auch viel dazu: sowohl methodisch als auch inhaltlich durch die Evaluation selbst. Gleichzeitig benötigt die Planung, Durchführung, Auswertung und Umsetzung der Ergebnisse einer Selbstevaluation ausreichend Ressourcen, vor allem Zeit. Dies fordert den Personen, die die Evaluation durchführen, einen hohen Grad an Selbstdisziplin und -organisation ab. Daher sollte diese Zeit von Anfang an eingeplant werden und bei größeren Fragstellungen gegebenenfalls doch auf eine externe Evaluation zurückgegriffen werden. Manchmal kann auch eine externe Prozessbegleitung dabei helfen, am Ball zu bleiben und nicht den roten Faden zu verlieren. Im Vergleich zu einer externen Evaluation sind die Kosten außerdem deutlich geringer.
Daten, Daten, Daten: Und was jetzt?
Die erhobenen Daten wollen auch ausgewertet werden: noch so eine Binsenweisheit und doch unterschätzen wir oft, wie viel Zeit eine gute Aufbereitung, Auswertung und Interpretation von Daten benötigt. Gerade bei qualitativen Daten ist die Erhebung oft einfacher, da hier nicht unbedingt komplexe Erhebungsinstrumente entwickelt werden müssen. Die Auswertung ist dafür meistens aufwendiger, da die gewonnenen Daten (in diesem Fall oft Text oder auch Audioaufnahmen) erst aufbereitet werden müssen, bevor sich die Daten aussagekräftig interpretieren lassen. Welche Möglichkeiten es hier gibt haben wir uns im dritten Modul des Trainings angeschaut: neben Wortwolken bieten sich zum Beispiel Kategorisierungen an. In diesem Thema steckt noch viel Potential und vielleicht wird es dazu im nächsten Jahr auch noch ein Training geben, über das wir dann wieder hier berichten werden. Wer jetzt schon mehr dazu lesen möchte, findet in diesem Blogbeitrag von Stephanie Evergreen Inspirationen zu weiteren spannenden Darstellungsformen qualitativer Daten: https://stephanieevergreen.com/must-know-qualitative-charts/
Zu guter Letzt: weniger ist mehr
Wenn Sie überlegen eine Selbstevaluation durchführen, sollten Sie auf folgende Punkte achten:
- einen überschaubaren Ausschnitt ihrer Arbeit für die Selbstevaluation auswählen
- auf die Fragen konzentrieren, die wirklich handlungsrelevant sind
- Methoden wählen, mit denen Sie sich gut auskennen, deren Aufwand Sie abschätzen können und die Sie gut im Arbeitsalltag unterbringen können
Sie haben Fragen zu Selbstevaluationen oder Evaluation im Allgemeinen? Dann schreiben Sie uns gerne eine E-Mail an impact(at)drk(dot)de!