Materialsammlung

Wirkungsorientiert von Anfang an

Eine Evaluation kann nur dann hilfreiche Erkenntnisse bringen, wenn das Projekt auch von Anfang an gut geplant ist. Eine Wirkungslogik hilft dabei den roten Faden Ihres Projektes darzustellen und so die Zusammenhänge zwischen angestrebten Veränderungen bei der Zielgruppe und geplanten Aktivitäten sowie verfügbaren Ressourcen aufzuzeigen. Auch implizite Annahmen, die Grundlage der Projektplanung sind, können so sichtbar gemacht werden. Für Evaluationen ist die Wirkungslogik des Projekts deshalb eine ideale Grundlage. 

Bevor Sie eine Evaluation planen, stellen Sie daher sicher, dass ihr Projekt klar definiert ist: Haben Sie Ziele, Zielgruppe und Maßnahmen eindeutig beschrieben? Passen die einzelnen Elemente des Projekts sinnvoll zusammen? Ist der rote Faden Ihres Projektes klar zu erkennen? Die folgenden Materialien unterstützen Sie dabei Ihr Projekt von Anfang wirkungs- und zielgruppenorientiert zu planen. 

Materialien

• Methodensammlung zur Projektplanung 
  Spätestens, wenn eine Evaluation angedacht ist, sollte auch das Projekt, das evaluiert werden soll, klar definiert werden. Hier findet sich eine Methodensammlung zur Projektplanung
• Checkliste Projektplanung
  Standards zur Projektplanung, spätestens bei Unterschriftenlauf für Fördermittelanträge fertigzustellen
   

     Alle Videos hier: Wirkung@DRK

Strategisch Weichen stellen

Die Evaluationsplanung ist ein Prozess, bei dem Ziele, Fragen, Methoden und Ressourcen für die Bewertung eines Programms oder Projekts festgelegt werden. Das Ziel der Evaluationsplanung ist es, sicherzustellen, dass die Evaluierung effizient und aussagekräftig ist. Die Evaluationsplanung findet im besten Fall im Rahmen der Projektplanung oder zu Beginn der Umsetzungsphase statt. Sie identifiziert klare Ziele, geeignete Methoden und notwendige Ressourcen, um die Evaluationsfragen zu beantworten.  

Um zu klären, welche Ziele mit der Evaluation verfolgt werden, welche Fragen beantwortet werden sollen und welche Methoden sich dafür unter Berücksichtigung der zur Verfügung stehenden Ressourcen möglicherweise eignen, empfehlen wir eine offene, partizipative Diskussion, zum Beispiel im Format eines Workshops.

Materialien

• Vorlage Workshop Evaluationsplanung
  Beispielhafter Ablauf (Themen & Vorgehen) eines Kick-off Workshops zur Planung einer Projektevaluation
• Tipps zur Formulierung von Evaluationsfragen
  Praxistipps zur Formulierung von guten Evaluationsfragen
• Vorlage Entscheidungsmatrix Evaluation
  Matrix zur Festlegung von Verantwortlichkeiten für Entscheidungen im Laufe der Evaluation
• Vorlage Kosten- und Finanzierungsplan
  Vergessen Sie nicht, die Kosten für die Evaluation in der Projektkalkulation mitzudenken
  (Unsere Empfehlung: 5-10 % des Projektbudgets für Evaluation einplanen)
• Vorlage Evaluationsplan
  Evaluationsplan für interne oder Selbstevaluation

Mit Präzision zum Ziel

Haben Sie sich im Rahmen der Evaluationsplanung für eine externe Evaluation bzw. eine externe Begleitung Ihrer Evaluation entschieden? Dann steht nun der Schritt der Ausschreibung und Vergabe an. Insbesondere bei größeren Evaluationsvorhaben (mit einem Auftragsvolumen über 20.000 EUR) sollte die Vergabe über eine öffentliche Ausschreibung erfolgen. Die Ausschreibung von Evaluationen entspricht vergabeseitig auch anderen Ausschreibungen. Wichtig ist insbesondere die Leistungsbeschreibung, die die Überlegungen des Teams zu den Evaluationsfragen und -zielen zusammenfasst. Die Leistungsbeschreibung dient Bietenden als Grundlage für ein inhaltliches und methodisches Angebot. Nehmen Sie sich daher ausreichend Zeit für diesen Schritt! 

Die Vergabe des Evaluationsauftrags an ein Evaluationsinstitut folgt festgelegten Regeln und Schritten. Bevor ein Angebot angenommen werden kann, muss es nach der vorgegebenen Matrix ausgewertet werden. Für die Beauftragung eines externen Evaluationsinstituts ist ein Dienstleistungsvertrag erforderlich. Die Leistungsbeschreibung wird in den Vertrag aufgenommen. 

Materialien

• Anleitung zur Beauftragung externer Evaluationen
  Eine Übersicht der einzelnen Schritte zur Ausschreibung einer externen Evaluation inkl. Verweis auf die verschiedenen Vorlagen.
• Vorlage Leistungsbeschreibung Evaluation
  Die Leistungsbeschreibung fasst die Überlegungen des Teams zu den Evaluationsfragen und -zielen zusammen. Sie dient Bietenden als Grundlage für ein inhaltliches und methodisches Angebot. 
• Vorlage Öffnungsprotokoll Vergabeunterlagen
  Vorlage eines Protokolls zur Öffnung der Angebote im Vergabeprozess 
• Vorlage Matrix Bewertung Qualitätskriterien
  Vorlage einer Matrix zur Bewertung der Qualitätskriterien im Vergabeprozess 
• Vorlage Auswertungsmatrix der Vergabeunterlagen
  Vorlage einer Matrix zur Auswertung verschiedener Angebote im Vergabeprozess 
• Vorlage Absage / Zusage Ausschreibung
  Beispieltexte für Zu- bzw. Absage auf die Bewerbungen

Ergebnisse, die zählen

Sobald der Evaluationsauftrag vergeben ist bzw. die Evaluationsplanung abgeschlossen ist (bei internen Evaluationen), kann es mit der Umsetzung losgehen. In der Regel findet zu Beginn ein Auftaktworkshop statt, bei dem das Evaluationsdesign, der zeitliche Ablauf sowie Formen und Prozesse der Zusammenarbeit abgestimmt werden.  

Überlegen Sie, wie alle Akteure, die an der Evaluation, zum Beispiel als Datengebende, mitwirken sollen bzw. von den Ergebnissen betroffen sind, angemessen informiert werden können. Hierfür bietet sich eine Kommunikationsplanung an. Mindestens sollten alle Beteiligten zum Start der Evaluation über den Ablauf informiert werden. 

Besprechen Sie rechtzeitig mit dem/der Evaluierenden, in welcher Form die Ergebnisse präsentiert und veröffentlicht werden sollen. Eine exemplarische Gliederung des Abschlussberichts kann hier helfen.  

• Anleitung zur Beauftragung externer Evaluationen
  Eine Übersicht der einzelnen Schritte zur Ausschreibung einer externen Evaluation inkl. Verweis auf die verschiedenen Vorlagen.
• Vorlage Leistungsbeschreibung Evaluation
  Die Leistungsbeschreibung fasst die Überlegungen des Teams zu den Evaluationsfragen und -zielen zusammen. Sie dient Bietenden als Grundlage für ein inhaltliches und methodisches Angebot.
• Vorlage Öffnungsprotokoll Vergabeunterlagen
  Vorlage eines Protokolls zur Öffnung der Angebote im Vergabeprozess
• Vorlage Matrix Bewertung Qualitätskriterien
  Vorlage einer Matrix zur Bewertung der Qualitätskriterien im Vergabeprozess 
• Vorlage Auswertungsmatrix der Vergabeunterlagen
  Vorlage einer Matrix zur Auswertung verschiedener Angebote im Vergabeprozess 
• Vorlage Absage / Zusage Ausschreibung
  Beispieltexte für Zu- bzw. Absage auf die Bewerbungen

Für den Erfolg von morgen lernen

Eine Evaluation dient dem nachhaltigen Lernen des Verbandes. Dafür müssen die Ergebnisse, Empfehlungen und Prozesse einer Evaluation diskutiert, lessons learned sichtbar gemacht und umgesetzt werden.  

Um den Abschluss einer Evaluation sicherzustellen und das Lernen aus der Evaluation zu fördern, ist es im ersten Schritt wichtig, die Ergebnisse transparent zu kommunizieren. Der Evaluationsbericht und die Management Response sollten auf der Webseite veröffentlicht werden. Bei der internen Dateiablage sollte ein sinnvoller Dateiname gewählt werden (DATUM_Thema_Evaluation_Dienstleister) und der Bericht zentral abgelegt werden. So kann er auch nach Projektende noch gefunden werden. Eine Kopie des Berichts bzw. der Link sollte auch an impact(at)drk(dot)de weitergeleitet werden, damit dieser auch in der zentralen Dokumentenablage gespeichert werden kann. 

Darüber hinaus ist es wichtig, die Ergebnisse innerhalb des Generalsekretariats un des Verbandes mit interessierten Personen zu teilen, um das Lernen aus der Evaluation zu fördern und zukünftige Prozesse und Projekte zu verbessern. 

Materialien

• Vorlage Reflexionsworkshop
  Vorlage für einen Workshop zur Reflexion des Evaluationsprozesses und sowie zur Erarbeitung von Lernpunkten auf Basis des Evaluationsberichts 
• Management Response Template
  Die sog. "Management Response" bildet die Antwort des Projektteams auf die Evaluationsergebnisse und -empfehlungen. Die Vorlage kann im Reflexionsworkshop genutzt werden, um die Ergebnisse festzuhalten und weiter auszuarbeiten.
• Vorlage Tatenmatrix
  Vorlage zum Festhalten weiterer Aufgabenpakete und Verantwortlichkeiten, bspw. hervorgehend aus dem Reflexionsworkshop