Ziel einer jeden Evaluation ist es, Gelungenes herauszufiltern und, wo notwendig, Verbesserungsmöglichkeiten aufzuzeigen. Verschiedene Zeitpunkte der Prüfung setzen dabei Akzente mit unterschiedlichen Blickwinkeln.

Der Begriff „Evaluation“ enthält im Wesentlichen drei Elemente:

1. das methodische Erfassen,
2. das Bewerten von Prozessen und Ergebnissen sowie
3. das Verstehen und Gestalten einer Praxismaßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion (Reischmann, 2006).

Die Evaluation im pädagogischen Kontext ist eine Auswertung, Bewertung, Erfolgs- und Wirkungskontrolle von Lehr-Lernprozessen. Sie ermöglicht einen Rückblick auf den Lernprozess und eine Vorausschau auf die Umsetzung. Evaluiert werden können u.a.

• der individuelle Lernfortschritt,
• Lernergebnisse der gesamten Gruppe,
• das Lehrverhalten,
• die Passung des didaktisch-methodischen Konzepts sowie
• Aspekte, die die Bildungseinrichtung oder das regionale Weiterbildungsangebot betreffen (Siebert, 2010).

Hervorgegangen aus wirtschaftlichen bzw. politischen Kontexten kam die Evaluation im Rahmen der Programme „New Deal“ zur Verringerung der Arbeitslosigkeit und der Verbesserung der sozialen Sicherheit in den USA zur Geltung. Zuvor hatte Kurt Lewin, der als Pionier in der (Sozial-)Psychologie gilt, in den 1930er Jahren versucht, den Nutzen, also die positive Wirkung von Lernleistungen, zu messen.

Im Jahr 1959 entwickelte Donald L. Kirkpatrick, ein amerikanischer Wirtschaftswissenschaftler, das „Vier-Ebenen-Modell“ zur Evaluation von Bildungsmaßnahmen, das auch heute noch aktuell ist.

Seit den 1970er Jahren rückten ergänzend zu der Betrachtung der Mikroebene der Lehr-Lerninteraktionen auch andere Systemebenen in den Fokus, wie die den Lehr-Lernprozess umgebende Organisation und Weiterbildungssysteme. Seit 2005 liegt der Fokus auf Ergebnissen, Resultaten und nachhaltigen Wirkungen eines Programms oder eines bestimmten Lehrverhaltens (Abb. 1). 

Die Evaluation dient der Qualitätskontrolle des Kurses in Bezug auf vereinbarte Qualitätskriterien, z.B. Lernerfolg oder Lehrkompetenz. Sie gibt Auskunft darüber, ob und in welchem Maße das Bildungsangebot und die Erwartungen bzw. Interessen der Teilnehmenden übereinstimmen und dient somit dem Abgleich sowie der Steuerung.

Die verschiedenen Zeitpunkte und Evaluationszwecke bei Planungs-, Zwischen-/Ergebnis-, und Selbstevaluation bedingen verschiedene Methoden. Gemein ist ihnen, dass immer ein Vergleich zwischen dem Ist-Wert und dem Soll-Wert ermittelt wird. Aus Sicht der Lehrkräfte steht die Verbesserung der Qualität des Lehr-Lernprozesses, der eigenen Praxis und der eigenen Professionalitätsentwicklung im Vordergrund (vgl. hierzu das Vier-Phasen-Model von Kirkpatrick, hier unter „Wie sieht man das woanders?“ dargestellt).

Die Planungsevaluation zu Kursbeginn ist wichtig für den Abgleich zwischen den Lehr- und Lernzielen und den erwarteten Teilnehmervoraussetzungen. Grundlage für die Strukturierung des Inhalts, die Wahl der Lernhilfen und Materialen sind die Fragen nach den Motiven und Interessen der Teilnehmenden, welche Erfahrungen sie einbringen können, an welche Lernvoraussetzungen angeknüpft werden kann und ob spezifische Gruppenzusammensetzungen zu erwarten sind. Im Rahmen der Anfangssituation stellt die Lehrkraft den Lehrplan sowie die Inhalte vor und erkundigt sich nach Anknüpfungspunkten, die bei der Planung der Unterrichtseinheiten berücksichtigt werden können. Das geschieht beispielsweise im Rahmen einer Vorstellungsrunde, einer Diskussionsrunde oder Lernstandsabfragen (vgl. Checkliste „Vorbereitung Lehre“).

Die Zwischenevaluation ist ein ständiger Begleiter der Bildungsveranstaltung. Zwischenevaluationen ergeben eine Bewertung des laufenden Prozesses hinsichtlich inhaltlicher und emotionaler Kriterien. Das Ziel ist, die Ergebnisse zur Verbesserung der weiteren gemeinsamen Arbeit zu nutzen. Die Zwischenevaluation ist hinsichtlich des Zeitaufwands, der Veränderung der Kurssituation und -atmosphäre sowie ihres Einflusses auf die Rollenverteilung bei der Kursplanung zu berücksichtigen. Mögliche Zeitpunkte für die Zwischenevaluation sind nach einer Einführung in ein Thema, zum Abschluss eines inhaltlichen Abschnitts oder am Ende des Seminartags.

Die Ergebnisse werden offen mit den Lernenden besprochen, so dass gemeinsame Schlüsse daraus gezogen werden können. Die Beteiligung der Lernenden steigert deren Selbstverantwortlichkeit, motiviert mit der Beteiligungschance, wertschätzt den Austausch individueller Erwartungen und Einschätzungen.

Mögliche Methoden der Zwischenevaluation sind z.B. das Stimmungsbarometer, die Blitzlicht-Methode oder Kurzinterviews mit Teilnehmenden.

Die Ergebnisevaluation stellt als Instrument der Qualitätskontrolle das Verhältnis von Zielen und Erwartungen in den Vergleich zu den eingetretenen Ergebnissen. Diese „summative Evaluation“ erfolgt zum Ende der Veranstaltung. Ihr Blick kann sowohl rückwärts auf den Lehr-Lernprozess gerichtet sein als auch auf den folgenden Transfer in die Zukunft. Häufig werden standardisierte Beurteilungsbögen eingesetzt mit Fragen nach

• der Zufriedenheit,
• dem Lernzuwachs,
• dem Gruppenprozess,
• dem Lernort,
• den Lerninhalten und
• dem methodischen Vorgehen.

Wichtig ist, dass die Fragen klar formuliert sind. Bei der Auswertung, insbesondere beim Rückblick, müssen Harmonisierungseffekte, persönliche Legitimationen und Erinnerungslücken berücksichtigt werden. Um diese zu umgehen, kann man die Schlussfragen schon während des Kursverlaufs verteilen und die Teilnehmenden bitten, hier von Zeit zu Zeit ihre Eindrücke zu dokumentieren. Das vorausschauende Evaluationsergebnis steht jedoch gleichermaßen unter dem Einfluss von Harmoniegedanken, Zweckoptimismus und Wunschdenken.

Bei etablierten Bildungsveranstaltungen mit langen Laufzeiten oder mehreren aufeinander folgenden Kursen, z.B. Fremdsprachenkursen, kann eine Evaluation der Wirkung des Lernprozesses in Bezug zum Outcome sinnvoll sein, um Lernerreichungsgrade festzustellen.

Die Ergebnisevaluation kann mündlich, schriftlich oder mit Karten erfolgen. Weitere Methoden sind zum Beispiel „Kofferpacken“ und „Stimmungsbarometer“.

Ebenfalls zum Ende der Veranstaltung erfolgt die Dokumentierende Evaluation mit statistischen Kennzahlen, wie Anzahl der Kursteilnehmenden, Kursstunden, etc. Diese Angaben fließen in die Bilanzierung der Bildungseinrichtungen ein.

Ergänzend zu der Evaluation des Lehr-Lernprozesses erfolgt die Evaluation des Verhaltens der Lehrkraft im Rahmen der Selbstevaluation, z.B. durch kollegialen Erfahrungsaustausch oder Hospitation. Ziel der Selbstevaluation ist der Gewinn von Erkenntnissen für die weitere Arbeit. Hierbei stehen folgende Fragen im Fokus:

• War die Gestaltung der Lernprozesse ausreichend transparent?
• Wurden die inhaltlichen Akzente richtig gesetzt?
• War die Abfolge überzeugend?
• Waren die Lernschritte nachvollziehbar?
• War der Methodeneinsatz ausreichend flexibel?
• War das sprachliche Niveau dem Kurs angemessen? (nicht zu viel Fachsprache)
• Waren die Materialien hilfreich?
• Wie wertschätzend wurden die Lernenden behandelt?

Der kollegiale Austausch bietet neben der Auswertung und Beratung auch den Wissensgewinn durch den Erfahrungsaustausch, z.B. durch die Verständigung über den Einsatz von verschiedenen Methoden.

Die Hospitation, Beobachtung des Kurses durch einen Kollegen, bietet die Chance zu einer Reflexion des Lehr-Lernprozesses. Oft als Kontrollinstanz empfunden, stellt sie eine gute Gelegenheit für eine professionelle Einschätzung des Unterrichtsgeschehens dar. 

Nach Maria Gutknecht-Gmeiner sind alle Evaluationsthemen in der Erwachsenenbildung auch für die Forschung relevant. Evaluationen zeigen Entwicklungen, Analysethemen und Informationsbedarf in der Erwachsenbildungs- bzw. Weiterbildungslandschaft auf. Evaluation kann einen empirischen Beitrag zu bildungspolitischen Fragen, wie nach Lernergebnissen und Wirkungen von Bildung, liefern. Bislang stellte die Evaluation im Bereich der Erwachsenenbildung eine noch wenig wahrgenommene Aufgabe dar (Gutknecht-Gmeiner, 2009).

Bereits im Jahr 1959 entwickelte Donald L. Kirkpatrick, ein amerikanischer Wirtschaftswissenschaftler, mit dem „Vier-Ebenen-Modell“ einen inzwischen klassischen Ansatz zur Evaluation von Bildungsmaßnahmen, der auch heute noch aktuell ist (Abb.2).

Das Vier-Phasen-Modell von Kirkpatrick baut auf dem Prinzip auf, dass Lehrkräfte bereits bei der Planung ihrer Kurse zu lernende Inhalte, Fähigkeiten und Fertigkeiten festlegen müssen, um später gewünschte Verhaltensänderungen hervorzubringen. Aufgabe der Lehrkraft ist es folglich, dass nicht nur gelernt wird, sondern auch, dass das Gelernte angewendet wird. Nur so lässt sich später z.B. eine Erfolgskontrolle in der Anwendung des Gelernten, z.B. in Unternehmen, feststellen. Die ersten zwei Stufen „Reaction“ und „Learning“, vergleichbar mit Zwischen- und Ergebnisevaluation, finden in der Lerngruppe statt, während die dritte und vierte Stufe, „Transfer“ bzw. „Behavior“ und „Results“ erst im beruflichen Alltag durchführbar sind.

In der Schweiz verfolgt die Schweizerische Evaluationsgesellschaft (SEVAL) das Ziel, einen Beitrag zur Professionalisierung der Lehrverhaltens mit eigenen Standards hinsichtlich der Eigenschaften Nützlichkeit, Durchführbarkeit, Korrektheit und Genauigkeit zu leisten.

Die SEVAL-Standards sind in drei Gruppen gegliedert:

• Gruppe A: allgemeine Grundprinzipien, die unabhängig von bestimmten Aktivitäten oder Prozessschritten für Evaluationen grundsätzlich von Bedeutung sind (wie z.B. eine hohe Evaluationsqualität)
• Gruppe B: praktische Aspekte bei der Planung und Durchführung einer Evaluation
• Gruppe C: Standards zur Bewertung und Ergebnisvermittlung

  In Österreich hat sich die Praxis der Evaluation durch alle Ebenen vom Lehr-Lern-Prozess bis zur Institution in der Erwachsenenbildung und in der Weiterbildung in Österreich etabliert (Gutknecht-Gmeiner, 2009).

Deutsche Gesellschaft für Evaluation e.V. (2014). Standard für Evaluation. Abgerufen von https://www.degeval.org/publikationen/standards-fuer-evaluation

Gutknecht-Gmeiner, M. (2009). Evaluation (in) der Erwachsenenbildung. Eine kritische Würdigung der aktuellen Praxis und Analyse möglicher Handlungsfelder. Magazin erwachsenenbildung.at 7/8, 13-1-14. Abgerufen von http://erwachsenenbildung.at/magazin/09-7u8/meb09-7u8_13_gutknecht_gmeiner.pdf

Hartz, S., & Meisel, K. (2011). Qualitätsmanagement (3. Aufl.). Bielefeld: W. Bertelsmann.

Kirkpatrick, D. (1998). Evaluation Training Programs – The Four Levels (2. Aufl.). San Francisco: Berrett-Koehler Publisher.

Nuissl, E. (2013). Evaluation in der Erwachsenenbildung. Bielefeld: W. Bertelsmann.

Nuissl, E., & Siebert, H. (2013). Lehren an der VHS. Bielefeld: W Bertelsmann.

Schweizer Evaluationsgesellschaft (2002). SEVAL-Standards. Abgerufen von www.seval.ch/de/documents/seval_Standards_2001_dt.pdf

Schweizer Evaluationsgesellschaft (2016). SEVAL-Standards. Abgerufen von http://www.seval.ch/documents/Standards/SEVAL-Standards%202016_d.pdf

Reischmann, J. (2006) Weiterbildungs-Evaluation. Lernerfolge messbar machen (2. Aufl.). Augsburg: Ziel. 

Siebert, H. (2010). Methoden für die Bildungsarbeit (4. Aufl.). Bielefeld: W. Bertelsmann.

Stockmann, R. (2010). Evaluation. In R. Arnold, S. Nolda, & E. Nuissl, (Hrsg.), Wörterbuch Erwachsenenbildung (2. Aufl.). Abgerufen von www.wb-erwachsenenbildung.de