# Wirksamkeitsanalyse (Bildungsbereich)

Im Bildungsbereich beurteilt eine Wirksamkeitsanalyse die Wirkung von Maßnahmen zur Verbesserung der Lehre (Lehrinterventionen) im Hinblick auf die intendierten Ziele dieser Maßnahmen. Eine solche Wirksamkeitsanalyse weist Ähnlichkeiten zu einer klinischen Interventionsstudie auf.
Hinsichtlich der Durchführung der Maßnahmen, deren Wirksamkeit untersucht werden soll, lässt sich eine grundsätzliche Unterscheidung in Forschungsprojekte (Bildungsforschung) und Interventionsprojekte (Evaluationsprojekte) treffen. Ein Interventionsprojekt braucht ein inhaltsbezogenes theoretisches Fundament, auf dem es aufbauen kann. Ein Forschungsprojekt kann demgegenüber ohne inhaltliches Fundament durchgeführt werden, insbesondere bei einem neuen Forschungsgebiet. Sein Fundament ist alleine eine etablierte wissenschaftliche Methode.

## Ziele

Jede Lehrintervention verfolgt ein oder mehrere Ziele, also in der Zukunft liegende, erwünschte Zustände, die durch die Intervention ausgelöst werden sollen. Eine Lehrintervention adressiert dabei eine oder mehrere Zielgruppen (Studierende, Dozierende, gegebenenfalls andere Akteure in der Lehre).
Ziele können beispielsweise anhand der SMART-Kriterien formuliert werden. Dadurch kann sichergestellt werden, dass keine wesentlichen Aspekte der Ziele übersehen werden. Ein wichtiger Aspekt in diesem Zusammenhang ist die Überprüfbarkeit, ob oder in welchem Grad ein Ziel erreicht wurde (Aspekt der Messbarkeit, also das „M“ in SMART). Siehe dazu den Abschnitt über Indikatoren.

## Ursachenannahmen bzw. Hypothesen

Lehrinterventionen lassen sich durch zwei Arten von Projekten umsetzen: Forschungsprojekte und Interventionsprojekte. Ein Forschungsprojekt ist durch Hypothesen geleitet, ein Interventionsprojekt geht von grundlegenden Annahmen über die Wirksamkeit von Maßnahmen aus, die zunächst nicht in Frage gestellt werden. Hypothesen eines Forschungsprojekts können im Gegensatz zu Ursachenannahmen eines Interventionsprojekts ihren Ursprung in intuitiven Überlegungen haben.

## Wirkannahmen

Wirkannahmen stellen eine Beziehung zwischen Maßnahmen und Ziel her. Sie benennen, welche Maßnahmen vermutlich eine Zielerreichung bewirken. Sie unterscheiden sich von den Ursachenannahmen. Diese benennen, welche Faktoren als Ursache für den zu ändernden Ist-Zustand in Frage kommen.
Beispiel (aus dem Kontext einer medizinischen Fragestellung): Eine Person mit Kopfschmerzen hat das Ziel, von diesen befreit zu werden. Eine Maßnahme ist die Einnahme des Medikaments. Eine Wirkannahme ist, dass die durch Einnahme eines Schmerzmittels die Kopfschmerzen beseitigt werden. Denkbare Ursachenannahmen sind u. a. Alkoholkonsum oder muskuläre Verspannung.

## Indikatoren

Indikatoren sind Größen, die in den Zielgruppen empirisch erhoben werden können und Aussagen über den Grad der Zielerreichung ermöglichen. Balzer und Beywl verwenden den Begriff der Resultate, die sie zusätzlich nach zählbaren Leistungen (Output), Wirkungen auf die Zielgruppen (Outcome) sowie strukturellen Veränderungen (Impacts) differenzieren. Bei Forschungsprojekten sind höhere Ansprüche an die Definition der Indikatoren zu stellen als bei Interventionsprojekten.

## Datenerhebung

Zur Messung der Wirkung von Maßnahmen werden Daten zur Messung der durch die Indikatoren beschriebenen Werte erhoben. Im Idealfall folgt die Erhebung einem etablierten Studiendesign.

## Interpretation und Bewertung der Ergebnisse

Im letzten Schritt eines Projekts werden die Resultate interpretiert, um die Forschungsfragen zu beantworten, die Hypothesen zu überprüfen, die Wirkannahmen anzupassen und/oder die Intervention nachzujustieren.

## Beispiele

Ein Beispiel für ein Forschungsprojekt im Bereich der Hochschulbildung ist die Studie „Improved Learning in a Large-Enrollment Physics Class“. Die zugrundeliegende Hypothese war, dass interaktives Lernen das konzeptionelle Verständnis der Studierenden besser fördert als konventioneller Frontalunterricht. Die Wirkannahmen wurden aus der kognitiven Psychologie abgeleitet. Im Rahmen einer Vergleichsstudie wurde in einer Teilkohorte mit einem „interactive learning style“ unterrichtet, in einer Vergleichsgruppe mit konventioneller Vorlesung. Als Indikatoren für den Lernerfolg wurden die von den Studierenden in einem Test erreichten Punkte verwendet und zwischen den Teilkohorten verglichen. Die Studierenden in der Versuchsgruppe schnitten bei diesem Test mehr als doppelt so gut ab wie die Studierenden der Kontrollgruppe. Die Autoren interpretieren die Ergebnisse dahingehend, dass die Ausgangshypothese an Plausibilität gewonnen hat.
Als Beispiel für ein Interventionsprojekt soll ein hypothetisches, konstruiertes Projekt dienen, das auf der Annahme aufbaut, dass Kohorten mit Personen unterschiedliches Vorwissens für die schwächeren Studierenden den Studieneinstieg erschweren. Die Wirkannahme ist, dass Homogenisierung durch Tutorien hilft, den Einstieg ins Studium zu erleichtern, weil den schwächeren Studierenden ein geschützter Raum geboten wird und soziale Bindungen gestärkt werden. Als Maßnahme wird in einem Semester für ein Modul ein Zusatztutorium mit Zugangsbeschränkung für (stark) geforderte Studierende angeboten. Als Indikatoren werden die Zufriedenheit der Studierenden erhoben sowie die erworbenen Leistungspunkte nach einem Semester oder mehreren Semestern. Je nach gemessenen Indikatorwerten, kann das Format beibehalten, verworfen oder abgeändert werden.