# Formative Evaluation

Formative Evaluationen konzentrieren sich darauf festzustellen, welche Aspekte des Designs gut oder nicht gut funktionieren und warum. Diese Bewertungen finden während der gesamten Neugestaltung statt und liefern Informationen zur schrittweisen Verbesserung der Benutzeroberfläche Auf diese Weise können schon früh konkrete Verbesserungsmöglichkeiten aufgezeigt werden, das Produkt kann somit durch die Tests und das iterative Vorgehen aus Sicht der Gebrauchstauglichkeit stetig verbessert werden. Typisch für formative Evaluationen ist das mehrmalige Testen und Ändern des Produkts. Die Vorteile der formativen Evaluation sind eindeutig ihre hohe Effektivität und Effizienz. Durch das frühe Ansetzten im Entwicklungsprozess können potentielle Probleme früh erkannt und somit ausgebessert werden.

## Anwendung

Die formative Evaluation kann formal (direkt) oder informal (indirekt) angewendet werden, d. h. als beschreibende, lernrelevante Rückmeldung im Gespräch zwischen Lehrkraft und Schülern oder auch als Eigenbeobachtung. Bei der formativen Rückmeldung sollten drei Aspekte (Fragen) im Vordergrund stehen:
* Was ist das Lernziel? Was ist die ursprüngliche Intention? Was wollte man lernen?
* Wo befindet man sich in seinem Lernprozess? Was wurde bereits erreicht? Was kann man schon?
* Was brauchst man noch, damit das Ziel erreicht wird? Unterstützungen (Material, Methoden, personelle Ressource)

### Cognitive Walktrough

Eine Art zur Überprüfung eines Produkts ist der Cognitive Walkthrough (zu deutsch: kognitiver Durchgang, Durchdenken eines Problems,). Ein Teammitglied durchläuft stellvertretend für die Benutzer einen Prototyp des Produkts. Dadurch sollen Probleme identifiziert werden, die die Lernfähigkeit und damit verbundene Fragen beeinträchtigen. Im Gegensatz zu heuristischen Evaluationen (siehe unten), fokussiert sich der Cognitive Walkthrough auf eine einzelne Dimension: die Erlernbarkeit. Maßgeblich werden drei Problembereiche erfasst:
* Punkte, an denen die Konzepte der Nutzer und Entwicklern über die Aufgaben nicht übereinstimmen,
* ungünstige Benennungen der Bedienelemente sowie
* inadäquates Feedback des Systems.

### Heuristische Evaluation

Bei der heuristischen Evaluation handelt es sich um eine Methode, bei der ein Produkt durch Experten überprüft wird, typischerweise sind dies Usability-Experten. Eine Gruppe von Evaluierenden bedient sich an einem Satz von Heuristiken bzw. Kriterien. Zum Beispiel können die Nielsen-Heuristiken oder die Grundsätze der Dialoggestaltung nach ISO 9241-110 herangezogen werden. Das System explorierend, versuchen sie Verstöße gegen die Forderungen in den Heuristiken aufzudecken. Indem die allgemeine Usability-Expertise mit dem Wissen über die Anwendungsdomäne und Zielgruppe verbunden wird, bemühen sich die Evaluierenden, die Sichtweise eines Nutzers aus der Zielgruppe einzunehmen. Die Usability-Experten sind quasi Stellvertreter der späteren Nutzenden.
Die von Nielsen entwickelten Heuristiken sind ein Satz an Richtlinien oder Faustregeln für die Benutzerfreundlichkeit. Obwohl diese Heuristiken ursprünglich für die Inspektion von Software entwickelt wurden, sind sie für jede Art von Produkt weit verbreitet. Das Ziel einer heuristischen Evaluation ist es, möglichst vollständig alle Usability-Probleme in einer Schnittstelle aufzudecken und so zu kategorisieren, dass die unterschiedlichen Aussagen der Evaluierenden möglichst eindeutig einem zugrundeliegenden Problem zugeordnet werden können.
Informelle heuristische Evaluationen, sind eine Variation, die mit nichts anderem als dem Wissen aus Erfahrung durchgeführt werden. Die Bewertung kann durch ein Memo oder ein Meeting erfolgen und von einem einzelnen Teilnehmer vorgenommen werden.

## Beispiele

An der Fakultät für Psychologie der Universität Wien wurde Twitter verwendet, um Lehrveranstaltungen formativ zu evaluieren.
Eine Form der formativen Evaluation ist die Lernverlaufsdiagnostik, bei der die Lehrkraft den Lernfortschritt der Schülerinnen und Schüler mit kurzen, meist standardisierten Tests dokumentiert und die Ergebnisse nutzt, um ihren eigenen Unterricht zu evaluieren, zu verändern und dem Schüler über die Entwicklung Rückmeldung zu geben.
Darüber hinaus bieten Lernportfolios die Möglichkeit Lernprozesse zu dokumentieren und reflektieren. Dabei sammeln Studierende ihre Arbeiten, Projekte und Reflexionen über einen bestimmten Zeitraum hinweg und präsentieren sie in einer strukturierten Sammlung. Lernportfolios bieten die Möglichkeit, individuelle Fortschritte zu verfolgen, Selbstreflexion anzuregen und die Entwicklung von fachlichen und überfachlichen Kompetenzen zu dokumentieren.

## Werkzeuge und Ressourcen

Die Durchführung formative Evaluationen erfordert eine Vielzahl von Werkzeugen und Ressourcen, die Forschern, Designern und Pädagogen dabei helfen, relevante Daten zu sammeln und wertvolle Einblicke zu gewinnen. Sowohl physische als auch digitale Instrumente sind in diesem Prozess von großer Bedeutung.

### Physische Werkzeuge

* Fragebögen und Umfrageinstrumente
** Erstellung von standardisierten Fragebögen zur Sammlung quantitativer Daten zu Benutzererfahrungen und Meinungen.
* Interviewleitfäden:
** Strukturierte Leitfäden für Interviews, die es Forschern ermöglichen, relevante Informationen von Probanden zu sammeln.
* Prototypen und Wireframes:
** Physische oder papierbasierte Prototypen, um Designkonzepte schnell zu visualisieren und Benutzertests durchzuführen.
* Usability-Labore:
** Speziell ausgestattete Räume für Benutzertests, die mit Aufzeichnungsgeräten, Kameras und Eye-Tracking-Technologie ausgestattet sind.

### Digitale Werkzeuge

* Usability-Testing-Software:
** Plattformen wie UserTesting, UsabilityHub oder Lookback, die die Durchführung von Remote-Usability-Tests und das Sammeln von Echtzeitfeedback ermöglichen.
* Online-Umfrageplattformen:
** Dienste wie SurveyMonkey, Google Forms oder Typeform für die Erstellung und Verwaltung von Online-Umfragen zur Erfassung quantitativer Daten.
* Eye-Tracking-Software:
** Programme wie Tobii oder EyeQuant, die Eye-Tracking-Daten erfassen, um die visuelle Aufmerksamkeit der Benutzer zu analysieren.
* Prototyping-Tools:
** Digitale Prototyping-Plattformen wie Figma, Adobe XD oder Sketch, die es Designern ermöglichen, interaktive Prototypen zu erstellen und zu testen.
* Analysesoftware für Benutzerverhalten:
** Google Analytics oder Hotjar, um das Online-Verhalten von Benutzern zu verfolgen und zu analysieren.

### Zusätzliche Ressourcen

* Literatur und Fachzeitschriften:
** Zugang zu aktuellen Forschungsergebnissen, Fachzeitschriften und Büchern im Bereich der formative Evaluation.
* Schulungen und Workshops:
** Angebote von Schulungen und Workshops für Forscher, Designer und Pädagogen, um ihre Fähigkeiten im Bereich der formative Evaluation zu verbessern.
* Online-Communities:
** Teilnahme an Online-Communities, Foren oder Diskussionsgruppen, um Erfahrungen und bewährte Methoden mit anderen Fachleuten zu teilen.