title: Entwicklung einer computerbasierten Schwierigkeitsprädiktion von Leseverstehensaufgaben
Creators: name: Zimmermann, Stefan
Publisher: name: LIfBi Leibniz Institute for Educational Trajectories
Year: 2016
Subjects: subject: Lesekompetenzmessung
subject: Linear Logistisches Testmodell (LLTM)
subject: Worthäufigkeiten
subject: Part-of-Speech-Tagging, Altersunterschiede

description: Die Vorhersagbarkeit von Aufgabenschwierigkeiten im Bereich des Leseverstehens hat <br>sowohl praktische Konsequenzen für die Ökonomie der Testkonstruktion als auch <br>theoretische Implikationen. Aus theoretischer Perspektive besteht ein Forschungsdesiderat <br>in der Untersuchung derjenigen kognitiven Prozesse, die beim Lösen von <br>Leseverstehensaufgaben im Multiple-Choice-Format zum Tragen kommen. Zudem werden in <br>der praktischen Testentwicklung beim Schreiben von neuen Testaufgaben Informationen <br>darüber benötigt, was eine Aufgabe schwierig respektive leicht macht, um sukzessive in <br>zukünftigen Studien die Passung zwischen Testschwierigkeit und Personenfähigkeit zu <br>verbessern. Da die Erprobung von Testmaterial in Pilotstudien relativ zeitaufwändig und <br>damit kostenintensiv ist, kann hier eine modellbasierte Abschätzung der <br>Aufgabenschwierigkeiten die Pilotstudien sinnvoll ergänzen. Zu einfache oder zu schwere <br>Aufgaben können somit vorab identifiziert werden und von einer empirischen Pilotierung <br>ausgeschlossen werden oder auf Grund der Erkenntnisse, was eine Aufgabe schwierig <br>macht, umgeschrieben werden. Für eine solche praktische Anwendung ist es entscheidend, <br>dass die Ergebnisse der Schwierigkeitsabschätzungen den Testentwicklern bei Bedarf zur <br>Verfügung gestellt werden. Deshalb wird in der vorliegenden Arbeit auf manuelle <br>Kodierungen von Aufgabenmerkmalen verzichtet und verschiedene automatisierbare <br>Methoden der quantitativen (Computer-) Linguistik eingesetzt (u.a. Part-of-Speech-Tagging <br>und korpusbasierte Worthäufigkeitsanalysen) und im Hinblick auf ihre Eignung zur Prädiktion <br>von Aufgabenschwierigkeiten in der Adoleszenz untersucht. Dazu werden die <br>Aufgabenschwierigkeiten im Rahmen eines Linear Logistischen Testmodells (LLTM) als <br>Linearkombinationen von Aufgabenmerkmalen dargestellt. Die empirischen Ergebnisse einer <br>Hauptstudie in der 9. Klasse zeigen, dass ein zufriedenstellendes Modell zur <br>Vorhersagbarkeit von Aufgabenschwierigkeiten aufgestellt werden kann, das zudem die <br>Konstruktvalidität des NEPS Leseverstehenstests stützt. Da in der Sprachverarbeitung <br>verschiedene Prozesse altersabhängig sind und sich im Erwachsenenalter der Wortschatz <br>verbessert und das verbale Arbeitsgedächtnis sich verschlechtert, wird in einem nächsten <br>Schritt die Übertragbarkeit der Ergebnisse auf das Erwachsenenalter überprüft. Dazu wird <br>die Prädiktion der zuvor ausgewählten Aufgabenmerkmale bei den gleichen Aufgaben in <br>einer Pilotstudie an Erwachsenen untersucht. Empirisch zeigt sich bei den Erwachsenen zwar <br>eine ähnlich große Varianzaufklärung in den Aufgabenschwierigkeiten, die <br>Konfidenzintervalle einzelner Schwierigkeitskomponenten sind jedoch u.a. auf Grundlage <br>der deutlich kleineren Stichprobe erheblich größer. Somit können zwar in diesem <br>Altersbereich leichte und schwierige Aufgaben identifiziert werden; gleichzeitig lassen die <br>Ergebnisse für einzelne Schwierigkeitskomponenten jedoch keinen Vergleich mit der Studie <br>in der Adoleszenz zu, so dass die Generalisierbarkeit auf andere Altersbereiche nicht <br>abschließend geklärt werden kann.
description: NEPS Working Papers, No. 64 (2016)