Entwicklung eines Testinstrumentes zur Erfassung von Kompetenzen im Umgang mit Messunsicherheiten
Creators: name: Schulz, Johannes
Publisher: name: Humboldt-Universität zu Berlin
Year: 2022
Subjects: subject: Messunsicherheiten
subject: Kompetenzerfassung
subject: Kompetenzen
subject: Erhebungsinstrument
subject: Physikunterricht
subject: Datenkompetenz
subject: Didaktik der Physik
subject: Naturwissenschaftsdidaktik
subject: Didaktik der Naturwissenschaften
subject: Physikdidaktik
subject: Measurement uncertainties
subject: Assessment tool
subject: Competencies
subject: Assessment
subject: Physics education
subject: Science education
subject: Data literacy
subject: Teaching physics
subject: 530 Physik
subject: 370 Bildung und Erziehung

description: Die Arbeit mit Messunsicherheiten ist essentiell in Naturwissenschaften und Technik. Vor diesem Hintergrund befasst sich diese Arbeit in der ersten Forschungsfrage damit, wie die Inhalte eines validierten Sachstrukturmodells zum Thema Messunsicherheiten (Hellwig 2012) operationalisiert und gemessen werden können. Dazu wurden die Konzepte des Modells in Form von Kompetenzen beschrieben und zugehörige Multiple-Choice Testaufgaben formuliert. Anschließend wurden zufällig ausgewählte Testaufgaben einem Expertenrating unterzogen. Die Ergebnisse zeigen ein Fleiss Kappa, Congers Kappa und Lights Kappa von jeweils mindestens 0,86, was für eine sehr gute Passung der Testaufgaben zu den Kompetenzen spricht. Weiter wurden die Testaufgaben mit 1299 Studierenden erprobt und die 15 (bzw. 10) Testaufgaben zu jedem Konzept einzeln ausgewertet. Als Grundlage diente das eindimensionale dichotome Rasch-Modell. Zur Auswertung wurden u.a. Gütekriterien zur Modellkonformität, lokalen Unabhängigkeit und Subgruppeninvarianz betrachtet. Als Ergebnis wurden bei einer EAP-Reliabilität von 0,61 bis 0,81 zu jedem Konzept 7 - 12 Testaufgaben identifiziert, die zur Nutzung empfohlen werden können. Für einzelne Testaufgaben wurden außerdem Änderungsvorschläge herausgearbeitet. In einer zweiten Forschungsfrage wurde die Struktur der zu den Konzepten formulierten Testaufgaben mit einer konfirmatorischen Faktorenanalyse untersucht. Die Ergebnisse zeigen, dass die Konzepte innerhalb einer Dimension des Sachstrukturmodells als einzelne Faktoren aufgefasst werden können. In zwei Fällen können auch gemeinsame Faktoren für zwei der Konzepte einer Dimension empirisch und inhaltlich begründet werden. Insgesamt stellt diese Arbeit damit für den Bereich der Messunsicherheiten ein theoriegeleitetes, inhaltlich validiertes und empirisch geprüftes Testinstrument zur Verfügung, mit dem zielgerichtet und differenziert in großer Breite Kompetenzen im Umgang mit Messunsicherheiten von Lernenden erhoben werden können.
description: Working with measurement uncertainties is essential in science and engineering. On the basis of a validated model that structures the content in the field of measurement uncertainties (Hellwig 2012) this thesis looks in its first research question at how the concepts proposed by the model can be operationalized and measured. Therefore, the concepts given by the model are formulated by learning progressions and operationalized by multiple choice test items. A random sample of the items then was assessed by six experts in the field of teaching measurement uncertainties. The results show a Fleiss kappa, Congers kappa and Lights kappa of 0.86 or higher for the assignment of the items to the given learning progressions which indicates a very good matching. Furthermore, the items were evaluated in a survey with 1299 university students and each set of 15 (resp. 10) items per concept was analyzed by using the dichotomous one-dimensional Rasch model. Amoung others criteria concerning model conformity, local independence and subgroup invariance were tested. As a result, for each concept 7 to 12 items could be identified which suit the given criteria. The EAP-reliability came up from 0.61 to 0.81 (considering all items of the concepts). In a second research question, the empirical results were evaluated by a confirmatory factor analysis. The results show that the itemsets for the concepts of the model could be interpreted as individual factors. In two cases for two concepts (in one dimension proposed by the model) the assumption of one factor can also be empirically and content-related justified. Overall this thesis presents an empirically-validated assessment tool to probe students' understanding of measurement uncertainties according to the content structure model. The tool captures a broad spectrum in the field of measurement uncertainties in very detailed resolution and can therefore help to evaluate learning progressions and teaching instructions.