title: Ein Verfahren zur Itemkalibrierung mittels adaptiver Itemauswahl
Creators: name: Emprechtinger, Robert
Publisher: name: :none
Year: 2015

description: Ein wichtiger Schritt bei der Entwicklung neuer psychologisch-diagnostischer Testverfahren ist die als Itemkalibrierung bezeichnete Prüfung der Verrechnungsfairness der konstruierten Items. Ein Problem bei der Itemkalibrierung ist die zufällige Itemvorgabe (zufällig bedeutet in diesem Kontext, dass jedes Item stets die selbe Wahrscheinlichkeit hat, vorgegeben zu werden). Dementsprechend erhalten Testpersonen, bei denen sich bereits aufgrund ihres bisherigen Antwortverhaltens zum Beispiel eine besonders hohe Fähigkeit erkennen lassen würde, auch weiterhin (zufällig) sehr leichte Items zur Bearbeitung. Das Problem hierbei ist, dass die Information, die über die vorgegeben Items in der Testkalibrierung gewonnen werden könnte, nicht optimal ausgeschöpft wird. Deshalb wurde im Rahmen dieser Arbeit ein Algorithmus zur Itemkalibrierung mittels adaptiver Itemauswahl im Rasch-Modell entwickelt. Dieser ist in der Lage ein Verfahren mit gleichverteilten Itemparametern und standardnormalverteilten Personenparameter zu kalibrieren. Außerdem führt der Algorithmus bereits im Rahmen der Testkalibrierung die Modellprüfung auf Gültigkeit des Rasch-Modells mittels Fischer und Scheiblechner z-Test durch. Bei der Itemauswahl berücksichtigt der Algorithmus nicht nur die Item- und Personenparameter, sondern auch die bereits vorhandene Information zu jedem Item. Mittels einer Simulationsstudie wurde die Genauigkeit und Präzision nach abgeschlossener Kalibrierung sowie die Präzision zu unterschiedlichen Kalibrierungszeitpunkten erhoben und jene der adaptiven Kalibrierungsstrategie mit zufälliger Itemauswahl verglichen. Außerdem wurde überprüft, ob der Fischer und Scheiblechner z-Test überzufällig häufig Items mit Differential Item Functioning erkennt. Bei 37 von 60 Items war die Präzision der Itemparameter nach 500 zur Kalibrierung eingesetzten Personen bei den adaptiv kalibrierten Tests signifikant höher als bei den zufällig kalibrierten Tests. Bei den Kalibrierungsstadien nach 100 Personen schnitt hingegen die zufällige Itemkalibrierung besser ab, nach 250 Personen zeigte sich kein Unterschied zwischen den beiden Kalibrierungsstrategien. Beim Einsatz der fertig kalibrierten Tests zur Messung der Personenparameter war kein Unterschied in der Präzision der adaptiven zur zufälligen Vorgabestrategie feststellbar. Der Fischer und Scheiblechner z- Test konnte 95.0% der Items mit Differential Item Functioning erkennen und gab bei 2.9% der Items ein falsch positives Ergebnis aus und kann überzufällig häufig Items mit Differential Item Function erkennen. In Zukunft könnte die adaptive Itemkalibrierung eine alternative zur Itemkalibrierung mittels
description: An important step during the development of psychological assessment tests is the scaling of the items or the so called item calibration. The Item selection during the item calibration is at random (random means that every item in the pool hast the same chance to be selected). Accordingly, very easy items are still (randomly) admitted to subjects from whom is already known that they are very competent or vice versa. This is a problem, because information is not optimally exploited. Hence an adaptive item selection algorithm for test calibration has been developed. The algorithm is able to calibrate a test with normal distributed person parameters and evenly distributed item parameters. The algorithm is also able to conduct model testing with the Fischer and Scheiblechner z-Tetst during the item calibration process. Not only person and item parameters are considered for item selection but also the previously gathered information. The algorithm has been tested in a simulation study to measure the accuracy and precision of this calibration method compared with a random item calibration strategy. Furthermore, it was verified if the Fischer and Scheiblechner z-Test is able to find more often items with differential item than by simply random chance. 37 of 60 items showed a higher precision in the adaptive calibration procedure compared with the random item calibration strategy after the test has been administered to 500 examinees. At earlier calibration stages the precision in the random calibration strategy was higher (after 100 examinees) or even (after 250 examinees). There was no detectable difference in the precision of the person parameters after the calibration was completed (500 eximanees). The Fisher and Scheiblechner z-Test is able to detect items with differential item functioning. 95.0% of the Items with differential item functioning have been recognized and 2.9% were rated false positive. Because the information of each examinee is used in an optimal manner, the adaptive item calibration strategy could be an option for test calibration in the near future.