Paralel test oluşturmada ortak soru seçimini etkileyen faktörlerin benzetim çalışması ile değerlendirilmesi
Evaluation the factors affecting common item selection to develop parallel test by using simulation study
Yazar: PERVİN DEMİR
Danışman: PROF. DR. ATİLLA HALİL ELHAN
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2014
Konu: Biyoistatistik = Biostatistics
Dizin: Biyoistatistik = Bioistatistics ; Madde Tepki Kuramı = Item Response Theory ; Rasch modeli = Rasch model ; Testler = Tests ; İstatistiksel yöntemler = Statistical methods

Özet:
Aynı örtük özelliğin ölçümünde kullanılan farklı test sonuçlarının karşılaştırılmasında paralel testler oluşturulması önemlidir. Paralel testlerin oluşturulması ile elde edilecek tahminlerin doğruluğunu etkileyebilecek çeşitli faktörler bulunmaktadır.
Bu çalışmanın amacı, iki sonuçlu yanıt kategorisine sahip maddelerden oluşan farklı büyüklükteki soru bankaları için, paralel test oluşturmada test eşitleme (anchoring) için kullanılacak en iyi ortak madde setinin belirlenmesinde etkili olan faktörlerin benzetim çalışması ile incelenmesidir. Bu amaca yönelik olarak; Rasch Model ile test eşitleme işleminde ortak madde seçiminin etkisi 16 farklı senaryo (2 farklı soru sayısı*2 farklı ortak madde yüzdesi*Ortak maddelerin incelenen özellik ekseni üzerindeki 4 farklı konumu) için incelenmiştir. Çalışmada orijinal set için 1000 bireyin iki sonuçlu yanıt desenleri R programında yer alan "eRm" paketi kullanılarak türetilmiştir. Belirtilen koşullarda oluşturulacak iki farklı setin eşitlenmesinde madde yanıt teorisi eşitleme yöntemlerinden olan Stocking-Lord yönteminden yararlanılmıştır. Tanımlanan her senaryo için orijinal madde zorluk düzeyleri ile eşitleme sonucunda elde edilen madde zorluk düzeyleri, yanlılık ve hata kareler ortalaması hesaplanarak karşılaştırılmıştır.
Çalışmada ortak madde setinde yer alan maddelerin zorluk düzeyleri sabit tutulduğunda, ortak madde sayısının artması ile daha güvenilir eşitleme sonuçları elde edilmiştir. Ortak madde zorluk düzeyinin orta düzey alınması durumunda daha az hata ile eşitleme yapıldığı tespit edilmiştir. Sonuç olarak, ortak madde setinde yer alan soru sayısının yüksek olduğu ve orta zorluk düzeyinde yer alan maddelerin eşitlemede kullanılması ile daha güvenilir test eşitleme sonuçlarının elde edildiği söylenebilir.

Anahtar sözcükler: İkili Rasch model, madde yanıt teorisi, ortak madde sayısı, paralel test, test eşitleme

Abstract:
Parallel tests are important to compare the results of different tests used to measure the same latent feature. There are many factors which affect the accuracy of estimates obtained by forming parallel test.
The aim of this study was to investigate the factors that affect the selection of the best common item set used to construct a parallel test for dichotomous item banks of different sizes, by a simulation study. For this purpose, the effect of the common item selection in test equating with Rasch Model was examined for 16 different scenarios (2 different number of items*2 different percentage of common items*4 different item difficulty of common item set). In this study, dichotomous response patterns of 1000 persons for original set was derived using "eRm" package in R program. Stocking-Lord method was used to equate two different sets which were formed under the specified conditions. For each scenario, the item difficulty estimates obtained from the original data set and test equating were compared by calculating the bias and mean square of error.
When the level of item difficulty in common item set was constant, more reliable equating results were obtained while the number of common items increased. In the case that the common item difficulty was moderate, the test equating results had less error. As a result, one can get more reliable test equating results when the number of items in the common item set is increasing and the common item difficulty is moderate.

Keywords: Dichotomous Rasch model, item response theory, number of anchored items, parallel tests, test equating