Madde Tepki Kuramı'na dayalı test eşitleme yöntemlerinin karma modeller üzerinde karşılaştırılması
Comparison of irt test equating methods for mixed format tests
Yazar: İBRAHİM UYSAL
Danışman: YRD. DOÇ. DR. SEVİLAY KİLMEN
Abant İzzet Baysal Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2014
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Karma modeller = Mixed models ; Madde Tepki Kuramı = Item Response Theory ; Test eşitleme = Test equating

Özet:
Son yıllarda ikili ve çoklu şekilde puanlanan maddelerin aynı test üzerinde kullanımında artış görülmektedir. Türkiye'de ikili puanlanan maddeler üzerinde gerçekleştirilen test eşitleme çalışmalarına rastlansa da, karma modeller üzerinde yapılan herhangi bir test eşitleme çalışmasına rastlanmamıştır. 

Karma modeller kullanılarak gerçekleştirilen bu araştırmada, Madde Tepki Kuramı'na dayalı test eşitleme yöntemlerinden ortalama-ortalama, ortalama-standart sapma, sağlam ortalama-standart sapma, Haebara ve Stocking Lord'un çeşitli koşullar altında ortaya çıkardığı eşitleme hatalarının karşılaştırılması amaçlanmıştır. Ortak madde oranının (%10, %20 ve %30) ve yetenek dağılımının (normal, sola çarpık ve sağa çarpık) etkisinin incelendiği araştırma, 1000 kişilik örneklemde 40 maddelik test formları kullanılarak simulatif olarak gerçekleştirilmiştir. 

Eşitlenmemiş gruplar üzerinde ortak madde deseninin kullanıldığı araştırmada testler, ikili puanlanan maddeler için 3 parametreli model ve çoklu puanlanan maddeler için genelleştirilmiş kısmi kredi modeli kullanılarak WINGEN3 programıyla üretilmiştir. Aynı programla testi alan bireylere ait yetenek parametreleri belirlenmiş ve ortaya çıkan 9 farklı koşulun her biri için 100 replikasyon yapılmıştır. Simülatif verilere yönelik yetenek parametreleri PARSCALE 4.1 programıyla a likelihood ratio chi-square yöntemiyle kestirilmiştir. Ayrı kalibrasyon için test eşitleme, IRTEQ programı kullanılarak gerçekleştirilmiştir ve eşitleme hataları (RMSD) belirlenmiştir.

Araştırmada elde edilen sonuçlar değerlendirildiğinde; genellikle en fazla hatayı sağlam ortalama-standart sapma yönteminin verdiği görülmüştür. Tüm koşullar değerlendirildiğinde en az hatayı sağa çarpık-sağa çarpık grupların eşitlendiği ve %30 ortak maddenin yer aldığı testlerde Stocking Lord yöntemi vermiştir. Bunun yanı sıra benzer yetenek dağılımlarının (normal-normal, sola çarpık-sola çarpık, sağa çarpık-sağa çarpık) farklı yetenek dağılımlarından (sola çarpık-normal, sağa çarpık-normal, sağa çarpık-sola çarpık) daha az hatalı sonuçlar verdiği bulunmuştur.

Abstract:
Using mixed format tests, including items that are both dichotomously and polytomously scored in the same assessment has gained popularity in recent years. In Turkey, although there is a number of test equating studies that have addressed dichotomously scored items only equating both items formats on a common test has not been deal with yet.

Within the framework of Item Response Theory (IRT), this study aims to investigate the performance of test equating methods extended to mixed-format tests. To this end, a simulation study was conducted to compare equating errors of the mean/mean, mean/sigma, robust mean/sigma, Haebara, and Stocking-Lord methods under different conditions. Using 40-item tests, the effects of anchor length (10%, 20% and 30%) and ability distribution (normal, negatively skewed, positively skewed) were examined on a sample of 1000 participants. 

In the current study, the common-item nonequivalent groups design was adopted. The tests were developed using the three parameter logistic model for dichotomous simulated data and the generalized partial credit model for polytomous simulated data. WINGEN3 software was used for data generation and 100 replication were made for each of 9 different condition used in the study. Ability parameters of the simulated data were estimated with the help of PARSCALE 4.1 by using a likelihood ratio chi-square. IRTEQ was utilized for test equating and scaling in separate calibration and equating errors (RMSD) were determined.
The results of the study revealed that the robust mean/sigma method generally had the highest equating errors. When all conditions were evaluated, the least equating error occurred with  "Stocking-Lord"  method  in the case of positively skewed groups and a long anchor test (30%).  Moreover, the results indicated that the groups with similar ability distributions (normal-normal, negatively skewed-negatively skewed, positively skewed-positively skewed) produced less equation errors than the groups with different ability distribution (negatively skewed-normal, positively skewed-normal, positively skewed-negatively skewed).