Toplam Test ve Alt Test Puanlarının Kestiriminin Hiyerarşik Madde Tepki Kuramı Modelleri ile Karşılaştırılması
Comparison of Estimation of Total Score and Subscores with Hierarchical Item Response Theory Models
Yazar: Soysal, Sümeyra; Kelecioğlu, Hülya
Dergi: Journal of Measurement and Evaluation in Education and Psychology, Vol. 9 No. 2, 2018
Anahtar kelimeler: subtest scoring,overall test scoring,hierarchical item response theory models,higher order model,bi-factor model ; Alt test puan kestirimi,toplam test puan kestirimi,hiyerarşik madde tepki kuramı modelleri,üst düzey sıralı model,iki faktör model

Buaraştırmada güvenilir alt test ve toplam test puanı kestirimleri konusuna katkısağlamak amacıyla alt test ve toplam test arasındaki ilişki hiyerarşik maddetepki kuramı modelleri ile araştırılmak istenmiştir. Çalışmada Üst Düzey Sıralı(Higher Order), İki Faktör (Bi-factor) ve hiyerarşik çok boyutlu madde tepkikuramı (ÇBMTK) modelleri ile kestirilen toplam test puanının ve alt testpuanlarının RMSE ve güvenirlik değerleri alt test sayısı, alt test uzunluğu vealt testler arasındaki korelasyonların büyüklüğü koşulları altındakarşılaştırılmıştır. Ayrıca TEOG 2015 verileri üzerinde araştırmada kullanılanüç kestirim modelinin performansı incelenmiştir. Araştırmanın sonucunda iki ve üç boyutlu verilerde hemen hemen tümkoşullarda alt test uzunluğu ve alt testler arasındaki korelasyonun arttıkça üçkestirim modelinden elde edilen toplam test puanı için yetenek parametrelerikestirim hatasının azaldığı, kestirim güvenirliğinin ise arttığı bulunmuştur.Toplam test puanları için Hiyerarşik ÇBMTK model ile tüm koşullarda en düşükRMSE değeri ve en yüksek güvenirlik değeri elde edilmiştir. Ayrıca korelasyonun0.8 düzeyinde toplam test puanı için tüm modeller birbirine yakın RMSE vegüvenirlik değerleri ile kestirim yapmıştır. İki ve üç boyutlu verilerde alt testpuanı için kestirilen yetenek parametrelerinin RMSE değerleri, Hiyerarşik ÇBMTKmodelde alt test uzunluğu arttıkça azalırken alt testler arasındaki korelasyondüzeyinden etkilenmediği; Üst Düzey Sıralı modelde alt test uzunluğu ve alttestler arasındaki korelasyon arttıkça azaldığı; İki Faktör modelde ise alttest uzunluğu arttıkça azalırken alt testler arasındaki korelasyon arttıkçaönemli düzeyde arttığı bulunmuştur.

In this study,the relationship between subtest and total test was investigated by usinghierarchical item response theory models in order to contribute to reliablesubtest and total test score estimates. The RMSE and reliability of the totaltest score and subtest scores estimated by the Higher Order, Bi-factor andhierarchical MIRT models in the study were compared under the conditions of thesize of the correlations between the subtests, subtest length and number ofsubtests. In addition, the performance of three models used in the research wasexamined on TEOG 2015 data. As a result of the study, in almost all conditions,when the correlation between the subtest and the subtest length increased, theRMSE of the ability parameters decreased and the reliability increased for thetotal test score obtained from the three estimation models. Under allconditions, the lowest RMSE values and the highest reliability values were yieldedfrom Hierarchical MIRT model for subtest score recovery and from HierarchicalMIRT model for total test score recovery. In addition, all models estimatedRMSE and reliability values close to each other at 0.8 level of correlation fortotal test score recovery. The RMSE values of the ability parameters for thesubtest scores in two and three dimensional data were found to be not affectedby the correlation level between the subtests while the subtest lengthdecreased in the Hierarchical MIRT model; were found to decrease as thecorrelation between subtest and subtest length in the Higher Order model andwere found to decrease as the subtest length increased, but significantlyincreased as the correlation between the subtests increased in the Bi-factormodel.