Bireyselleştirilmiş Bilgisayarlı Sınıflama Testlerinde Madde Havuzu Özelliklerinin Test Uzunluğu ve Sınıflama Doğruluğu Üzerindeki Etkisi
The Effects of Item Pool Characteristics on Test Length and Classification Accuracy in Computerized Adaptive Classification Testings
Yazar: Gündeğer, Ceylan; Doğan, Nuri
Dergi: Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Vol. 33 No. 4, 2016
Anahtar kelimeler: Computerized adaptive classification testing,item pool distribition,item pool size,test length,classification accuracy ; Bireyselleştirilmiş bilgisayarlı sınıflama testleri,madde havuzu dağılımı,madde havuzu büyüklüğü,test uzunluğu,sınıflama doğruluğu

Bu çalışmada bireyselleştirilmiş bilgisayarlısınıflama testlerinde (BBST) madde havuzu özelliklerinden dağılım vebüyüklüklerin ortalama test uzunluğu ve ortalama sınıflama doğruluğu üzerindekietkisi incelenmiştir. Bu amaçla, sivri ve basık dağılımlı 50, 100, 200 ve 300maddelik madde havuzlarında; tesadüfi madde seçme yöntemi (TMSY), MaksimumFisher Bilgisi (MFB) ve Kullback-Leibler Bilgisi (KLB) yöntemleriincelenmiştir. 1000 bireye ait yetenek parametreleri -3,3 aralığında N(0,1)olacak şekilde türetilmiştir. Sivri dağılıma sahip madde havuzlarındakimaddelerin a parametresi U[0,5; 2,0] aralığından; b parametresi N(1, 0,4) ve cparametresi N(0,15, 0,05) şeklinde; basık dağılıma sahip madde havuzlarındakimaddeler ise a parametresi U[0,5; 2,0] aralığından; b parametresi N(1, 1,5) vec parametresi N(0,15, 0,05) şeklinde türetilmiştir. R’da gerçekleştirilensimülasyon sonucunda tüm madde havuzlarında ortalama test uzunluğu bakımındanen yüksek değerin TMSY’ye ait olduğu; MFB ve KLB yöntemlerinin birbirineoldukça benzer çalıştıkları söylenebilir. Madde havuzu büyüklüğü arttıkça testuzunluklarının kısaldığı; sınıflama doğruluklarının azaldığı ancak tümkoşullarda 0,90 üstünde yüksek sınıflama doğruluğu elde edildiği görülmüştür.Ayrıca sivri dağılıma sahip madde havuzlarında test uzunluğunun kısaldığı vetest etkililiğinin arttığı; sınıflama doğruluklarının ise değişmediğigörülmüştür. Bu sonuçlar dikkate alındığında, BBST’de çok sayıda maddedenoluşan sivri dağılıma sahip madde havuzları ile yüksek sınıflama doğruluğunasahip daha kısa testlerin oluşturulabileceği söylenebilir.

In this study the effects of distributionsand sizes on average test length and average classification accuracy incomputerized adaptive classification testings (CACT) were investigated. Forthat purpose random item selection method (RISM), Maximum Fisher Information(MFI) and Kullback-Leibler Information (KLI) were studied in broad and peakeditem pools with 50 items, 100 items, 200 items and 300 items. Thetas arederived from N(0,1). In peaked item pools items are simulated from U[0,5; 2,0]for a parameters, N(1, 0,4) for b parameters and N(0,15, 0,05) for cparameters; and in broad item pools items are simulated from U[0,5; 2,0] for aparameters, N(1, 1,5) for b parameters and N(0,15, 0,05) for c parameters. The simulationstudy was performed in R results show that RISM has the maximum value withrespect to average test length; and MFI and KLI perform similar. The more itemsin the pool, the shorter test length and fewer the classification accuracy butin all conditions classification accuracy has high rate above 90%. In addition,in peaked item pools it is seen that the average test lengths are gettingshorter and the test effectiveness is getting higher; but the classificationaccuracies are not changing. In conclusion it can be said that with the peakeditem pools with more items, CACT provides shorter tests and high classificationaccuracy.