Bireyselleştirilmiş Bilgisayarlı Sınıflama Testi Kriterlerinin Test Etkililiği ve Ölçme Kesinliği Açısından Karşılaştırılması
A Comparison of Computerized Adaptive Classification Test Criteria in Terms of Test Efficiency and Measurement Precision
Yazar: Gündeğer, Ceylan; Doğan, Nuri
Dergi: Journal of Measurement and Evaluation in Education and Psychology, Vol. 9 No. 2, 2018
Anahtar kelimeler: bireyselleştirilmiş bilgisayarlı sınıflama testi,sınıflama kriteri,yetenek kestirimi,madde seçme yöntemi,ölçme kesinliği ; computerized adaptive classification testing,classification criteria,ability estimation,item selection method,measurement precision

Bu çalışmada Bireyselleştirilmiş BilgisayarlıSınıflama Testleri’nin (BBST) etkililiğinin sınıflama kriterlerine, madde seçmeve yetenek kestirim yöntemlerine göre nasıl değiştiğinin belirlenmesiamaçlanmıştır. Bu amaçla 3 Parametreli Lojistik Model temel alınmış; belirlenenkesme noktası ve etrafında yüksek bilgi verecek şekilde 500 maddelik bir havuzoluşturulmuş; birey yetenekleri (N(0,1)) 3000 kişi üzerinden türetilmiş vebireylerin madde cevap örüntüleri R yazılımda rasgele türetilmiştir. Sınıflamakriterlerinden Ardışık Olasılık Oran Testi (AOOT), Genelleştirilmiş OlabilirlikOranı (GOO) ve Güven Aralığı (GA) yöntemleri; yetenek kestirim yöntemlerindenBeklenen Sonsal Dağılım (BSD) ve Ağırlıklandırılmış Olabilirlik Kestirimi (AOK)yöntemleri; madde seçme yöntemlerinden ise kesme noktasında (KN) ve kestirilenyetenek (KY) temelinde Maksimum Fisher Bilgisi (MFB) ve Kullback-LeiblerBilgisi (KLB) yöntemleri çaprazlanarak 48 koşul oluşturulmuştur. R yazılımındayürütülen BBST simülasyonu sonunda, ortalama test uzunluğu (OTU), ortalamasınıflama doğruluğu (OSD), bireylerin gerçek yetenek düzeyleri ile kestirilenyetenek düzeyleri arasındaki korelasyon (r), yanlılık, RMSE ve ortalama mutlakhata (OMH) değerlerinin 25 tekrara ait ortalamaları hesaplanmıştır. Araştırmasonuçlarına göre test etkililiği bakımından GOO ve GA yöntemlerinin; ölçmekesinliği bakımından ise AOOT’nin daha iyi performans gösterdiği; sınıflamakriterlerinin farksızlık bölgesi genişledikçe veya hata düzeyi değeriküçüldükçe test etkililiğinin arttığı; sınıflama kriterlerinin tümünün herkoşulda oldukça yüksek düzeyde sınıflama doğruluğuna sahip olduğubelirlenmiştir. Bireylerin gerçek yetenek düzeyleri ile kestirilen yetenekdüzeyleri arasındaki korelasyon bakımından BSD ve AOK yetenek kestirimyöntemlerinin her ikisinin de başarılı kestirimlerde bulundukları ancak ölçmekesinliği bakımından BSD’nin daha iyi performans sergilediği; madde seçmeyöntemlerinin ise tümünün birbirine benzer çalıştığı ancak MFB-KY’nin tümbağımlı değişkenler açısından tüm koşullarda daha iyi performans gösterdiğigörülmüştür.

In this study, it was aimed to determine how the efficiency of the Computerized Adaptive Classification Testing (CACT) changes according to classification criteria, item selection and ability estimation methods. For this purpose, a pool of 500 items, which is based on 3 PLM and informs at the arbitrary cut-point and around, has been generated; individual abilities have been generated using normal distribution (N(0,1)) for 3000 individuals and the item response patterns have been generated randomly in R software with the Monte Carlo simulation. As classification criteria, Sequential Probability Ratio Test (SPRT), Generalized Likelihood Ratio (GLR) and Confidence Interval (CI) methods; as ability estimation methods, Expected a Posteriori (EAP) and Weighted Likelihood Estimation (WLE) methods; and as item selection methods, Maximum Fisher Information (MFI) and Kullback-Leibler Information (KLI) methods on the basis of cut-point (CP) and estimated ability (EA) have been crossed and 48 conditions have been investigated. At the end of the CACT simulations in R, the mean values of Average Test Length (ATL), Average Classification Accuracy (ACA), correlation between the true thetas and estimated thetas (r), bias, Root Mean Square Error (RMSE) and Mean Absolute Error (MAE) for 25 replications have been calculated. According to the results of the study, it has been observed that the GLR and the CI classification criteria perform better in terms of test efficiency, however the SPRT works better in terms of the measurement precision; test efficiency increases as the indifference region of classification criteria expands or the error value decreases; all classification criteria have considerably high level of the classification accuracy in all conditions. It has been concluded that both ability estimation methods have successful estimation results in terms of the correlation between true and estimated thetas (r); whereas the EAP relatively performs better in terms of the measurement precision; and all of the item selection methods work similarly to each other however the MFI-EA performs better for all conditions in terms of all dependent variables.