Bireyselleştirilmiş bilgisayarlı sınıflama testi kriterlerinin sınıflama doğruluğu ve test uzunluğu açısından karşılaştırılması
Comparison of computerized adaptive classification test criteria in terms of classification accuracy and test length
Yazar: CEYLAN GÜNDEĞER
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli = Computer aided ; Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bilgisayar destekli ölçme = Computer aided measurement ; Bireyselleştirme = Individualization ; Sınıflama yöntemleri = Classification methods ; Sınıflandırma = Classification ; Test güvenilirliği = Test reliability ; Test sistemleri = Test systems ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bireyselleştirilmiş Bilgisayarlı Sınıflama Testleri (BBST) bireyi, önceden belirlenen
bir ya da birden fazla sayıda kesme noktasına göre en az sayıda maddeyle en
yüksek sınıflama doğruluğunda sınıflamayı amaçlar. Bu sınıflamaların etkililiği,
madde havuzlarına, sınıflama kriterlerine, madde seçme ve yetenek kestirim
yöntemlerine göre değişkenlik göstermektedir. Buna göre BBST'de farklı
desenlerin oluşturulması ve bu desenlerin Monte Carlo (MC) ve Post Hoc (PH)
simülasyonlar altında incelenmesi gerçek uygulamalar için önem arz etmektedir.
Bu çalışmada BBST'de farklı sınıflama kriterleri, yetenek kestirim ve madde seçme
yöntemleri hem MC hem de PH simülasyonları altında, sınıflama doğruluğu, test
uzunluğu ve ölçme kesinliği bakımından karşılaştırılmıştır. Araştırmada sınıflama
kriterlerinden Ardışık Olasılık Oran Testi (AOOT), Genelleştirilmiş Olabilirlik Oranı
(GOO) ve Güven Aralığı (GA) yöntemleri; yetenek kestirim yöntemlerinden
Beklenen Sonsal Dağılım (BSD) ve Ağırlıklandırılmış Olabilirlik Kestirimi (AOK)
yöntemleri; madde seçme yöntemlerinden ise kesme noktasında (KN) ve kestirilen
yetenek (KY) temelinde Maksimum Fisher Bilgisi (MFB) ve Kullback-Leibler Bilgisi
(KLB) yöntemleri incelenmiştir. Bu amaçla MC simülasyonu için 3 PLM temel
alınarak kesme noktası 1,0 ve etrafında yüksek bilgi verecek şekilde 500 maddelik
bir havuz oluşturulmuş; PH simülasyonu için ise 80 maddelik gerçek veri setinden
yararlanılmıştır. MC simülasyonunda birey yetenekleri normal dağılım yardımıyla
(N(0,1)) toplam 3000 kişi üzerinden türetilmiştir. PH simülasyonunda ise veri
setindeki 994 bireyin yetenek düzeyleri 3 PLM temelinde BSD ile kestirilmiştir. MC
simülasyonunda bireylerin madde cevap örüntüleri R yazılımda rasgele türetilmiş;
PH simülasyonda ise herhangi bir manüpülasyon olmaksızın gerçek madde cevap
örüntüsü kullanılmıştır. Çalışmada PH ve MC simülasyonları için toplam 96 koşul
incelenmiştir. BBST simülasyonu sonunda, ortalama test uzunluğu (OTU),
ortalama sınıflama doğruluğu (OSD), bireylerin gerçek yetenek düzeyleriyle
vii
kestirilen yetenek düzeyleri arasındaki korelasyon (r), yanlılık, RMSE ve ortalama
mutlak hata (OMH) değerlerinin 25 tekrara ait ortalamaları hesaplanmıştır.
Araştırma sonuçlarına göre hem MC hem de PH simülasyon çalışmasında test
etkililiği bakımından GOO ve GA yöntemlerinin AOOT'ye kıyasla daha iyi
performans gösterdiği; AOOT'nin yanlılık, RMSE ve OMH bakımından diğer iki
yönteme kıyasla daha başarılı çalıştığı; sınıflama kriterlerinin farksızlık bölgesi
genişledikçe veya hata düzeyi değeri küçüldükçe OTU'nun azaldığı ve test
etkililiğinin arttığı görülmüştür. Bununla birlikte sınıflama kriterlerinin tümünün her
koşulda oldukça yüksek düzeyde sınıflama doğruluğuna sahip oldukları; gerçek ve
kestirilen yetenekler arasındaki korelasyonlar bakımından BSD ve AOK yetenek
kestirim yöntemlerinin her ikisinin de başarılı kestirimlerde bulundukları ancak
yanlılık, RMSE ve OMH bakımından BSD'nin AOK'tan göreli olarak daha iyi
performans sergilediği belirlenmiştir. İncelenen madde seçme yöntemlerinin ise
tümünün birbirine benzer çalıştığı; ancak MFB-KY'nin tüm bağımlı değişkenler
açısından tüm koşullarda daha iyi performans gösterdiği görülmüştür.

Abstract:
Computerized Adaptive Classification Testing (CACT) aims to classify the persons
with the highest classification accuracy using the least number of items according
to one or more predefined cut-points. The efficiency of these classifications varies
by item pools, classification criteria, item selection methods and ability estimation
methods. According to this, in the CACT, forming of different patterns and
identification of these patterns under Monte Carlo (MC) and Post Hoc (PH)
simulations are important for real applications.
In this study, different classification criteria, various methods for item selection and
ability estimation in the CACT, are compared using classification accuracy, test
length and precision of measurement under the simulations of both MC and PH. In
our research, as classification criteria, Sequential Probability Ratio Test (SPRT),
Generalized Likelihood Ratio (GLR) and Confidence Interval (CI) methods; as
ability estimation methods, Expected a Posteriori (EAP) and Weighted Likelihood
Estimation (WLE) methods; and as item selection methods, Maximum Fisher
Information (MFI) and Kullback-Leibler Information (KLI) methods on the basis of
cut-point (CP) and estimated ability (EA) have been examined. For this aim, for the
MC simulation, a pool of 500 items, which is based on 3 PLM and informs at the
cut-point (theta=1,0) and around, has been generated; for the PH simulation, a
real data set including 80 items has been used. In the MC simulation, individual
abilities have been generated using normal distribution (N(0,1)) for 3000
individuals. In the PH simulation, the ability level of the 994 individuals in the data
set have been estimated by EAP on the basis of 3 PLM. The item response
patterns have been generated randomly in R software in the MC simulation,
whereas, the real item response pattern has been used without any manipulation
in PH simulation. In our study, 96 conditions have been investigated for the MC
and the PH simulations. At the end of the CACT simulations, the mean values of
Average Test Length (ATL), Average Classification Accuracy (ACA), correlation
ix
between the real thetas and estimated thetas (r), bias, Root Mean Square Error
(RMSE) and Mean Absolute Error (MAE) for 25 replications have been calculated.
According to results of the study, it has been observed in both the MC and the PH
simulation results that the GLR and the CI classification criteria perform better
compared to the SPRT in terms of test efficiency, however the SPRT works better
compared to the other two methods in terms of bias, RMSE and MAE. It has also
been deduced that the ATL decreases and test efficiency increases as the
indifference region of classification criteria expands or the error value decreases.
In addition, it has been concluded that all classification criteria have considerably
high level of the classification accuracy in all conditions; and both ability estimation
methods, the EAP and the WLE, have successful estimation results in terms of the
correlation between real and estimated thetas (r); wheras the EAP relatively
performs better than the WLE in terms of the bias, RMSE and MAE. It has also
been observed that, all of the item selection methods work similarly to each other
however the MFI-EA performs better for all conditions in terms of all dependent
variables.