Bireyselleştirilmiş bilgisayarlı sınıflama testlerinde sınıflama doğruluğunun incelenmesi
Investigation of classification accuracy at computerized adaptive classification tests
Yazar: SEDA DEMİR
Danışman: DOÇ. DR. BURCU ATAR
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli = Computer aided ; Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bireyselleştirilmiş testler = Individual tests ; Doğruluk = Accuracy ; Madde kullanım sıklığı kontrol yöntemleri = Item exposure control methods ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, Bireyselleştirilmiş Bilgisayarlı Sınıflama Testlerinde (BBST) iki kategorili puanlanan maddelerden oluşan tek boyutlu madde havuzu üzerinden sınıflamanın iki, üç veya dört kategoride yapıldığı durumlarda, yetenek kestirim yöntemi Ağırlıklandırılmış Olabilirlik Kestirimi (AOK) olduğunda, ortalama test uzunluğu (OTU), ortalama sınıflama doğruluğu (OSD) ve ölçme kesinliğinin; Ardışık Olasılık Oran Testi (AOOT) ve Güven Aralığı (GA) sınıflama kriterleri ile Kestirilen Yetenek Temelinde Maksimum Fisher Bilgisi (MFB-KY) ve Kesim Noktası Temelinde Maksimum Fisher Bilgisi (MFB-KN) madde seçme yöntemlerine göre içerik dengeleme ve madde kullanım sıklığı kontrolü gibi pratik kısıtlamalar altında nasıl değiştiğinin incelenmesi amaçlanmıştır. Araştırmada içerik dengeleme yöntemlerinden Kısıtlanmış Bireyselleştirilmiş Bilgisayarlı Test (KBBT) ve Modifiye Edilmiş Multinominal Model (MMM), madde kullanım sıklığı kontrol yöntemlerinden ise Sympson-Hetter Yöntemi (SH) ve Madde Uygunluk Yöntemi (MU) incelenmiştir. Araştırma kapsamında, R yazılımı kullanılarak türetilen 500 madde ve 5000 bireyden oluşan veriye dayanan Monte Carlo (MC) simülasyonu için toplam 48 koşul oluşturulmuş ve elde edilen değerler her bir koşul için 30 tekrarın ortalaması alınarak hesaplanmıştır. Çalışma sonucunda, OTU bakımından GA'nın, OSD bakımından ise AOOT'nin daha başarılı performans gösterdiği; MFB-KY madde seçme yönteminin MFB-KN'den daha kullanışlı olduğu; korelasyon, yanlılık, RMSE ve Ortalama Mutlak Hata (OMH) değerleri bakımından AOOT'nin daha etkili olduğu görülmüştür. Bununla birlikte, istenen içerik dengesini sağlamada MMM yöntemi daha başarılıyken, test etkililiği (OTU ve OSD) bakımından KBBT'nin daha avantajlı olduğu; madde kullanım sıklığı kontrolünde ise MU yöntemi daha iyi performans gösterirken, test etkililiğinde SH'nin daha avantajlı olduğu belirlenmiştir. Artan kategori sayısının ise OTU'yu artırırken OSD'yi azalttığı; korelasyon, yanlılık, RMSE ve OMH değerlerinde iyileşme sağladığı görülmüştür.

Anahtar sözcükler: bireyselleştirilmiş bilgisayarlı sınıflama testi, içerik dengeleme, madde kullanım sıklığı kontrolü, sınıflama kriterleri, madde seçme yöntemleri, sınıflama kategori sayısı

Abstract:
The aim of this study is to compare Sequential Probability Ratio Test (SPRT) and Confidence Interval (CI) classification criteria, Maximum Fisher Information method on the basis of estimated-ability (MFI-EB) and cut-point (MFI-CB) item selection methods while ability estimation method is Weighted Likelihood Estimation (WLE) in Computerized Adaptive Classification Testing (CACT),  according to the average test length (ATL), average classification accuracy (ACA), and measurement precision under content balancing (Constrained Computerized Adaptive Testing: CCAT and Modified Multinomial Model: MMM) and item exposure control (Sympson-Hetter Method: SH and Item Eligibility Method: IE) when the classification is done based on two, three, or four categories for unidimensional pool of dichotomous items. 48 conditions are created in Monte Carlo (MC) simulation for the data, generated in R software, including 500 items and 5000 examinees, and the results are calculated over 30 replications.   As a result of the study, it was observed that CI performs better in terms of ATL and SPRT performs better in ACA and correlation, bias, Root Mean Square Error (RMSE), and Mean Absolute Error (MAE) values, respectively; MFI-EB is more useful than MFI-KN. It was also seen that MMM is more successful in content balancing whereas CCAT is better in terms of test efficiency (ATL and ACA) and IE is superior in terms of item exposure control though SH is more beneficial in test efficiency. Besides, increasing the number of classification categories increases ATL but decreases ACA and it gives better results in terms of the correlation, bias, RMSE, and MAE values.

Keywords: computerized adaptive classification testing, content balancing, item exposure control, classification criteria, item selection methods, number of classification categories