Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi
Effects of content balancing on measurement precision in computerized adaptive tests
Yazar: İLKAY ÜÇGÜL ÖCAL
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada, bireyselleştirilmiş bilgisayarlı test (BBT) uygulamasında kapsam dengeleme yapılmasının ölçme kesinliği kestirim değerlerini; farklı örneklem büyüklüklerine, yetenek kestirim yöntemlerine, madde seçim yöntemlerine ve sonlandırma kurallarına göre nasıl etkilediğinin incelenmesi amaçlanmıştır. Bu amaçla, simülatif olarak 250 ve 500 kişilik iki farklı gruba ait yetenek parametreleri ile üç parametreli lojistik (3PL) madde tepki modeli kullanılarak iki kategorili puanlanan beş farklı içerik alanı, eşit oranlarda ağırlıklandırılarak 750 maddelik madde havuzu oluşturulmuştur. Kapsam dengelemenin yapıldığı ve yapılmadığı her iki durum için; 250 ve 500 kişilik örneklemde, farklı yetenek kestirim yöntemleri, madde seçim yöntemleri ve test sonlandırma kuralları kullanılarak oluşturulan koşullar altında BBT uygulamaları gerçekleştirilmiştir. Çalışma kapsamında oluşturulan 80 koşula ait BBT uygulaması, her bir koşul için 50 replikasyon olacak şekilde R programlama dilinde yer alan "catR" paketi kullanılarak karşılaştırılmıştır. Yapılan simülasyonlar sonucunda her bir koşul için ölçme kesinliğine ait RMSE, yanlılık ve korelasyon değerleri hesaplanmıştır. Çalışmadan elde edilen sonuçlar kapsam dengelemenin genel olarak ortalama hata ve yanlılık değerlerinde hafif artışlara neden olduğunu göstermiştir. Bu küçük artışların yanı sıra kapsam dengeleme yapılan ve yapılmayan farklı test koşullarında tahmin edilen ve gerçek yetenek düzeyleri arasında yüksek korelasyon elde edilmiştir. Ayrıca RMSE, yanlılık ve korelasyon değerleri bakımından, çalışmaya dahil edilen yetenek kestirim yöntemleri arasında ise Beklenen Sonsal Dağılım yönteminin daha etkili olduğu görülmüştür. Araştırmada, kapsam dengelemenin, belirli bir doğruluk eşiğine ulaşmak için, özellikle standart hatanın belirli bir eşik değerin altına düştüğü sıkı sonlandırma kuralları altında, gereken madde sayısını yaklaşık 1 madde kadar artırdığı bulunmuştur.

Abstract:
In this study, the aim is to examine how applying content balancing in computerized adaptive testing (CAT) affects measurement accuracy estimation values based on different sample sizes, ability estimation methods, item selection methods, and stopping rules. For this purpose, a 750-item pool was created using ability parameters for two different simulated groups of 250 and 500 individuals. This pool, weighted equally across five different content areas scored in two categories, was generated using the three-parameter logistic (3PL) item response model. CAT applications were conducted under conditions where content balancing was and was not applied for both 250- and 500-person samples, using different ability estimation methods, item selection methods, and test stopping rules. The CAT applications for the 80 conditions created in the study were compared using the "catR" package in the R programming language, with 50 replications for each condition. The simulations calculated RMSE, bias, and correlation values for measurement accuracy in each condition. Results indicated that, in general, content balancing led to slight increases in average error and bias values. Despite these small increases, a high correlation was observed between the estimated and actual ability levels across different test conditions with and without content balancing. Additionally, among the ability estimation methods included in the study, Expected a Posteriori method proved to be more effective in terms of RMSE, bias, and correlation values. The research also found that content balancing increased the required number of items by about one item to reach a specific accuracy threshold, especially under strict stopping rules where the standard error falls below a set threshold value.