Hibrit ve geleneksel çok aşamalı testlerin performansının farklı koşullar altında incelenmesi
Performances of hybrid and traditional multi-stage tests under different conditions
Yazar: ÇAĞLA ALPAYAR
Danışman: DOÇ. DR. CELAL DEHA DOĞAN ; DR. DUANLI YAN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Test birleştirme = Test assembly

Özet:
Bu çalışmada, çeşitli hibrit çok aşamalı bireyselleştirilmiş test (H-ÇABT) ve geleneksel çok aşamalı bireyselleştirilmiş test (ÇABT) desenlerinin ölçme kesinliği değerlerinin yetenek dağılımı ve test uzunluğu değişkenlerinin farklı düzeylerinde karşılaştırılması amaçlanmıştır. 24, 36 ve 48 test uzunluğunda ve yetenek düzeylerinin sağa çarpık, sola çarpık ve normal dağıldığı durumlarda, aynı aşama sayısına sahip hibrit desenlerin performansları hem kendi aralarında hem de referans olarak belirlenen ÇABT ile karşılaştırılmıştır. Bu doğrultuda 1000 maddelik bir yapay madde havuzu oluşturulmuş ve modüller önceden birleştirilmiştir. H-ÇABT desenlerinin yapılandırılmasında ise amacına uygun olarak testin orta ya da son aşaması madde düzeyinde bireyselleştirilmiş (Bilgisayarlı bireyselleştirilmiş test-BBT) olarak uygulanmıştır. Çalışmanın bulguları, kısa test uzunluğunda BBT'nin testin sonunda uygulandığı test desenlerinin daha yüksek kesinlikte kestirimler sağladığını göstermektedir. Test uzunluğunun artışına bağlı olarak, BBT'nin ölçme kesinliğine olan etkisi azalmıştır. Yetenek dağılımlarının sağa ve sola çarpık olduğu durumlarda durumlarda da hibrit desenlerin geleneksel çok aşamalı bireyselleştirilmiş testlere göre daha avantajlı olduğu bulgusuna ulaşılmıştır. Çalışmada iki, üç ve dört aşamalı desenler incelenmiştir. Üç aşamalı H-ÇABT desenleri BBT'nin uygulandığı aşamanın etkisine daha açıkken, BBT'nin farklı aşamalarda uygulandığı dört aşamalı hibrit desenlerin performanslarının özellikle orta ve uzun testlerde benzerlik gösterdiği gözlenmiştir. Bunu destekler şekilde, aşama sayısının artışına bağlı olarak ölçme kesinliği değerleri ortalamaları arasındaki farkın etki büyüklüğünün azaldığı gözlenmiştir. Desenleri daha etkili değerlendirmek amacıyla, her bir aşama sonunda kestirilen geçici yetenek düzeylerine bağlı hesaplanan ölçme kesinliği değerlerinin değişimi incelenmiştir. Buna göre uygulanan desenden bağımsız olarak hata değerlerindeki en büyük düşüşün ilk iki geçici yetenek kestiriminde elde edildiği ve beklendiği gibi BBT'nin uygulandığı aşamanın ölçme kesinliği değerleri üzerinde olumlu etkiye sahip olduğu bulgusuna ulaşılmıştır. Ancak test uzunluğu ve aşama sayısı arttıkça bu etkinin azalmıştır.

Abstract:
In this study, the aim is to compare the measurement precision values of various hybrid multistage adaptive test (H-MST) and traditional computerized multistage adaptive test (MST) designs across different levels of ability distribution and test length variables. At test lengths of 24, 36 and 48 and when ability levels were right-skewed, left-skewed and normally distributed, the performances of hybrid designs with the same number of stages were compared both among themselves and with the MST serving as a reference. For this purpose, an artificial item pool of 1000 items was created, and the modules were pre-assembled. In the configuration of the H-MST designs, the middle or last stage of the test was item-level adaptive (computerized adaptive test-CAT), aligning with the study's purpose. The findings of the study indicate that test designs where item-level adaptation is applied at the end of the test, particularly in short test lengths, yield more precise results. As test length increased, the impact of item-level adaptation on measurement precision diminished. Additionally, hybrid designs demonstrated an advantage over MSTs when ability distributions were skewed to the right and left. The study examined two-, three-, and four-stage designs. It was concluded that three-stage H-MST designs were more sensitive to the stage where CAT was administered. Conversely, four-stage hybrid designs exhibited similar performances to tests where CAT was administered at different stages, especially in medium and long tests. Similarly, it was concluded that the effect size of the difference between the mean values of measurement precision decreased with the increase in the number of stages. To evaluate the designs more effectively, the change in measurement precision values calculated based on provisional ability levels estimated at the end of each stage was analyzed. It was found that the most substantial decrease in error values occurred in the first two provisional ability estimates, irrespective of the design applied. As expected, the stage in which CAT was applied had a positive effect on the measurement precision values. However, it was concluded that this effect diminished as test length and the number of stages increased.