Bilgisayarda bireyselleştirilmiş test uygulamalarında maddeyi yeniden cevaplayabilmenin ölçme hatasına ve yanlılığına etkisinin incelenmesi
The effect of item review in computerized adaptive testing on measurement error and bias
Yazar: ÖMER FARUK ŞEN
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bireyselleştirilmiş testler = Individual tests ; Test yanlılığı = Test bias ; Ölçme sistemleri = Measurement systems ; Ölçme-değerlendirme = Measurement and evaluation ; Ölçüm hataları = Measurement errors

Özet:
Bilgisayarda bireyselleştirilmiş test (BBT) uygulaması daha az madde ile daha hassas ve güvenilir sonuçlar vermesi sebebiyle tercih edilen bir uygulama biçimi olurken aynı zamanda bazı kısıtlamaları da içermektedir. Bu kısıtlamaların başında BBT uygulamalarında maddeyi yeniden cevaplayabilmeye izin verilmemesi gelmektedir. BBT'deki bir maddenin cevabını değiştirmek, daha önceden uygulanan maddelerin, sınava giren kişinin yeteneğini kestirmek için artık uygun olmamasına neden olabilmektedir. Cevap değişikliği sorunu için olası bir çözüm, yalnızca geçici yetenek tahminlerinin belirsizliğini hesaba katmakla kalmayıp aynı zamanda cevap değişikliğini mümkün kılan en olası optimal başlangıç değerini tanımlamaktır. Bu doğrultuda simülasyon çalışması olarak yürütülen bu araştırmada öncül bilginin tanımlandığı BBT uygulamalarında maddeyi yeniden gözden geçirmeye izin verildiğinde elde edilen yetenek kestirimlerinin standart hatasının ve yanlılığının, testin başlangıç kuralına, nihai yetenek kestirim yöntemine ve test uzunluğuna göre nasıl değiştiğini belirlemek amaçlanmıştır. Bu değerler açısından kestirimler arasında fark olup olmadığını incelemek için üç faktörlü ANOVA analizi yapılmıştır. Araştırma sonucuna göre geleneksel BBT uygulamalarında cevap değişikliğine izin verildiğinde bütün koşullarda yanlılık ve standart hata değerlerinin arttığı tespit edilmiştir. Ancak test bataryasında yer alan alt testler arasındaki korelasyondan yola çıkarak tanımlanan öncül bilgilerin hem başlama kuralında hem de nihai yetenek kestirim yönteminde kullanıldığı BBT uygulamalarında bireyler Wainer test stratejisini kullansalar bile izin verilmeyen geleneksel BBT uygulamasıyla benzer sonuçlar elde edilmektedir. Sonuç olarak öncül bilgiler BBT algoritmasını daha kullanışlı kılmakta ve test stratejilerine karşı uygulamayı dirençli hale getirmektedir.

Abstract:
While computerized adaptive testing (CAT) is a preferred form of test practice because of providing more accurate and reliable results with fewer items, it also has some limitations. At the beginning of these restrictions, item review is not allowed in CAT. Changing the answer of an item in the CAT may cause previously administered items to no longer be suitable for estimating the test taker's real ability. A possible solution to the item review problem is to define the most likely optimal initial value that not only takes into account the uncertainty of temporal ability estimates, but also enables response change. In this direction, it is aimed to determine how the standard error and bias of the ability estimations obtained when prior knowledge is defined in reviewable CAT varies according to the initial rule of the test, the final ability estimation method and the test length. Three way ANOVAs were performed to examine whether there was a difference between the estimations in terms of standard error and bias. Results suggest that the bias and standard error values increased in all conditions when response changes were allowed in the CAT. However, when prior information defined based on the correlation between the subtests in the test battery is used in both the starting rule and the final ability estimation method, results similar to a traditional CAT are obtained in reviewable CAT even if individuals use the Wainer test strategy. As a result, prior knowledge makes the CAT algorithm more useful and resistant to Wainer test strategy.