İngilizce kelime bilgisi testinin (VST) bireyselleştirilmiş bilgisayarlı test olarak uygulanabilirliğinin incelenmesi
Investigation of the applicability of the vocabulary size test (VST) as a computerized adaptive testing
Yazar: MUSTAFA GÖKCAN
Danışman: DOÇ. DR. DERYA ÇOBANOĞLU AKTAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bireyselleştirilmiş Bilgisayarlı Testler (BBT) ölçülmek istenen yapının daha az madde ile ölçme kesinliğinden ödün vermeden ölçülebilmesine olanak sağlar. İngilizce kelime bilgisi gibi ölçülebilmesi için çok sayıda maddeye ihtiyaç duyulan yapılar için BBT bu noktadan önem teşkil eder. Bu çalışmada, İngilizce kelime bilgisini daha kısa sürede ve daha az madde ile ölçebilmek amacıyla, alan yazında İngilizce kelime bilgisini ölçmek amacıyla en çok kullanılan testlerden biri olan Vocabulary Size Test'in (VST) BBT versiyonu (BBT-VST) geliştirilmiştir. VST 140 maddeden oluşan çoktan seçmeli bir testtir. Öncelikle VST'nin kâğıt-kalem formu ile 1622 lisans ve lisansüstü öğrenciden toplanan veriler ile VST'nin geçerlik kanıtları araştırılmıştır. VST'nin İngilizce kelime bilgisini ölçmek için geçerli bir ölçme aracı olduğunun belirlenmesinden sonra aynı verilerle post-hoc simülasyonlar yapılmıştır. Çeşitli BBT kurallarının test edildiği simülasyonlardan elde edilen bulgulara göre gerçek zamanlı BBT uygulaması için en uygun yetenek kesirim yöntemi EAP, madde seçim yöntemi MFI, sonlandırma kuralı "SH ≤ .25" ve madde kullanım sıklığı kontrol yöntemi de "randomesque = 5" olarak belirlenmiştir. En uygun BBT kurallarının tespitinden sonra Concerto platformu ile BBT-VST geliştirilmiştir. Altmış lisans ve lisansüstü öğrenciden VST'nin hem kâğıt-kalem hem de BBT versiyonu ile iki versiyondan elde edilen bulguları karşılaştırmak amacıyla veri toplanmıştır. Bulgulara göre kâğıt-kalem versiyonu ile BBT versiyonunda kestirilen yetenek puanları arasında yüksek ilişki vardır (R= .83, %95 GA = .73, .90). BBT uygulamasında ortalama test uzunluğu 12 olmuştur. Bu sonuç da göstermektedir ki BBT-VST %91 oranında daha az madde kullanarak İngilizce kelime bilgisini güvenilir bir şekilde kestirmiştir.

Abstract:
Computerized Adaptive Testing (CAT) allows the construct to be measured with fewer items without compromising measurement accuracy. For constructs such as English Vocabulary Size, which requires a large number of items to be measured, CAT is important from this point of view. In this study, in order to measure English vocabulary knowledge in a shorter period of time and with fewer items, the CAT version (CAT-VST) of the Vocabulary Size Test (VST), one of the most widely used tests in the literature to measure English vocabulary knowledge, was developed. The VST is a multiple-choice test consisting of 140 items. First, the validity evidence of the VST was investigated with the data collected from 1622 undergraduate and graduate students with the paper-and-pencil form of the VST. After determining that the VST is a valid assessment tool for measuring English vocabulary size, post-hoc simulations were conducted with the same data. According to the findings obtained from the simulations in which various CAT rules were tested, the most appropriate ability estimation method for real-time BBT application was determined as EAP, item selection method as MFI, termination rule as "SE ≤ .25" and item use frequency control method as "randomesque = 5". After the determination of the most appropriate CAT rules, the CAT-VST was developed with the Concerto platform. Data were collected from sixty undergraduate and graduate students using both the paper-and-pencil and the CAT versions of the VST in order to compare the findings obtained from the two versions. According to the findings, there was a high correlation between the scores obtained from the paper-and-pencil test and the ability scores estimated in the CAT version (R= .83, 95% CI = .73, .90). The average test length was 12 in the CAT version. This result shows that the BBT-VST reliably predicted English vocabulary size using 91% fewer items.