Bilgisayarda bireyselleştirilmiş testlerde madde cevaplama süresi yetenek düzeyi ve madde parametreleri arasındaki ilişkinin incelenmesi
Investigating the correlations between response time, ability level and item parameters in computer adaptive test
Yazar: EMİNE GÜLEN ULUSOY
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Eğitim bilimleri = Educational science

Özet:
Bu araştırma, Bilgisayarda Bireyselleştirilmiş Testlerde (BBT) madde cevaplama süresinin, yetenek düzeyi ve madde parametreleri ile ilişkisini inceleme amacıyla yapılmıştır. Bu amaç doğrultusunda Akademik Personel ve Lisansüstü Eğitimi Giriş Sınavı'nın (ALES) 2017 sonbahar, 2018-1/2/3 dönem soruları ile gerçek zamanlı BBT hazırlanmıştır. Bu dönemlerde sınava girmiş olan adaylardan madde tepki kuramı (MTK) modellerinden Rasch Modeli ile madde ve yetenek parametreleri elde edilmiştir. Bu madde parametreleri ile hazırlanan BBT'nin sayısal testini 238, sözel testini ise 203 birey tamamlamıştır. BBT uygulaması, ALES'e girmeye uygun olan lisans son sınıf öğrencilerine ve lisans mezunu olan bireylere uygulanmıştır. BBT esnasında bireylerin her bir maddeyi cevaplamak için harcadığı süre kaydedilmiştir. Madde cevaplarken harcanan sürenin madde ve yetenek kestirimine dahil edildiği lognormal madde cevaplama süresi modeli (LNCSM) analizleri R Studio'da LNIRT paketi yardımıyla yapılmıştır. LNCSM ile elde edilen madde ve yetenek parametrelerinin MTK'nın Rasch Modeli ve 2 parametreli lojistik modeli (2PLM) ile elde edilen madde ve yetenek parametreleri ile ilişkisi incelenmiştir. Cevaplama süresini dikkate almayan MTK ile elde edilen madde parametreleri ile LNCSM ile elde edilen madde parametreleri arasında ilişki olma durumları MTK modeline göre (Rasch-2PLM) değişse de süre parametreleri ile madde parametreleri arasındaki anlamlı ilişki bulunmuştur. LNCSM ile kestirilen hız parametresi ile yetenek değerleri arasında negatif ilişki çıkmıştır. Maddeye ve testin toplamına harcanan sürelerin özellikle düşük ve yüksek yetenek grubundaki bireyler için etkili olduğu sonucuna ulaşılmıştır. Ayrıca, LNCSM ile MTK modellerinden elde edilen yetenek ve hız değerleri arasında da ilişki elde edilmiştir. 
Anahtar sözcükler: bilgisayarda bireyselleştirilmiş test, madde tepki kuramı, cevaplama süresi, lognormal madde cevaplama süresi modeli

Abstract:
This research was conducted to examine the relationship between item response time, ability level and item parameters in Computerized Adaptive Test (CAT). For this purpose, real-time CAT was prepared with the 2017 autumn, 2018-1/2/3 semester questions of the Academic Personnel and Graduate Education Entrance Examination (ALES). Item and ability parameters were obtained from the candidates who took the exam during these periods using the Rasch Model, one of the item response theory (IRT) models. 238 individuals completed the numerical test and 203 individuals completed the verbal test of the CAT prepared with these item parameters. CAT was applied to senior undergraduate students and undergraduate graduates who were eligible to take ALES. During the CAT, the time individuals spent to answer each item was recorded. Lognormal item response time model (LNIRT) analyses, in which the time spent answering items is included in item and ability estimation, were conducted in R Studio with the help of the LNIRT package. The relationship between item and ability parameters obtained with LNIRT and item and ability parameters obtained with IRT's Rasch Model and 2 parameters logistic model (2PLM) was examined. Although the relationship between the item parameters obtained with the IRT, which does not consider the response time, and the item parameters obtained with the LNIRT varies according to the IRT model (Rasch-2PLM), a significant relationship was found between the time parameters and the item parameters. There was a negative relationship between the speed parameter estimated by LNIRT and ability values. It was concluded that the time spent on the item and the total test was effective, especially for individuals in low and high ability groups. Additionally, a relationship was obtained between the ability and speed values obtained from the LNIRT and MTK models.
Keywords: computerized adaptive test, item response theory, response time, lognormal response time item response theory model