Bilgisayar uyarlamalı testlerde madde yanıt sürelerinin kullanımı
Use of the item response times in computerized adaptive testing
Yazar: YUSUF KEMAL ARSLAN
Danışman: PROF. DR. ATİLLA HALİL ELHAN
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Biyoistatistik = Biostatistics
Dizin: Bilgisayar uygulaması = Computer application ; Biyoistatistik = Bioistatistics ; Soru bankası = Question bank ; Testler = Tests ; Çözüm teknikleri = Solving techniques ; Ölçekleme = Scaling ; Ölçekler = Scales ; İstatistik = Statistics ; İstatistiksel modeller = Statistical models ; İstatistiksel teknikler = Statistical techniques

Özet:
Teknoloji ve bilgi çağındaki gelişmelere paralel olarak kâğıt-kalem testleri yerini Bilgisayar Uyarlamalı Testlere (BUT) bırakmaktadır. Gelişen bilgisayar teknolojisi yardımıyla bu testlerde yalnızca kişinin yanıt deseni ile ilgili bilgi elde edilmez, bu duruma ek olarak yanıt süreleri ve kişinin maddeyi yanıtladığı andaki davranış şekli ile ilgili bilgi toplanabilir. Yanıt süresi kullanımı ile ilgili literatürde birçok model önerilmiştir. Genel olarak madde zorluğu ve kişisel özellikler üzerinde durulan çalışmalarda çok boyutlu etkileşimler irdelenmeden sunulmuştur ve bu sonuçlar kişi yetenek düzeyi kestirimlerinde yanlılık doğurabilir. 
Bu çalışmanın amacı, madde yanıt teorisi temelli üç parametreli lojistik (3PL) model ile oluşturulan BUT ile yanıt süresini içeren çözümsel davranış (ÇD) modeli temelli BUT uygulamalarının performanslarının karşılaştırılmasıdır. Ayrıca BUT ÇD ve BUT 3PL modeller dışında kâğıt-kalem ÇD ve kâğıt-kalem 3PL modellerin birbirleriyle ve BUT ile uyumlarını değerlendirmektir. Bu amaç doğrultusunda planlanan benzetim çalışmasında oluşturulan madde parametrelerinden zorluk parametresi 0 ortalama ve 1,5 standart sapmalı normal dağılımdan N(0,1.5); ayırt edicilik parametresi tekdüze dağılımdan U(0,2) türetilmiştir. Üç parametreli lojistik modelde yer alan ve alt asimptot olarak da isimlendirilen şansa bağlı tahmin parametresi ise 5 yanıtlı sınav sistemi göz önünde bulundurularak U(0.2,0.5) dağılımdan türetilmiştir. Kullanılan ÇD ve 3PL modellere BUT uygulaması yapılırken BUT sonlanma kriteri standart hatanın <0,3 ve <0,5 olması şeklinde seçilmiştir. Kişi sayısı 1000 olarak belirlenirken, soru bankasındaki madde sayısı 50, 100 ve 250 olarak değişmektedir. Benzetim çalışmasında kullanılan 6 senaryoda tüm işlemler 1000 kez tekrar edilmiştir.
Sonuç olarak, soru bankasındaki madde sayısının artışı ve standart hatanın azalması BUT ÇD ve BUT 3PL için birçok durumda gerçek yetenek düzeyi ile uyumlu kestirimler yapılmasını sağlamıştır. BUT ÇD yöntemi yetenek düzeyini BUT 3PL'ye göre önemsiz derecede daha düşük kestirmektedir. BUT uygulamasında ve kâğıt-kalem yöntemlerinde yapılan kestirimler hem çözümsel davranışta hem de klasik 3PL modelde uyumlu bulunmuştur.

Abstract:
Depending on the developments in technology and information, paper-pencil tests leave their place to Computerized Adaptive Tests (CAT). With the help of developing computer technology, information about the response pattern of the person is not only obtained in these tests, in addition to this situation, information about the response times and the behavior of the person in the test could be collected. Many models have been proposed in the literature regarding the use of response time. These studies were focused on item difficulty and personal characteristics by ignoring the multidimensional interactions, therefore these results may cause bias in estimates of individual ability levels.
The aim of this study is to compare the performance of CAT applications of classical three-parameter logistic (3PL) model which based on the item response theory and solution behavior (SB) model that based on response time. In addition, to evaluate the agreement of paper-pencil SB and paper-pencil 3PL models with each other and with CAT applications. In the simulation study planned for this purpose, difficulty parameter (b) was derived from normal distribution with zero mean and one and half standard deviations N(0, 1.5) and discrimination parameter (a) was derived from uniform distribution U(0,2). Guessing parameter (c), which is included in the three-parameter logistic model and also named as lower-asymptote was derived from uniform distribution U(0.2,0.5) by taking the 5-answer exam system into consideration. While applying CAT to the SB and 3PL models, the standard error in the CAT was taken as <0.5 and <0.3 as stopping criteria. The number of person were determined as 1000, the number of items in the question bank were changed as 50, 100 and 250. All 6 scenarios which were used in this simulation study were repeated 1000 times.
With the increase in the number of items in the question bank and the decrease in the standard error, consistent results were obtained with true ability level in the CAT SB and CAT 3PL methods. The CAT SB method estimates the ability level slightly lower than CAT 3PL. The estimations which were made in CAT application and paper and pencil methods were found to be consistent in both SB and classical 3PL models.