Madde ön-bilgisi kaynaklı test hilesinin madde tepki süresi modeli kullanılarak farklı koşullar altında incelenmesi
Investigation of item pre-knowledge cheating using item response time model under different conditions
Yazar: EBRU BALTA
Danışman: DOÇ. DR. CELAL DEHA DOĞAN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Birey uyum istatistikleri = Person fit statistics ; Kullback-Leibler uzaklığı yaklaşımı = Kullback-Leibler divergence measure ; Madde tepki süresi modeli = Item response time mode ; Test güvenilirliği = Test reliability ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, madde tepki ve tepki süresi örüntülerinin birlikte hiyerarşik modellenmesi (HMTK-TS) aracılığıyla madde ön bilgisi kaynaklı test hile davranışlarını tespit etmede, tepki süresi tabanlı Kullback-Leibler yaklaşımının ve L birey uyum istatistiğinin, farklı koşullar altında I. tip hata ve test hilesi belirleme güç oranlarının ortaya konulması amaçlanmaktadır. Araştırmanın amacı doğrultusunda, yöntemlerin, I. Tip hata oranı ortalamalarının elde edilmesi için madde tepkilerinin üç parametreli lojistik model ile tepki sürelerinin de bayesci log-normal tepki süresi modeli ile modellendiği, test uzunluğu (15, 50) ve teşhir olan maddelerin güçlük düzeyi (orta güçlük,zor) koşulları altında 50 yineleme ile 200 veri seti oluşturulmuştur. Yöntemlerin güç oranı ortalamalarının elde edilmesi için ise test uzunluğu, teşhir olan maddelerin güçlük düzeyi, teşhir olan maddelerin oranı (%20, %40 ve %60) ve teşhir olan maddelerin tepki süresi değişimlemesi (random olarak 10 ile 15 saniye arasındaki uniform dağılımdan oluşturma, 20 saniyeye sabitleme, 30 saniyeye sabitleme) koşulları altında 50 yineleme ile 1800 veri seti oluşturulmuştur. Her üretilen veri seti için HMTK-TS model parametreleri kestirimlerinde, Monte Carlo Markov Zinciri (MCMC) yaklaşımı olarak Gibbs örnekleme algoritması kullanılmıştır. Verilerin analizinde, hile senaryosunda, hile yapan bireyler düşük yetenek düzeyindeki bireylerden seçilerek oranı, 1000 örneklem büyüklüğünün %5 'i olacak şekilde hileli veriler oluşturularak  yöntemlerin , test hilesi belirleme performansları incelenmiştir. Veri üretiminde ve analizinde R.4.0.1. programı kullanılmıştır. Çalışmanın sonucunda, değişimlenen tüm koşullar altında, uygun olmayan madde tepki ve tepki süresi örüntülerinin tespit edilmesinde, Kullback-Leibler uzaklığının L birey uyum istatistiğine göre daha güçlü olduğu; ancak yüksek I. Tip hata oranı barındırdığı görülmüştür.

Abstract:
In this study, it is aimed to reveal  in the detection of preknowledge cheating  behaviors the rate of Type I error and the rate of power of response time based Kullback-Leibler divergence measure and L person fit statistic under different conditions  via modeling  patterns of response accuracy and response times using a joint hierarchial  model. In line with the purpose of the study, 200 data sets were generated with 50 replication that item responses were modeled with three parameter logistic model and response times were modeled with the Bayesian log-normal response time model under the conditions of test length (15, 50) and difficulty level of the compromised items (medium difficulty, difficult) for obtained means of Type I error rate of methods.  In order to obtain the mean power rate of the methods, 1800 data sets were generated with 50 replication under the conditions of test length , the difficulty level of the compromised items,  the ratio of compromised items ( 20%, 40%, 60%),  changing  in response time of the compromised items ( from a uniform distribution in the range of 10 to 15 seconds, fix to 20 seconds, fix to 30 seconds). Gibbs sampling algorithm is used as Monte Carlo Markov Chain (MCMC) approach in estimating patterns of response accuracy and response times using a joint hierarchial  model parameters for each data set. In the analysis of the data, in the cheating scenario, who have item preknowledge individuals were selected from individuals with low ability level, and the rate of fraudulent data was created as 5% of the 1000 sample size, were examined of  the methods of  performance of pre-knowledge cheating.  R.4.0.1 software was used for data generation and analyses. As a result of the study, it was found that the Kullback-Leibler divergence measure was stronger than the L  person fit statistics in detecting  aberrant patterns of item response and response times patterns under all changing conditions; however, it was found to have a high Type I error rate.