Test tahrifatının belirlenmesinde silme belirleme indeksinin I. tip hata ve istatistiksel güç açısından incelenmesi
Analysis of the erasure detection index in terms of type I error and statistical power in determining test tampering
Yazar: ESRA KINAY ÇİÇEK
Danışman: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Hata oranı = Error rate ; Silme belirleme indeksi = Erasure detection index ; Sınav = Examination ; Tahrifat = Falsification ; Test güvenilirliği = Test reliability ; Test istatistikleri = Test statistics ; Testler = Tests

Özet:
Bu araştırmada, test tahrifatının belirlenmesinde kullanılan Silme Belirleme
İndeksi'nin (SBİ) farklı koşullar (örneklem büyüklüğü, yetenek düzeyi, madde sayısı ve
hileli silme oranı) altında, I. Tip hata oranı ve istatistiksel güç bakımından nasıl
değiştiğinin belirlenmesi amaçlanmaktadır.
Bu amaç doğrultusunda 250, 2500, 25000 ve 49995 test alan için 50 ve 160 madde
üzerinden Sınıflamalı Tepki Modeline göre simülatif yanıt örüntüleri üretilmiştir. Veri
setlerinde iyicil silmelerden tesadüfi, kaydırma ve dizi sonu silmeleri simüle edilmiştir.
İyicil silmeleri içeren veri setlerine, ayrı ayrı sabit silme ve değişken silme yapılarak
yanıtlar tahrifata uğratılmıştır. Sonrasında veri setleri birleştirilerek iyicil ve hileli
silmeleri içeren veri setleri analize hazır hale getirilmiştir.
Süreklilik düzeltmesi uygulanan ve uygulanmayan SBİ'nin ürettiği I. Tip hata
oranları ve istatistiksel güç değerleri; 500, 5000, 50000 ve 99990 örneklem
büyüklüklerinde beş farklı yetenek düzeyine göre, 50 ve 160 maddelik veri setlerinde,
%10, %20 ve %30 oranlarında sabit silme ve değişken silme için .00001, .0001, .0005,
.001, .005, .01 ve .05 α seviyelerinde incelenmiştir.
Süreklilik düzeltmesi uygulanmadığında I. Tip hata oranları genellikle iyi kontrol
edilememiştir. Süreklilik düzeltmesi uygulanması tüm alfa seviyelerinde I. Tip hata
oranlarını düşürürken istatistiksel gücün de bir miktar düşmesine neden olmuştur. I. Tip
hata oranları 50 maddelik veri setlerinde 160 maddelik veri setlerine göre daha iyi kontrol
edilmiştir. Örneklem büyüklüğü arttıkça I. Tip hata oranlarında azalma görülmüştür.
Sabit silme oranları arttıkça tahrifata uğrayan test alanlar daha doğru tespit edilmiş ve istatistiksel güç artmıştır. Yetenek düzeyi arttıkça istatistiksel gücün düştüğü
belirlenmiştir. Araştırma sonucunda Türkiye'de uygulanan yüksek riskli sınavlarda SBİ
ile tahrifatın belirlenmesine yönelik çalışmaların yürütülmesi önerilmektedir.

Abstract:
This study aims to examine Type I error rates and statistical power of the Erasure
Detection Index (EDI) when used in determining test tampering under different
conditions (sample size, ability level, number of different items and fraudulent erasure
rates).
For this purpose, simulative response patterns for 250, 2500, 25000 and 49995
examinees were produced using the Nominal Response Model including 50 and 160
items. Three types of benign erasures, random, misalignment, and string-end erasures,
were simulated in the datasets. Responses were tampered by making individually fixed
and variable erasure to the datasets containing benign erasures. Then, combining datasets,
datasets containing both types of benign erasure and fraudulent erasure were prepared for
analysis.
According to five different ability levels of 500, 5000, 50000 and 99990 sample
sizes, in data sets of 50 and 160 items, Type I error rates and statistical power values
produced by EDI with and without continuity correction were examined in alpha levels
of .00001, .0001, .0005, .001, for 10%, 20% and 30% fraudulent fixed erasure and
variable erasure.
Without continuity correction, Type I error rates were generally not well
controlled. The application of continuity correction decreased the Type I error rates at all
alpha levels and caused a decrease in the statistical power. Type I error rates were better
controlled in the 50-item datasets than the 160-item datasets. As the sample size
increased, Type I error rates decreased. As the fixed erasure rates increased, the statistical
power increased and the examinees were detected more accurately. It was determined that the statistical power increased as the ability level decreased. According to the findings of
this study, it is recommended that large scale testing organizations should carry out
studies to determine the test tampering with EDI in high-stakes tests in Turkey.