Kopya belirlemede benzerlik indekslerinin birey-uyum istatistikleri aracılığıyla aşamalı kullanımının I. tip hatalarının ve gücünün incelenmesi
Investigation of type-I-error and power of similarity indices by using two-stage analysis via person-fit statistics
Yazar: ARZU UÇAR
Danışman: DOÇ. DR. CELAL DEHA DOĞAN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Birey uyum istatistikleri = Person fit statistics ; Hile = Fraud ; Kopya ve benzerlik indeksleri = Answer copying and similarity indices ; Kopya çekme = Cheating ; Kullback-Leibler uzaklığı yaklaşımı = Kullback-Leibler divergence measure ; Test güvenilirliği = Test reliability ; Testler = Tests

Özet:
Bu çalışma, bilgisayar temelli ve kağıt-kalem testi uygulamalarında, sınav maddelerine ilişkin madde ön bilgisine sahip olmayan ve cevap kopyalamadan kaynaklı test hilesi yapan bireyleri tespit etmek için aşamasız ve iki aşamalı olarak kullanılan indekslerin çeşitli koşullar altında I. tip hata oranları ve güçlerinin nasıl etkilenediğini ortaya koymayı amaçlamaktadır. Bu amaç doğrultusunda, I. tip hata oranı ortalamaları elde edilmesi için Rasch modele dayalı, test hilesi yapan bireyin yeteneği (çok düşük yetenek, düşük yetenek), testin ortalama güçlüğü (kolay, zor) koşulları altında 100 yineleme ile 400 veri kümesi üretilmiştir. Kopya ve benzerlik indekslerinin, birey uyum istatistiklerinin, Kullback-Leibler uzaklık indeksinin güç ortalamaları için yetenek düzeyi, ortalama test güçlüğü ve kopya çekilen madde oranı (0.1, 0.4 ve 0.6) koşulları altında 100 yineleme yapılarak 1200 veri kümesi oluşturulmuştur. Aşamasız analizde kopya ve benzerlik indekslerinin, birey uyum istatistiklerinin ve Kullback-Leibler uzaklık indeksinin değişimlenen şartlar altında I. tip hata ve güç ortalamaları hesaplanıştır. İki aşamalı analizde önce birey uyum/Kullback-Leibler indeksleri ile test hilesi yapan bireyler belirlenmiştir. Belirlenen bireylerin sınav salonundaki yerlerine göre cevaplarını kopyalayabileceği potansiyel kaynak bireyler ile olan analizi için ise kopya ve benzerlik indeksleri kullanılarak, kopya ve benzerlik indekslerinin I. tip hata oranı ve güç ortalamaları elde edilmiştir. İki aşamalı analizde aşamasız analize göre daha düşük I. tip hata oranı ortalamaları, yine aşamasız analize göre daha yüksek güç ortalamaları elde edilmiştir. Kullback-Leibler indeksinin aşamasız kullanıldığında en düşük güç ve en yüksek hata ortalamasına sahip olduğu görülmüştür.

Abstract:
This study aimed to how the rate of Type I error and the power of statistics are affected under various conditions. No-step analysis and two-steps analysis were used to detect copier who does not have any item pre-knowledge and copy from the source. 400 data sets were generated with 100 replication under the conditions of the copiers' ability (very low ability, low ability) and the average of test difficulty (easy, difficult). Then the rates of type I error were calculated for these conditions. 1200 data sets were simulated with 100 replication under the conditions of ability level, test difficulty, and copying ratio (0.1, 0.4, and 0.6) to calculated the power of answer copying and similarity indices, person-fit statistics and Kullback-Leibler divergence index. In the no-step analysis, type I error and power were calculated for each index and statistic. For the two-steps analysis, the person fit statistic/Kullback-Leibler divergence index was used to detect copiers in the first step. In the second step, answer copying and similarity indexes were used to detect copiers by comparing only copiers' potential sources in the classroom. After that, the rate of type I error and power of answer copying and similarity indices were calculated under varying conditions. In two-steps analysis, the rates of type I error of answer copying and similarity indices were lower. Besides, the power of answer copying and similarity indices were higher. It has been observed that the Kullback-Leibler divergence index has the lowest power and the highest error when used no-step analysis.