Değişen madde fonksiyonunun MIMIC yöntemleriyle farklı koşullar altında incelenmesi
Examination of differential item functioning under different conditions using MIMIC methods
Yazar: PELİN TAMCI
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmanın amacı standart MIMIC (M-ST) ve arınık çapa maddeli MIMIC (M-AÇM) yöntemlerinin değişen madde fonksiyonu (DMF) belirleme performanslarının farklı koşullar altında incelenmesidir. Çalışma, farklı koşullara göre üretilmiş simülasyon veri setleri ve PISA 2012 matematik testinden elde edilen gerçek veri seti üzerinde yürütülmüştür. Simülasyon çalışması kapsamında ele alınan koşullar; MTK modeli (2PLM ve 3PLM), örneklem büyüklüğü (2000, 1000 ve 600), odak/referans grup oranı (1/1 ve 1/3), DMF büyüklüğü (0.3, 0.5 ve 0.7) ve DMF'li madde oranı (%20 ve %40)'dır. 72 koşul için 100 tekrarla üretilmiş her bir veri seti üzerinde analizler yapılmıştır. Veriler, 20 maddelik bir test üretilmiştir. Gerçek veri seti üzerinden yürütülen analizlerde örneklem büyüklüğü (900 ve 450) ve odak/referans grup oranı (350/550, 450/450, 225/225 ve 150/300) koşulları ele alınmıştır. DMF analizleri M-ST ve M-AÇM yöntemleriyle yapılmıştır. Simülasyon verisiyle gerçekleştirilen analizlerde yöntemlerin performanslarını incelemek amacıyla I. tip hata ve güç oranları hesaplanmıştır. I. tip hata ve güç oranlarının ele alınan koşullara göre nasıl değiştiğini incelemek için Faktöriyel ANOVA analizleri uygulanmıştır. I. tip hata ve güç oranlarının örneklem büyüklüğü, odak/referans grup oranı, DMF'li madde oranı ve DMF büyüklüğüne göre anlamlı farklılık gösterdikleri bulunmuştur. I. tip hata oranları açısından M-AÇM yönteminin M-ST'den daha üstün bir performans sergilediği görülmüştür. Gerçek veriyle gerçekleştirilen analizler sonucunda tüm koşullar için M-AÇM yöntemiyle belirlenen DMF'li madde sayısının M-ST yöntemiyle belirlenen DMF'li madde sayısından daha düşük olduğu görülmüştür.

Abstract:
The aim of this study is to investigate the performance of the standard MIMIC method (M-ST) and the MIMIC method with a pure anchor (M-PA) methods in determining DIF under different conditions. The study was conducted on simulation datasets generated under different conditions and a real dataset obtained from the PISA 2012 mathematics test. The conditions considered in the simulation study were IRT model (2PLM and 3PLM), sample size (2000, 1000, and 600), focal/reference group ratio (1/1 and 1/3), DIF magnitude (0.3, 0.5, and 0.7), and the proportion of items with DIF (20% and 40%). Analyses were conducted on each of the 100 repetitions of 36 conditions generated for each dataset. The data were generated for a 20-item test. In analyses conducted on the real dataset, sample size (900 and 450) and focal/reference group ratio (350/550, 450/450, 225/225, and 150/300) conditions were considered. DIF analyses were performed using M-ST and M-PA methods. Type I error rates and power ratios were calculated to examine the performance of the methods in analyses conducted with simulation data. Factorial ANOVA analyses were applied to examine how Type I error rates and power ratios changed according to the conditions considered. It was found that Type I error rates and power ratios showed significant differences depending on sample size, focal/reference group ratio, the proportion of items with DIF, and DIF magnitude. M-PA method exhibited superior performance to M-ST method in terms of Type I error rates. In analyses conducted with real data, it was observed that the number of items identified with DIF using the M-PA method was lower than the number identified using the M-ST method for all conditions.