Değişen madde fonksiyonunu kontrol altına almada çok boyutlu madde tepki kuramı modellerinin kullanımı
The use of multidimensional item response theory models in controlling differential item functioning
Yazar: HATİCE GÜRDİL
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmanın amacı, farklı simülasyon koşularında Değişen Madde Fonksiyonu (DMF) gösteren maddeler nedeniyle tek boyutluluğun sağlanamadığı testlerde, Tek Boyutlu (TB) ve Çok Boyutlu Madde Tepki Kuramı (ÇBMTK) kestirimlerinin DMF'yi kontrol altına almaya yönelik etkilerinin incelenmesidir. Çalışmanın amacı doğrultusunda boyut sayısı (2, 3), DMF yüzdesi (%10, %20, %30), DMF büyüklüğü (küçük, büyük) ve DMF türü (tek biçimli, tek biçimli olmayan) olmak üzere döngüsel olarak 2x3x2x2=24 farklı deneysel koşul için 24x100 tekrar=2400 farklı veri seti üretilmiştir. Boyut sayısının, DMF yüzdesinin, DMF büyüklüğünün ve DMF türünün değişimlenmesine bağlı olarak; DMF belirleme tekniklerinin (Lojistik Regresyon-LR, Simultaneous item bias test-SIBTEST, Lord'un χ2) performanslarını değerlendirmek üzereTip I hata ve istatistiksel güç oranlarındaki farklılaşmalar incelenmiştir. Verilerin üretiminde, Tek ve Çok Boyutlu MTK'ya dayalı yetenek parametrelerinin kestiriminde, DMF analizlerinin yapılmasında, Tip I hata ve istatistiksel güç oranlarındaki farklılaşmaların incelenmesinde ve grafiklerin çiziminde R programlama dili kullanılmıştır. Simülasyon koşullarına bağlı olarak üretilen veriler için MTK varsayımları kapsamında boyutluluk ve model-veri uyumu analizleri yapılmıştır. Buna ek olarak simülasyon verilerinin geçerliği için DMF içerecek şekilde üretilen verilerin istenilen DMF yüzdesi, büyüklüğü ve biçimini sağlama durumları incelenmiş, istatistiksel ve mantıksal kontrolleri yapılmıştır. TB ve TBO DMF türleri için ayrı ayrı olmak üzere, simülasyon koşullarının her birinde Tek ve Çok Boyulu MTK kestirimlerine yönelik DMF analizlerinin Tip I hata ve istatistiksel güç oranlarındaki farklılaşmaları incelenmiştir. Farklılaşmaların belirlenmesinde Faktöriyel ANOVA analizi yapılmıştır. Analiz sonucunda TB ve TBO DMF türü için, çok boyutlu kestirim yöntemi ile tek boyutlu kestirim yöntemine göre daha düşük Tip 1 hata değerleri ve daha yüksek istatistiksel güç değerleri elde edilmiş; elde edilen farkların manidar ve yüksek düzey etkiye sahip olduğu sonucuna ulaşılmıştır. Elde edilen bu sonuç çok boyutlu kestirimlerin, tek boyutlu kestirimlere göre düzeltilmiş puan elde edilmesinde daha etkili olduğu şeklinde yorumlanabilmektedir. Gerçek veri analizinde de tek ve çok boyutlu kestirimlere ait Tip I hata ve istatistiksel güç oranları arasında, çok boyutlu kestirim lehine manidar farklılıklar olduğu sonucuna ulaşılmıştır. Elde edilen sonuçlar birlikte değerlendirildiğinde çok boyutlu kestirimlerin, tek boyutlu kestirimlere göre düzeltilmiş puan elde edilmesinde etkili olduğu görülmüştür. Diğer bir ifadeyle çok boyutlu kestirimlerin DMF'yi kontrol altına almada, tek boyutlu kestirimlerden daha etkili olduğu ve bu sonucun gerçek verilerle desteklendiği söylenebilmektedir. Bu kapsamda DMF kaynaklı çok boyutlu olan uygulanmış bir testte madde çıkarmadan çok boyutlu kestirim yapılarak düzeltilmiş toplam puan elde edilmesi önerilmektedir. Buna ek olarak TB ve TBO DMF türü için; DMF büyüklüğünün artması; TB DMF türü için ise DMF yüzdesi artması çok boyutlu kestirim Tip I hata oranları üzerinde daha fazla düzeltme sağlamaktadır. Hem TB hem de TBO DMF türü için; DMF büyüklüğü ve boyut sayısı arttıkça; TBO DMF türü içinse DMF yüzdesi arttıkça çok boyutlu kestirim istatistiksel güç oranları üzerinde daha fazla düzeltme sağlamaktadır. Bu sonuçlara ek olarak TB ve TBO DMF türü için; çok boyutlu kestirim sonucu tüm DMF belirleme tekniklerinde tek boyutlu kestirimden daha düşük Tip I hata ve daha yüksek istatistiksel güç oranları elde edilmiştir. Bir diğer sonuç olarak; tek boyutlu kestirimde belirlenen koşulların alt düzeyleri arasındaki farklılıklar belirginken çok boyutlu kestim sonucunda farklılıklar azalarak düzeyler birbirine benzer çalışmaktadır.

Abstract:
The purpose of this study is to investigate the effects of Unidimensional (UD) and Multidimensional Item Response Theory (MIRT) Estimations on controlling Variability of Differential Item Functioning (DIF) in tests where unidimensionality cannot be ensured due to tests with DIF in different simulation conditions. In line with the aim of the study, 24 different experimental conditions, alternatingly for the number of dimensions (2, 3), DIF percentage (10%, 20%, 30%), DIF size (small, large), and DIF type (Uniform_UDIF, Nonuniform_NUDIF) 2x3x2x2 = 24x100 repetitions = 2400 different data sets were generated. Depending on the changes in the number of dimensions, DIF percentage, DIF size, and DIF type; differences in the performance of DIF determination techniques (Logistic Regression-LR,  Simultaneous item bias test-SIBTEST, Lord's χ2) in terms of Type I error and statistical power rates were examined. In the generation of data, estimating ability parameters based on Unidimensional and Multidimensional IRT, examining differences in Type I error and statistical power rates for performing DIF analyses, and drawing graphs R programming language were used. In line with IRT assumptions, dimensionality and model-data fit analyses were conducted for data generated under simulation conditions. In addition, for the validity of simulation data, cases providing the desired DIF percentage, DIF size, and DIF type -produced data were examined, and statistical and logical checks were performed. UDIF and NUDIF types, differences in Type I error and statistical power rates of DIF analyses for Unidimensional and Multidimensional IRT estimates in each simulation condition were separately examined. Factorial ANOVA analysis was used to determine the differences. As a result of the analysis, for UDIF and NUDIF types, lower Type 1 error values and higher statistical power values were obtained for the multidimensional estimation method compared to the unidimensional estimation method, and it was concluded that the obtained differences were significant and had a high level of effect. These results can be interpreted as indicating that multidimensional estimations are more effective in obtaining corrected scores compared to unidimensional estimations. In real data analysis, it was concluded that there were significant differences in favor of multidimensional estimations in terms of Type I error and statistical power rates for both unidimensional and multidimensional estimations. When the results are evaluated together, it is seen that multidimensional estimations are effective in controlling DIF compared to unidimensional estimations, and this result is supported by real data. In this context, in a test with multidimensional DIF, it is recommended to obtain corrected total scores by making multidimensional estimations without removing items. In addition, for UDIF and NUDIF DIF types; Increasing DIF size; For UDIF DIF type, increasing DIF percentage provides more correction in multidimensional estimation Type I error rates. For both UDIF and NUDIF DIF types; Increasing DIF size and the number of dimensions, and for NUDIF DIF type, increasing DIF percentage provide more correction in multidimensional estimation statistical power rates. In addition to these results, for UDIF and NUDIF DIF types; lower Type I error and higher statistical power rates were obtained in multidimensional estimation results for all DIF determination techniques compared to unidimensional estimation. Another result is that while the differences between the sub-levels determined in unidimensional estimation are prominent, the differences decrease and the levels work more similarly in the multidimensional estimation results.