Çoklu grup değişen madde fonksiyonu belirleme tekniklerinin farklı simülasyon koşullarında karşılaştırılması
Comparing the techniques for determining multiple-group differential item functioning under different simulation conditions
Yazar: ÖZKAN SAATÇİOĞLU
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Benzetim = Simulation ; Benzetim sistemi = Simulation system ; Değişen madde fonksiyonu = Differential item function ; Puanlama = Scoring ; Çoklu grup üyeliği = Multiple group memberships, ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada ikili puanlanan maddelerde çoklu grup Değişen Madde Fonksiyonu (DMF) tekniklerinin çeşitli koşullardaki performanslarının incelenmesi amaçlanmıştır. 2PLM'ye dayalı 20 maddelik veri setinin üretildiği bu simülasyon çalışmasında yetenek parametresi için normal dağılım, güçlük [b~U(-1.06, 1.39)] ile ayırt edicilik [a~U(0.84, 1.53)] parametreleri için ise tekdüze dağılım dikkate alınmış ve dört madde DMF'li olarak belirlenmiştir. Bununla beraber grup sayısı (3, 4), referans grubun örneklem büyüklüğü (600, 1800), odak grupların örneklem büyüklüklerinin referans gruba oranı (1:1/1, 1:1/2 ve 1:2/3), DMF miktarı [a(0.0, 0.4, 0.7), b(0.0, 0.4, 0.7)] ve DMF türü [DMF Yok, TB, TBO(a), TBO(ab)] faktörlerine ilişkin koşullar değişimlenerek, çoklu grup tekniklerinin (GLK, GLR-LRT, GLR-Wald, GMH ve Lordif) performansları Tip I hata, istatistiksel güç ve Tip III hata oranları açısından karşılaştırılmıştır. Verilerin üretilmesi ve analiz edilmesi sürecinde R yazılımındaki çok sayıda paketten yararlanılmıştır. Simülasyonun geçerliğini belirlemek için mutlak yanlılık ve RMSE hesaplanmış ve madde güçlük ile ayırt edicilik parametrelerine ilişkin kestirimlerin doğrulandığı görülmüştür. Araştırmada dikkate alınan faktörlerin ana ve etkileşim etkilerini incelemek için Faktöriyel ANOVA kullanılmış ve eta kare ile kısmi eta kare etki büyüklüğü katsayıları yorumlanmıştır. Araştırma sonucunda çoklu grup teknikleri için hesaplanan temel Tip I hata oranlarının referans grubun örneklem büyüklüğü ve grup sayısından etkilenmeyerek, liberal kritere göre kabul edilebilir olduğu gözlemlenmiştir. Faktörler arasındaki etkileşim etkileri incelendiğinde; DMF türü, DMF miktarı ve referans grubun örneklem büyüklüğünün çoklu grup teknikleri için hesaplanan Tip I hata, istatistiksel güç ve Tip III hata oranları üzerinde önemli birer faktör oldukları tespit edilmiştir. Grup sayısının ise bu tekniklerin performansları üzerinde ciddi bir farklılaşmaya yol açmadığı belirlenmiştir. Tip I hata, istatistiksel güç ve Tip III hata açısından sonuçlar birlikte değerlendirildiğinde, farklı koşullarda farklı tekniklerin daha iyi performans gösterdikleri ortaya konulmuştur. Bu sonuçlardan hareketle gerçek veri setlerinde çoklu grup tekniklerinden en az ikisinin birlikte kullanılması önerilebilir.

Abstract:
The aim of this study was to examine the performance of multiple-group Differential Item Functioning (DIF) in dichotomous items under different conditions. In this simulation where a dataset of 20 items was generated using 2PLM, normal distribution was considered for the ability parameter and uniform distribution for the difficulty [b~U(-1.06, 1.39)] and discrimination [a~U(0.84, 1.53)] parameters, and thus four items were found to have DIF. Multiple-group techniques (GLK, GLR- LRT, GLR-Wald, GMH, and Lordif) were compared in terms of Type I error, statistical power, and Type III error rates by varying the conditions regarding the number of groups (3, 4), the sample size of the reference group (600, 1800), the ratio of the sample sizes of the focus groups to the reference group (1:1/1, 1:1/2 and 1:2/3), the amount of DIF [a(0.0, 0.4, 0.7), b(0.0, 0.4, 0.7)] and the type of DIF [No DIF, uniform, non-uniform(a), non-uniform(ab)]. A number of R packages were employed in the process of generating and analyzing the data. Absolute bias and RMSE were calculated to determine the validity of the simulation, confirming the estimations regarding the item difficulty and discrimination parameters. Factorial ANOVA was used to examine the main and interaction effects of the factors addressed in the study, and eta-squared and partial eta-squared effect size coefficients were interpreted. The results showed that the basic Type I error rates calculated for the multiple-group techniques were not affected by the sample size of the reference group and the number of groups, and were acceptable based on the liberal criterion. An analysis of the interaction effects between the factors revealed that the type of DIF, the amount of DIF and the sample size of the reference group were important factors on the rates of Type I error, statistical power and Type III error calculated for the multiple-group techniques. However, the number of groups did not lead to a considerable difference in the performance of these techniques. Evaluating the results for Type I error, statistical power and Type III error together, it was found that different techniques performed better in different conditions. Based on these results, it can be recommended to use at least two of the multiple-group techniques together in real datasets.