Ölçme değişmezliği modellerinin farklı koşullar altında istatistiksel güç, yanlılık ve hata açısından karşılaştırılması
Comparison of measurement invariance models in terms of statistical power, bias, and error under different conditions
Yazar: FATİH İMROL
Danışman: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada, ölçeklerin çoklu puanlanan maddelerinin alt gruplar için karşılaştırılabilirliğini belirlemek amacıyla alanyazında sıklıkla kullanılan Ölçme Değişmezliği tekniklerinden Çoklu Grup Doğrulayıcı Faktör Analizi ve Hizalama Yöntemi, test uzunluğu, değişmezlik türü ve büyüklüğü, değişmez olmayan madde oranı, grup sayısı ve grup büyüklüğü gibi farklı koşullar altında istatistiksel güç, Tip I hata ve gizil ortalamalara ilişkin yanlılık değerleri açısından karşılaştırılmıştır. Çalışmada normal dağılımdan üretilmiş ve 5 kategorili olarak puanlanmış maddelerle, sözü edilen koşulların çaprazlanması ile oluşturulan 540 farklı koşul ile çalışılmıştır.
Bu çalışma bir simülasyon çalışmasıdır. Yöntemlere ilişkin değerlendirmelerde ÇGDFA kısmi değişmezlik ölçütü olarak ΔCFI=.01 ölçütü kullanılmıştır. Araştırmada faktöriyel ANOVA kullanılarak, ele alınmış faktörler ve ikili etkileşimlere göre manidar fark gösteren koşullar incelenmiştir.
Çalışmada elde edilen bulgular, istatistiksel güç ve Tip I hata oranlarının madde sayısı, değişmezlik türü ve büyüklüğü, değişmez olmayan madde oranı, grup sayısından etkilendiğini, gizil ortalama değerlerinin ise değişmezlik türü ve büyüklüğü, grup büyüklüğü ve grup sayısından etkilendiğini göstermiştir. Özellikle, değişmez olmayan madde oranının %50 olduğu koşulda HY'nin istatistiksel gücünün düştüğü ve ÇGDFA'nın Tip I hata oranlarının arttığı belirlenmiştir. Grup büyüklüğünün ise istatistiksel güç ve Tip I hata düzeyleri üzerinde önemli bir etkisinin olmadığı belirlenmiştir. Ayrıca gizil ortalamalarda HY için genel olarak daha düşük yanlılık değerleri elde edildiği belirlenmiştir.
İstatistiksel güç, Tip I hata ve yanlılık değerleri birlikte ele alındığında, yapılacak ölçme değişmezliği incelemelerinde farklı koşullar altında HY ya da ÇGDFA'nın kullanılmasına yönelik öneriler sunulmaktadır. Ayrıca, uygulayıcıların, değişmezliğin sağlanmasına ilişkin bir şüphe olmadığı durumda HY'yi tercih etmeleri önerilmektedir.

Abstract:
In this study, a widely used measurement invariance technique, Multiple Group Confirmatory Factor Analysis (MGCFA), and also the Alignment Optimization (AO), were compared in terms of statistical power, Type 1 error, and bias in latent means under various conditions. These conditions included test length, type and magnitude of noninvariance, proportion of noninvariant items, number of groups, and group size, aiming to determine the comparability of scales with multiple scored items across subgroups. The study involved 540 different conditions created by crossing these five factors using items generated from a normal distribution and categorised on a 5-point scale.
This study is a simulation study. In the evaluations related to the methods, MGCFA used the criterion of ΔCFI = .01 as the partial invariance criterion. The study examined significant differences across conditions using factorial ANOVA, focusing on the main effects and interaction effects of the factors considered.
The findings indicate that statistical power and Type 1 error rates were influenced by the number of items, type and magnitude of invariance, proportion of non-invariant items, and the number of groups, while the latent mean values were affected by the type and magnitude of invariance, group size, and the number of groups. Specifically, it was observed that the statistical power of the Alignment Method decreased, and the Type 1 error rates of MGCFA increased when the proportion of non-invariant items was 50%. Group size did not have a significant impact on statistical power and Type 1 error levels. Additionally, lower bias values in latent means were generally obtained for AO.
Considering statistical power, Type 1 error, and bias together, the study provides recommendations on the use of either the AO or MGCFA in measurement invariance analyses under different conditions. Furthermore, practitioners are advised to prefer the AO when there is no background knowledge of noninvariance.