Karma testlerde doğrulayıcı faktör analizi kestirim yöntemlerinin karşılaştırılması
Comparison of confirmatory factor analysis estimation methods for mixed-format tests
Yazar: ABDULLAH FARUK KILIÇ
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Doğrulayıcı faktör analizi = Confirmatory factor analysis ; Karma format testler = Mixed format tests ; Tahmin yöntemleri = Estimation methods ; Testler = Tests ; Yapısal Eşitlik Modeli = Structural Equation Model ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı doğrulayıcı faktör analizinde (DFA) kullanılan en çok olabilirlik (EÇO), güçlü en çok olabilirlik (G-EÇO), ortalama ve varyansların düzeltildiği ağırlıklandırılmış en küçük kareler (OV-AEKK), ortalama ve varyansların düzeltildiği ağırlıklandırılmamış en küçük kareler (OV-UEKK), ağırlıklandırılmış en küçük kareler (AEKK) ve Bayes kestirim yöntemlerinin performanslarının, karma formattaki testlerde belirlenen simülasyon koşullarına göre karşılaştırılmasıdır. Monte Carlo simülasyonu olarak gerçekleştirilen bu çalışmada koşullar; açık uçlu madde yüzdesi (%10, %20, %40, %50), açık uçlu maddelerin dağılımı (normal, sağa çarpık, sola çarpık), açık uçlu maddelerin puan kategori sayısı (3, 4 ve 5), ortalama faktör yükü (0.40, 0.60, 0.80), örneklem büyüklüğü (200, 500 ve 1000) ve testteki madde sayısı (20, 30, 40) olarak belirlenmiştir. Her bir koşul için 1000 replikasyon yapılmıştır. Araştırmada tek boyutlu yapılar incelenmiştir. Araştırmada kestirim yöntemlerinden elde edilen yakınsama oranı (YO), uygun olmayan çözümler (UOÇ), doğru kestirim yüzdesi (DKY), göreli yanlılık (GY) ve standart hata yanlılığı (SHY) değerleri bağımlı değişken olarak ele alınmıştır. Ayrıca araştırma sonucunda elde edilen bulgular 2016 yılında Türkiye Cumhuriyeti Millî Eğitim Bakanlığı tarafından gerçekleştirilen Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE) çalışmasından elde edilen gerçek veri setleriyle karşılaştırılarak ampirik olarak değerlendirilmiştir. Araştırma sonucunda örneklem büyüklüğü ve ortalama faktör yükünün artmasıyla yöntemlerin daha doğru kestirimler yaptığı gözlenmiştir. Araştırmada tüm koşullarda en iyi şekilde çalışan bir yöntem olmadığı söylenebilir. Ancak tüm koşullar değerlendirildiğinde OV-UEKK yönteminin performansı diğer yöntemlere göre bağımlı değişkenler açısından daha yüksek performans göstermiştir. OV-AEKK yöntemi de OV-UEKK yöntemine yakın sonuçlar vermektedir. Ayrıca Bayes yöntemi küçük örneklemlerdeki bazı koşullarda OV-AEKK ve OV-UEKK yöntemlerinden daha yüksek doğru kestirim yüzdesine sahiptir.

Abstract:
The purpose of this study is to compare maximum likelihood (ML), robust maximum likelihood (MLR), unweighted least squares mean-and-variance adjusted (ULSMV), weighted least squares (WLS), weighted least squares mean-and-variance adjusted (WLSMV) and Bayes estimation methods used in confirmatory factor analysis (CFA) according to simulation conditions determined within mixed format tests. Percentage of open-ended items (10%, 20%, 40%, 50%), distribution of open ended items (normal, right skewed, left skewed), number of score categories of open ended items (3, 4 and 5), mean factor loading (0.40, 0.60, 0.80), sample size (200, 500 and 1000) and the number of items in the test (20, 30, 40) are specified within Monte Carlo simulation conditions. 1000 replication was used for each condition. Unidimensional constructs are investigated. Convergence rate, improper solutions, percentage of correct estimate (PCE), relative bias (RB) and relative bias of standard error (SHY) values obtained from the estimation methods in the study are considered as dependent variables. In addition, the findings obtained from the implementation of Monitoring and Evaluation of Academic Skills survey which was conducted by the Republic of Turkey Ministry of National Education (MoNE) in 2016 was compared with the simulation study. As a result, it was observed that estimation methods make more accurate estimates with increasing sample size and average factor loadings. It can be said that there are no estimation methods delivering the best performance for all conditions. However, when all the conditions were evaluated, the performance of ULSMV method was better than the others. WLSMV was similar to ULSMV. In addition, it was observed that Bayes method yielded better results in some conditions in small samples than ULSMV and WLSMV.