Ölçme eşdeğerliğini incelemede kullanılan yöntemlerin farklı koşullar altında istatistiksel güç oranları açısından karşılaştırılması
Comparison of the methods of examining measurement equivalence under different conditions in terms of statistical power ratios
Yazar: ALPEREN YANDI
Danışman: PROF. DR. NİZAMETTİN KOÇ
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Eğitim = Education ; Eşdeğerlik = Equivalency ; Faktör analizi = Factor analysis ; Geçerlik = Validity ; Likelihood Ratio Testi = Likelihood Ratio Test ; Olabilirlik = Possibility ; Ölçme-değerlendirme = Measurement and evaluation ; İstatistiksel güç = Statistical power

Özet:
Bu araştırmanın amacı, farklı koşullar altında çoklu puanlanan verilerde kullanılabilen ölçme eşdeğerliği belirleme yöntemlerinin karşılaştırılmasıdır. Bu amaca yönelik olarak gerçek uygulamalarda karşılaşılabilecek farklı koşullar için en uygun ölçme eşdeğerliği belirleme yönteminin hangisi olabileceğine dair kanıt aranmıştır. Çalışma kapsamında çoklu kategoride puanlanan, farklı örneklem büyüklüklerine, farklı test uzunluklarına ve farklı oranlarda değişen madde fonksiyonuna sahip madde içerecek şekilde üretilmiş yapay verilerde, çoklu grup doğrulayıcı faktör analizi, madde parametrelerinin karşılaştırılması ve olabilirlik oran testi yöntemleri kullanılarak ölçme eşdeğerliği ile ilgili elde edilen sonuçlar karşılaştırılmıştır. Elde edilen bulgular incelenerek farklı koşullarda hangi ölçme eşdeğerliği test etme yönteminin daha yüksek güç düzeyine sahip olduğu belirlenmiştir. Araştırma, bu yönleriyle kuramsal çalışmalara katkı sunduğundan temel bir araştırmadır. Örneklem büyüklüğü düzeyleri gerçek veri kullanılan araştırmalarda karşılaşılma sıklığı yüksek olduğu düşünüldüğünden 250/250, 500/500, 1000/1000 olacak şekilde veri üretimi gerçekleştirilmiştir. Değişen madde fonksiyonu içeren madde oranı değişkeni ise her bir koşul için sırasıyla %10, %20, %30'a kadar değişen madde fonksiyonu içeren madde olacak şekilde veri setleri oluşturulmuştur. Tekrarlama sayısı 100 olarak alınmıştır. Tepki kategori sayısı, madde tepki kuramı modeli, değişen madde fonksiyonu türü, değişen madde fonksiyonu büyüklüğü, bireylerin yetenek dağılımları değişkenleri ise tüm veri setleri aynı olacak şekilde belli düzeylerde sabit olarak alınmıştır. Örneklem büyüklüğü koşulunun 1000/1000 olduğu koşullarda ise yöntemlerin istatistiksel güç oranlarının madde sayısı değişkenine göre değişkenlik gösterdiği saptanmıştır. Bu sonuçlara ek olarak üretilen yapay veriler için, tüm yöntemlere ait istatistiksel güç oranlarının değişen madde fonksiyonu içeren madde oranındaki artıştan olumsuz etkilendiği sonucuna ulaşılmıştır. Veri setlerindeki değişen madde fonksiyonu içeren madde sayısı arttıkça yöntemlerin istatistiksel güç oranlarında azalma olmaktadır. Ayrıca elde edilen sonuçlara göre, 27 farklı koşul altında üç farklı yöntem için toplam 81 ikili karşılaştırmanın 38'inde olabilirlik oran testinin; 24'ünde çoklu grup doğrulayıcı faktör analizi yönteminin; 9'unda ise madde parametrelerini karşılaştırma yönteminin diğer iki yöntemden manidar şekilde daha yüksek güç oranları vermiştir. 10 karşılaştırmada ise üç yöntem arasında manidar bir farklılık olmadığı sonucu elde edilmiştir. Yapılan ikili karşılaştırmalarda olabilirlik oran testi yönteminin odak ve referans grubu örneklem büyüklüğünün 250 olarak alındığı diğer iki yönteme göre daha yüksek güç oranları verdiği belirlenmiştir. Bunun yanı sıra çoklu grup doğrulayıcı faktör analizi yönteminin daha yüksek güç oranları verdiği koşulların 40 ve 60 maddelik veri setleri olduğu ortaya konmuştur. Madde parametrelerini karşılaştırma yönteminin ise diğer iki yöntemden daha yüksek güç oranı verdiği koşulların tamamı 20 maddelik veri setleri için yapılmış analizlerin sonuçlarında elde edilmiştir. 1000/1000 örneklem büyüklüğü koşulunda, 20 maddelik veri setlerinde madde parametrelerini karşılaştırma; 40 maddelik veri setlerinde olabilirlik oran testi; 60 maddelik veri setlerinde ise çoklu grup doğrulayıcı faktör analizi yönteminin tercih edilmesi gerektiği çıkarımı yapılabilir. Elde edilen sonuçlar doğrultusunda, odak ve referans grubu örneklem büyüklüklerinin 250 olarak üretildiği, 60 madde ve %10 değişen madde fonksiyonu içeren madde oranı olan ve odak ve referans grupları örneklem büyüklüklerinin 500 olduğu, 60 maddelik koşullar dışında olabilirlik oran testi yönteminin kullanılması önerilebilir.

Abstract:
The purpose of this study is to compare the measurement invariance methods available for multiple scoring data under different conditions. For this purpose, evidence has been sought to identify which method is the most appropriate for determining measurement invariance for different conditions that may be encountered in real applications. In the study, the results of measurement invariance obtained by using invariance of mean and covariance structures method, comparison  of item parameters method and likelihood ratio test from the artificial datasets generated with different sample sizes, different number of items, and different ratio of the items with differential item function were compared. The findings were examined and which measurement invariance test method had higher power level in different conditions was determined. The research is a basic research since it contributed to the theory by these points. Sample size levels were generated as 250/250, 500/500, 1000/1000 because of considering these levels to be more frequently encountered in researches using real data. Besides, 20, 40 and 60 items were used for test length variable. Datasets containing items with differential item function were set at 10%, 20% and 30%, respectively. The number of replications was taken as 100. The response category number, the item response theory model, the type of differential item function, the differential item function size, and the individual's skill variance variables are fixed at a certain level as all data sets are the same. It has been found that the statistical power ratios of the methods vary according to the test length. In addition to these results, for artificial data generated, statistical power ratios for all methods were adversely affected by the increase in the ratio of item with differential item function. As the number of items with differential item function increases in data sets, the statistical power ratios decrease. Furthermore, according to the results, 38, 24 and 9 of the total 81 binary comparisons for three different methods under 27 different conditions, the likelihood ratio test, invariance of the mean covariance structures method and comparison of item parameters method yielded higher power ratios significantly than the other two methods respectively. In ten comparisons, there was no significant difference between the three methods. In the binary comparisons, the likelihood ratio test had higher statistical power ratios than the other two methods when sample size of focal and reference group were 250. Moreover, it is noteworthy that invariance of mean and covariance structures method has higher power ratios for data sets had 40 and 60 items. All higher statistical power ratio results for comparison of item parameter method obtained for data sets had 20 items. When the sample size is 1000/1000, it can be said that comparison of item parameters method for test length 20-item data sets; likelihood ratio test for test length 40-item data sets; for invariance of mean and covariance structures test length 60-item condition were preferred. According to results, it is suggested to use the likelihood ratio test in all conditions except for the conditions that the sample size of the focal and reference group is 250 and the test length 60 items - 10% items with differential item function and the test length 60-item condition that the sample size of the focal and reference groups is 500.