Ölçme eşdeğerliğini incelemede kullanılan yöntemlerin farklı koşullar altında istatistiksel güç oranları açısından karşılaştırılması

Bu araştırmanın amacı, farklı koşullar altında çoklu puanlanan verilerde kullanılabilen ölçme eşdeğerliği belirleme yöntemlerinin karşılaştırılmasıdır. Bu amaca yönelik olarak gerçek uygulamalarda karşılaşılabilecek farklı koşullar için en uygun ölçme eşdeğerliği belirleme yönteminin hangisi olabileceğine dair kanıt aranmıştır. Çalışma kapsamında çoklu kategoride puanlanan, farklı örneklem büyüklüklerine, farklı test uzunluklarına ve farklı oranlarda değişen madde fonksiyonuna sahip madde içerecek şekilde üretilmiş yapay verilerde, çoklu grup doğrulayıcı faktör analizi, madde parametrelerinin karşılaştırılması ve olabilirlik oran testi yöntemleri kullanılarak ölçme eşdeğerliği ile ilgili elde edilen sonuçlar karşılaştırılmıştır. Elde edilen bulgular incelenerek farklı koşullarda hangi ölçme eşdeğerliği test etme yönteminin daha yüksek güç düzeyine sahip olduğu belirlenmiştir. Araştırma, bu yönleriyle kuramsal çalışmalara katkı sunduğundan temel bir araştırmadır. Örneklem büyüklüğü düzeyleri gerçek veri kullanılan araştırmalarda karşılaşılma sıklığı yüksek olduğu düşünüldüğünden 250 /250, 500 /500, 1000/ 1000 olacak şekilde veri üretimi gerçekleştirilmiştir. Değişen madde fonksiyonu içeren madde oranı değişkeni ise her bir koşul için sırasıyla %10, %20, %30'a kadar değişen madde fonksiyonu içeren madde olacak şekilde veri setleri oluşturulmuştur. Tekrarlama sayısı 100 olarak alınmıştır. Tepki kategori sayısı, madde tepki kuramı modeli, değişen madde fonksiyonu türü, değişen madde fonksiyonu büyüklüğü, bireylerin yetenek dağılımları değişkenleri ise tüm veri setleri aynı olacak şekilde belli düzeylerde sabit olarak alınmıştır. Örneklem büyüklüğü koşulunun 1000/ 1000 olduğu koşullarda ise yöntemlerin istatistiksel güç oranlarının madde sayısı değişkenine göre değişkenlik gösterdiği saptanmıştır. Bu sonuçlara ek olarak üretilen yapay veriler için, tüm yöntemlere ait istatistiksel güç oranlarının değişen madde fonksiyonu içeren madde oranındaki artıştan olumsuz etkilendiği sonucuna ulaşılmıştır. Veri setlerindeki değişen madde fonksiyonu içeren madde sayısı arttıkça yöntemlerin istatistiksel güç oranlarında azalma olmaktadır. Ayrıca elde edilen sonuçlara göre, 27 farklı koşul altında üç farklı yöntem için toplam 81 ikili karşılaştırmanın 38'inde olabilirlik oran testinin; 24'ünde çoklu grup doğrulayıcı faktör analizi yönteminin; 9'unda ise madde parametrelerini karşılaştırma yönteminin diğer iki yöntemden manidar şekilde daha yüksek güç oranları vermiştir. 10 karşılaştırmada ise üç yöntem arasında manidar bir farklılık olmadığı sonucu elde edilmiştir. Yapılan ikili karşılaştırmalarda olabilirlik oran testi yönteminin odak ve referans grubu örneklem büyüklüğünün 250 olarak alındığı diğer iki yönteme göre daha yüksek güç oranları verdiği belirlenmiştir. Bunun yanı sıra çoklu grup doğrulayıcı faktör analizi yönteminin daha yüksek güç oranları verdiği koşulların 40 ve 60 maddelik veri setleri olduğu ortaya konmuştur. Madde parametrelerini karşılaştırma yönteminin ise diğer iki yöntemden daha yüksek güç oranı verdiği koşulların tamamı 20 maddelik veri setleri için yapılmış analizlerin sonuçlarında elde edilmiştir. 1000/ 1000 örneklem büyüklüğü koşulunda, 20 maddelik veri setlerinde madde parametrelerini karşılaştırma; 40 maddelik veri setlerinde olabilirlik oran testi; 60 maddelik veri setlerinde ise çoklu grup doğrulayıcı faktör analizi yönteminin tercih edilmesi gerektiği çıkarımı yapılabilir. Elde edilen sonuçlar doğrultusunda, odak ve referans grubu örneklem büyüklüklerinin 250 olarak üretildiği, 60 madde ve %10 değişen madde fonksiyonu içeren madde oranı olan ve odak ve referans grupları örneklem büyüklüklerinin 500 olduğu, 60 maddelik koşullar dışında olabilirlik oran testi yönteminin kullanılması önerilebilir.