Farklı koşullar altında ifade etkisi için uyum indekslerinin karşılaştırılması ve ölçme değişmezliğinin incelenmesi
Comparison of goodness of fit indeces for wording effect under different conditions and investigation of measurement invariance
Yazar: ESRA OYAR
Danışman: PROF. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde parametreleri = Item parameters ; Uyum = Adjustment ; Veri analizi = Data analysis ; Ölçme araçları = Measurement tools ; Ölçme değişmezliği = Measurement invariance ; Ölçme-değerlendirme = Measurement and evaluation ; İfade = Statement ; İfade edici dil = Expressive language

Özet:
Ölçme aracında yer alan pozitif ve negatif maddeler gizil yapının iki uç kısmını belirtmektedir. Bu durumda bir gizil yapının ölçülmesine hizmet eden iki zıt anlamlı madde setinin arasında mükemmel ilişki olması beklenmektedirancak pratikte bu durum söz konusu olmamaktadır (Kam ve Fan, 2020). Bu bağlamda bu çalışmanın amacı olumlu ve olumsuz maddelerin farklı koşullar altında ölçme modelinde nasıl bir farklılık oluşturduğunu belirlemektir. Bu duruma ek olarak, veriye en iyi uyum gösteren model (bifaktör model) üzerinden ölçme değişmezliği hem gözlenen gruplar üzerinden (cinsiyet) hem de gözlenemeyen gruplar üzerinden (gizil sınıflar) incelenmiştir. Çalışma kapsamında gerçek veri olarak Genel Erteleme Ölçeği'nden elde edilen veriler; farklı koşulların test edilmesi amacıyla da simulatif veri kullanılmıştır. Genel Erteleme Ölçeğin'de 11 olumsuz 7 olumlu olmak üzere 18 madde bulunmaktadır. Çalışma kapsamında %70'i kadın %30'u erkek olmak üzere 800 öğrenci verisi ile analizler gerçekleştirilmiştir. Simülasyon veride ise madde sayısı (18 madde) sabit koşul olarak ele alınmıştır. Manipüle edilen değişkenler ise faktör yük değerleri (0,6:0,6; 0,6:0,3; 0,3:0,6; 0,3:0,3), olumlu madde sayısının olumsuz madde sayısına oranı (15:3; 12:6; 9:9; 6;12) ve örneklem büyüklüğüdür (200, 500). Toplamda 32 çapraz koşul (4 faktör yük değeri x 4 madde sayısı oranı x 2 örneklem büyüklüğü) için 100 replikasyon ile 3200 veri seti üretilmiştir. Üretilen bu veriler üzerinden hem tek boyutlu model hem de bifaktör modelile faktör analizi gerçekleştirilmiştir. Çalışmada gerçek verideki ifade etkisi yedi farklı ölçme modeli üzerinden test edilmiştir. Sonrasında veriye en iyi uyum gösteren model için ölçme değişmezliği incelenmiştir. Çalışmanın gerçek veriye dayalı sonucunda veriye en iyi uyum gösteren modelin olumsuz maddelerin ikincil bir yapı oluşturduğu bifaktör model olduğu belirlenmiştir Simülasyon verilere dayalı sonuçlara göre
ölçme aracında fazla sayıda olumsuz maddenin olması durumunda bifaktör modelin veriye daha iyi uyum gösterdiği sonucuna varılmıştır. Ayrıca, olumsuz maddelerin ikincil yapıda yüksek faktör yük değeri vermesi durumunda bifaktör model daha iyi uyum göstermektedir. Örneklem büyüklüğü arttıkça hem tek boyutlu model hem de bifaktör model daha iyi sonuç vermektedir. Ancak her iki örneklem büyüklüğünde de bifaktör model tek boyutlu modelden daha iyi çalışmaktadır. Ölçme değişmezliği sonucunda ise cinsiyet (gözlenen değişken) ile ölçme değişmezliğinin belirlenmesinde skalar değişmezlik aşamasına kadar modelin sağlandığı; gizil sınıflar arasında ölçme değişmezliği belirlenmesinde ise metrik
değişmezliğe kadar değişmezlik aşamalarının sağlandığı belirlenmiştir. Bu sonuçlara göre, ölçme aracında olumsuz ifade edilen maddelerin olması durumunda ölçme modelinin farklı modeller test edilerek belirlenmesi önerilmektedir. Ölçme aracında olumsuz madde sayısı arttıkça tek boyutlu model yerine bifaktör model ile geçerlik kanıtı sunulmalıdır. Ayrıca ölçme değişmezliği incelemelerinde verideki heterojen yapının da varolabileceği durumlarda karma modeller ile değişmezlik testi yapılması önerilmektedir.

Abstract:
Positive and negative items in the measurement tool indicate the two extreme parts of the latent structure. In this case, a perfect relationship is expected between two sets of antonyms that serve to measure a latent construct. However, in practice this is not the case (Kam ve Fan, 2020). In this context, the aim of this study is to determine how positive and negative items make a difference in the measurement model under different conditions. In addition to this situation, measurement invariance was examined over both observed groups (gender) and unobserved groups (latent classes) over the model that best fitted the data (bifactor model). Within the scope of the study, both the data obtained from the General Procrastination Scale (GPS) as real data and simulative data were used. There are 18 items, 11 negative and 7 positive, in the GPS, and within the scope of the study, analyzes were carried out with the data of 800 students, 70% female and 30% male. In the simulation data, the number of items (18 items) was considered as a fixed condition. The manipulated variables were factor loading values (0.6:0.6; 0.6:0.3; 0.3:0.6; 0.3:0.3), the ratio of the number of positive items to the number of negative items (15:3; 12:6; 9:9; 6;12) and sample size (200, 500). In total, 3200 data set were generated with 100 replications for 32 crossconditions (4 factor loadings x 4 item count ratio x 2 sample sizes). Factor analysis was carried out with both the uni-dimensional model and the bifactor model on these data. In the study, the wording effect on real data was tested on seven different measurement models. Afterwards, measurement invariance was examined for the model that best fitted the data. As a result of the study based on real data, it was determined that the model that best fits the data is the bifactor model, in which negative items form a secondary structure. In addition, if negative items give a high factor load value in the secondary structure, the bifactor model fits better. As the sample size increases, both the uni-dimensional model and the bifactor model give better results. However, in both sample sizes, the bifactor model works better
than the uni-dimensional model. As a result of the measurement variation, the model was provided until the scalar invariance stage in determining the gender (observed variable) and measurement invariance; In the determination of measurement invariance between latent classes, it was determined that invariance stages up to metric invariance were provided. According to these results, it is suggested that the measurement model should be determined by testing different models in case of negatively worded items in the measurement tool. As the number of negative items in the measurement tool increases, proof of validity should be presented with a bifactor model instead of a uni-dimensional model. In addition, in cases where heterogeneous structure in the data may exist in measurement invariance studies, it is recommended to perform invariance testing with mixed models.