Karma testlerde boyut sayısını belirleme tekniklerinin farklı örneklem büyüklükleri ve madde türü oranlarında karşılaştırılması
Comparison of the methods of determining the number of dimensions in mixed format tests in different sample sizes and ratios of item type
Yazar: FAHRETTİN GÜNDÜZ
Danışman: DOÇ. DR. SEHER YALÇIN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Açık uçlu sorular = Open ended questions ; Faktör analizi = Factor analysis ; Karma yöntemler = Mixed methods ; Testler = Tests ; Çoktan seçmeli testler = Multiple choice tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, büyük ve küçük örneklem büyüklüğünde açık uçlu madde sayısının çoktan seçmeli madde sayısına oranının farklılaştığı karma testlerden elde edilen veriler üzerinde, boyut sayısının belirlenmesinde sıklıkla kullanılan Kaiser Kriteri, Cattel Yamaç Birikinti Grafiği, Horn'un Paralel Analizi ve VSS (Çok Basit Yapı- Very Simple Structure) Yöntemleri'nden elde edilen sonuçların karşılaştırılmasıdır. Bu bağlamda çalışma, temel araştırma niteliğindedir. Araştırmanın amacına yönelik olarak çalışma grubunu TIMSS (Uluslararası Matematik ve Fen Eğilimleri Araştırması- Trends in International Mathematics and Science Study) 2019 8. sınıf düzeyinde birinci kitapçığı alan 624 Amerikalı öğrenci içinden büyük ve küçük örneklem büyüklüğünde (N=600 ve N=200) seçilen gruplar oluşturmaktadır. Farklı oranlarda karma testlerin elde edilmesinde ise (%45, 60, 75, 88, 107) 35 maddelik karma test kullanılmış ve açık uçlu ve çoktan seçmeli maddeler aşamalı olarak eksiltilmiştir. Çalışmada ele alınan yöntemlerin önerdiği boyut sayıları teorik yapıyla ve birbiriyle karşılaştırılmıştır. Belirlenen boyut sayısına göre yapılan faktör analizi sonucunda elde edilen TLI ve RMSEA uyum indeksleri incelenmiştir. Çalışmanın bulgularına dayalı olarak büyük örneklem üzerinde Horn'un Paralel Analiz Yöntemi'nin neredeyse tüm koşullarda fazla sayıda boyut önerme eğiliminde olduğu ve küçük örneklemlerde özellikle açık uçlu madde oranı daha fazla olduğu koşullarda daha uygun boyut sayılarının elde edildiği ayrıca faktör analizi sonucunda en iyi düzeyde model veri uyumunu sağladığı görülmüştür. VSS Yöntemi'ne göre önerilen boyut sayıları incelendiğinde, tüm koşullar altında kuramsal yapıya eşit ya da daha az sayıda boyut önerme eğiliminde olduğu, açık uçlu soru sayısı oranının daha fazla olduğu karma testlerde, daha az sayıda boyut sayısı önerme eğiliminde olduğu görülmüştür. Kaiser Kriteri, VSS Yöntemi'ne benzer şekilde hiçbir koşulda teorik yapının önerdiği boyut sayısından daha fazla sayıda boyut sayısı önermemiştir. Cattel Yamaç Birikinti grafiğine göre belirlenen boyut sayısının teorik yapıyla neredeyse tüm koşullarda örtüştüğü görülmüştür.

Abstract:
The aim of this research is the comparison the results frequently used in determining the number of dimensions as the Kaiser Criterion, the Cattel Scree Test, Horn's Parallel Analysis, and VSS (Very Simple Structure) for the data obtained from mixed format tests, in which the obtained from ratio of the number of open-ended items to the number of multiple-choice items differ in large and small sample sizes. In this context, the study is a basic research. For the purpose of the research, the study group was selected in large and small sample sizes (N=600 and N=200) among 624 American students who received the first booklet at the 8th grade level of TIMSS (Trends in International Mathematics and Science Study) 2019. In order to obtain mixed tests at different rates (45%, 60%, 75%, 88%, 107%) a 35-item mixed test was used, and open-ended and multiple-choice items were reduced gradually. The number of dimensions suggested by the methods discussed in the study was compared with the theoretical structure and each other. TLI and RMSEA fit indices were examined as a result of factor analysis carried out according to the determined number of dimensions  Based on the findings of the study, Horn's Parallel Analysis Method tends to suggest a large number of dimensions in almost all conditions on a large sample, and more appropriate number of dimensions are obtained in small samples, especially in conditions where the rate of open-ended items is higher. When the number of dimensions suggested according to the VSS Method is examined, it is seen that it tends to suggest a number of dimensions equal to or less than the theoretical structure under all conditions, and that it tends to suggest fewer dimensions in mixed tests where the number of open-ended questions is higher. Similar to the VSS Method, the Kaiser Criterion never suggested a greater number of dimensions than the theoretical structure suggested. It has been observed that the number of dimensions determined according to the Cattel Scree Test overlaps with the theoretical structure in almost all conditions.