Mokken Ölçekleme yöntemi ile 1-0 biçiminde puanlanan başarı testlerinin psikometrik özelliklerinin incelenmesi
Investigation of psychometric properties of achievement tests scored 1-0 with Mokken Scaling method
Yazar: BAHAR KEKLİK
Danışman: PROF. DR. TUNCAY ÖĞRETMEN
Ege Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training ; İstatistik = Statistics

Özet:
Bu araştırmada Mokken Ölçekleme Analizi ile ikili şekilde puanlanan başarı testlerinin psikometrik özelliklerinin farklı örneklem büyüklüklerinde incelenmesi amaçlanmıştır. Betimsel araştıma örneği olan çalışmada TÜBİTAK SOBAG 3501 programı ile desteklenen 115K531 numaralı "Uluslararası Geniş Ölçekli Sınavlarda Türkiye'nin Matematik Başarısını Arttırabilmek İçin Bir Model Önerisi: Bilişsel Tanıya Dayalı İzleme Modelinin Etkililiği" adlı proje bünyesinde hazırlanan 30 soruluk ölçme aracından elde edilen veriler kullanılmıştır. Projenin son test uygulmasından elde edilen 1306 öğrenciden oluşan Deney-1 grubuna ait veri setinden 100, 200, 500 ve 1000 kişilik on farklı veri seti oluşturulmuştur. Oluşturulan bu veri setleri "R 4.3.2" programı kullanılarak testin psikometrik özelliklerinin incelenmesi amacıyla analiz edilmiştir. Araştırma, bu veri setlerinin ölçeklenebilirlik katsayılarını, monotonluk değerlerini ve güvenirlik tahminlerini içermektedir. Çalışıma kapsamında elde edilen sonuçların yorumlanması Mokken Ölçekleme Analizi Monoton Homojenlik Modeli çerçevesinde yapılmıştır.
100, 200, 500 ve 1000 kişilik örneklem büyüklüğündeki veri setlerinin analizi sonucunda, Otomatik Madde Seçimi Prosedürü Uygulamasından sonra analize dâhil edilen maddeler ile hesaplanan testin genel ölçeklenebilirlik katsayısı olan H değerleri 0.40 ile 0.47 aralığında madde ölçeklenebilirlik katsayısı olan H_i  değerleri 0.30 ile 0.91 aralığında, madde çiftleri ölçeklenebilirlik katsayısı olan H_ij değerleri ise 0 ile 1 aralığında değişmiştir. Elde edilen bulgulara göre test tüm örneklem büyüklüklerinde Monoton Homojenlik Modeline orta düzeyde uyum göstermiştir. Farklı örneklem büyüklüklerindeki veri setleri için hesaplan maddelerin ayırt ediciliğini ifade eden madde ölçeklenebilirlik katsayısı değerlerinin ve madde çiftleri ölçeklenebilirlik katsayısı değerlerinin ölçekleme için uygun olduğu görülmüştür.
Farklı örneklem büyüklüklerindeki en iyi ölçeklenebilirlik katsayılarına sahip veri setleri H ve H_i değerlerine göre belirlenmiştir. Dört veri setinden elde edilen ölçeklenebilirlik katsayıları detaylı şekilde incelenmiş, ölçeklenebilirlik katsayılarının farklı örneklem büyüklüklerinde hafif bir değişim gösterdiği görülmüştür. Ancak hesaplanan ölçeklenebilirlik katsayılarının örneklem büyüklüğüne göre anlamlı farklılık gösterdiğine dair herhangi bir bulgu saptanmamıştır.
100, 200, 500 ve 1000 kişilik büyüklüklerindeki en iyi ölçeklenebilirlik katsayılarına sahip veri setlerinin monotonluk istatistikleri inceldiğinde ise tüm maddelerin monotonluk varsayımını karşıladığı görülmüştür. 
Araştırma kapsamından klasik güvenirlik istatistiği olan Cronbach alfa (α) ve MÖA kapsamında incelenen LCRC istatistiği değerlendirilmiştir. 100, 200, 500 ve 1000 kişilik on farklı veri setinin güvenirlik analizlerinde hesaplanan α ve LCRC değerleri inceldiğinde α  katsayıları 0.84 ile 0.91 aralığında, LCRC katsayıları 0.88 ile 0.94 aralığında değerlere sahiptir. Dolayasıyla tüm veri setlerinin yüksek güvenirlik değerlerine sahip olduğu saptanmıştır. Farklı örneklem büyüklükleri arasında karşılaştırma yapılması amacıyla α ve LCRC değerlerinin ortalamaları hesaplanmıştır. Elde edilen α ortalamaları farklı örneklemlerde birbirilerine benzer sonuçlar vermiştir. Bu durum LCRC ortalamaları için de söz konusudur. Güvenirlik istatistikleri  α ve LCRC açısından kıyaslandığında ise iki istatistiğinin sahip olduğu ortalamaların tüm örneklem büyüklüklerinde benzer olduğu görülmüştür.
Elde edilen bulgular Mokken Ölçekleme Analizi ile "1-0" şeklinde puanlanan başarı testlerinin psikometrik özelliklerinin farklı örneklem büyüklüklerinde anlamlı farklılık göstermediğini ortaya koymuştur. Ayrıca testin genel ölçeklenebilirlik katsayıları, madde ayırt edicilik değerleri ve güvenirlik istatistikleri tüm örneklem büyüklüklerinde kabul edilebilir düzeydedir. Araştırma sonucu, kuramsal olarak ifade edildiği üzere parametrik olmayan madde tepki kuramı modellerinin küçük örneklem ve madde sayısı az olan testlerde kullanışlı olduğu özelliği ile örtüşmektedir.

Abstract:
In this study, it was aimed to examine the psychometric properties of achievement tests scored as "1-0" with Mokken Scaling Analysis (MSA) in different sample sizes. In the study, which is an example of descriptive research, the data obtained from the 30-question measurement tool prepared within the scope of the project numbered 115K531 "A Model Proposal to Increase Turkey's Mathematics Success in International Large-Scale Exams: The Effectiveness of the Cognitive Diagnosis-Based Monitoring Model" supported by TÜBİTAK SOBAG 3501 program were used. Ten different data sets of 100, 200, 500 and 1000 people were created from the data set of the Experiment-1 group consisting of 1306 students obtained from the post-test application of the project. These data sets were analyzed to examine the psychometric properties of the test using the "R 4.3.2" program "mokken" package. The research includes scalability coefficients, monotonicity values and reliability estimates of these data sets. The interpretation of the results obtained within the scope of the study was made within the framework of the Mokken Scaling Analysis Monotone Homogeneity Model (MHM).
As a result of the analysis of data sets with a sample size of 100, 200, 500 and 1000 people, the H values, which are the general scalability coefficient of the test, calculated in the range of 4 to 7, the H_i values, which is the scalability coefficient of the item, calculated in the range of 3 and 9, and the H_ij values, which is the scalability coefficient of the item pairs, calculated in the range of 0 and 1. According to the findings obtained from all data sets, the test showed moderate compliance with the MSA Monotone Homogeneity Model. It was observed that the item scalability coefficient values calculated for data sets in different sample sizes and the scalability coefficient values of item pairs were suitable for scaling
Data sets with the best scalability coefficients in different sample sizes were determined according to H and H_i values. The scalability coefficients obtained from the four data sets were examined in detail, and it was seen that the scalability coefficients showed a slight change in different sample sizes. However, there was no evidence that the calculated scalability coefficients differed significantly according to the sample size.
When the monotony statistics of the data sets with the best scalability coefficients in the sizes of 100, 200, 500 and 1000 people were examined, it was seen that all items met the monotony assumption. 
Within the scope of the study, Cronbach's alpha (α), which is the classical reliability statistic, and the LCRC statistic, which was examined within the scope of MSA, were evaluated. When the α and LCRC values calculated in the reliability analysis of ten different data sets of 100, 200, 500 and 1000 people are examined, the α coefficients are in the range of 0.84 to 0.91, and the LCRC coefficients are in the range of 0.88 to 0.94. Therefore, it was determined that all data sets had high reliability values. The mean α and LCRC values were calculated to make comparisons between different sample sizes. The α averages obtained gave similar results in different samples. This is also the case for LCRC averages. When the reliability statistics were compared in terms of α and LCRC, it was seen that the means of the two statistics were similar in all sample sizes.
The findings revealed that the psychometric properties of the achievement tests scored as "1-0" by Mokken Scaling Analysis did not differ significantly in different sample sizes. In addition, the general scalability coefficients, item discrimination values and reliability statistics of the test are acceptable in all sample sizes. The result of the research, as expressed theoretically, coincides with the feature that non-parametric item response theory models are useful in tests with small samples and small number of items.