Çoktan seçmeli testlerde farklı puanlama yöntemlerinin test ve madde özelliklerine etkisinin incelenmesi
Examining the effect of different scoring methods on test and item properties in multiple choice tests
Yazar: ESMANUR BAŞEL KOÇAK
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada çoktan seçmeli bir matematik başarı testinin puanlanmasında iki kategorili (1-0) puanlama, deneysel ağırlıklandırma ve güven testinin kullanılmasının madde özellikleri ile testin geçerlik ve güvenirliği üzerindeki etkileri incelenmiştir. Araştırmada kullanılan başarı testi her biri 4 seçenekli 20 maddeden oluşmaktadır. Araştırma verileri, 2023-2024 Güz döneminde İstanbul ilinin Kartal ve Pendik ilçelerinde bulunan 5 farklı ilköğretim okulunun 8. Sınıf düzeyinde okuyan 306 öğrenciye başarı testinin uygulanmasıyla toplanmıştır. Araştırma sonucunda, testi puanlarken güven testi puanlamasının birinci versiyonu kullanıldığında en düşük ortalama madde güçlük indeksine, deneysel ağırlıklandırma puanlaması kullanıldığında ise en yüksek ortalama güçlük indeksine ulaşılmıştır. Puanlama yöntemlerinden elde edilen madde ayırt edicilik indeksleri güven testi puanlamasının iki farklı versiyonunda iki kategorili (1-0) puanlamaya göre yüksek bulunurken güven testi puanlamasın birinci versiyonunda 14 maddenin ayırt edicilik indeksi ikinci versiyona göre daha yüksek bulunmuştur. Araştırmanın geçerlik analizi için ölçüt geçerliği belirlenmeye çalışılmıştır. Öğrencilerin okul akademik başarıları ölçüt olarak kabul edilmiş ve bu puanlarla araştırmada kullanılan bütün puanlama yöntemlerinden elde edilen puanlar arasında pozitif ve anlamlı ilişkili bulunmuştur. Ölçüt puanlarla ilişkisi en yüksek bulunan puanlar güven testi puanlamasının ikinci versiyonundan elde edilen puanlar olurken en düşük ilişkiye sahip puanlar ise test maddelerinin deneysel ağırlıklandırma ile puanlanmasından elde edilen puanlar olmuştur. Araştırmanın güvenirlik analizlerine göre güven testi puanlamasının birinci versiyonu ile iki kategorili (1-0) puanlamanın KR-20 katsayıları sırasıyla 0,87 ve 0,81, güven testi puanlamasının ikinci versiyonu ile deneysel ağırlıklandırma puanlanmasının Cronbach alfa katsayıları 0,86 bulunmuştur.

Abstract:
This study examined the effects of using number-right (1-0) scoring, experimental weighting, and confidence test scoring on a multiple-choice mathematics achievement test's item properties, validity, and reliability. The test comprised 20 items, each with 4 options, and was administered to 306 eighth-grade students from 5 primary schools in Istanbul's Kartal and Pendik districts during the 2023-2024 Fall semester. As a result of the research, the lowest average item difficulty index was observed with the first version of confidence test scoring, while the highest was with experimental weighting scoring. Item discrimination indexes were higher with both versions of confidence test scoring compared to number- right scoring. In the first version of confidence test scoring, 14 items showed higher discrimination indexes than the second version. For the validity analysis of the research, criterion validity was tried to be determined. Students' school academic achievement was accepted as criteria, and a positive and significant relationship was found between these scores and the scores obtained from all scoring methods used in the research. The highest correlation with criterion scores was seen in the second version of confidence test scoring, while the lowest was in experimental weighting scoring. According to the reliability analysis of the research, the KR-20 coefficients of the first version of the confidence test scoring and the number-right (1-0) scoring were found to be 0.87 and 0.81, respectively, and the Cronbach alpha coefficients of the second version of the confidence test scoring and the experimental weighting scoring were found to be 0.86.