Karma testlerde iç tutarlılık kestirimlerinin farklı benzetim koşullarında incelenmesi
Examining of internal inconsistency coefficients for mi̇xed format tests in different simulation conditions
Yazar: HATİCE GÜRDİL EGE
Danışman: YRD. DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Güvenilirlik = Reliability ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı; karma testlerde örneklem büyüklüğü (n=500, n=1000 ve n=2000) ve kullanılan madde tiplerinin oranı (2:1; 1:1 ve 1:2) değişimlendiğinde, α, Tabakalı α, Angoff-Feldt ve Feldt-Raju güvenirlik katsayılarının nasıl değiştiğinin incelenmesi ve bu güvenirlik katsayıları arasındaki betimsel ilişkiyi ortaya koymaktır. Bu amaç doğrultusunda, farklı örneklem büyüklüğü (n=500, n=1000 ve n=2000) ve farklı madde madde tipleri oranlarına (2:1; 1:1 ve 1:2) göre benzetim yoluyla üretilen veri setleri üzerinde sırasıyla α, Tabakalı α, Angoff-Feldt ve Feldt-Raju güvenirlik katsayıları kestirilmiştir. Elde edilen bulgulara göre tüm madde oranlarında örneklem büyüklüğü arttıkça tüm güvenirlik kestirim değerlerinin de arttığı belirlenmiştir. Tüm örneklemlerde iki kategorili puanlanan madde sayısı arttıkça α ve Tabakalı α güvenirlik katsayı değerleri; çok kategorili puanlanan madde sayısı arttıkça ise Angoff-Feldt ve Feldt-Raju güvenirlik katsayı değerleri azalmaktadır. α ve Tabakalı α güvenirlik katsayı değerleri tüm örneklem büyüklükleri ve tüm madde oranlarında hemen hemen aynı değeri vermekteyken, 500 kişilik örneklemde madde oranları değişimine göre güvenirlik katsayı değerleri arasındaki farkın daha belirgin olduğu görülmüştür. Buna göre örneklem büyüklüğü 500'ün üzerinde olduğunda α ve Tabakalı α güvenirlik katsayı değerlerinin benzer sonuçlar verdiği, diğer katsayıların kısmen farklılaştığı görülmüştür. Örneklem büyüklüğü 1000'in üzerinde olduğunda ise α, Tabakalı α, Angoff-Feldt ve Feldt-Raju değerleri arasındaki farkın azaldığı görülmüştür. Diğer bir bulgu olarak, iki madde tipi içeren bir karma testte iki kategorili puanlanan madde sayısı çok kategorili puanlanan madde sayısından daha fazla olduğunda α ve Tabakalı α güvenirlik katsayı değerlerinin bu dört güvenirlik katsayısı içersinde alt sınırı, aksi durumda üst sınırı verdiği görülmüştür. Bu bulgulara bağlı olarak, görece küçük örneklemlerde (n=500) kısmi farklılıklar görülmekle birlikte büyük örneklemlerde (n≥1000), farklı güvenirlik katsayılarının benzer değerler verdiği, örneklem büyüklüğü arttıkça madde oranının güvenirlik kestirimleri üzerindeki etkisinin de düştüğü ya da düşme eğiliminde olduğu sonucuna ulaşılmıştır.

Abstract:
The purpose of this research is to examine how α, Stratified α, Angoff-Feldt and Feldt-Raju reliability estimates change and to reveal how the relationships between these estimates of reability change when the sample size in mixed format tests (n= 500, n= 1000 and n=2000) and item type ratio (2:1; 1:1 and 1:2) are changed. For this purpose, α, Stratified α, Angoff-Feldt and Feldt-Raju reliability coefficients were estimated on simulated data sets (sample sizes of  500, 1000 and 2000) and the number of dichotomous versus polythomous item ratios (2:1, 1:1 and 1:2). It was found that as the sample size increased in all item type-ratio conditions, predicted reliability indicies were improved. In all sample size conditions, Angoff-Feldt and Feldt-Raju reliability coefficients were higher when the number of dichotomous items in the item-type ratio was more than the that of polythomous items, while the same was true for the α and Stratified α reliability coefficients when the ratio was reversed (i.e., the number of polytomous items in the item-type ratio was more than that of dichotomous items). Although α and Stratified α reability coefficients were similar in all sample size and all item type ratio condition, the difference between the reliability coefficient values was more evident for the the sample of 500. According to these findings, when the sample size was above 500, α and Stratified α reliability coefficients are quite comparable to each other, while the other two coefficients might be somewhat different. When the sample size was above 1000; the differences among α, Stratified α, Angoff-Feldt and Feldt Raju reliability coefficients appear to be minimal. Another finding was that α and Stratified α reliability coefficients were lower limits when number of dichotomous items was higher than the number of polytomous items in the item-type ratio. In the reverse case the oppozite was observed; these were the upper limits. Based on these findings, it was concluded that in the large samples (n≥1000), the different reliability estimates gave similar results. However in the small sample size conditions (n=500) there were some differences depending on the item type ratio.