Klasik test kuramına göre sayısal ve sözel alanlar için puanlama güvenirliğinin kayıp veri kapsamında incelenmesi
Examining interrater reliability considering missing value for numerical and verbal courses according to classical test theory
Yazar: SİBEL ADA
Danışman: DOÇ. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Güvenilirlik = Reliability ; Klasik Test Kuramı = Classical Test Theory ; Puanlama = Scoring ; Rasch modeli = Rasch model ; Test sınavı = Test exam ; Test yöntemleri = Test methods ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışma puanlama güvenirliğini belirlemek için kullanılan uzlaşma katsayılarını karşılaştırmayı ve veri setindeki kayıp veri oranına göre bu katsayıları incelemeyi amaçlamaktadır. Aynı zamanda sayısal ve sözel ders için hesaplanan uzlaşma katsayılarının bir kıyaslaması yapılmıştır. Çalışma grubunu 71'i sekizinci sınıf ve 159'u dokuzuncu sınıf öğrencisi olmak üzere toplam 230 öğrenci oluşturmaktadır. Veriler Uluslararası Öğrenci Değerlendirme Sınavında kullanılan soruların açıklananları arasından seçilen beş matematik ile altı okuduğunu anlama sorusundan oluşturulan matematik okuryazarlığı ve okuduğunu anlama uygulama formları ile toplanmıştır. Toplanan öğrenci yanıtları üçü matematik ve üçü okuduğunu anlama için olmak üzere altı farklı puanlayıcı tarafından puanlanmıştır. Puanlama işlemleri esnasında araştırmacı tarafından hazırlanan dereceli puanlama anahtarı kullanılmıştır. Çalışma kapsamında elde edilen veriler üzerinden uzlaşma katsayıları ve sınıf içi korelasyon değerleri iki puanlayıcı ve üç puanlayıcı için hesaplanmıştır. Uzlaşma katsayıları dereceli puanlama anahtarlarındaki her bir ölçüt için hesaplanmıştır ve analiz edilen veriler sıralama düzeyinde olduğu için ağırlıklandırılmış katsayılar kullanılarak yapılmıştır. İki puanlayıcı için hesaplanan uzlaşma katsayıları Cohen'in kappa, Gwet'in AC2, Scott'nin pi, Krippendorff'un alfa, Brennan-Prediger, uzlaşma yüzdesi; üç puanlayıcı için hesaplanan uzlaşma katsayıları Fleiss'nin kappa, Gwet'in AC2, Krippendorff'un alfa, Conger'in kappa, Brennan-Prediger ve uzlaşma yüzdesi şeklindedir. Sınıf içi korelasyon katsayısı hesaplanırken toplam puan üzerinden analiz yapılmıştır. Sınıf içi korelasyon katsayısı için belirlenen uygun modele göre iki yönlü karma ANOVA kullanılmıştır. Ayrıca kayıp veri oranının yüzde beş, on ve on beş olduğu durumlar için tüm analizler tekrar yapılmıştır. Elde edilen güvenirlik katsayılarına ait değerlere, uzlaşma katsayıları için standart hata değerleri ve sınıf içi korelasyon katsayısı için hata varyansları dikkate alınarak karşılaştırmalar yapılmıştır. Uzlaşma katsayıları arasındaki ilişkilerin iki ve üç puanlayıcılı durum için kayıp veri olmadığı ve olduğu durumlarda benzer olduğu görülmüştür. Uzlaşma yüzdesinin her zaman en az hataya sahip olduğu ve en yüksek güvenirlik değerini gösterdiği; Gwet'in AC2'i uzlaşma katsayısının ise uzlaşma yüzdesinden sonra genel olarak en az hataya ve en yüksek değere sahip olduğu belirlenmiştir. Brennan-Prediger uzlaşma katsayısı değerlerinin genellikle Gwet'in AC2'ye yakın değerler verdiği tespit edilmiştir. Cohen'in/ Conger'in kappa, Scott'nin pi/Fleiss'nin kappa ve Krippendorff'un alfa değerlerinin de genel olarak birbirine yakın olduğu, diğer katsayılara göre nispeten daha büyük standart hata değerine sahip olduğu ve daha düşük güvenirlik değerleri gösterdiği saptanmıştır. Veri setindeki kayıp veri oranı açısından incelendiğinde ise hem uzlaşma katsayılarının hem de sınıf içi korelasyon değerlerinin iki yüz elli kişilik veri grubu için kayıp veri oranı yaklaşık olarak yüzde on beşe kadar olduğu durumda kayıp veri olmadığı durumla benzer sonuçlar vermektedir. Genel olarak üç puanlayıcının olduğu durumdaki puanlama güvenirliği için hesaplanan güvenirlik katsayılarının iki puanlayıcı için hesaplananlara göre göreli olarak daha yüksek olduğu görülmüştür. Sayısal ve sözel ders bakımından incelendiğinde ise matematik okuryazarlığı uygulamasından elde edilen güvenirlik değerlerinin okuduğunu anlama uygulamasına göre daha yüksek olduğu belirlenmiştir. Çalışmanın sonuçlarına göre puanlama güvenirliğinin belirlenmek istendiği çalışmalarda en az iki puanlama güvenirliği katsayısının raporlanması, sözel derslerde çalışma yapanların sorular hakkında farklı yorumlamaları önlemek için iyi tasarlanmış dereceli puanlama anahtarları kullanmaları ve puanlayıcı eğitimine başvurmaları önerilmektedir.  Araştırmacılara ise en uygun uzlaşma katsayısı değerleri için ne kadar puanlaycının bulunması gerektiği ve çalışmada kullanılandan daha küçük ya da daha büyük örneklemler için kayıp verinin nasıl çalışacağına yönelik çalışmalar yapması önerilmektedir.

Abstract:
The purpose of this research was to compare agreement coefficient that was used to determine the interrater reliability and to examine this coefficient according to missing value ratio in data set. Besides, the agreement coefficients calculated for numerical and verbal courses were made comparison. Study group involved 230 students (71 in 8th grade and 159 in 9th grade). Data were collected through mathematics literacy and reading comprehension application forms which involved five mathematics and six reading comprehension questions in Programme for International Student Assessment. Students' responses were rated by three mathematics experts and three reading comprehension experts. Rubric prepared by the researcher was used during the scoring process. Agreement coefficients and intra-class correlation coefficient were calculated using data obtained from the research for two and three raters. Agreement coefficients were calculated for each criterion of the rubrics and weighted agreement coefficients were used for analysis because data were ordinal. The agreement coefficients calculated for two raters were as follows: Cohen's Kappa, Gwet's AC2, Scott's pi, Krippendorff alpha, Brennan-Prediger and Agreement Percentage. The agreement coefficients calculated for three raters were as follows: Fleiss' Kappa, Gwet's AC2, Conger's kappa, Krippendorff alpha, Brennan-Prediger and Agreement Percentage. When intra-class correlation coefficient was calculated, total scores were used. Two-way mixed ANOVA model was used according to the appropriate model determined for intra-class correlation coefficient. Furthermore, for missing value ratio consisting of five, ten and fifteen percent, each analysis was conducted again. The obtained values of reliability coefficients were compared considering standard error values for agreement coefficient and error variance for intra-class correlation. Relationship between agreement coefficient for two and three raters with or without missing value was seen same. Agreement Percentage always had minimum standard error and maximum reliability values. It was determined that Gwet's AC2 usually had minimum standard error and maximum reliability values following Agreement percentage coefficient. In general, Brennan-Prediger and Gwet's AC2 agreement coefficient had almost similar values. It was also showed that values of Cohen's/Conger's kappa, Scott's pi/Fleiss' kappa and Krippendorff alpha had almost same values and these agreement coefficients had higher standard error and less reliability value than others. When examined in terms of missing value, it was concluded that agreement coefficient and intra-class correlation reliability had same results with both no missing value and missing value ratio around fifteen percent. Reliability coefficient calculated for rater reliability for three raters relatively had higher reliability value than two raters'. When examined in terms of numerical and verbal courses, reliability value calculated for application of mathematics had higher reliability value than application of reading comprehension. According to the results of the research, it is recommended that at least two agreement coefficients could be reported for determined rater reliability; researchers who studied about verbal courses could use rubric designed good to avoid different interpretation and could educate for raters. For the researchers, it is recommended to study, for optimal agreement coefficient values, how many raters are needed, how missing value for large and small sample affects the results of the analysis.