Sıralı ölçeklerde değerlendiriciler-arası güvenirlik ölçüm yöntemlerinin karşılaştırılması
Comparison of inter-rater reliability measurement methods in ordinal scales
Yazar: NİLDEN TUTALAR
Danışman: DOÇ. DR. BÜLENT ÇELİK
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Biyoistatistik = Biostatistics ; İstatistik = Statistics

Özet:
Tıp, sosyal bilimler, eğitim bilimleri, dil, vb. pek çok alanda son yirmi yıldır sıklıkla bahsi geçen bir analiz olan değerlendiriciler arası güvenirlik analizi çeşitli ölçek tipleri için geliştirilen birçok uyum katsayıyla gerçekleştirilebilmektedir. Sınıflama, sıralama, eşit aralıklı ve oranlama ölçme düzeyleri için geliştirilen mevcut uyum istatistikleri halen incelenmekte ve geliştirilmektedir. İki veya daha fazla değerlendiricinin sıralı ölçek üzerinde her deneği ayrı ayrı sınıflandırdığı durumlarla sıklıkla karşılaşılmaktadır. Birçok sıralı ölçek, bir deneğin belli bir duruma sahip olup olmadığını ortaya çıkarmada oldukça özneldir. Belirli bir sıralamaya sahip kategorilerden oluşan bir değerlendiriciler arası güvenirlik deneyinde iki veya daha fazla değerlendiricinin sübjektif veya belirli bir prosedürü takiben yapmış olduğu skorlamaların uyumunu ölçmek için literatürde çeşitli uyum istatistikleri önerilmiştir. Bunlar iki ve ikiden fazla değerlendirici için olmak üzere gruplandırılabilir. İki değerlendirici için, Cohen Ağırlıklandırılmış κ katsayısı, Scott Ağırlıklandırılmış π katsayısı, Brennan-Prediger uyum katsayısı, Kripendorff α katsayısı ve Gwet AC2 uyum katsayısı sıklıkla kullanılırken, ikiden fazla değerlendirici için ise Conger Ağırlıklandırılmış κ katsayısı, Fleiss Genelleştirilmiş κ katsayısı, Brennan-Prediger uyum katsayısı, Krippendorff α katsayısı ve Gwet AC2 uyum katsayısı kullanılmaktadır. Bu tezin amacı, sıralı ölçekli skorlamalara sahip durumlarda değerlendiriciler arasındaki uyumu ölçen uyum katsayılarının karşılaştırılması ve bu uyum katsayılarının gücünün değerlendirilmesidir. Gerçek veriler kullanılarak yapılan hesaplamalar sonucunda, Gwet AC2 katsayısının diğer uyum katsayıları içerisinde en büyük uyum değerini verdiği tespit edilmiştir. Uyum gücünün yorumlanmasında ise literatürdeki mevcut Landis ve Koch, Fleiss ve Altman kıyaslama ölçekleri ele alınarak Gwet (2014) alternatif kıyaslama yöntemi incelenmiştir. Herhangi bir uyum katsayısını direk olarak kıyaslama ölçekleriyle yorumlamaktan ziyade Gwet (2014) kıyaslama yöntemini kullanarak yorumlamanın istatistiksel olarak daha güvenilir olduğu tespit edilmiştir.

Abstract:
Inter-rater reliability analysis that often mentioned in medical, social sciences, pedagogics, and linguistics e.t.c in the past few decades can be performed with several agreement coefficients that developed for various scale type. The current agreement coefficients that developed for nominal, ordinal, interval and ratio scales have been still researched and improved.The cases in which two or more raters separately classify each subject in a sample on an ordinal scale are frequently encountered. Many ordinal scales are quite subjective in determining about whether a subject has a certain condition or not. Many ordinal scales are quite subjective, such as the scale for diagnoses about whether a subject has a certain condition. In an inter-rater reliability experiment that consist of categories that having a particular order there are several agreement coefficients are proposed in the literature for measuring scores that are scored by two or more raters following a particular or subjective procedure. These are grouped in terms of two or more than two raters. For 2 raters case these are Cohen's Weighted κ (1968), Scott's Weighted π (1955), Brennan-Prediger B-P (1981), Krippendorff's α (1970, 1978, 2004) and Gwet's AC2 (2008). For more than 2 raters case these are Conger's Generalized Kappa (1980), Brennan-Prediger B-P (1981), Fleiss' Generalized κ (1971), Krippendorff's α (1970, 1978, 2004) and Gwet's AC2 (2008). This dissertation concerned with comparing agreement coefficients that measure agreement among raters in an ordinal scaled inter-rater reliability experiment and evaluating these coefficients' strength. As a result of calculations which done by using real data, it has been seen that Gwet AC2 yields the higher agreement value than the other coefficients. On the interpretation of the strength of agreement Gwet (2014) alternative benchmarking method is analyzed by comparing existing benchmarking scales such as Landis ve Koch, Fleiss and Altman in literature. It was determined that interpreting the strength of agreement by using Gwet benchmarking method is more reliable rather than interpreting it by directly comparing agreement coefficients with existing benchmarking scales.