Değerleyici güvenebilirliği

Değerleyici güvenebilirliği, değerleyiciler arasında uyuşma veya konkordans değerleyiciler arasında bulunan uyuşma derecesini ölçmek amacı ile kullanılan istatistiksel yöntemleri kapsar.

Bu yöntemlerin amacı yargı mevkiinde olan kişilerin yaptığı sayısal veya sayısala dönüştürülebilir değerlendirmelerde ne kadar hemfikir veya türdeş olduklarına bir sayısal değer bulmaktır. Özellikle aynı konuyu veya konumu değerlendiren insancıl değerleyicileri bu çeşit yargıya varma yeteneklerini geliştirmek ve değerlemelerinin daha da adilane olmasını sağlamak için bu yöntemler çok kullanışlıdır. Eğer belli bir değişkene göre yapılan değerlemelerde uyuşma yoksa ya kullanılan değişken veya seçim yapılabilecek kategoriler listesinde bazı eksiklikler veya hatalar vardır ya da değerleyicilerin yargılarında uyuşmayı iyileştirmek için yeniden veya daha fazla eğitim sağlamak gereği ortaya çıkar.

Değerleyiciler arasındaki uyuşmanın ölçülmesi için kullanılan birkaç istatistiksel yöntem bulunmaktadır. Değişik istatistiksel ölçüler değişik tipte ölçülme ölçeğindeki değişkenlerle ilişkilidir. Bazı seçilebilecek istatistiksel ölçüler şunlardır: uyuşma için ortak-olasılık, kappa katsayıları, değerleyiciler arası korelasyon katsayıları, konkordans korelasyon katsayısı ve sınıf içi korelasyon katsayısı.

Uyuşma için ortak olasılık
Uyuşma için ortak olasılık genellikle en basit ve bu nedenle güçlü ölçme sağlar. Bu ölçüyü hesaplamak için her sayısal değerleme kategorisi, yani değerleme puanı, için (örneğin 1, 2,.. 5) her değerleyicinin vermiş olduğu sayı o değerleme kategorisi için verilmiş olan toplam sayısı ile bölünür. Bu ölçü verilerin tam olarak isimsel ölçekli olduğunu varsaymaktadır. Değerleyiciler arası uyuşmanın yalnızca rastgeleliğe bağlı olma ihtimalini de hesaba katmamaktadır.

Kappa istatistikleri
İki değerleyici problemine için uygun olan Cohen'in kappa katsayısı ve bunun değişmeyen sabit çok sayıda değerleyici problemlerine adaptasyonu olan Fleiss'in kappa katsayısı uyuşma için ortak olasılık ölçüsünden daha uygun sonuç verdiği kabul edilir; çünkü değerleyici uyuşmasının sırf rastgelelik dolayısı ile ortaya çıkması da kappa ölçülerine içeriktir. Ancak kappa ölçüleri de, yine uyuşma için ortak olasılık ölçüsü gibi verilerin isimsel ölçekli yani kategori puanlarının arasında hiç doğal olarak sırasallık bulunmadığını varsaymaktadırlar. Hâlbuki pratikte birçok değerlendirme için kabul edilen kategoriler ve verilen puanlar sırasal ölçeklidirler.

Korelasyon katsayıları
Pearson'un çarpım-moment korelasyon katsayısı veya Spearman'in sıralama korelasyon katsayısı veya Kendall'ın sıralama korelasyon katsayısı değerleyicileri ikişer ikişer alarak değerlendirme puanları arasındaki doğrusal ilişkiyi bir korelasyon katsayısı olarak bulurlar. Her üç korelasyon katsayısı da -1 ile +1 arasında değişmekte ve eğer iki değerleyici arasında uyuşma varsa +1 yakın olması gerekmektedir. Pearson'un 'si için elemanlar verilen puanların (veya seçilen kategori sayılarının) aralıklı ölçekli veya orantılı ölçekli yani niceliksel olmaları gerekmektedir.

Pearson'un bu türlü ölçekli olduğu kabul edildiği gibi, genel olarak daha fazla çıkartımsal istatistik kullanılacaksa (örneğin için bir güvenilme aralığı kurulacaksa), bu verilerin bir normal dağılım gösteren bir anakütleden geldiği varsayımı olduğu da kabul edilir. Hâlbuki Spearman'ın 'su ve Kendall'ın 'sı içinse puanların (veya seçilen kategori sayılarının) sırasal ölçekli olduğu varsayılır. Bu türlü korelasyon katsayıları parametrik olmayan istatistik veya dağılım gösteremeyen istatistik olarak kabul edilmektedir.

Dikkat edilirse bu üç değişik korelasyon katsayısı ( , ve ) değerleyicileri çift çift karşılaştırmaktadır. Mümkün olan bütün çifter karşılaştırmalar hep birlikte bir korelasyon matrisi halinde ifade edilebilir. Bu korelasyon matrisi çapraza göre simetrik olduğundan yalnız bir üst üçgen veya alt üçgen şekilde gösterebilinir. Ama yine de çok sayıda değerleyici olduğu hallerde bu korelasyon matrisi tüm uyuşmayı gösteremez.

Eğer ikiden daha çok sayıda değerleyici varsa ve bu çoklu sayıda değerleyici için tek bir konkordans katsayısı bulunmak istenirse bu halde Kendall'in konkordans katsayısı bulunabilir. Kendall'in katsayısı için değişme aralığı 0 (hiç uyuşma olmaması) ile 1 (tam olarak uyuşma olması) olur. Kendall'in katsayısı parametrik olmayan istatistik olduğu için, özellikle verilerin normal dağılım gösterdiği varsayılan Pearson'un çarpım-momenti korelasyon katsayısı kiyasla, daha güçlü olduğu kabul edilir.

Sınıf-içi korelasyon katsayısı
Değerleyici güvenebilirliğinin sınanması için bir diğer yöntem de sınıf-içi korelasyon katsayısı hesaplanmasıdır. Bu katsayı hesaplanması için birkaç değişik formül bulunmaktadır. Bir özel şekildeki formül
bir gözlemin varyansı ile gerçek puanlamanın gözümlenen elamanlar arasındaki değişkenliği ile orantısı
olarak tanımlanmaktadır.

Bu şekil sınıf-içi korelasyon katsayısı 0.0 ve 1.0 değerleri arasında değişebilmektedir. (Daha önce popüler olarak kullanılan bir diğer şekilde hesaplanan katsayı için değişme aralığı -1 ile +1 olur). Her gözümlenen elamana değerleyiciler tarafından verilen değerleme puanları arasında çok az değişkenlik varsa (yani bütün değerleyiciler ya aynı ya da çok yakın değerleme puanı vermişlerse, sınıf-içi korelasyon katsayısı değeri yüksek (yani '+1'e yakın) olacaktır. Sınıf-içi korelasyon katsayısı hem değerleyiciler arasındaki korelasyonu ve hem de her bir eleman tabakasının değişik değerlendirilmesi ihtimalini de göz önüne aldığı için Pearson'un , Spearman'ın ve Kendall'ın korelasyon katsayılarından daha ayrıntılı ve uygun sonuç verdiği kabul edilebilir.

Uyuşma için limit
Sadece iki değerleyici bulunduğu hallerde bir diğer değerleyici uyuşmasını analiz iki değerleyici arasında bulunan farkları bulup bu farkların ortalamasını almaktır. Bu değerleme farklarının standart sapması da bulunarak anakütle ortalama farkları için bir güven aralığı kurmak da mümkün olur. Eğer iki değerleyici genellikle uyuşmakta iseler ortalama sıfıra yakın olacaktır. Eğer bir değerleyici sürekli olarak diğerinden değişmeyen şekilde devamlı fark gösteriyorsa, ortalama sıfırdan uzak olacaktır ama güven aralığı dar olacaktır. Eğer iki değerleyici birbiri ile uyuşamıyor ise ama bu uyuşmama bir tutarlı şekilde değil de gayet rastgele oluyorsa, o zaman ortalama sıfır yakınında olabilir ama güven aralığı geniş olacaktır.

Bland ve Altman bu açıklamayı bir özel gösterim ortaya çıkarak daha da genişletmişler. Bu gösterimde her bir eleman için değerleme farkları gösterilmektedir. Yatay eksen her bir değerlenen eleman dikey eksende iki değerleyicinin arasındaki değerleme puan farkı gösterilir; böylece gösterimin içinde her bir eleman için bir nokta bulkunacaktır. Farkların ortalaması bir yatay eksen paralel doğru ortaya çıkartır ve bunun üstünde üst güven limiti ve altında alt güven limiti çizilir.

Bland-Altman gösterimi bu grafik içinde gösterilen noktaların bu ortalama etrafında ve güven limitlerine göre nasıl bir görünüm gösterdiğini incelemeye yardım eder. Ancak bu araştırma çok defe subjektif görüşe bağlıdır. Uyuşma olması bu noktaların ortalama etrafında ve güven aralığı içinde rastgele dağılması ile anlaşılır. Aralık dışına çıkan dışlak noktalar olup olmadığı, bir belli grup elaman için belli bir turlu fark olmaması gibi olağandışı görünüşlerinde olup olmadığı araştırılabilir.

Kaynakça
Dışsal kaynaklar
John Übersax tarafından hazırlanmış değerleyici uyuşması için istatistiksel yöntemler
Online tıp eğitimi için hazırlanmış değerleyici güvenebilirliği hesaplayıcısı