Eğitim araştırmalarında kayıp veri durumunda farklı kappa katsayılarının incelenmesi
Investigation of different kappa coefficients for missing data stuation in educational research
Yazar: HALİME TOPBAŞ
Danışman: DOÇ. DR. BİLAL BARIŞ ALKAN
Akdeniz Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Araştırma-geliştirme = Research-development ; Bilimsel araştırmalar = Scientific researchs ; Eğitim = Education ; Kappa istatistiği = Kappa statistic ; Kayıp veri teknikleri = Missing data techniques ; Puanlama = Scoring ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada puanlayıcılar arası uyumu incelemek için araştırmalarda yaygın olarak kullanılan Cohen Kappa, Gwet Kappa, Silme Yöntemli Kappa, Fleiss Kappa, Light Kappa ve çalışma kapsamında önerilen Gwet Kappa'ya dayalı Light Kappa yöntemlerinin kayıp veri durumunda nasıl değişim göstereceğinin incelenmesi amaçlanmaktadır. Çalışmada, farklı kayıp oranlarında (%5, %10, %15, %20, %25, %30) MCAR yöntemi ile kayıp değer ataması yapılarak elde edilen farklı senaryolar için iki ve daha fazla puanlayıcı durumlarında uyum tabloları oluşturulmuş ve kappa katsayıları hesaplanmıştır. Elde edilen bulgulara göre karşılaştırmalar yapılmış ve kayıp değer durumunda hangi kappa türünün daha iyi sonuç verdiği incelenmiştir. İki puanlayıcı olduğunda, katılımcı sayısı 10000, kayıplık oranı %30 Gwet Kappa katsayısının daha iyi sonuç verdiği gözlemlenmiştir. Kayıp veri durumunda Liste bazında silmeye dayanan kappa sık tercih edilen bir yöntemdir ancak veri kaybına yol açtığından Gwet Kappa kullanılması önerilir. Gwet Kappa kayıp değerleri ayrı bir kategoride hesaplamaya dahil ettiğinden sonuçlar daha anlamlı çıkmıştır. İkiden fazla puanlayıcı olması durumunda, katılımcı sayısı 100, kayıplık oranları %15 ve %20 olduğunda; katılımcı sayısı 1000, kayıplık oranı %5 olduğunda; katılımcı sayısı 10000, kayıplık oranları %5 ve %10 olduğunda çalışma kapsamında önerilen Gwet Kappa'ya Dayalı Light Kappa yaklaşımının daha iyi performans gösterdiği görülmüştür. Gerçek veri kümelerinden elde edilen bulgulara göre 3 puanlayıcı için Fleiss Kappa, Light Kappa ve Gwet Kappa'ya Dayalı Light Kappa hesaplamalarında çalışma kapsamında önerilen Gwet Kappa'ya Dayalı Light Kappa yaklaşımının tüm kayıplık oranlarında da oldukça iyi olduğu söylenebilir.

Abstract:
In this study, it is aimed to examine how the Cohen Kappa, Gwet Kappa, Listwise Deletion Kappa, Fleiss Kappa, Light Kappa and Light Kappa methods based on Gwet Kappa, which are widely used in research to examine the agreement between raters in the case of missing data. In the study, for different scenarios obtained by assigning missing values with the MCAR method at different missing rates (5%, 10%, 15%, 20%, 25%, 30%), agreement tables were created for two or more rater cases, and the kappa coefficients were calculated. Comparisons were made according to the findings and it was examined which kappa type gave better results in case of missing value. It has been observed that when there are two raters, the number of participants is 10000 and the missing rate 30% Gwet Kappa coefficient gives better results. In case of missing data, Kappa based on Listwise deletion is a frequently preferred method, but it is recommended to use Gwet Kappa as it causes data loss. Since Gwet Kappa included the missing values in the calculation in a separate category, the results were more significant. In case of more than two raters, when the number of participants is 100, and the loss rates are 15% and 20%; when the number of participants is 1000 and the missing rate is 5%; When the number of participants was 10000, the loss rates were 5% and 10%, it was seen that the Light Kappa approach based on the Gwet Kappa suggested in the study performed better. According to the findings obtained from the real datasets, it can be said that the Light Kappa Based on Fleiss Kappa, Light Kappa and Gwet Kappa calculations for 3 raters, proposed within the scope of the study, are quite good in all missing rates as well.