Üst düzey zihinsel özelliklerin ölçülmesinde puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması
The comparison of interrater reliability estimating techniques in assessment of higher order cognitive skills
Yazar: ÖZGE BIKMAZ
Danışman: DOÇ. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2011
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Güvenilirlik = Reliability ; Kappa istatistiği = Kappa statistic ; Kriffendoff alfa tekniği = Kriffendoff alpha technique ; Log-linear analiz tekniği = Log-linear analysis technique ; Puanlama = Scoring ; Ölçme-değerlendirme = Measurement and evaluation ; Üst düzey zihinsel beceri = High level thinking

Özet:
Bu araştırmada, dereceli puanlama anahtarı türü ve puanlayıcı sayısı değişiminin, puanlayıcı güvenirliği belirlemede kullanılan tekniklerden elde edilen sonuçlar üzerindeki etkisi incelenmiştir. Çalışmada puanlayıcı güvenirliğini belirlemede kappa istatistik tekniği, log linear analiz tekniği ve Krippendorff alfa tekniği kullanılmıştır.Araştırma, temel türden betimsel bir çalışma niteliği taşımaktadır. Araştırmanın çalışma grubu, İstanbul ili Beyoğlu ilçesine bağlı Piripaşa İlköğretim Okulu'nda, 2009-2010 eğitim öğretim yılında 5. sınıfta okuyan 50 öğrenciden ve puanlama yapan 10 öğretmenden oluşmaktadır. Araştırmada, öğrencilere verilen Fen ve Teknoloji dersine ilişkin performans görevlerine, 10 öğretmen (puanlayıcı) tarafından önce analitik puanlama anahtarı kullanılarak, aradan iki hafta zaman geçtikten sonra bütünsel puanlama anahtarı kullanılarak puan verilmiştir. Analitik puanlama anahtarı kullanımında puanlayıcı sayısı değişiminin puanlayıcı güvenirliğine etkisini incelemek adına kappa istatistik tekniği, log linear analiz tekniği ve Krippendorff alfa tekniği kullanılarak 2, 5 ve 10 puanlayıcı arasındaki uyum düzeyleri hesaplanmıştır. Bütünsel puanlama anahtarı kullanımında ise kappa istatistik tekniği, Kendall uyum istatistiği tekniği ve Krippendorff alfa tekniği ile 2, 5 ve 10 puanlayıcı arasındaki uyum elde edilmiştir.Araştırmada üç teknikten elde edilen analiz sonuçları, analitik puanlama anahtarı kullanımının bütünsel puanlama anahtarına göre daha güvenilir puanlama sağladığını göstermiştir. Bununla beraber hem analitik hem de bütünsel puanlama anahtarı kullanılarak toplanan puanların üç teknikle analizinden elde edilen sonuçlarda, puanlayıcı sayısı artışının güvenirlik düzeyini düşürdüğü tespit edilmiştir. Üç teknikle yapılan analizlerde, en yüksek güvenirlik değerleri 2 puanlayıcı kullanıldığında elde edilmiş, puanlayıcı sayısı artırıldıkça güvenirliğin giderek düştüğü saptanmıştır. Analitik puanlama anahtarı kullanılarak elde edilen sonuçlar incelendiğinde, puanlama anahtarını oluşturan kategoriler arasında kategorilerin objektiflik düzeyine dayalı olarak, puanlayıcıların uyum düzeylerinde değişkenlik olduğu saptanmıştır.Araştırmanın sonucunda, kullanılan tekniklerden kappa ve Krippendorff alfa tekniğinin paralel sonuçlar verdiği görülmüştür. İki teknikle de puanlayıcılar arasında şansla beklenen uyumun düzeltilmesine dayalı olan katsayılar elde edilmiştir. Bununla birlikte Krippendorff alfa tekniğinin puanlayıcı sayısı değişiminden kappa'ya göre daha az etkilendiği belirlenmiştir. Log-linear analiz tekniğinin ise değişkenler arasındaki etkileşimleri ve uyumsuzluk kaynağını göstererek daha kapsamlı ve geniş bilgi sağladığı tespit edilmiştir.Sonuç olarak, daha detaylı ölçme sonuçları elde edilmek istendiğinde alt kategorilerden oluşan analitik puanlama anahtarı kullanılarak toplanan puanların, kategorik veri analizi için uygun olan log-linear analiz tekniği ile daha genel ölçme sonuçlarına ulaşılmak istendiğinde ise bütünsel puanlama anahtarı ile elde edilen puanların Krippendorff alfa tekniği ile analiz edilmesinin uygun olduğu düşünülmektedir.

Abstract:
In this research, the effect of variance rater number and rubric on the results obtained by the techniques used to estimate the interater reliability is examined. In this work, kappa statistics technique, log-linear analysis tecnique and Krippendorff alpha technique used to estimate interrater reliability have been used.This research?s carries the basical type of descriptive quality. Research?s workgroup consists of 50 students which studies in the 5th class in Piripaşa Primary School situated in Beyoğlu in the city of Istanbul, in the akademic year 2009-2010 and 10 teachers who rates. In this research, ten teachers, firstly by using analytic rubric, after 2 weeks, by using holistic rubric, have rated the performance tasks of students related to science and technology lesson. Agreement levels among the raters: 2, 5 and 10 have been calculated via using kappa statistic technique, log-linear analysis technique and Krippendorff alpha technique to examine the effect of rater number variance through use of analytic rubric. As for the holistic rubric, with the use of kappa statistic technique, Kendall?s concordance statistic technique and Krippendorff alpha technique agreement among the raters 2, 5 and 10 have been acquired.According to the findings obtained, in the results acquired from three techniques, it?s observed that the use of analytic rubric provides much more reliable rating than holistic rubric. Moreover, in the analysis results of the obtained scores in all the three techniques, it is found that, when using both the analytic rubric and holistic rubric, the increase in the number of raters, decrease the interrater reliability. In the analysis of all three techniques, by making use of two raters maximum reliability values have been obtained, on the other hand, it?s detected that, as the number of raters increase, the reliability decrease gradually. When the results obtained by using analytic rubric are examined, based on the objectivity level of categories among the categories that consists rubric, it?s found that there exists variability in the raters? agreement levels.According to the results of research, it have been observed that, kappa statistic and Krippendorff alpha techniques give paralel findings. With both the techniques, coeffients that are corrected by chance have been obtained. Moreover, Krippendorff alpha technique has been identified to be affected less than the variance of rater number. Log linear analysis technique provides more comprehensive and extensive knowledge through showing source of disagreement and interaction among the variants.As a result of the research when it?s intended to get more detailed results, scores obtained by using analytic rubric that consists of subcategories, can be reached with using log-linear analysis technique which appropriate for the categorical data analysis. On the other hand, when it?s aimed to get more general results, the scores which are obtained through holistic rubric, can be thought to be analysed better via using Krippendorff alpha technique.