Genellenebilirlik kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlığın karşılaştırılması
Comparison of interrater agreement calculated with generalizability theory and logistic regression
Yazar: DERYA ÇAKICI ESER
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2011
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Genellenebilirlik = Generalizability ; Lojistik regresyon analizi = Logistic regression analysis ; Performans = Performance ; Performans değerlendirme = Performance evaluation ; Performans ölçümleri = Performance measurements ; Puanlama = Scoring ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Tutarlılık = Consistency

Özet:
Araştırmanın temel amacı genellenebilirlik kuramı ve lojistik regresyon analizinden yararlanarak gerçekleştirilen bir performans puanlamada ortaya çıkan puanlayıcı tutarlığını belirlemek ve karşılaştırmaktır.Araştırmanın çalışma grubunu, Ankara'da bir Anadolu lisesinin 9. sınıflarında öğrenim gören 106 öğrenci oluşturmuştur. Öğrencilere PISA sınavının sorularından yararlanarak oluşturulan 15 maddelik ölçme aracı verilmiş, bu formda yer alan maddeleri cevaplamaları istenmiştir. Öğrencilere verilen formdan elde edilen cevaplar üç puanlayıcı tarafından dereceli puanlama anahtarı kullanılarak puanlanmış ve analizde kullanılacak veri seti elde edilmiştir.Bu veri seti, madde bazında yapılacak analizlerde G kuramı ile ö x p (ö: öğrenci, p: puanlayıcı) desenine göre analiz edilmiş ve elde edilen puanlayıcı varyans bileşenleri ve toplam varyansı açıklama yüzdeleri yorumlanmıştır. Lojistik regresyon analizine göre öğrenciler her bir puanlayıcıdan elde ettikleri toplam puanların ortalamasına dayalı olarak başarılı-başarısız şeklinde sınıflandırılmış ve madde bazında yapılan analizlerde her bir maddeden elde ettikleri puana göre sınıflama yüzdeleri elde edilmiştir. Testin tamamına dayalı yapılan analizlerde G çalışması ö x m x p (ö: öğrenci, m: madde, p: puanlayıcı) desenine göre gerçekleştirilmiş, lojistik regresyon analizi başarılı-başarısız sınıflamasına dayalı olarak öğrencilerin her bir puanlayıcıdan elde ettikleri toplam puana göre yapılmıştır.Elde edilen sonuçlara göre lojistik regresyon analizi ve genellenebilirlik kuramının puanlayıcılar arası tutarlığı belirlemede paralel sonuçlar ürettiği, ancak lojistik regresyon analizinin G kuramı kadar hassas çıktılar vermediği ve G kuramına göre daha yüzeysel bir istatistik olduğu sonucuna varılmıştır.Anahtar SözcüklerPuanlayıcılar arası tutarlık, Genellenebilirlik Kuramı, Lojistik Regresyon

Abstract:
The purpose of this study is to determine the rater agreement and interrater agreement of a performance rating using generalizability theory and logistic regression analysis.The study group was consisting of 106 ninth grade students from an Anatolian High School in Ankara. They were asked to answer, a scale consisting of 15 items that are generated from PISA exam. Answers collected from students have been rated by three differerent raters with a rubric, formed the data set for analysisData set has been analyzed by s x r (s: student, r: rater ) design of G theory for item based analyses. Obtained rater variance components and total variance explaining percentages have been interpreted. According to the Logistic regression analysis students have been classified as successful ? unsuccessful with respect to the mean scores rated by each rater. On item based LR analyses classification percentages from the scores of each individual item were obtained. For whole test based analyses; G study has been made with s x i x r (s: student, i: item, r: rater ) design and logistic regression analysis based on successful ? unsuccessful classification made according to students? total scores obtained from each rater.According to the results; generalizability theory and logistic regression analysis both give paralel results; but logistic regression analysis do not generate as sensitive outputs as G theory and is a superficial statistics in reference to G theory.Key WordsInterrater Agreement, Generalizability Theoy, Logistic Regression