Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
Yazar: SERAP BÜYÜKKIDIK
Danışman: DOÇ. DR. DUYGU ANIL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2012
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Güvenilirlik = Reliability ; Güvenilirlik analizi = Reliability analysis ; Güvenilirlik ve geçerlilik = Reproducibility of results ; Klasik Test Kuramı = Classical Test Theory ; Performans değerlendirme = Performance evaluation ; Problem çözme becerisi = Problem solving ability ; Test performansı = Test performance ; Test sistemleri = Test systems ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, sıradışı (rutin olmayan) matematik problemi çözme becerilerinin değerlendirilmesine yönelik hazırlanan iki adet performans görevinin, analitik ve bütünsel dereceli puanlama anahtarıyla, dört puanlayıcı tarafından puanlanmasından elde edilen puanlara Klasik Test Kuramı ve Genellenebilirlik Kuramı ile puanlayıcılar arası güvenirlik sınanması yapılmıştır. İki kuramın uygulanması sonucunda elde edilen katsayılar arası farklılaşma olup olmadığı ve hangi kuramın hangi yönlerden daha avantajlı olduğu incelenmeye çalışılmıştır.Araştırmanın ilk aşamasında 2011-2012 Bahar Eğitim-Öğretim döneminde Kütahya İlinde bir merkez ilköğretim okulunda öğrenim gören 181 ilköğretim 6, 7 ve 8. sınıf öğrencisine ilk iki hafta tanıtım ve deneme haftası olmak üzere, dört hafta boyunca üç performans görevi uygulanmıştır. Belirtilen öğrencilerden seçilen 132'sinin iki görevde gösterdikleri performanslar dört puanlayıcıya analitik ve bütünsel dereceli puanlama anahtarıyla on gün arayla puanlatılmıştır. Araştırmanın ikinci aşamasında elde edilen puanların güvenirliği farklı kuramlara göre incelenmiştir. Klasik Test Kuramında puanlayıcılar arası güvenirlik analizi sınıf içi ilişki katsayısı ve puanlayıcılar arası ilişki katsayısı ile hesaplanmıştır. Aynı performanslara, aynı puanlayıcıların analitik ve bütünsel puanlama anahtarı kullanarak verdikleri puanların ortalamaları arasında fark olup olmadığı bağımlı gruplar t testi ile araştırılmıştır. Genellenebilirlik Kuramında ise her iki puanlama anahtarı için b x g x p ve anahtar çeşidinin değişkenlik kaynağı olarak alındığı b x g x p x a tümüyle çaprazlanmış desenleri kullanılarak güvenirlik analizi yapılmıştır.Araştırma sonucunda Genellenebilirlik Kuramından elde edilen katsayıların Klasik Test Kuramından elde edilen katsayılara göre göreceli olarak daha yüksek olduğu, Genellenebilirlik Kuramının uygulamasının Klasik Test Kuramına göre daha detaylı bilgi sağladığı ve her iki kuramdan da elde edilen bulguların verilerin güvenirliğinin yüksek olduğunu desteklediği görülmüştür. Genellenebilirlik Kuramında kullanılan desenlerin güvenirliği etkilediği, değişkenlik kaynağı sayısı arttıkça ölçmenin amacı bireyin toplam varyansı açıklama yüzdesinin azaldığı görülmüştür.Dereceli puanlama anahtarı türünün de ölçümlerin güvenirliğini etkileyebileceği, bu araştırmada analitik ve bütünsel dereceli puanlama anahtarlarından elde edilen puanların benzer güvenirlik katsayıları verdiği; ancak analitik dereceli puanlama anahtarından elde edilen puanların göreceli olarak daha yüksek güvenirliğe sahip olduğu söylenebilir.Puanlamanın amacına göre puanlama anahtarı ve kuram seçimi yapılması en nihai sonuç olmuştur.

Abstract:
In this research, Classical Test Theory, Generalizability Theory and interrater reliability evaluation have been made to the scores of two performance tasks which are based on the evaluation of non-rutin mathematical problem solving abilities obtained from the grading of analytical and holistic rubrics and four raters.On the first stage of research , three performance tasks have been applied for four weeks two of which are presentation and trial periods to the 181 second tier students at a primary school in Kütahya in 2011-2012 spring term. 132 students have been chosen and their performances at two tasks have been scored by four raters with analytical and holistic rubrics following ten days. Reliability of the scores obtained on the second stage of research have been analyzed by different theories. It has been examined whether there is a difference between the scores? means of the same raters to the same performances with dependent sample t test by using interrater reliability analysis, intra-class correlation coefficient, interrater correlation coefficient , analytical and holistic rubrics in Classical Test Theory. In Generalizability theory, reliability analysis have been made for both rubrics by using fully crossed design b x g x p and kind of rubrics used as a facet b x g x px a design.Consequently, coefficients obtained from Generalizability Theory are relatively higher than the ones obtained from Classical Test Theory. The application of Generalizability Theory provides more detailed information than Classical Test Theory and findings of both theories support that reliability of data is high. Patterns used in Generalizability Theory affect reliability of scores. As the number of the source of variability increases, percentage of the description of total variance of the individual decreases.It can also be said that the sort of the rubric affects reliability of scores, analytical and holistic rubrics give similar reliability coefficients , but analytical rubric has relatively higher reliability of scores.Choosing the right rubric and the theory as to the purpose of scoring is the last finding.