Dereceli puanlama anahtarının kullanımında puanlayıcı güvenirliklerinin farklı yöntemlerle incelenmesi
An examination of rater reliability by using different methods in the use of rubrics
Yazar: CANSU ÇULHA HAFIZOĞLU
Danışman: DOÇ. DR. FATİH KEZER
Kocaeli Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Dereceli puanlama anahtarı = Rubric ; Genellenebilirlik = Generalizability ; Güvenilirlik = Reliability ; Klasik Test Kuramı = Classical Test Theory

Özet:
Bu araştırmada analitik dereceli puanlama anahtarının kullanıldığı durumlarda puanlayıcı güvenirliklerinin Klasik test kuramı ve Genellenebilirlik kuramına dayalı analizler yapılarak karşılaştırılması ve hangisinin daha detaylı bilgi sunduğunun belirlenmesi amaçlanmıştır. Bu amaç doğrultusunda analitik dereceli puanlama anahtarı olarak Bülbül ve Bülbül (2021) tarafından ders kitaplarının değerlendirilmesine yönelik geliştirilen analitik dereceli puanlama anahtarı veri toplama aracı olarak belirlenmiştir. Araştırma kapsamında Millî Eğitim Bakanlığı tarafından 2023-2024 eğitim öğretim yılında okullarda okutulmak üzere belirlenmiş olan 12 adet fen bilimleri ders kitabı araştırmaya dahil edilmiştir. Araştırmaya dahil edilen ders kitapları Kocaeli İl'inde bulunan devlet okullarında fen bilimleri öğretmeni olarak görev yapmakta olan ve uygun örnekleme yöntemi ile seçilmiş altı puanlayıcı tarafından incelenmiştir. Daha sonra puanlayıcılar belirlenen aynı zaman diliminde aynı analitik dereceli puanlama anahtarını kullanarak belirlenen ders kitaplarını puanlamışlardır. Analitik dereceli puanlama anahtarının kullanılmasıyla altı puanlayıcıdan elde edilen veriler Klasik test kuramına dayalı korelasyonel tekniklerden Pearson momentler çarpımı korelasyon katsayısı ve sınıf içi korelasyon katsayısı ile; uyuşum yüzdeleri tekniklerinden ise Krippendorff Alfa korelasyon katsayısı ile analiz edilmiş ve puanlayıcılar arası tutarlılıklar incelenmiştir.  Genellenebilirlik kuramı kapsamında ise tasarlanan tümüyle çaprazlanmış desen çerçevesinde G ve K çalışmaları yapılmıştır. Daha sonra elde edilen güvenirlik katsayıları arasında anlamlı bir fark olup olmadığı Fisher Z' testi ile incelenmiştir. Araştırma sonucunda KTK'ya dayalı korelasyonel ve uyuşum yüzdeleri tekniklerinden elde edilen güvenirlik katsayıları incelendiğinde puanlayıcılar arasında yüksek düzeyde, pozitif yönlü ve anlamlı bir ilişki olduğu sonucuna varılmıştır. Genellenebilirlik Kuramına dayalı çalışmalardan elde edilen güvenirlik katsayısının ise 0.74 değerine ulaştığı gözlenmiştir. Elde edilen katsayılar ikişerli olarak Fisher Z' testi ile karşılaştırıldığında ise KTK'ya dayalı korelasyonel ve uyuşum yüzdeleri teknikleri arasında ve G kuramından elde edilen G katsayıları arasında manidar bir fark bulunmadığı; bunun sonucu olarak bu katsayıların birbirine benzer sonuçlar ortaya koyduğu sonucuna varılmıştır. Phi katsayısı ve KTK'ya dayalı tekniklerden elde edilen katsayılar arasında ise manidar bir farklılık bulunmuştur.  Aynı zamanda G kuramı çerçevesinde yapılan karar çalışmaları sonucunda dereceli puanlama anahtarındaki boyut sayısının ve puanlayıcı sayısının arttırılmasıyla elde edilen güvenirlik katsayılarında da artış olduğu görülmüştür. Alanyazındaki diğer çalışmalarda da karşılaşıldığı gibi Genellenebilirlik kuramı kapsamında yapılan G ve K çalışmalarıyla birlikte KTK'ya göre daha ayrıntılı bilgiye ulaşıldığı sonucuna varılmıştır.

Abstract:
The aim of this research is to compare the reliability of the raters in cases where analytical rubric is used by making analyzes based on Classical test theory and Generalizability theory and determined which one is offer more references. In accordance with this purpose, as an analytic rubric which was developed by Bülbül and Bülbül (2021) for the evaluation of coursebooks was determined as a data collection tool. Within the scope of research, 12 science textbooks determined by the Ministry of National Education Board of Education and Discipline to be taught in schools in the 2023-2024 academic year were included in research. The coursebooks included in research were examined by six raters selected by appropriate sampling method who work as science teacher in public schools in Kocaeli Province. Thereafter, the raters scored the determinated coursebooks using the same analytical rubric in the same determinated time. The data obtained from six raters by using the analytical rubric were analyzed with Pearson product-moment correlation coefficient and intra-class correlation coefficient, which are correlational techniques based on classical test theory and Krippendorff Alpha correlation coefficient which is the one of the agreement percentage techniques and the interrater consistency was examined. Within the scope of generalizability theory, G and C studies were conducted within the frame of the designed entirely crossed pattern. Afterwards, whether there was a significant difference between the reliability coefficients obtained was examined with Fisher Z' test. As a result of the research, when the reliability coefficients obtained from correlational and agreement percentage techniques based on CTT were examined, it was concluded that there was a high level, positive and significant relationship between the raters. It was observed that the reliability coefficient obtained from studies based on Generalizability Theory reached the value of 0.74. When the obtained coefficients were compared pairwise with the Fisher Z' test, it was concluded that there was no significant difference between the correlational and agreement percentage techniques based on CTT and the G coefficients obtained from G theory, and as a result, It was concluded that these coefficients established similar results. A significant difference was found between the Phi coefficient and the coefficients obtained from techniques based on CTT. At the same time, as a result of the decision studies carried out within the framework of G theory, it was observed that there was an increase in the reliability coefficients obtained by increasing the number of dimensions of rubric and the number of raters in the rubric. As seen in other studies in the literature, it was concluded that more detailed information was obtained with the G and C studies conducted within the scope of the Generalizability Theory compared to the CTT.