Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi
The investigation of the effect of rater training on the rater behaviors in the performance assessment process
Yazar: MEHMET ŞATA
Danışman: DOÇ. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Akran değerlendirmesi = Peer review ; Alternatif ölçme ve değerlendirme teknikleri = Alternative assessment and evaluation tecniques ; Eğitsel değerlendirme = Educational assessment ; Performans değerlendirme = Performance evaluation ; Puanlama = Scoring ; Rasch modeli = Rasch model ; Test sistemleri = Test systems ; Yapısal geçerlik = Construct validty ; Çok Yüzeyli Rash Ölçme Modeli = Many-Facet Rasch Measurement Model ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, performans değerlendirme sürecinde ölçümlere karışan problemli puanlayıcı davranışlarının belirlenmesi ve puanlayıcı eğitiminin bu problemli davranışlar üzerindeki etkisinin incelenmesi amaçlanmıştır. Araştırma, deney ve kontrol gruplu ön test-son test uygulamalı yarı deneysel desen ile tasarlanmıştır. Araştırmanın çalışma grubu 23 kontrol grubu ve 22 deney grubu olmak üzere toplam 45 puanlayıcıdan oluşmaktadır. Araştırmacı tarafından geliştirilen analitik dereceli puanlama anahtarı, Uluslararası İngilizce Dil Test Sistemi tarafından hazırlanan düşünce temelli yazma görevi ve kişisel bilgi formu kullanılarak araştırmanın verileri toplanmıştır. Araştırma verileri; çok yüzeyli Rasch ölçme modeli, genellenebilirlik kuramı ve bağımsız örneklemler t-testi kullanılarak analiz edilmiştir. Hem çok yüzeyli Rasch hem de genellenebilirlik analizlerinde tamamen çaprazlanmış desen kullanılmıştır. Deneysel işlem olarak puanlayıcı eğitimi verilmiş olup bu eğitim, puanlayıcı hatası eğitimi ve referans çerçevesi eğitimi desenlerinin birleştirilmesi ile oluşturulmuştur. Deney grubuna uygulanan puanlayıcı eğitimi her hafta bir saat olmak üzere toplam dört hafta sürmüştür. Puanlayıcı eğitimi öncesi hem kontrol grubunun hem de deney grubunun problemli puanlayıcı davranışlarının istatistiksel olarak benzer olduğu belirlenmiştir. Bu araştırmada; puanlayıcı katılığı, puanlayıcı cömertliği, merkeze yönelim, halo, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği olmak üzere altı tane problemli puanlayıcı davranışı incelenmiştir. Araştırmanın bulguları incelendiğinde puanlayıcı eğitimi öncesi deney ve kontrol grubunda; puanlayıcı katılığı, puanlayıcı cömertliği, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliğinin hem grup düzeyinde hem de bireysel düzeyde, halo ve merkeze yönelim davranışlarının ise sadece bireysel düzeyde ortaya çıktığı tespit edilmiştir. Puanlayıcı eğitimi sonrası incelenen problemli puanlayıcı davranışlarının yeniden ortaya çıktığı fakat deney grubundaki bu davranışların ölçümlere karışma düzeylerinin istatistiksel olarak kontrol grubundan görece daha az olduğu belirlenmiştir. Puanlayıcı eğitiminin puanlayıcı katılığı ve puanlayıcı cömertliği davranışı üzerinde büyük bir etkiye sahip olduğu ve katılık ile cömertlik davranışındaki değişimin %15'inin puanlayıcı eğitimi ile açıklanabildiği bulunmuştur. Puanlayıcı eğitiminin puanlayıcı güvenirliği üzerindeki etkisine bakıldığında ise puanlayıcılar arası güvenirliğin arttığı ve bu etkinin orta düzeyde olduğu ayrıca puanlayıcı güvenirliğindeki değişimin %10'unun puanlayıcı eğitimi ile açıklanabildiği tespit edilmiştir. Araştırmanın verileri hem çok yüzeyli Rasch hem de genellenebilirlik kuramı ile analiz edilmiş ve her bir yüzeyden gelen varyans kaynakları incelenmiştir. Elde edilen bulgulara göre her iki analiz yöntemin benzer sonuçlar verdiği bulunmuştur. Araştırmanın ulaştığı sonuçlardan hareketle jüri üyelerinin yer aldığı ve önemli kararların verildiği durumlarda yer alan puanlayıcılara yönelik puanlayıcı eğitiminin verilmesi önerilmektedir. Bu araştırmada akademik yazma becerilerinin değerlendirilmesine yönelik puanlayıcı eğitimi verildiğinden benzer olarak diğer yazma türlerine ve sayısal ders içeriklerine de yönelik puanlayıcı eğitimlerinin verilmesi önerilmektedir.

Abstract:
In this study, it is aimed to determine the problematic rater behaviors interfering with the measurements in the performance assessment process and to investigate the effect of rater training on these problematic behaviors. The research was designed with a quasi-experimental design with pre-test and post-test with experimental and control groups. The study group consists of 45 raters, 23 participants in control group and 22 participants in experimental groups. Data were collected by using analytical writing scoring rubric developed by the researcher, opinion-based writing task prepared by International English Language Test System and personal information form. The research data were analyzed by using the many facet Rasch measurement model, generalizability theory and independent samples t-test. Fully-crossed design was used in both many facet Rasch and generalizability analyses. Rater training was provided as an experimental procedure. Besides, this training was prepared by combining rater error training and frame of reference training design. The rater training for the experimental group lasted four weeks, one hour per week. Before the rater training, it was found that problematic rater behaviors of both control and experimental groups were statistically similar. In this study, six problematic rater behaviors, which are rater stiffness, rater generosity, center orientation, halo, differing rater stiffness, and differing rater generosity, were examined. When the findings of the study were examined, the experimental and control groups before the rater training; rater rigidity, rater generosity, differing rater rigidity and differing rater generosity were determined both at group level and at individual level, and halo and center orientation behaviors appeared only at individual level. The problematic rater behaviors reappeared after rater training. However, it was determined that the level of interference of these behaviors in the experimental group was statistically less than the control group. It was found that rater training had a large effect on rater stiffness and rater generosity behavior, and 15% of the change in stiffness and generosity behavior could be explained by rater training. When the effect of rater training on rater reliability was examined, it was found that reliability between raters increased, and this effect was moderate, and also 10% of the change in rater reliability could be explained by rater training. The data of the research were analyzed with both many facet Rasch and generalizability theory, and the sources of variance from each surface were examined. According to the findings, both analysis methods gave similar results. Based on the results of the research, it is recommended to provide rater training for the raters on the occasions when jury members take part in, and important decisions should be made. In this study, since rater training is provided for the evaluation of academic writing skills, it is suggested that rater trainings for other types of writing and course content should be given in the similar way.