Açık uçlu soruların puanlanmasında puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin incelenmesi
Examining the effect of rater training on rater behaviors in scoring open-ended questions
Yazar: UMUR ÖÇ
Danışman: PROF. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Yapılan araştırma, açık uçlu soruların puanlanmasında puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisini incelemeyi amaçlamaktadır. Bu amaç doğrultusunda araştırmada denk olmayan kontrol gruplu desen kullanılmıştır. Araştırmanın çalışma grubu, 14 Türkçe öğretmenliği, 20 matematik öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan oluşmaktadır. Türkçe öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan yedi tanesi deney, yedi tanesi kontrol grubunda yer alırken matematik öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan on tanesi deney, on tanesi de kontrol grubunda yer almaktadır. Araştırma kapsamında hem Türkçe hem de matematik puanlayıcı grubundaki puanlayıcıların puanlayıcı katılığı, puanlayıcı cömertliği, merkeze eğilim, halo etkisi ve farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği olmak üzere altı çeşit puanlayıcı davranışı incelenmiştir. Puanlayıcı davranışları hem grup düzeyinde hem de bireysel düzeyde incelenmiştir. Araştırmada veri toplama aracı olarak araştırmacı tarafından geliştirilen ortaokul Türkçe ve Matematik dersleri kazanımlarını kapsayan beş Türkçe ve altı Matematik olmak üzere toplam 11 açık uçlu maddeden oluşan başarı testi kullanılmıştır. Ayrıca araştırmacı tarafından geliştirilen bütünsel dereceli puanlama anahtarı ve puanlayıcı değerlendirme formu kullanılmıştır. Araştırmada elde edilen veriler, çok yüzeyli rasch modeli, Mann-Whitney U testi ve Wilcoxon İşaretli Sıralar testi kullanılarak analiz edilmiştir. Çok yüzeyli rasch modeli kapsamında yapılan analizlerde tümüyle çaprazlanmış desen kullanılmıştır. Araştırmada deneysel işlemde hem Türkçe hem de matematik puanlayıcı grubuna puanlayıcı eğitimi verilmiştir. Puanlayıcılara puanlayıcı eğitimi verilirken puanlayıcı eğitim stratejilerinden puanlayıcı hatası eğitim stratejisi ve referans çerçevesi eğitim stratejileri bir arada sunulmuştur. Sadece deney grubuna uygulanan deneysel işlem haftada bir saat olmak üzere dört hafta sürmüştür. Puanlayıcı eğitimi öncesinde hem Türkçe hem de matematik deney ve kontrol gruplarının puanlayıcı davranışları açısından benzer olduğu belirlenmiştir. Deneysel işlem öncesinde Türkçe puanlayıcı deney ve kontrol grubunda puanlayıcı katılığı ve puanlayıcı cömertliği davranışlarının hem grup hem de bireysel düzeyde ortaya çıktığı, merkeze eğilim, halo etkisi, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği davranışlarının ise sadece bireysel düzeyde ortaya çıktığı belirlenmiştir. Deneysel işlem öncesi Matematik puanlayıcı deney ve kontrol grubunda da puanlayıcı katılığı ve puanlayıcı cömertliği davranışlarının hem grup hem de bireysel düzeyde ortaya çıktığı, merkeze eğilim, halo etkisi, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği davranışlarının ise sadece bireysel düzeyde ortaya çıktığı belirlenmiştir. Puanlayıcı eğitiminden sonra Türkçe ve matematik puanlayıcı gruplarının davranışları incelendiğinde deney grubunda yer alan puanlayıcıların puanlayıcı davranışları tamamen ortadan kalkmasa da puanlayıcı davranışlarında azalma olduğu görülmüştür. Hem Türkçe hem de matematik puanlayıcı deney gruplarının puanlayıcı eğitimi öncesinde ve sonrasında yapılan karşılaştırmalarında istatistiksel olarak fark olduğu bulunmuştur. Türkçe puanlayıcı grubundaki puanlayıcıların katılık ve cömertlik durumlarında meydana gelen değişimin %60,2'sinin, matematik puanlayıcı grubundaki puanlayıcıların katılık ve cömertlik durumlarında meydana gelen değişimin de %57,8'inin puanlayıcı eğitimi ile açıklanabildiği bulunmuştur. Ayrıca puanlayıcı eğitiminin matematik puanlayıcı grubunda yer alan puanlayıcıların davranışlarında daha fazla azalmayı sağladığı ve dolayısıyla daha etkili olduğu belirlenmiştir. Araştırma sonuçlarından hareketle açık uçlu soruların puanlanmasında puanlama işlemi öncesinde puanlayıcılara puanlayıcı eğitimi verilmesi önerilmektedir.

Abstract:
The study aims to examine the effect of scorer training on scorer behaviors in the scoring of open-ended questions. To this end, a non-equivalent control group design was employed in the research. The study group consisted of scorers currently enrolled in 14 Turkish language teaching and 20 mathematics teaching programs. Seven scorers from the Turkish language teaching program were assigned to the experimental group and seven to the control group, while in the mathematics teaching program, ten scorers were in the experimental group and ten in the control group. In the research, six types of scorer behaviors were examined across both Turkish and mathematics scorer groups: scorer severity, scorer leniency, central tendency, halo effect, and differential scorer severity and leniency, analyzed at both group and individual levels. The research employed an achievement test consisting of 11 openended items, five in Turkish and six in mathematics, covering middle school Turkish and Mathematics curriculum outcomes, developed by the researcher as the data collection instrument. Additionally, a holistic graded scoring rubric and scorer evaluation form developed by the researcher were utilized. The data obtained in the research were analyzed using the Many-Facets Rasch Model, Mann-Whitney U test and Wilcoxon test. The Many-Facets Rasch Model analysis utilized a fully crossed design. In the experimental procedure of the study, scorer training was provided to both Turkish and mathematics scorer groups. Scorer training included scorer error training and reference frame training strategies presented together. The experimental procedure applied only to the experimental group, lasting one hour per week for four weeks. Prior to scorer training, it was determined that Turkish and mathematics experimental and control groups were similar in terms of scorer behaviors. Before the experimental procedure, scorer severity and leniency behaviors emerged at both group and individual levels in the Turkish scorer experimental and control groups, while central tendency, halo effect, differential scorer severity, and leniency behaviors emerged only at the individual level. Similarly, in the mathematics scorer groups before the experimental procedure, scorer severity and leniency behaviors emerged at both group and individual levels, while central tendency, halo effect, differential scorer severity, and leniency behaviors emerged only at the individual level. After scorer training, when examining scorer behaviors of Turkish and mathematics scorer groups, a reduction in scorer behaviors was observed in the experimental group, although scorer behaviors did not completely disappear. Statistical differences were found in comparisons before and after scorer training in both Turkish and mathematics scorer experimental groups. It was found that 60.2% of the change in severity and leniency behaviors of Turkish scorers and 57.8% of the change in severity and leniency behaviors of mathematics scorers could be explained by scorer training. Additionally, it was determined that scorer training led to a greater reduction in behaviors among mathematics scorers, indicating its greater effectiveness. Based on the research findings, it is recommended that scorer training be provided to scorers before the scoring process of open-ended questions.