Performansın değerlendirilmesinde farklılaşan puanlayıcı davranışlarının çok yüzeyli Rasch Ölçme Modeli ile incelenmesi
Examination of the differential rater behaviours in performance evaluation with many facet Rasch Measurement
Yazar: CENNET TOBAŞ
Danışman: PROF. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Farklılaşan puanlayıcı davranışlar = Differential rater behaviors ; Ortaokul öğrencileri = Secondary school students ; Ortaokullar = Secondary schools ; Performans değerlendirme = Performance evaluation ; Puanlama = Scoring ; Yazma başarısı = Writing success ; Çok Yüzeyli Rash Ölçme Modeli = Many-Facet Rasch Measurement Model ; Çok değişkenli ölçümler = Multivariate measurements ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, ilköğretim 7. sınıf öğrencilerinin performanslarının değerlendirilmesine yönelik yazma performansının belirlenmesi sürecinde öğretmen puanlamalarına karışan puanlayıcı davranışlarının yanı sıra puanlayıcı yanlılıklarının ve puanlayıcı güvenirliğinin Çok Yüzeyli Rasch Ölçme modeli (ÇYRÖM) ile belirlenmesi amaçlanmaktadır. Performansa dayalı değerlendirmelerde puanlayıcı davranışları ve puanlayıcıların yanlı davranması birey performansının belirlenmesi aşamasında hem geçerliği hem de güvenirliği olumsuz yönde etkilediği düşünüldüğünde bu davranışların belirlenmesi ve sonuçların bu bağlamda değerlendirilmesi önem taşımaktadır. Araştırmanın çalışma grubunu, 2019-2020 eğitim öğretim yılı ikinci döneminde Ankara ilinde bir devlet okulunda yedinci sınıfta öğrenim gören 57 ortaokul öğrencisi ile puanlayıcı eğitimi alan 11 öğretmen oluşturmaktadır. Mevcut çalışmada, öğrencilere yedi farklı ikna edici metin görevi verilerek bunlardan bir tanesini seçmelerini ve bu göreve uygun olarak ikna edici metinler oluşturmaları istenmiştir. Öğrencilerin yazmış olduğu metinlerden 9 tanesinin ikna edici metin yapısına ait olmadığı görülmüş ve 48 öğrenciye ait metinler 11 öğretmen tarafından altı ölçütten oluşan analitik dereceli puanlama anahtarı ile değerlendirilmiştir. Bu araştırmada öğretmen puanlamalarına bağlı olarak değerlendirmelerde en fazla ortaya çıkan puanlayıcıların davranışları (puanlayıcı katılığı/cömertliği davranışı, halo etkisi, merkeze yönelme davranışı), yanısıra farklılaşan puanlayıcı katılık/ cömertlik davranışının diğer bir deyişle puanlayıcı yanlılığının ve puanlayıcı güvenirliğinin KTK, GK ve MTK kuramlarına dayalı sonuçları incelenmiştir. Çalışmanın bulguları incelendiğinde, öğrencilerin yazma becerilerinin değerlendirilmesi sürecinde bireylerin performansında puanlayıcı katılığı ve cömertliği davranışına rastlanmış; merkeze eğilim ve halo etkisi gibi puanlayıcı davranışlarının bulunmadığı görülmüştür. Farklılaşan puanlayıcı katılığı ve cömertliği davranışı yani yanlılık etkileşimleri incelendiğinde; grup düzeyinde puanlayıcılarda yanlı puanlayıcı davranışlarının görülmediği fakat bireysel düzeyde puanlayıcıların yanlı puanlayıcı davranışı sergiledikleri görülmüştür. KTK, GK ve MTK kuramlarına dayalı puanlayıcı güvenirlikleri incelendiğinde, farklı yöntemlerle hesaplanan güvenirlik katsayılarının yüksek olduğu bulunmuş; puanlayıcıların birbirinden farklı puanlamalar yapmasına rağmen puanların birbiri ile tutarlı olduğu sonucuna varılmıştır. Sonuç olarak; performansın değerlendirilmesi sürecinde Çok Yüzeyli Rasch Ölçme modelinin farklılaşan puanlayıcı davranışlarının ve puanlayıcı güvenirliğinin belirlenmesinde kullanılabilecek alternatif ölçme modeli olduğu açıklanmıştır.

Anahtar Kelimeler: Farklılaşan Puanlayıcı Davranışları, Çok Yüzeyli Rasch Ölçme Modeli, Yazma Performansı, Analitik Dereceli Puanlama Anahtarı, Puanlayıcı Güvenirliği

Abstract:
In this study, it is aimed to determine the rater bias and rater reliability with the Many-facet Rasch Measurement Model (MFRM) as well as the differential rater behaviors involved in the assessment of the writing performance for the evaluation of the performances of the 7th grade students of primary education. Considering that the rater behaviors and the biased behavior of the raters negatively affect both validity and reliability in the determination of individual performance, it is important to determine these behaviors and evaluate the results in this context. The study group of the research consists of 57 secondary school students studying at a seventh grade in a public school in Ankara in the second semester of the 2019-2020 academic year and 11 teachers who received rater education. In the current study, students were given seven different persuasive writing tasks and asked to choose one of them and create persuasive writings in accordance with this task. It was observed that 9 of the texts written by the students did not belong to the persuasive writing structure, and the texts of 48 students were evaluated by 11 teachers with an analytical grading key consisting of six criteria. In this research, the behaviors of the raters that appeared most in the evaluations based on teacher ratings (rater severity / lenincy effect, central tendency effect, halo effect), as well as the effects of differential rater severity / lenincy effect, namely scoring bias, and scoring reliability based on KTK, GK and MTK theories were examined. When the findings of the study were examined, the effect of the rater severity / lenincy on the performance of the individuals was found during the evaluation of the students' writing skills; it was observed that there were no scoring behaviors such as central tendency effect and halo effect. When differential rater severity / lenincy behavior, that is, bias interactions are examined; it was observed that biased scoring behaviors were not observed in group-level raters, but individual level raters showed biased scoring behavior. When the rater reliability based on KTK, GK and MTK theories were examined, it was found that the reliability coefficients calculated using different methods were high; although the raters made different scores, it was concluded that the scores were consistent with each other. As a result; it has been explained that the Multi-Facet Rasch Measurement model is an alternative measurement model that can be used in determining different rater behaviors and rater reliability in the process of evaluating performance.

Key Words: Differential Rater Behaviors, Many-Facet Rasch Measurement, Writing Performance, Analytic Rubric, Rater Reliability