Açık uçlu maddelerin puanlanmasında öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin Çok Yüzeyli Rasch Ölçme Modeli ile incelenmesi
Investigation of the effect of rater training given to students on rater behavior in scoring open-ended items using the Multi-facet Rasch Measuring Model
Yazar: BURÇİN GÖRGÜLÜ ÖZTÜRK
Danışman: PROF. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada, lise 10.sınıf öğrencilerinin açık uçlu matematik maddelerine verdikleri yanıtların değerlendirilmesinde öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisi incelenmiştir. Öğrencilere akran değerlendirmesi yaptırılmıştır ve ilgili analizler Çok Yüzeyli Rasch Ölçme Modeli (ÇYRÖM) ve genellenebilirlik kuramı ile yapılmıştır. Araştırmanın çalışma grubunu 2022-2023 eğitim öğretim yılı ikinci döneminde Ankara ilinde bir devlet okulunda onuncu sınıfta öğrenim gören 65 lise öğrencisi oluşturmaktadır. Araştırmada deney ve kontrol gruplu ön-test son test yarı deneysel desen kullanılmıştır. Deney grubunda 32, kontrol grubunda 33 öğrenci bulunmaktadır. Araştırma öncesinde her iki gruba da 4 açık uçlu matematik maddesinden oluşan başarı testi uygulanmıştır. Araştırmacı tarafından tüm yanıtlar dereceli puanlama anahtarı (DPA) yardımıyla değerlendirilmiş ve içlerinden başarılı, orta başarılı ve daha az başarılı yanıtlar olmak üzere toplamda üç öğrencinin kağıtları seçilmiştir. Buradaki amaç puanlayıcıların her yanıt tarzını görmelerini sağlamaktır. Deneysel işlem (puanlayıcı eğitimi) uygulanmadan önce hem deney hem de kontrol grubundaki öğrencilerin puanlayıcı davranışlarının istatistiksel olarak benzer olduğu bulunmuştur.  Ön test olarak her iki gruptaki öğrencilerin seçilen bu üç öğrencinin kağıdını DPA kullanarak değerlendirmeleri istenmiştir. Deney grubuna puanlayıcı eğitimi verildikten sonra aynı kağıtlar her iki gruba da tekrar uygulanmış ve değerlendirmeleri istenmiştir. Ön test ve son test için deney ve kontrol grubundaki öğrencilerin katılık/cömertlik ve farklılaşan puanlayıcı katılığı /cömertliği (yanlılık) davranışları incelenmiştir. Puanlayıcı eğitimi öncesinde hem grup düzeyinde hem de bireysel düzeyde katılık/cömertlik davranışının ortaya çıktığı görülmüştür. Puanlayıcı eğitimi sonrası deney grubunda puanlayıcıların katılık cömertlik davranışlarının yüzde olarak değişmediği bulunmuştur (%12,5). Kontrol grubunda ise son testteki oranın (%18) ön teste (%33) göre azaldığı bulunmuştur.

Abstract:
In this study, the effect of rater training given to 10th grade high school students in evaluating their responses to open-ended mathematics items was examined. The students were peer-evaluated and the relevant analyzes were carried out using the multi-facet Rasch measurement model and generalizability theory. The study group of research consists of 65 higl school students studying in the tenth grade at a public school in Ankara in the second semester of the 2022-2023 academic year. In the research, a pre-test post-test quasi-experimental design with experimental and control groups was used. There are 32 students in the experimental group and 33 students in the control group. Before the research, an achievement test consisting of 4 open-ended mathematics items was applied to both groups. All answers were evaluated by the researcher with the help of a rubric, and a total of three students' papers were selected, including successful, moderately successful and less successful answers. The goal here is to ensure that raters see each response style. Before the experimental produre ( rater training) was implemented, it was found that the rater behaviors of the students in both the experimental and control groups were statistically similar. As a pre-test, students in both groups were asked to evaluate the papers of these three selected students using the rubric. After rater training was given to the experimental group, the same papers were shown again to both groups and they asked to evaluate them. For the pre-test and post-test, the strictness/generosity and differing rater strictness/generosity (bias) behaviors of the students in the experimental and control groups were examined. It was observed that strictness and generosity behavior emerged both at the group level and at the individual level before the rater training. After rater training, it was found that the raters' strictness and generosity behaviors did not change as a percentage in the experimental group (%12,5). In the control group, it was found that the rate in the post-test (%18) desreased compared to the pre-test (%33).