Puanlayıcı deneyimlerine göre puanlayıcılar arası güvenirliklerin farklı yöntemlerle incelenmesi
Analysis of interrater reliability with different methods according to rater experience
Yazar: MEHMET ALİ AYDOĞMUŞ
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Genellenebilirlik = Generalizability ; Kappa istatistiği = Kappa statistic ; Puanlama = Scoring ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Yazma becerisi = Writing skills ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, yazma becerilerini ölçen açık uçlu yazma görevlerinin, puanlama sürecine ilişkin deneyimi olan ve deneyimi olmayan öğretmenler tarafından analitik ve bütünsel dereceli puanlama anahtarı yardımıyla puanlanmasından elde edilecek güvenirlik değerlerinin karşılaştırılmasıdır. Farklı tekniklerle belirlenen güvenirlik ve tutarlılık düzeylerinde deneyimli-deneyimsiz gruplar arasında farklılaşma olup olmadığının belirlenmeye çalışıldığı bu araştırma kapsamında MEB Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce yürütülen "Yazılı Anlatım Becerilerinin Ölçülmesi ve Değerlendirilmesi" çalışması için uygulanan "Yazma Becerileri Testi" verileri kullanılmıştır. Türkçe yazma becerilerini ölçen ve 8 adet açık uçlu sorudan oluşan bu test Adana, Ankara ve İstanbul illerinde bulunan okullar arasından tabakalı örnekleme yöntemine göre seçilen okullarda 2016-2017 Eğitim-Öğretim yılı bahar döneminde uygulanmıştır. Bu amaçla ilkokul 4, ortaokul 7 ve ortaöğretim 9. sınıflarda öğrenim gören toplam 240 öğrenciye uygulanan "Yazma Becerileri Testi"nden elde edilen sonuçlar puanlama deneyimine sahip olan ve puanlama deneyimi olmayan iki ayrı grup olmak üzere 12 sınıf öğretmeni, 12 Türkçe öğretmeni ve 12 Türk dili ve edebiyat öğretmeni tarafından puanlanmıştır. Puanlama sonuçlarının Kappa tekniği, Krippendorf'un Alpha katsayısı ve Genellenebilirlik Kuramı'na dayalı güvenirlik kestirimleri yapılarak puanlayıcılar arası tutarlılık düzeyine bakılmıştır. Araştırma sonucunda tüm gruplarda Kappa ve Krippendorff'un Alpha tekniğinden elde edilen katsayılarda paralellik ve tutarlılık gözlenmiştir. Yapılan Genellenebilirlik kuramı çalışmalarından elde edilen G ve Phi katsayıları incelendiğinde deneyimsiz Türkçe öğretmenleri ile Türk dili edebiyatı öğretmenlerinin her iki grubunda güvenirlik ve genellenebilirlik için beklenen (0,80) değerine ulaşıldığı gözlenmiştir. Bununla birlikte puanlama deneyiminin tek başına güvenirliğe belirgin bir etkisine dair bulguya ulaşılamamıştır.

Abstract:
The aim of this study was to compare the reliability values obtained from the scoring of open-ended items measuring writing skills by teachers with and without experience in the scoring process with the use of analytical and holistic rubrics. Within the scope of this research, in which it is tried to determine whether there is a difference between experienced and inexperienced groups in the levels of reliability and consistency determined by different techniques, the "Writing Skills Test" data conducted by the General Directorate of Measurement, Evaluation and Examination Services of the Ministry of National Education were used. For this purpose, the results obtained from the writing test which is applied to a total of 240 students studying in the 4th, 7th and 9th grades were scored by two separate experienced an inexperienced groups. Reliability estimations of the scoring results based on Kappa technique, Krippendorff's Alpha coefficient and Generalizability Theory were made and the level of consistency between raters was investigated. As a result of the research, parallel and consistent values were observed in the coefficients obtained from Kappa and Krippendorff's alpha technique in all groups. When the G and Phi coefficients obtained from the generalizability theory studies were examined, it was observed that the expected (0,80) value for reliability and generalizability was reached in inexperienced Turkish teachers and both groups (experienced and inexperienced) of Turkish language and literature teachers. However, there was no evidence of a significant effect of scoring experience alone on reliability.