Kompozisyon tipi sınavlarda kompozisyonun biçimsel özelliklerinden kestirilen puanların anahtarla ve genel izlenimle puanlanmasından elde edilen puanlarla ilişkisi
The relation between scores predicted from structural features of essay and scores based on scoring key and overall impression, in essay type examination
Yazar: BAYRAM ÇETİN
Danışman: Y.DOÇ.DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2002
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Güvenilirlik = Reliability ; Kompozisyon = Composition ; Puanlama = Scoring ; Sınav = Examination ; Ölçme-değerlendirme = Measurement and evaluation ; İçerik analizi = Content analysis

Özet:
Bu araştırmada özel bir yazılı yoklama şekli olan kompozisyon sınavlarında kompozisyonun biçimsel özelliklerinin, anahtarla puanlamayı ve genel izlenimle puanlamayı ne derece yordadığının, en iyi yordayıcıların hangi biçimsel özellikler olduğunun ve anahtarla puanlama ile genel izlenimle puanlamanın puanlama güvenirliklerinin belirlenmesi amaçlanmıştır. Bu amaçlar doğrultusunda, 2001-2002 öğretim yılında Hacettepe Üniversitesi Eğitim Fakültesi İlköğretim Bölümü Sınıf Öğretmenliği Anabilim Dalı 1. sınıfta öğrenim gören 143 lisans öğrencisine kompozisyon sınavı uygulanmıştır, öğrencilerin yazmış oldukları kompozisyonlar iki tane Türk Dili ve Edebiyatı öğretmenine hem anahtarla hem de genel izlenimle puanlattırılmıştır. Öğrencilerin yazmış oldukları kompozisyonlarda içerik analizi yapılarak daha Önceden tanımlanan biçimsel özellikler ve anahtar kelimeler belirlenmiştir. Bu belirleme işlemi, anahtar kelimeler sayılarak; biçimsel özelliklerin de bir kısmı sayılarak bir kısmı da var olup olmadığına bakılarak yapılmıştır. Bu analiz sonucunda kompozisyonlar için 29 farklı değişkene ait veri elde edilmiştir. I. puanlayıcının önce anahtarla daha sonra genel izlenimle verdiği puanlar bağımlı değişken olarak alınmış, biçimsel özellikler için belirlenen 29 bağımsız değişken ile çoklu regresyon analizi yapılmıştır. Analizler sonucunda biçimsel özelliklerin anahtarla ve genel izlenimle verilen puanlan ne derece yordadığı ve en iyi yordayıcı olan biçimsel özelliklerin neler olduğu belirlenmiştir. Anahtarla ve genel izlenimle elde edilen puanların puanlayıcı güvenirliğini hesaplamak için her iki puanlayıcının önce anahtarla verdikleri puanlar arasında daha sonra da genel izlenimle verdikleri puanlar arasında Pearson Momentler Çarpımı Korelasyon Katsayısı hesaplanmıştır. Aynı puanlayıcının anahtarla ve genel izlenimle verdiği puanlar arasındaki tutarlılık hesaplanırken her iki puanlayıcının da anahtarla ve genel izlenimle verdikleri puanlar arasında Pearson Momentler Çarpımı Korelasyon Katsayısı hesaplanmıştır.Sonuç olarak; kompozisyonun anahtarla puanlanmasından elde edilen puanlarla kompozisyonun belirlenen biçimsel özellikleri arasında yapılan regresyon analizi sonucunda elde edilen denklem istatistiksel olarak a=0,01 düzeyinde. önemli bulunmuştur. Bağımlı değişken olan anahtarla puanlama ile biçimsel özellikler arasında 0,72 çoklu korelasyon katsayısı ve biçimsel özelliklerin anahtarla puanlamayı açıklayabilme derecesi olarak 0,52 belirtme katsayısı hesaplanmıştır. Kompozisyonun genel izlenimle puanlanmasından elde edilen puanlarla biçimsel özellikler arasında yapılan regresyon analizi sonucunda elde edilen denklem de istatistiksel olarak a=0,01 düzeyinde önemli bulunmuştur. Bağımlı değişken olan genel izlenimle puanlama ile biçimsel özellikler arasında 0,77 çoklu korelasyon katsayısı ve biçimsel özelliklerin genel izlenimle puanlamayı açıklayabilme derecesi olarak 0,60 belirtme katsayısı hesaplanmıştır. Anahtarla puanlamanın puanlayıcı güvenirliği 0,45, genel izlenimle puanlamanın puanlayıcı güvenirliği 0,53 bulunmuştur. I. puanlayıcının iki puanlama yöntemi arasındaki tutarlılığı 0,78, n. Puanlayıcının iki puanlama yöntemi arasındaki tutarlılığı 0,55 bulunmuştur. Kompozisyon sınavlarında kompozisyonun biçimsel özelliklerinden anahtarla puanlamanın ve genel izlenimle puanlamanın kestirebileceği sonucuna varılmıştır. Anahtarla ve genel izlenimle puanlamaların puanlayıcı güvenirlikleri arasında istatistiksel bir fark bulunmamıştır. Öğretmenlerin anahtarı kullanabilme becerisindeki yetersizliğinin anahtarla puanlamanın puanlayıcı güvenirliğini düşürücü bir neden olabileceği sonucuna varılmıştır.

Abstract:
The purpose of this research is to determine the extent to which structural features of essays and keywords predict scoring by key and scoring by overall impression in writting test; and which structural features are the best predictors; and the degree of inter-rater reliability of scoring by key and scoring by overall impression. For that purposes, a writing test has been administered to 143 undergraduate freshman students enrolled at Hacettepe University Faculty of Education Department of Elemantary Education program in Primary Education in 2001-2002 school year. The writings of the students has been scored by two Turkish Language and Literature teachers using both scoring key and overall impression scoring methods. Predetermined structural features and keywords were identified by doing content analysis for the compositions written by the students. This identification process was conducted by counting keywords, and some of the structural features and checking the existance of some of these feature. As a result of this analysis, 29 different variables were identified for the compositions. Key scores and overall impression scores of the I. rater are taken as dependent variables, multiple regression analysis was made on 29 independent variables for structural features. As a result of the analysis, to what extent structural features can predict scores obtained through scoring key and overall impression and the best predictive structural features were determined. In order to compute inter-rater reliability of the two methods, Pearson correlation coefficients was computed between two rater's key scores and overall impression scores. While computing the consistency between the key scores and overall impression scores of the same rater, PearsQn correlation were computed between key scores and overall impression scores of the both raters.IV As a result, the equation obtained through regression analysis made between key scores and determined Structural features of the compositions was found significant statistically at