Yabancı dilde yazma becerisinin ölçülmesinde puanlayıcılar arası güvenirliğin çok gruplu doğrulayıcı faktör analizi ile incelenmesi
use of multiple-group confirmatory factor analysis to examine inter-rater reliability in foreign language writing assessment
Yazar: MELİKE KÜBRA TAŞDELEN YAYVAK
Danışman: DR. ÖĞR. ÜYESİ EMİNE ÖNEN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Faktör analizi = Factor analysis ; Güvenilirlik = Reliability ; Puanlama = Scoring ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Yabancı dil eğitimi = Foreign language education ; Yabancı dil öğretimi = Foreign language teaching ; Yazma becerisi = Writing skills

Özet:
Yazma becerisinin puanlanmasında ölçümlerin güvenirliğini etkileyen en önemli faktörlerden biri puanlayıcıdır. Aynı performansın farklı puanlayıcılar tarafından farklı puanlanması ölçmede istenmeyen bir durumdur. Bu çalışmada yabancı dilde paragraf yazma becerisinin puanlanmasına etki eden temel değişkenlerden biri olan puanlayıcı ele alınmıştır. Puanlayıcılar arası güvenirlik Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile incelenmektedir. Gazi Üniversitesi Yabancı Diller Yüksekokulunda öğrenim gören 267 gönüllü öğrenci çalışma grubunu oluşturmaktadır. Öğrencilerin aynı konu üzerine yazmış oldukları paragraflar üç farklı puanlayıcı tarafından aynı puanlama anahtarı ile ayrı ayrı puanlanmış ve elde edilen puanlar SPSS 24, LISREL 8.8 ve Mplus6 programları ile analiz edilmiştir. Ölçümlerin geçerliğine ilişkin kanıtlar AFA ve DFA ile elde edilirken ölçümlerin güvenirliğine ilişkin kanıtlar Cronbach α değeri ile elde edilmiştir. Puanlayıcılar arası güvenirliğin ölçme değişmezliği testleri bağlamında ÇGDFA ile incelenmesi sonucunda şekilsel ve metrik değişmezliğe ilişkin kanıt elde edilmişken, tam ve kısmi ölçek değişmezliğine ilişkin kanıt elde edilememiştir. Tam ve kısmi ölçek değişmezliğine ilişkin kanıt elde edilememesi puanlayıcıların yazma becerisini puanlarken performansın aynı başlangıç düzeyini kullanmadığı anlamına gelirken, bu durumdan dolayı faktör varyanslarının değişmezliği ve değişmez özgüllük aşamaları test edilememiştir. Bu iki değişmezlik türünden elde edilebilecek bilgiye dolayısıyla ulaşılamazken, puanlayıcılar arası güvenirliğe ilişikin kanıt elde edilememiştir.

Abstract:
One of the most important factors that influence the reliability of measurements in scoring of writing skills is rater. Different scoring by different raters of the same performance is an undesirable condition in measurement. In this study, rater, one of the basic variables affecting the score of paragraph writing ability in foreign language is considered. The inter-rater reliability is examined by Multi-Group Confirmatory Factor Analysis (MFCFA). The study group is constituted by 267 volunteer students studying at Gazi University Foreign Languages School. In the research, where students write a paragraph on the same topic, the paragraphas are scored separately by three different raters with the same scoring key and acquired scores are analyzed via SPSS 24, LISREL 8.8 ve Mplus6 programs. While the evidence for validity of measurements are obtained with EFA and CFA, the evidence for reliability of measurements are obtained with Cronbach α coefficient. As a result of testing inter-rater reliability with MGCFA within the frame of measurement invarince, evidence of configural and metric invariance has been obtained, while evidence of scalar and partial scalar invariance hasn't been obtained. Acquring no evidence of complete and partial scale invariance means that scorers do not use the same initial level of performance when scoring the writing ability, so invariance of factor variances and invariant uniqueness steps can not be tested. Therefore, the information that can be obtained from these two types of invariance can not be reached and the evidence regarding the reliability between the raters can not be obtained.