Yabancı/ikinci dil olarak Türkçe öğretiminde yazma becerisinin değerlendirilmesi için puanlama anahtarı önerisi: A1-A2 seviyesi
Rubric proposal for the evaluation of writing skills in teaching Turkish as a foreign/second language: A1-A2 level
Yazar: DAMLA OKYAY ENSER
Danışman: DOÇ. DR. MELTEM EKTİ
Hacettepe Üniversitesi / Türkiyat Araştırmaları Enstitüsü / Türkiyat Araştırmaları Ana Bilim Dalı / Yabancı Dil Olarak Türkçe Öğretimi Bilim Dalı
Derece: Doktora, 2024
Konu: Dilbilim = Linguistics ; Eğitim ve Öğretim = Education and Training
Dizin: Alternatif ölçme ve değerlendirme teknikleri = Alternative assessment and evaluation tecniques ; Dört dil becerisi = Four language skills ; Türkçe = Turkish ; Türkçe eğitimi = Turkish education ; Türkçe öğretimi = Turkish teaching ; Yazılı anlatım becerisi = Writing skills based ; Ölçme ve değerlendirme =

Özet:
Dört temel dil becerisinden biri olan yazma, öğrenicilerin dil bilgisini, söz varlığını, düşüncelerini ifade ve organize etme yeteneklerini yansıtan karmaşık ve çok yönlü bir süreçtir. Bu nedenle yazma becerisinin ölçülmesi ve değerlendirilmesi öğrenicilerin gelişim düzeylerini nesnel bir şekilde belirlemek açısından önemlidir. Yazma becerisinin nesnel ve tutarlı bir şekilde değerlendirilmesi için dereceli puanlama anahtarlarına ihtiyaç duyulmaktadır. Dereceli puanlama anahtarları, değerlendirme sürecine nesnellik kazandırılmasına, öğrenicilerin yazma performansının çeşitli boyutlarda ayrıntılı olarak incelenmesine ve öğrenicilere ayrıntılı geri bildirim sunulmasına olanak sağlar. Bu durum öğretim sürecindeki eksiklikleri belirleyerek öğrenicilerin yazma becerilerinin gelişimine katkı sağlar ve öğretim sürecinin verimliliğini artırır. Bu doğrultuda çalışmada, yabancı/ikinci dil olarak Türkçe öğrenen A1 ve A2 seviyesindeki öğrenicilerin yazma performanslarını değerlendirmek amacıyla iki farklı analitik dereceli puanlama anahtarı geliştirilmiştir. Ayrıca değerlendiricilerin puanlama anahtarlarını nasıl uygulayacaklarını, ölçütleri nasıl yorumlayacaklarını netleştirmek, değerlendirme sürecini standartlaştırarak daha nesnel ve güvenilir sonuçlar elde etmek için değerlendirici kılavuzları hazırlanmıştır. Puanlama anahtarı geliştirme süreçleri dikkate alınarak çalışmada karma yöntem desenlerinden keşfedici sıralı desen kullanılmıştır. Çalışmanın nitel aşamasında yazma becerisine ve puanlama anahtarı geliştirmeye yönelik literatür taraması yapılmıştır. Diller İçin Avrupa Ortak Başvuru Metni (D-AOBM) ve Türkçenin Yabancı Dil Olarak Öğretimi Programı'ndaki (TYDÖP) temel seviye yazma kazanımlarının yanı sıra yabancı dil olarak Türkçe öğretim setlerinde yer alan kazanımlar incelenmiştir. Ayrıca The European Language Certificate (TELC), Cambridge ve Türkçe Öğretim Merkezlerinde (TÖMER) kullanılan puanlama anahtarları analiz edilmiştir. Bu incelemeler doğrultusunda madde havuzu oluşturulmuş ve bu madde havuzundan öğretici görüşleri doğrultusunda boyutlar ile ölçütler belirlenmiş, ölçüt tanımlayıcıları yazılmıştır. Puanlama anahtarlarının kapsam geçerliği için Davis (1992) tekniği kullanılarak alanında en az beş yıl deneyime sahip beş öğreticiden uzman görüşleri alınmış ve kapsam geçerlik indeksleri hesaplanmıştır. A1 ve A2 seviyelerinden seçilen altışar yazma sınav kâğıdı, yirmi değerlendirici tarafından puanlama anahtarları ve kılavuzları kullanılarak değerlendirilmiş; elde edilen veriler üzerinden Kendall W uyum katsayısı hesaplanarak analitik dereceli puanlama anahtarlarının güvenirliği test edilmiştir. Sonuç olarak A1 ve A2 seviyesinde geliştirilen puanlama anahtarları ile yapılan değerlendirmelerde yüksek uyum olduğu saptanmıştır. Ayrıca değerlendiricilerin deneyim sürelerinin değerlendirmelerde anlamlı bir fark oluşturup oluşturmadığı Kruskal-Wallis testi ile analiz edilerek anlamlı bir fark bulunmadığı tespit edilmiştir. Bu bulgular, geliştirilen dereceli puanlama anahtarlarının alanda kullanılabilir, geçerli ve güvenilir araçlar olduğunu göstermektedir.

Abstract:
Writing, one of the four basic language skills, is a complex and multifaceted process that reflects learners' grammar, vocabulary, and ability to express and organize their thoughts. Therefore, measuring and evaluating writing skills is crucial for objectively determining learners' developmental levels. Graded scoring rubrics are necessary for the objective and consistent evaluation of writing skills. These rubrics ensure objectivity in the evaluation process, allow for a detailed analysis of learners' writing performance across various dimensions, and provide comprehensive feedback to learners. Such feedback helps identify gaps in the teaching process, contributing to the improvement of learners' writing skills and enhancing the overall efficiency of the teaching process.
In this study, two different analytical graded scoring rubrics were developed to evaluate the writing performances of learners at A1 and A2 levels who are learning Turkish as a foreign or second language. Additionally, evaluator guides were prepared to standardize the evaluation process, clarify how evaluators should apply the rubrics and interpret the criteria, and ensure more objective and reliable results.
The study employed an exploratory sequential design, a mixed-methods approach, during the scoring rubric development process. In the qualitative phase, a literature review was conducted on writing skills and rubric development. Outcomes at the basic level as outlined in the Common European Framework of Reference for Languages (CEFR) and the Programme for Teaching Turkish as a Foreign Language (TYDÖP) were analyzed alongside those included in Turkish as a Foreign Language teaching sets. Furthermore, scoring rubrics used by The European Language Certificate (TELC), Cambridge, and Turkish Language Teaching Centers (TÖMER) were examined. Based on these reviews, an item pool was created, and dimensions and criteria were determined with input from instructors. Criterion descriptors were then developed accordingly.
To establish the content validity of the scoring rubrics, expert opinions were obtained from five instructors with at least five years of field experience using the Davis (1992) technique, and content validity indexes were calculated. The reliability of the analytical graded scoring rubrics was assessed using data from evaluations of six A1 and A2 level writing exam papers by twenty evaluators utilizing the rubrics and guides. The Kendall W coefficient of agreement was calculated based on the obtained data. The results revealed a high level of agreement in the evaluations conducted with the developed rubrics. Furthermore, analysis using the Kruskal-Wallis test showed no significant differences in evaluations based on the evaluators' experience levels.
These findings demonstrate that the developed graded scoring rubrics are valid, reliable, and practical tools for assessing writing skills in the field.