Yabancı/ikinci dil olarak Türkçe öğretiminde yazmanın değerlendirilmesi için puanlama anahtarı önerisi: B1-B2 düzeyi
Rubric proposal for the evaluation of writing in teaching Turkish as a foreign/second language: B1-B2 level
Yazar: AYBEGÜM AKSAK
Danışman: DOÇ. DR. MELTEM EKTİ
Hacettepe Üniversitesi / Türkiyat Araştırmaları Enstitüsü / Türkiyat Araştırmaları Ana Bilim Dalı / Yabancı Dil Olarak Türkçe Öğretimi Bilim Dalı
Derece: Doktora, 2024
Konu: Dilbilim = Linguistics ; Eğitim ve Öğretim = Education and Training ; Türk Dili ve Edebiyatı = Turkish Language and Literature
Dizin: Türkçe eğitimi = Turkish education ; Türkçe öğretimi = Turkish teaching ; Yabancı dil eğitimi = Foreign language education ; Yabancı dil öğretimi = Foreign language teaching ; Yazma becerisi = Writing skills ; Ölçme araçları = Measurement tools ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Öğretimde etkililiğin yansıtıcısı olan ölçme-değerlendirme çalışmaları öğretimin iyileştirilmesi ve geliştirilmesi açısından büyük bir öneme sahiptir. Öğrenici durumlarının tespiti için iyi yapılandırılmış ölçme-değerlendirme süreçlerine ve nesnel bir değerlendirmeye ihtiyaç vardır. Yabancı/ikinci dil öğretiminde yazma becerisi performansa göre değerlendirilir. Performans değerlendirmede nesnelliği sağlamak güç olduğundan değerlendirme için sınırlayıcı ve yönlendirici araçlara ihtiyaç duyulmaktadır. Bu araçlardan en önemli ve yaygın olanı puanlama anahtarlarıdır. Dil becerilerinin performansa dayalı değerlendirilmesinde bütüncül ve analitik olmak üzere iki tür puanlama anahtarı kullanılmaktadır. Katılımcı sayısı, amaç ve ihtiyaçlara göre bu türlerden biri tercih edilebilir.
Yazma; üsluptan anlatıma, sözcük bilgisinden metin planına birçok unsura sahip ve hedef dilde düşünebilmenin ve özellikle orta düzeyden itibaren üst bilişsel becerilerin aktif olduğu bir beceri olduğundan pek çok açıdan ele alınması gereken bir beceridir. Yazmanın bu çok boyutlu yapısı gereği analitik dereceli puanlama anahtarlarının farklı boyutları değerlendirebilme, öğrenicinin zayıf/güçlü yönlerini tespit edebilme ve geri bildirim verebilme yönleriyle yazma becerisinin değerlendirilmesinde daha etkili olabileceği düşünülmektedir.
Çalışmada yabancı/ikinci dil olarak Türkçe öğrenen B1 ve B2 düzeyi öğrenicilerin yazma performanslarının değerlendirilmesi için iki farklı analitik dereceli puanlama anahtarı geliştirilmesi amaçlanmıştır. Bu kapsamda puanlama anahtarları geliştirme aşamaları göz önünde bulundurularak çalışmada keşfedici sıralı desenli karma yöntem uygulanmıştır. Puanlama anahtarı geliştirme kısmı olan nitel aşamada TÖMER'lerde kullanılan örnek puanlama anahtarları, DAOBM'de yer alan kazanımlar ve ders-araç gereçleri incelenerek oluşturulan madde havuzu dikkate alınarak boyutlar ve ölçütler belirlenmiştir. Ek olarak dereceli puanlama anahtarlarının daha kolay ve etkili kullanımı için değerlendirici kılavuzları da hazırlanmıştır. Geliştirilen puanlama anahtarlarının geçerlik çalışması için Davis (1992) tekniğiyle alanda en az 10 yıl deneyime sahip yedi öğreticiden uzman görüşü alınarak kapsam geçerlik indeksleri tespit edilmiştir. Araştırmanın nicel aşamasında ise altı B1 ve altı B2 düzeyinde öğrenici yazma performansları yirmi değerlendirici tarafından hazırlanan puanlama anahtarlarıyla değerlendirilmiş elde edilen verilerle Kendall's W uyum kat sayısı hesaplanmıştır. B1 ve B2 düzeyi puanlama anahtarları ile yapılan değerlendirmelerde yüksek uyum olduğu sonucuna ulaşılmıştır. Ayrıca çalışma kapsamında puanlama anahtarlarıyla yapılan puanlamalarda değerlendirici deneyiminin anlamlı fark oluşturup oluşturmadığı Kruskal Wallis tekniği ile analiz edilmiş ve anlamlı bir fark bulunmamıştır. Ayrıca yabancı dil ve ikinci dil öğretenlerin puanlamaları arasında fark olup olmadığına ilişkin Mann Withney-U analizi yapılmış ve anlamlı bir fark bulunmamıştır. Puanlama anahtarlarıyla gerçekleştirilen değerlendirmelerde deneyimin ve yabancı/ikinci dil öğretiminin değerlendirmeye etki etmediği sonucuna ulaşılmıştır. Çalışma kapsamında elde edilen sonuçlardan hareketle hazırlanan puanlama anahtarlarının alanda kullanılmasının yararlı olacağı düşünülmektedir.

Abstract:
Assessment and evaluation studies, which are reflective of effectiveness in teaching, are of great importance for the improvement and development of teaching. To determine the learner progress, well-structured assessment and evaluation processes and objective evaluation are needed. In foreign/second language teaching, writing skills are evaluated according to performance. Since it is difficult to ensure objectivity in performance evaluation, limiting and guiding tools are needed for evaluation. Rubrics are the most important and common of these tools. Two types of rubrics are used in performance-based evaluation of language skills: holistic and analytical. One of these types may be preferred depending on the number of participants, goals, and needs. 
Writing is a skill that needs to be addressed from several aspects, as it has numerous elements from style to expression, from vocabulary to text layout, and is a skill in which thinking in the target language and metacognitive skills are active, especially after the intermediate level. Due to this multidimensional structure of writing, analytic rubrics are considered to be more effective in evaluating writing skills in terms of being able to evaluate different dimensions, detecting the learner's weaknesses/strengths, and giving feedback. 
The aim of this study is to develop two analytical rubrics to evaluate the writing performances of B1 and B2 level learners learning Turkish as a foreign/second language. In this context, considering the stages of developing rubrics, an exploratory sequential mixed method was applied in the study. In the qualitative phase, which is the rubric development part, dimensions, and criteria were determined by examining the sample rubrics used in TÖMER, the achievements in CEFR and course materials, are taken into account when the item pool is created. Furthermore, evaluator guides have been prepared for easier and more effective use of rubrics. For the validation study of the developed rubrics, content validity indexes were determined by obtaining expert opinions from seven instructors with at least 10 years of experience in the field using the Davis (1992) technique. In the quantitative phase of the research, six student's writing performances at B1 and six at B2 levels were evaluated with rubrics prepared by twenty evaluators, and Kendall's W coefficient of concordance was calculated with the data obtained. It was concluded that there was high agreement in the evaluations made with B1 and B2 level rubrics. In addition, within the scope of the study, whether the evaluator's experience created a significant difference in the grading made with the rubrics was analysed using the Kruskal Wallis technique, and no significant difference was found. Moreover, Mann Whitney-U analysis was conducted to determine whether there was a difference between the scores of foreign language and second language teachers, and no significant difference was found. In the evaluations carried out with rubrics, it was concluded that experience and foreign/second language teaching did not affect the evaluation. The rubrics prepared based on the results obtained within the scope of the study are considered to be beneficial to use in the field.