Açık uçlu matematik sorularının değerlendirilmesinde puanlayıcı güvenirliğinin genellenebilirlik kuramına göre incelenmesi
Inter-rater reliability in the evaluation of open ended mathematics questions according to generalizability theory
Yazar: SONGÜL GÜNEŞ
Danışman: DR. ÖĞR. ÜYESİ SEÇİL ÖMÜR SÜNBÜL
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Açık uçlu sorular = Open ended questions ; Dereceli puanlama anahtarı = Rubric ; Genellenebilirlik = Generalizability ; Matematik = Mathematics ; Matematik eğitimi = Mathematics education ; Matematik öğretimi = Mathematics teaching ; Ortaöğretim okulları = Secondary education schools ; Problem çözme becerisi = Problem solving ability ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada, bireylerin problem çözme becerilerini yoklayan açık uçlu matematik sorularına vermiş oldukları cevapların bütünsel dereceli puanlama anahtarıyla puanlanması sonucu elde edilen puanların, madde ve puanlayıcı sayısının değişmesi ve farklı desenlerin kullanılması durumlarında G ve Phi katsayıları hesaplanarak incelenmiştir. Bireylere uygulanacak olan problem çözme becerilerinin yoklanmasına ilişkin açık uçlu sorular, PISA Matematik okuryazarlığı ve problem çözme alanlarında kullanılmış sorular içerisinden güncel müfredata uygun olduğu düşünülen sorular arasından seçilmiştir. Bireylerin problem çözme becerilerini yoklamak için hazırlanan açık uçlu soruların değerlendirilmesinde, dereceli puanlama anahtarı geliştirme süreci takip edilerek bütünsel dereceli puanlama anahtarı geliştirilmiştir. Çalışma grubu, Mersin ilinde bulunan, 2019-2020 eğitim-öğretim yılında farklı okullarda eğitim gören amaçlı örnekleme yöntemiyle 9 ve 10. sınıf öğrencileri arasından seçilmiş 57 bireyden oluşmaktadır. Çalışma kapsamında değişkenlik kaynağı olan puanlayıcılar ise, gönüllülük esasına dayalı olarak seçilen25 alan (matematik) öğretmeninden oluşmaktadır. Çalışmada Genellenebilirlik Kuramı'nda birey (b), madde (m),  puanlayıcı (p) değişkenlik kaynakları kullanılarak,bxmxptümüyle çaprazlazlanmış desendeve bx(p:m)yuvalanmış desende,madde ve puanlayıcı sayıları değişimlenerekG ve Phi katsayıları hesaplanmıştır. Çalışmanın sonucunda,hem bxmxp hem de bx(p:m)desen için, madde sayılarının ve puanlayıcı sayılarının artmasıylaG ve Phi katsayılarında artış olduğu görülmüştür.

Anahtar kelimeler: Genellenebilirlik Kuramı, Açık Uçlu Matematik Soruları, Dereceli Puanlama Anahtarı, PISA

Abstract:
In this study, the scores obtained by scoring the answers given by individuals with open-ended math questions, which scored their problem-solving skills, with a holistic rubrics, were analyzed by calculating the G and Phi coefficients in case of changing the number of items and raters and using different designs.The open-ended questions being applied to individuals about the problem solving skills were selected from the questions that are considered to be in accordance with the current curriculum among the questions used in PISA Mathematical Literacy and Problem Solving Fields. In the evaluation of open-ended questions prepared to examine the problem solving skills of individuals, a holistic rubric were developed by following the rubric development process. The study group consists of 57 individuals from the 9th and 10th grade students who were educated in different schools in the 2019-2020 academic year in Mersin province.The raters, who were the source of variability within the scope of the study, consist of 25 field (math) teachers selected on a voluntary basis.In this study, in the Generalizability Theory, by using individual (b), item (m) and rater (p) variables G and Phi coefficients were calculated by using bxmxp completely crossed design and bx(p:m)nested design. As a result of the study, it was observed that there was an increase in G and Phi coefficients for both bxmxp and bx(p:m)designwith increasing number of items and raters.

Keywords: Generalizability Theory, Open-Ended Math Questions, Rubrics,PISA