Dereceli puanlama anahtarı türünün rutin olmayan matematik problemlemlerinin puanlanmasında puanlayıcı davranışları üzerine etkisinin incelenmesi
Investigation of the effect of grading key type on rater behavior in non-routine mathematics problems scoring
Yazar: ESRA ONKUN ÖZGÜR
Danışman: PROF. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada, rutin olmayan açık uçlu matematik problemlerinden oluşan matematik başarı testinin analitik ve bütünsel dereceli puanlama anahtarları ile puanlanmasının puanlayıcı davranışları üzerine etkileri Çok Yüzeyli Rasch Ölçme Modeli ile incelenmiştir. Çalışma grubu, açık uçlu rutin olmayan matematik problemlerinden oluşan başarı testinin uygulandığı öğrenci grubu ve cevaplanan başarı testini değerlendiren puanlayıcılar olmak üzere iki farklı kısımdan oluşmaktadır. Çalışmanın öğrenci grubunu 2023-2024 Eğitim-Öğretim yılında, bir devlet okulunda öğrenim gören 10'u kız, 10'u erkek toplam 20 öğrenci; puanlayıcı grubunu ise yedisi kadın, dokuzu erkek toplam 16 matematik öğretmeni oluşturmaktadır. Bu çalışmada, betimsel araştırma yöntemlerinden tarama modeli kullanılmıştır. Bu çalışmada, öğrencilere araştırmacı tarafından hazırlanmış, 15 farklı rutin olmayan açık uçlu matematik probleminden oluşan başarı testi, iki farklı oturum şeklinde iki günde öğrencilere uygulanmıştır. Puanlama öncesinde, puanlayıcılara ilgili araştırma, puanlayıcı davranışları, başarı testi, dereceli puanlama anahtarları ve puanlama süreci ile ilgili eğitim verilmiştir. Puanlayıcılar matematik başarı testini, araştırmacı tarafından hazırlanmış, matematiksel yeterliklere göre hazırlanmış altı ölçütten oluşan, performans düzeyi 0- 4 olan analitik dereceli puanlama anahtarı ve performans düzeyi 0- 4 olan ve matematiksel yeterliklere göre hazırlanmış bütünsel dereceli puanlama anahtarı ile puanlamışlardır. Analitik ve bütünsel dereceli puanlama anahtarlarına göre yapılan puanlamada, birey, madde ve puanlayıcı yüzeylerine ait hesaplanan güvenirlik değerleri ve uygunluk istatistikleri ile puanlayıcı davranışlarından katılık ve cömertlik ile yanlılık davranışları incelenmiştir. Çalışmanın bulguları incelendiğinde, analitik ve bütünsel dereceli puanlama anahtarlarına göre yapılan puanlamalarda, puanlayıcı, birey ve madde yüzeylerinde ayrı ayrı model veri uyumunun sağlandığı görülmüştür. Puanlayıcılar arası güvenirlik indeksinin yüksek olduğu yani puanlayıcıların katılıkları veya cömertlikleri yönüyle farklılık gösterdiği, ayrıca puanlayıcılar arası uyumun olduğu belirlenmiştir. Birey yüzeyine ait veriler incelendiğinde, yetenek düzeyleri farklı olan öğrencilerin yetenek düzeylerine göre birbirlerinden ayırt edilebildiği görülmüştür. Madde yüzeyine ait veriler incelendiğinde, maddeler arasında güçlük düzeyleri açısından istatistiksel olarak anlamlı fark olduğu görülmüştür.  Bunun yanında, analitik dereceli puanlama anahtarı ile yapılan puanlamanın bütünsel dereceli puanlama anahtarı ile yapılan puanlamaya göre, puanlayıcı yüzeyi bakımından göreceli olarak daha güvenilir sonuçlar verdiği belirlenmiştir. Yapılan puanlamalar sonucunda elde edilen puanlayıcı yüzeyleri karşılaştırıldığında, analitik dereceli puanlama anahtarı kullanılan puanlamalarda puanlayıcı katılık/cömertliğinin düzeylerinin, bütünsel dereceli puanlama anahtarı kullanılan puanlamalardan daha fazla olduğu belirlenmiştir. Ayrıca, analitik dereceli puanlama anahtarı kullanılan puanlamalar arasındaki uyumun, bütünsel dereceli puanlama anahtarı kullanılan puanlamalardan daha düşük olduğu sonucuna varılmıştır. Puanlayıcı davranışları incelendiğinde hem analitik hem de bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P2, P9, P10 ve P16'nın cömertlik davranışı; P11, P12 ve P13'ün de katılık davranışı gösterdiği görülmüştür. Her iki davranış için de analitik dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılar P2, P9, P10 ve P16 cömertlik; P11, P12 ve P13 katılık; bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda ise bu puanlayıcıların yanında P5 cömertlik, P1 ve P2 de katılık davranışı göstermiştir. Hem analitik hem de bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P8'in yanlılık davranışı gösterdiği, bunun yanında, analitik dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P14'ün farklılaşan cömertlik ve P12 ve P13'ün de farklılaşan katılık davranışları gösterdikleri belirlenmiştir.

Abstract:
In this study, the effects of scoring the mathematics achievement test, which consists of non-routine open-ended mathematics problems, with an analytical rubric and a holistic rubric, on rater behavior were examined with the Multifaceted Rasch Measurement Model. The study group of the research consists of two different parts: the student group to which the achievement test consisting of open-ended, non-routine mathematics problems is applied, and the raters who evaluate the answered achievement test. The student group of the study was a total of 20 students, 10 girls and 10 boys, studying at a public school in Sakarya Province in the 2023-2024 academic year; The rater group consists of a total of 16 mathematics teachers, seven female and nine male. In this study, survey model, one of the descriptive research methods, was used. In this study, an achievement test consisting of 15 different non-routine open-ended mathematics problems, prepared by the researcher, was administered to the students in two different sessions in two days. Before scoring, raters were trained on the relevant research, rater behaviors, achievement test, rubrics and scoring process. The raters were evaluated with the mathematics achievement test, prepared by the researcher, consisting of six criteria prepared according to competencies, with an analytical rubric with a performance level of 0-4 and a holistic rubric with a performance level of 0-4 and prepared in accordance with the capacity. In the scoring made according to analytical and holistic rubrics, reliability values and fit statistics calculated for the rater, individual and item facets, and rater behaviors such as rigidity, generosity and bias were examined. When the findings of the study were examined, it was observed that in the scoring made according to analytical and holistic rubrics, model data harmony was achieved separately on the rater, individual and item surfaces. It was determined that the inter-rater reliability index was high, meaning that the raters differed in terms of their strictness or generosity, and the inter-rater agreement was poor. When the data on the individual surface was examined, it was seen that students with different ability levels could be distinguished from each other according to their ability levels. When the data on the item surface was examined, it was seen that there was a statistically significant difference between the items in terms of difficulty levels. In addition, it has been determined that scoring with the analytical rubric gives relatively more reliable results in terms of the rater surface than scoring with the holistic rubric. When the rater surfaces obtained as a result of the scoring were compared, it was determined that the levels of rater strictness/generosity in the scoring using the analytical rubric were higher than in the scoring using the holistic rubric. Additionally, it was concluded that the agreement between the scores using the analytical rubric was worse than the scores using the holistic rubric. When the rater behaviors are examined, the rigidity behavior of raters P11, P12 and P13 in the scoring made according to both analytical and holistic rubrics; It was observed that P2, P9, P10 and P16 also showed generosity behavior. In the ratings made according to the analytical rubric for both behaviors, raters P11, P12 and P13 rated rigidity; P2, P9, P10 and P16 generosity; In the scoring made according to the holistic rubric, P5 showed generosity and P1 and P2 showed strictness. It was determined that raters P8 showed bias behavior in the scoring made according to both analytical and holistic rubrics, while raters P14 showed varying generosity and P12 and P13 showed varying strictness behaviors in the scoring made according to the analytical rubric.