Matematikte Kavram Karikatürlerinin Değerlendirilmesine Yönelik Puanlama Anahtarının Geliştirilmesi
Development of Rubric for the Evaluation of Concept Cartoons in Mathematics
Yazar: Yıldız, Ahmet; Es, Hasan; Türkdoğan, Ali
Dergi: Anadolu Journal of Educational Sciences International, Vol. 11 No. 1, 2020
Anahtar kelimeler: concept cartoon,mathematics education,performance evaluation,rubric ; dereceli puanlama anahtarı,kavram karikatürü,matematik eğitimi,performans değerlendirme

Bu araştırmanın amacı matematik dersi için hazırlanan kavram karikatürlerini değerlendirebilmek için geçerli ve güvenilir bir dereceli puanlama anahtarı (DPA) geliştirmektir. Araştırma verileri Sivas il merkezinde görev yapan matematik öğretmenlerinin oluşturduğu 36 kavram karikatürünün değerlendirilmesiyle elde edilmiştir. Değerlendirme işlemini matematik eğitimi alanında yüksek lisans yapmış iki matematik eğitimcisi gerçekleştirmiştir. Geçerlik çalışmalarında öncelikle uzmanların DPA hakkındaki görüşleri içerik, yapı ve ölçüt bağlamında tek tek incelenmiştir. Bunların DPA’ya uygunluğu ve yeterliği konusunda uzmanların görüşleri arasındaki uyum yüzdelerinin kabul edilebilir düzeyde ve %82 ile %95 arasında değiştiği görülmüştür. Geçerlik çalışması kapsamında ayrıca kapsam geçerlik indeksi de hesaplanış ve her bir alt boyuta ilişkin kapsam geçerlik indeksleri 0.80 ile 1 arasında bulunmuştur. Hem uyum yüzdeleri hem de kapsam geçerlik indeksleri dikkate alındığında geliştirilen DPA’nın kavram karikatürlerini değerlendirmek için geçerli bir ölçme aracı olduğu görülmüştür. Güvenirlik çalışmalarında klasik test kuramı kapsamında iki puanlayıcı arasındaki uyum toplam puanlar için “Spearman Korelasyon Katsayısı” ile belirlenirken her bir alt ölçütteki uyum “Cohen’s Kappa” ile belirlenmiştir. DPA’ya iki değerlendiricinin verdiği toplam puanlar arasında pozitif, anlamlı ve yüksek (Rho=0.856, p<0.01) bir ilişkinin olduğu görülürken, alt ölçütlere ilişkin de Cohen’s Kappa sonuçları 0.706 ve 0.797 arasında yer aldığı görülmüştür. Güvenirlik çalışmalarında ayrıca madde tepki kuramı kapsamında Çok Yüzeyli Rasch Ölçme Modeli dikkate alınarak puanlayıcı, puanlanan (kavram karikatürü) ve madde yüzeyleri için güvenirlik hesaplamaları yapılmıştır. Bu yüzeylere ait güvenirlik indeksleri de sırasıyla 0.87, 0.80 ve 0.89 bulunmuştur. DPA’nın toplam puan için hesaplanan Spearman korelasyonu ve alt ölçüt puanları için hesaplanan Cohen’s Kappa değerleri ile puanlayıcı, puanlanan(kavram karikatürü) ve madde yüzeylerine ait güvenilir indeksleri bir arada değerlendirildiğinde oluşturulan DPA’nın güvenilir bir puanlama anahtarı olduğu görülmüştür. Araştırmanın bulguları ilgili literatür dikkate alınarak tartışılmış ve çeşitli önerilerde bulunulmuştur.

The aim of this study is to develop a valid and reliable rubric in order to evaluate the concept cartoons prepared for mathematics lesson. Research data were obtained by evaluating 36 concept cartoons created by mathematics teachers working in Sivas city center. Two mathematics educators who had a master's degree in mathematics education carried out the evaluation process. In the validity studies, experts' opinions about rubric were examined one by one in the context of content, structure and criteria. It has been observed that the percentages of agreement between the opinions of the experts about their suitability and competence with rubric are at an acceptable level and varied between 82% and 95%. Within the scope of the validity study, the content validity index was also calculated and the content validity indexes for each sub-dimension were found between 0.80 and 1. Considering both the concordance percentages and the content validity indexes, it has been seen that the developed rubric is a valid measurement tool for evaluating the concept characteristics. In reliability studies, within the scope of classical test theory, the harmony between two raters was determined by "Spearman Correlation Coefficient" for the total scores, while the fit in each sub-criterion was determined by "Cohen’s Kappa". While it was observed that there was a positive, significant and high (Rho = 0.856, p <0.01) relationship between the total scores given by the two evaluators to rubric, Cohen's Kappa results were found between 0.706 and 0.797 for the sub-criteria. In the reliability studies, reliability calculations were made for rater, scored (concept cartoons) and item surfaces, taking into account the Multi-Facial Rasch Measurement Model within the scope of item response theory. The reliability indices of these surfaces were found to be 0.87, 0.80 and 0.89, respectively. When rubric's Spearman correlation calculated for total score and Cohen's Kappa values calculated for sub-criterion scores were evaluated together with the reliable indexes of rater, scored (concept cartoons) and item surfaces, it was seen that the rubric created was a reliable scoring key. The findings of the study were discussed considering the relevant literature and various suggestions were made.