Matematik okuryazarlığına yönelik açık uçlu maddelerde puanlayıcı özelliklerinin genellenebilirlik kuramıyla incelenmesi
Investigation of rater characteristics in mathematical literacy open-ended items using generalizability theory
Yazar: CANAN UÇAR
Danışman: PROF. DR. MELEK GÜLŞAH ŞAHİN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada, matematik okuryazarlığını ölçen açık uçlu maddelerde puanlayıcı etkisinin genellenebilirlik kuramına göre incelenmesi amaçlanmıştır. Bu amaç doğrultusunda matematik okuryazarlığını ölçecek nitelikte 8 açık uçlu maddeden oluşan matematik başarı testi geliştirilmiştir. Pilot uygulamadan elde edilen veriler ve uzman görüşleri sonucunda teste son hali verilmiştir. Nihai test 2023-2024 Eğitim Öğretim yılında Ankara'nın Keçiören ilçesinde 8. sınıfa devam eden 71 öğrenciye uygulanmıştır. Matematik testinde yer alan açık uçlu maddelere ilişkin her bir öğrenci yanıtı Millî Eğitim Bakanlığı'na bağlı devlet okullarında matematik öğretmeni olarak görev yapmakta olan 12 farklı puanlayıcı tarafından değerlendirilmiştir. Puanlayıcılar öğrenim durumu ve kıdem yılı farklı olacak şekilde belirlenmiştir. Puanlayıcılar mesleki kıdem açısında 0-2 yıl ve 10 yıl üstü kıdeme sahip olmak üzere, öğrenim durumu açısından lisans ve yüksek lisans mezuniyet derecesine sahip olacak şekilde iki gruba ayrılmıştır. Elde edilen verilerle Genellenebilirlik Kuramına göre G ve Phi katsayıları hesaplanmış, ayrıca madde sayısı ve puanlayıcı sayılarına dayalı olarak karar çalışmasıda gerçekleştirilmiştir. Araştırmada ilk olarak tüm bireylerin (b), tüm maddelere (m) verdikleri yanıtların tüm puanlayıcılar (p) tarafından puanlandığı; bireylerin maddelerle ve puanlayıcılarla çaprazlandığı bxmxp deseni kullanılmıştır. Bu desende deneyim yılına göre oluşturulan 3 grupta (0-2 yıl, 10 yıl ve üstü, karma) ve mezuniyet durumuna göre oluşturulan 3 grupta (lisans, lisans üstü, karma) 4'er puanlayıcı olacak şekilde G ve K çalışmaları yürütülmüştür. Elde edilen sonuçlara göre 0-2 yıl kıdeme sahip puanlayıcılardan elde edilen G katsayısı 0,79, Phi katsayısı 0,75; 10 yıl ve üstü kıdeme sahip puanlayıcılardan elde edilen G katsayısı 0,75 ve Phi katsayısı 0,70 olarak bulunmuştur. 0-2 yıl ve 10 yıl ve üstü kıdeme sahip puanlayıcıların birlikte bulunduğu karma gruptan elde edilen G katsayısı 0,75, Phi katsayısı ise 0,70 olarak bulunmuştur. Bu desende yürütülen karar çalışmasında birey ve puanlayıcı sayısı sabit tutulup, madde sayısı artırıldığında G ve Phi katsayılarının arttığı; birey sayısı ve madde sayısı sabit tutulup puanlayıcı sayısı artırıldığında G ve Phi katsayısının bir miktar arttığı ancak artışın çok fazla olmadığı görülmüştür.Lisans mezuniyet derecesine sahip puanlayıcıların bulunduğu grup için G katsayısı 0,81, Phi katsayısı 0,78 iken lisans üstü mezuniyet derecesine sahip puanlayıcıların bulunduğu grup için G katsayısı 0,81 ve Phi katsayısı 0,77'dir. Lisans ve lisans üstü mezuniyet derecesine sahip puanlayıcıların birlikte bulunduğu karma gruptan elde edilen G katsayısı ise 0,80 ve Phi katsayısı 0,75 olarak bulunmuştur. Araştırma kapsamında ikinci olarak tüm bireylerin (b) tüm maddeleri (m) cevapladığı ve maddelerin puanlayıcılarda (p) yuvalandığı bx(m:p) deseni kullanılmıştır. Bu desendede benzer şekilde deneyim yılı ve mezuniyet derecelerine dayalı olarak oluşturulan gruplarda her grupta 4 puanlayıcı olacak şekilde G ve K çalışmaları yürütülmüştür. Elde edilen sonuçlara göre 0-2 yıl kıdeme sahip puanlayıcılardan elde edilen G katsayısı 0,74, Phi katsayısı 0,69 ; 10 yıl ve üstü kıdeme sahip puanlayıcılardan elde edilen G katsayısı 0,71 ve Phi katsayısı 0,64'tür.0-2 yıl ve 10 yıl ve üstü kıdeme sahip puanlayıcıların bir arada bulunduğu karma gruptan elde edilen G katsayısı 0,71 ve Phi katsayısı 0,68 olarak bulunmuştur. Lisans mezuniyet derecesine sahip puanlayıcıların bulunduğu grup için G katsayısı 0,71, lisans üstü mezuniyet derecesine sahip puanlayıcıların bulunduğu grup için G katsayısı 0,73'tür. Lisans ve lisans üstü mezuniyet derecesine sahip puanlayıcıların bir arada bulunduğu gruptan elde edilen G katsayısı 0,70 olarak bulunmuştur. Yürütülen karar çalışmalarında ise birey ve puanlayıcı sayısı sabit kalacak şekilde madde sayısı artırıldığında G katsayısının arttığı, birey ve madde sayısı sabit tutulup puanlayıcı sayısı artırıldığında G katsayısındaki değişimin çok fazla olmadığı görülmüştür. Bu durumda puanlayıcı bulmadaki zorluklar, zaman ve pratiklik göz önüne alındığında G katsayısını artırmak için madde sayısını artırmanın daha kullanışlı bir yöntem olacağını söylemek mümkündür. Çalışmada çaprazlanmış ve yuvalanmış desen olmak üzere iki farklı desen kullanılmıştır. Çaprazlanmış desende kestirilen bağıl ve mutlak hata varyansları yuvalanmış desene göre daha küçük olduğu için G ve Phi katsayıları daha büyük değer almıştır.

Abstract:
In this study, it was aimed to examine the rater effect in open-ended items measuring mathematical literacy according to generalizability theory. For this purpose, a mathematics achievement test consisting of 8 open-ended items was developed to measure mathematics literacy. The test was finalized as a result of the data obtained from the pilot application and expert opinions. The final test was administered to 71 8th grade students in the Keçiören district of Ankara in the 2023-2024 academic year. Each student response to the open-ended items in the mathematics test was evaluated by 12 different raters who were working as mathematics teachers in public schools affiliated to the Ministry of National Education. The raters were determined with different educational backgrounds and years of seniority. The raters were divided into two groups: 0-2 years and more than 10 years in terms of professional seniority, and bachelor's and master's degrees in terms of educational status. With the data obtained, G and Phi coefficients were calculated according to the Generalizability Theory, and a decision study was also carried out based on the number of items and the number of raters. First, a bxmxp design was used in the study in which all individuals' (b) responses to all items (m) were scored by all raters (p) and individuals were crossed with items and raters. In this design, G and K studies were conducted in 3 groups formed according to years of experience (0-2 years, 10 years and above, mixed) and 3 groups formed according to graduation status (undergraduate, graduate, mixed) with 4 raters each. According to the results obtained, the G coefficient obtained from raters with 0-2 years of seniority was 0.79 and the Phi coefficient was 0.75; the G coefficient obtained from raters with 10 years or more seniority was 0.75 and the Phi coefficient was 0.70. The G coefficient obtained from the mixed group of raters with 0-2 years and 10 years or more seniority was 0.75 and the Phi coefficient was 0.70. In the decision study conducted in this design, it was observed that the G and Phi coefficients increased when the number of individuals and raters were kept constant and the number of items was increased; when the number of individuals and items were kept constant and the number of raters was increased, the G and Phi coefficients increased slightly, but the increase was not too much. For the group of raters with bachelor's degree, the G coefficient was 0.81 and the Phi coefficient was 0.78, while for the group of raters with postgraduate degree, the G coefficient was 0.81 and the Phi coefficient was 0.77. The G coefficient obtained from the mixed group of raters with undergraduate and graduate degrees was 0.80 and the Phi coefficient was 0.75. Secondly, a bx(m:p) design was used in which all individuals (b) answered all items (m) and items were nested in raters (p). In this design, similarly, G and K studies were conducted in groups formed based on years of experience and graduation degrees, with 4 raters in each group. According to the results obtained, the G coefficient obtained from raters with 0-2 years of experience was 0.74 and the Phi coefficient was 0.69; the G coefficient obtained from raters with 10 years of experience and above was 0.71 and the Phi coefficient was 0.64. The G coefficient obtained from the mixed group of raters with 0-2 years and 10 years of experience and above was 0.71 and the Phi coefficient was 0.68. The G coefficient for the group of raters with bachelor's degree is 0.71 and the G coefficient for the group of raters with postgraduate degree is 0.73. The G coefficient obtained from the group of raters with undergraduate and graduate degrees together was 0.70. In the decision studies conducted, it was observed that the G coefficient increased when the number of items was increased so that the number of individuals and raters remained constant, while the change in the G coefficient was not much when the number of individuals and items were kept constant and the number of raters was increased. In this case, considering the difficulties in finding raters, time and practicality, it is possible to say that increasing the number of items to increase the G coefficient would be a more useful method.