Açık uçlu ve çoktan seçmeli maddelerden oluşan madde takımlarının güvenirliğe etkisinin genellenebilirlik kuramı ile incelenmesi
Investigation of the effect of testlets consisting of open-ended and multiple choice items on reliability via generalizability theory
Yazar: SERPİL KOCAOĞLU
Danışman: DOÇ. DR. MELEK GÜLŞAH ŞAHİN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada, benzer içerikli hazırlanmış açık uçlu ve çoktan seçmeli maddelerden oluşan madde takımlarının güvenirliğe etkisini ortaya çıkarmak amaçlanmıştır. Bu amaçla, biri çoktan seçmeli diğeri açık uçlu maddelerden oluşan madde takımlarının yer aldığı iki farklı Matematik Başarı Testi hazırlanmıştır. Pilot uygulama sonucu elde edilen nihai formlar 2022-2023 Eğitim Öğretim yılında Ankara ilinde yer alan Mili Eğitim Bakanlığına bağlı bir devlet ortaokulunda 8. sınıfta öğrenim gören 128 öğrenciye uygulanmıştır. Açık uçlu maddelerin yer aldığı testte öğrencilerin 3'er maddeden oluşan 4 madde takımına verdikleri yanıtlar 3 puanlayıcı tarafından değerlendirilmiştir. Elde edilen veriler üzerinde güvenirlik kestirimleri Genellenebilirlik Kuramı ile yürütülmüştür. Açık uçlu maddelerden oluşan madde takımlarının yer aldığı başarı testinde, madde takımı etkisinin ele alınmadığı durumda tüm öğrencilerin (b) tüm maddelere (m) verdikleri yanıtların tüm puanlayıcılar (p) tarafından puanlandığı bxmxp tümüyle çaprazlanmış desen kullanılırken; madde takımı etkisinin dahil edildiği durumda maddelerin madde takımlarında (t) yuvalandığı, bireylerin ve puanlayıcıların ise bunlarla çaprazlandığı bx(m:t)xp yuvalanmış deseni kullanılmıştır. Elde edilen sonuçlara göre; madde takımı etkisi dahil edilmediğinde güvenirlik katsayısı 0,81 kestirilirken, madde takımı etkisi ele alındığında güvenirlik katsayısı 0,67 olarak kestirilmiştir.  Çoktan seçmeli maddelerden oluşan madde takımlarının yer aldığı başarı testinde de benzer şekilde; madde takımı etkisinin ele alınmadığı durumda tüm öğrencilerin tüm maddelere verdikleri cevaplar bxm çaprazlanmış deseni, madde takımı etkisinin ele alındığı durumda ise tüm öğrencilerin tüm madde takımlarında yer alan tüm maddeleri cevapladığı bx(m:t) yuvalanmış deseni kullanılmıştır. Elde edilen sonuçlara göre; madde takımı etkisi dahil edilmediğinde güvenirlik katsayısı 0,76 olarak hesaplanırken, madde takımı etkisi dahil edildiğinde güvenirlik katsayısı 0,71 olarak kestirilmiştir. Çalışma kapsamında elde edilen verilere göre; açık uçlu maddelerin yer aldığı testte güvenirlik katsayısı daha yüksek kestirilirken, madde takımı etkisi dahil edildiğinde güvenirlik katsayısındaki değişim çoktan seçmeli maddelerin yer aldığı testteki değişime göre daha fazla olmuştur. Genellenebilirlik kuramı kapsamında yürütülen karar çalışmalarında madde ve madde takımı sayısındaki artışların güvenirliğe etkisinin olumlu olduğu gözlenmekle birlikte madde takımındaki artışın güvenirliğe katkısının daha fazla olduğu görülmüştür. Puanlayıcı sayısındaki artışın ise madde ve madde takımlarıyla kıyaslandığında güvenirliğe katkısının daha az olduğu görülmüştür. Sonuç olarak; madde takımlarının yer aldığı testlerin güvenirlik kestirimleri yapılırken daha yansız sonuçlar elde etmek adına madde takımı etkisinin ele alınması gerektiğine, ayrıca madde takımları içindeki madde sayısının artırılmasından ziyade madde takımı sayısının artırılmasının güvenirliğe katkısının daha fazla olduğuna ulaşılmıştır.

Abstract:
In this study, it was aimed to reveal the effect of testlets consisting of open-ended and multiple-choice items prepared with similar content on reliability. For this purpose, two different Mathematics Achievement Tests were prepared, one consisting of multiple choice and open-ended items. The final forms obtained as a result of the pilot application were applied to 128 8th grade students in a public secondary school affiliated to the Ministry of National Education in the province of Ankara in the 2022-2023 academic year. In the test with open-ended items, the answers given by the students to the 4 item testlets consisting of 3 items were evaluated by 3 raters. Reliability estimations on the obtained data were carried out with the Generalizability Theory. In the achievement test with open-ended testlets, in the absence of the testlet effect, the pxixr fully crossed design was used, in which all students' answers to (p) all items (i) were scored by all raters (r); In the case of including the testlet effect, the px(i:h)xr nested design was used, in which items were nested in the testlets (h) and individuals and raters were crossed with them. According to the results obtained; The reliability coefficient was estimated as 0.81 when the testlet effect was not included, while the reliability coefficient was estimated as 0.67 when the testlet effect was taken into account. Similarly, in the achievement test, which includes testlets consisting of multiple-choice items; In the case that the testlet effect was not addressed, the pxi crossed design was used for all the all students' answer to all the items, and in the case of the testlet effect, the px(i:h) nested design in which all the students answered all the items in all the testlets used. According to the results obtained; While the reliability coefficient was calculated as 0.76 when the testlet effect was not included, the reliability coefficient was estimated as 0.71 when the testlet effect was included. According to the data obtained within the scope of the study; While the reliability coefficient was estimated higher in the test with open-ended items, the change in the reliability coefficient was higher when the testlet effect was included, compared to the change in the test with multiple-choice items. In the decision studies carried out within the scope of generalizability theory, it was observed that the increase in the number of items and testlets had a positive effect on reliability, but it was observed that the increase in the testlet contributed more to reliability. It was observed that the increase in the number of raters contributed less to the reliability when compared to the items and testlets. In conclusion; While estimating the reliability of the tests including the testlets, it was concluded that the testlet effect should be considered in order to obtain more unbiased results, and that increasing the number of testlets, rather than increasing the number of items in the testlets, contributed more to the reliability.