PISA matematik okuryazarlığı maddelerine ilişkin yeterlilik şemasıyla elde edilen ölçümlerin güvenirliğinin genellenebilirlik ve Klasik Test Kuramına dayalı olarak karşılaştırılması
The comparision of reliability of PISA mathematical literacy items' competency needs scores obtained with comptency scheme based on generalizability theory and Classical Test Theory
Yazar: FATMA KIZILTOPRAK
Danışman: PROF. DR. MEHTAP ÇAKAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2016
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Dereceli puanlama anahtarı = Rubric ; Genellenebilirlik = Generalizability ; Güvenilirlik = Reliability ; Klasik Test Kuramı = Classical Test Theory ; Matematik okuryazarlığı = Mathematical literacy ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment

Özet:
Bu araştırmada PISA matematik okuryazarlığı maddelerinin yeterlilik gereksinimlerini PISA matematik okuryazarlığı çerçevesinde yer verilen temel matematiksel yeterlilikler bağlamında belirleyebilmek amacıyla geliştirilmiş olan Yeterlilik Şeması isimli puanlama anahtarı ile elde edilen ölçümlerin ölçüt ve yapı geçerliğiyle güvenirliğinin belirlenmesi amaçlanmıştır. Bu amaçla ilk olarak Yeterlilik Şeması puanlama anahtarının Türkçe'ye uyarlanma çalışmaları yürütülmüştür. Bu bağlamda alınan uzman görüşleri incelendiğinde çeviri formun dile kültüre ve matematik eğitimi alanı terminolojisine uygun olduğu görülmüştür.  Yayınlanmış tüm PISA matematik okuryazarlığı maddeleri matematik eğitimi alanında doktora yeterliğini almış beş bağımsız uzman tarafından bir ay arayla iki kez puanlanmıştır. Elde edilen puanlamaların geçerliğini belirmek amacıyla ölçüt geçerliği ve yapı geçerliği incelenmiştir. Ölçüt geçerliği bağlamında PISA matematik okuryazarlığı maddelerinin OECD tarafından açıklanan deneysel güçlük puanları yordanan değişken olarak ele alınmıştır. Elde edilen puanlamaların güvenirliğini belirlemek amacıyla ise Klasik Test Kuramı ve Genellenebilirlik Kuramı'ndan yararlanılmıştır. Araştırma sonuçlarına göre yeterlilik Şeması ile elde edilen puanlamaların maddelerin deneysel güçlük puanlarındaki değişkenliğin %74,7'sini anlamlı olarak açıkladığı görülmüştür. Ayrıca yapılan faktör analizi ile de teorik model doğrulanmıştır. KTK çerçevesinde puanlayıcı içi güvenirlik için hesaplanan korelasyon katsayılarının puanlayıcılar ve kategoriler bazında farklılık gösterdiği, puanlayıcılar arası güvenirlik bağlamında puanlayıcılar arasında güvenirliğin güçlü olduğu sonucuna ulaşılmıştır. Çok değişkenli ve tek değişkenli G ve K çalışmaları sonucunda beş puanlayıcı ile iki zaman da yapılan puanlamaların güvenirlik katsayılarının kabul edilebilir düzeyin üstünde olduğu görülmüştür. Ayrıca çok değişkenli model G ve K çalışmalarıyla kestirilen G ve Phi katsayılarının tek değişkenli modelle kestirilenlerden daha yüksek olduğu görülmektedir. KTK ve G kuramı çerçevesinde puanlamalara ilişkin elde edilen güvenirlik düzeylerinin birbirine paralel olduğu bulunmuştur.


Anahtar Kelimeler: Klasik Test Kuramı, Genellenebilirlik Kuramı, Güvenirlik, Puanlama anahtarı güvenirliği, PISA

Abstract:
The purpose of this study is to investigate the criterion and construct validity and reliability of the scores obtained by using Competency Scheme, which is improved for determining PISA mathematical literacy items' competency needs according to PISA mathematical literacy framework, based on generalizability theory and classical test theory. Initially the adaptation study of competency scheme was conducted. All of the published PISA mathematical literacy items were scored at two different times with a month of interval by five independent raters who were PhD candidates in mathematical education field. In the context of criterion validity, PISA mathematical literacy items' empirical difficulty scores were chosen as the predicted variable. In the framework of G theory, completely crossed designs via univariate and multivariate G and D studies were conducted. According to results, scores which were obtained via Competency Scheme explain %74,7 of the empirical difficulty scores' variability significantly. Besides, factor analysis confirmed the theoretical model. It was seen that correlation coefficients which were calculated for intra-rater reliability differed from each other in terms of raters and categories and there is also a high reliability among the raters in the context of inter-rater reliability. According to univariate and multivariate G and D studies, it was seen that the reliability coefficients are higher than the acceptable levels. Furthermore G and Phi coefficients estimated by multivariate model are higher than G and Phi coefficients estimated by univariate model. It was found that in CTT and G theory frameworks the reliability levels are compatible with each other.


Key Words: classical test theory, generalizability theory, reliability, reliability of rubrics,PISA.