Klasik test kuramı genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma
A research on classical test theory generalizaibility theory and rasch model
Yazar: NEŞE GÜLER
Danışman: DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2008
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Genellenebilirlik = Generalizability ; Güvenilirlik = Reliability ; Klasik Test Kuramı = Classical Test Theory ; Rasch modeli = Rasch model

Özet:
Bu araştırmada, 2007 yılında yapılan matematik başarısının ölçülmesiyle elde edilen puanlara klasik test kuramı, genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch ölçme modeli uygulanmıştır. Uygulanan bu üç kurama göre puanların güvenirlikleri hesaplanmış ve üç kuramdan elde edilen sonuçlar karşılaştırılmıştır.Araştırmanının ilk aşamasında, TIMSS-1999'da yer alan açık uçlu matematik sorularından 24'ü, 2007 yılı bahar döneminde 203 öğrenciye uygulanmıştır. Daha sonra, bu öğrencilerin verdikleri cevaplar dört puanlayıcı tarafından holistik rubrik ile puanlanmıştır. Araştırmanının ikinci aşamasında, elde edilen puanların güvenirliği farklı kuramlara göre incelenmiştir. Klasik test kuramında Cronbach alfa güvenirlik katsayısı, puanlayıcılar arası uyumun belirlenmesinde Kedall'ın konkordans katsayısı, puanlayıcılar arası korelasyon katsayısı ve puanlayıcıların verdikleri puanların ortalamaları arası fark olup olmadığı F testi ile araştırılmıştır. Genellenebilirlik kuramında, b x g x p tümüyle çaprazlanmış desen kullanılarak genellenebilirlik ve güvenirlik katsayıları hesaplanmıştır. Çok değişkenlik kaynaklı Rasch ölçme modeli ile birey, puanlayıcı ve madde boyutlarına ilişkin ayrı ayrı güvenirlik hesaplamaları yapılmıştır.Bu araştırma neticesinde, klasik test kuramına göre matematik başarısının ölçülmesiyle elde edilen puanların iç tutarlılığının 0.92 gibi oldukça yüksek bir değer olduğu görülmüştür. Puanlayıcılar arası uyumun belirlenmesinde Kendall'ın konkordans katsayısı 0.52 olmakla birlikte puanlayıcılar arası korelasyon katsayıları 0.90 ile 0.97 arasında değişen değerler göstererek puanlayıcıların verdikleri puanlar arasında anlamlı bir ilişki olduğu sonucuna varılmıştır. Ancak F testi ile elde edilen sonuçlara göre puanların ortalamaları arasında farklılık olduğu belirlenmiştir. Genellenebilirlik kuramına göre matematik başarısının ölçülmesiyle elde edilen puanların genellenebilirlik katsayısı 0.92 ve güvenirlik katsayısı 0.90 bulunmuştur. Puanlayıcı değişkenlik kaynağının toplam varyansı açıklama yüzdesi 2.1 ile oldukça düşük bir değer göstermiştir. Çok değişkenlik kaynaklı Rasch ölçme modeline göre öğrenci boyutunun güvenirliği 0.95 olarak hesaplanmıştır. Bu modele göre puanlayıcılar arası güvenirlik ise 0.99 olarak bulunmuştur.Elde edilen tüm bu sonuçlara göre, 2007 yılında uygulanan matematik başarısını belirlemek için kullanılan ölçme aracının, öğrencilerin matematik başarısını belirlemede güvenilir sonuçlar verdiği görülmüştür. Matematik başarısının belirlenmesinde yer alan dört puanlayıcının puanları ortalamaları arasında fark olmakla birlikte, birbirleriyle uyumlu puanlama yaptıkları belirlenmiştir.Araştırma ile matematik başarısının ölçülmesinde güvenirliğin belirlenmesinde yararlanılacak kuramların hangisinin seçileceği, elde edilen puanların hangi amaç için kullanılacağına bağlı olarak değişebileceği görülmüş, ancak araştırma sonuçlarına göre, matematik başarısının ölçülmesinde güvenirliğin belirlenmesinde en az iki kuramdan yararlanmanın daha uygun olacağı sonucuna varılmıştır.Anahtar Sözcükler Klasik test kuramı, genellenebilirlik kuramı, çok değişkenlik kaynaklı Rasch ölçme modeli

Abstract:
In this study, classical test theory, generalizability theory and multi facet Rasch measurement model were applied to the scores which were obtained from mathematics performance measurement in 2007. According to these three theories, inter-rater reliability was figured out and the results were compared each other.In first step of this study, 24 open-ended questions of 1999-TIMSS were applied to 203 students in 2007 spring semester. Later, the students? responds were scored by four raters. In second step of this study, the reliability of the scores was analyzed in the view of different theory. In the classical test theory, Cronbach alpha reliability coefficient, Kendall?s concordance coefficient for inter-rater reliability and correlation coefficients of four raters? scores were calculated and it was investigated whether there was a difference among the means of raters? scores with F test. In generalizability theory, by using p x t x r (all facet cross with each other) design, generalizability and dependability coefficient were calculated. With multi facet Rasch measurement model, the reliability was figured out for person, task and rater facets separately.In the results of this study, according to classical test theory inter consistency of the mathematic performance measurement was found as 0.92. Although Kendall?s concordance coefficient for four raters was obtained as 0.52, correlation coefficients for four raters were different values between 0.90 and 0.97. Thus, it was concluded that there is a statistically significant correlation between raters. However, according to F test it was found that there was a difference between the means of the raters? scores. According to the generalizability theory, the generalizability and the dependability coefficient of the mathematic performance measurement were 0.92 and 0.90, respectively. Variance due to raters accounts for only %2.1 of the total variance which suggests that very little of the variability found in the model for differences among raters who scored the mathematic performance measurement. According to multi facet Rasch measurement model, the reliability of person facet was 0.95 and the reliability of rater facet was 0.99.According to all results, for determining of the students? success in mathematics the reliability of the mathematics performance measurement which was applied in 2007 was found as very high. Although there was a difference between the means of the raters? scores it was obtained that the four raters scored the students consistently.With this study, it was seen that the theory to be selected for the determination of the reliability of the performance measurement depended upon the purpose for which the scores obtained would be used. However, it was concluded that for determination of the reliability of the performance measurement, at least two theories should rather be used.Key Words Classical test theory, Generalizability theory, Multi facets Rasch measurement model