Grup içi varyanslar heterojen olduğunda çok düzeyli madde tepki modelinin bayes yaklaşımı ile modellenmesi
Bayesian modeling of multilevel item response model with heterogeneous within-group variance
Yazar: YUSUF KARA
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bayes yaklaşımı = Bayes approach ; Heterojen = Heterogeneous ; Hiyerarşik model = Hierarchical model ; Madde Tepki Kuramı = Item Response Theory ; Okul etkililiği = School effectiveness ; Varyans = Variance

Özet:
Bireylerin okul, şehir vb. birimlerde kümelendiği hiyerarşik veri yapıları eğitim ve davranış bilimlerinde oldukça yaygındır. Geniş ölçekli sınavlarda hiyerarşik verilerle çalışmak kaçınılmazdır. Bu koşullarda geleneksel regresyon yerine hiyerarşik doğrusal modellerin kullanılması daha etkili olmaktadır. Ancak bu modeller, bağımlı değişkenin gözlenebilen olduğu durumlar için uygundur. Dolayısıyla, öğrenci başarısı gibi gizil bağımlı değişkenlerin varlığında çok düzeyli madde tepki modellerinin (ÇDMTM) kullanılması daha etkilidir. Geleneksel ÇDMTM, diğer hiyerarşik modellerde olduğu gibi grup içi varyansların homojen olduğunu varsaymaktadır. Ancak her bir okulun veya sınıfın eş yetenek varyansına sahip olması, karşılanması zor bir varsayımdır. Öte yandan, okulların eş varyansa sahip olmaması bir varsayım ihlalinden ziyade, okul etkililiği açısından önemli bir bilgi kaynağı olarak görülmelidir. Bu çalışmada ÇDMTM, her grup için ayrı bir varyans bileşeni kestirecek şekilde yeniden modellenmiştir. Modelin parametre kestirimleri Bayes yaklaşımıyla gerçekleştirilmiş, değişen grup içi heterojenlik koşullarındaki parametre kestirim performansı simülasyon çalışması ile incelenmiştir. Simülasyonun ardından, önerilen ve geleneksel model 2009 ÖBBS (Öğrenci Başarılarının Belirlenmesi Sınavı) Türkçe testi verilerine uygulanmıştır. Her iki modelin gerçek veriye uyumları ve parametre kestirimleri karşılaştırılmış, ayrıca okul içi varyanslar önerilen model ile koşullu olarak modellenmiştir. Simülasyon sonucunda, parametre kestirimlerinin en iyi orta heterojenlik düzeyinde gerçekleştirildiği; yüksek heterojenlik düzeyinde ise kabul edilebilir bir performansla kestirim yapılabildiği görülmüştür. Düşük heterojenlik düzeyinde özellikle uç değerlerdeki okul içi varyansların ve varyansların varyans parametresinin kestirimi yeterince etkili olmamıştır. Ancak diğer parametrelerin kestirimlerinde belirgin bir sorun gözlenmemiştir. Dolayısıyla, grup içi varyans kestirimlerinin birbirlerine oldukça yakın olması halinde geleneksel ÇDMTM'nin tercih edilebileceği önerilmiştir. Gerçek veri analizleri sonucunda, önerilen modelin veriye geleneksel ÇDMTM'den daha iyi uyum sağladığı görülmüştür. Koşullu varyans modelinin analizi sonucunda, sınavla öğrenci alan liselerdeki okul içi yetenek dağılımlarının, genel liselerdeki dağılımlardan daha düşük varyansa sahip olduğu sonucuna ulaşılmıştır. Ayrıca, sınavla alım yapan okulların düşük değişkenlik ile beraber daha yüksek yetenek parametrelerine sahip oldukları, dolayısıyla okul etkililiği bakımından genel liselere göre daha iyi oldukları belirlenmiştir.

Abstract:
In educational and behavioral sciences, it is very common to work with hierarchical data structures where individuals are nested in upper-level units such as schools, neighborhoods etc. Hierarchical data are even inevitable in large-scale assessments. Employing hierarchal linear models would be more efficient in such multilevel data conditions. However, this model family is appropriate only if the dependent variable is manifest. Thus, it would be more efficient to employ multilevel item response models (MIRMs), if the relevant variable is latent like "ability levels of examinees". Conventional MIRMs assume homogeneity of within-group variances, just as conventional multilevel models in general. Nonetheless, assuming a constant variance for ability distributions of different classes or schools does not sound realistic. Moreover, heterogeneity of within-group variances should be regarded as an important source of information for school effectiveness studies rather than a violation of a model assumption. In this study, three-level conventional MIRM was remodeled in order to estimate unique within-group variances. The Bayesian approach was adopted for estimation, and parameter recovery was evaluated under varying levels of within-group heterogeneity through a simulation study. The proposed model and its conventional counterpart then were applied to a real dataset that was obtained from 2009 Turkish test of the Student Achievement Determination Exam administered in Turkey. Model-data fits, as well as, parameter estimates were compared across models. Lastly, a conditional extension of the proposed model was applied to the data in order to explain possible sources of within-group variance heterogeneity. Depending on results of the simulation study, it was concluded that the proposed model's parameter estimation was mostly efficient under moderate level heterogeneity, while it was acceptable under high level. When heterogeneity was low, especially the highest within-school variance parameters and variance of the within-school variances were not recovered efficiently. Nonetheless, there were no significant problems in recovery of the other model parameters. In the light of the mentioned simulation results, it is recommended to employ the conventional homogeneous MIRM in case of low within-group heterogeneity. Analyses on real data showed that the proposed model had a better model fit than the conventional MIRM. Moreover, schools that require an entrance exam for admission had lower within-school variances and higher school-level abilities compared to the other ones. Such an inference should be regarded as a good sign of better school effectiveness for examination-required high schools.