Tek boyutlu ve çok boyutlu madde tepkı̇ kuramına göre çok boyutlu yapıların ı̇ncelenmesı̇
Examining multidimensional structure in view of unidimensional and multidimensional item response theory
Yazar: EMRAH GÜL
Danışman: PROF. DR. NİZAMETTİN KOÇ
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory ; Puanlama = Scoring ; Tek boyutlu modeller = One dimensional models ; Testler = Tests ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, iki kategorili (1-0) çok boyutlu yapıların, farklı örneklem büyüklüğü (500, 1000 ve 2000), boyutlararası korelasyon (0.10, 0.40 ve 0.70) ve boyut sayısı (iki, üç ve beş) koşulları altında, tek boyutlu ve çok boyutlu Madde Tepki Kuramı'na (MTK)dayalı olarak kestirilen madde ve birey parametrelerini karşılaştırmaktır. Her iki modele göre kestirilen birey ve madde parametre değerleri, korelasyon katsayıları, bu parametre değerlerine ait standart hatalar ise daha az hatalı sonuç üreten modele göre ve hata kareleri ortalaması (Root Mean Squared, RMS) ile değerlendirilmiştir. Her iki modele göre yapılan kestirimlerin model-veri uyumu, uyum iyiliği istatistikleri olan -2loglikelihood, Akaike Information Criterion (AIC) ve Bayesian Information Criterion (BIC) ile incelenmiştir. Bunun yanında, tüm koşullar için birey parametre değerlerinden elde edilen standart hata ortalamalarının farklılaşıp farklılaşmadığı varyans analizi ile değerlendirilmiş ve etki büyüklükleri hesaplanmıştır. Araştırma verilerini üretmek için MIRTGEN yazılımı kullanılmıştır. Simülasyon yoluyla iki, üç ve beş boyutlu basit yapıda iki kategorili (1-0) üç parametreli lojistik tamamlayıcı modele uygun veriler üretilmiştir. Veri üretiminde madde sayısı sabit (k=30) tutulmuştur. Veri setleri a parametresi, tüm boyutlarda yer alan maddelerin a (ayırt edicilik) değerleri ortalaması 0.00 ve standart sapması 1.00 olan lognormal dağılımdan; b (madde güçlüğü) parametresi ise minimum değeri -1.75, ile maksimum değeri +1.75 olan aralık değerlerden üretilmiştir. Şans parametre değerleri ise c=0.15'e sabitlenmiştir. Yetenek parametreleri için standart normal dağılım kullanılmıştır. Veriler, boyut sayısı, boyutlararası korelasyon ve örneklem büyüklüğü değiştirilerek 25 tekrar ile üretilmiştir. Böylelikle, 3x3x3=27 farklı araştırma koşulu ve 27x25=675 veri seti elde edilmiştir. Her veri seti uygun yöntemler kullanılarak flexMIRT programı ile iki ve üç boyutlu veriler için BA-EM algoritması, beş boyutlu veri yapısı için ise MH-RM algoritması kullanılarak analiz edilmiştir. Araştırmadan elde edilen bulgular, iki, üç ve beş boyutlu veri yapısı için çok boyutlu ve tek boyutlu madde tepki kuramına dayalı olarak yapılan analizlerden elde edilen madde parametre kestirimlerinin her iki model için de yüksek düzeyde ilişkili olduğunu ortaya koymuştur. İki, üç ve beş boyutlu veri yapısında madde parametre değerlerinin kestiriminden elde edilen standart hata kareleri ortalamaları (RMS) karşılaştırıldığında, çok boyutlu MTK'nın tek boyutlu MTK'ya göre daha düşük hatalarla kestirimler yaptığı bulunmuştur. İki, üç ve beş boyutlu veri yapılarında kestirilen yetenek parametre değerlerinin tüm araştırma koşullarında yüksek düzeyde ilişkili olduğu belirlenmiştir. Bunun yanında yetenek parametre kestirimlerinden elde edilen standart hatalar incelendiğinde, tüm koşullar için çok boyutlu madde tepki kuramının daha düşük hatalarla kestirim yaptığı görülmüştür. Çok boyutlu ve tek boyutlu MTK'ya dayalı yapılan analizler sonucunda model-veri uyumları incelenmiş ve çok boyutlu modellerin tüm koşullarda veri ile daha uyumlu olduğu belirlenmiştir. Yetenek parametrelerinden elde edilen standart hata ortalamalarına dayalı olarak yapılan varyans analizi ile veri yapılarının farklı özellikte olmasının, standart hataları etkilediği, boyutlararası ilişki düzeyinin artmasının ise her iki kuramında daha az hatalı sonuçlar üretmesini sağladığı görülmüştür. Araştırma sonucunda, çok boyutlu yapıların analiz edilmesinde çok boyutlu MTK'nın daha iyi sonuçlar verdiği, özellikle birey parametrelerinin kestiriminde ve bireyler hakkında kararlar vermede tek boyutlu MTK'ya göre daha doğru sonuçlar ürettiği belirlenmiştir. Tek boyutlu MTK'nın boyut sayısının az ve örneklem büyüklüğünün yüksek olduğu durumlarda daha iyi birey parametre değeri kestirdiği, çok boyutlu MTK'nın ise boyut sayısının ikiden fazla ve örneklem büyüklüğünün 1000'den fazla olması durumunda daha iyi kestirimler yaptığı sonucuna ulaşılmıştır. Tek boyutlu ve çok boyutlu MTK ile yapılan analizlerde boyutların ilişki düzeyinin artmasının her iki modele dayalı olarak yapılan kestirimleri iyileştirdiği, fakat çok boyutlu MTK'da daha az hatalı kestirimler yapıldığı belirlenmiştir.

Abstract:
The purpose of the research was to compare the estimations of item parameters and ability parameters based on unidimensional and multidimensional item response theory under these conditions: different sample sizes of multidimensional structures (500, 1000 and 2000), correlation between dimensions (0.10, 0.40 and 0.70) and the number of dimensions (two, three and five). The parameter values which were estimated according to the two models were evaluated with item correlation coefficients, and the standard errors of the parameter values were evaluated with Root Mean Squared (RMS), according to the model with lower error outcomes. Goodness of fit statistics; -2loglikelihood, Akaike Information Criterion (AIC) and Bayesian Information Criterion (BIC) were employed to explore the fit of the estimations based on the two theories in the model. In addition, variance analysis was used to determine whether the standard error of the mean obtained from the individual response parameters in all conditions varied. MIRTGEN software was utilized for data simulation. Two, three and five dimensional simple structured data that were fitted to the three complementary categorical (1-0) model were obtained through simulation. The number of items for data simulation was fixed to 30. For parameter a, in data set production, a (item discrimination) values in all the dimensions were produced in the lognormal distribution with the mean of 0.00 and standard deviation of 1.00 and b (item difficulty) values in the range of -1.75 minimum to +1.75 maximum. The values of the guessing parameters were fixed to c=0.15. Standard normal distribution was performed for ability parameters. The data were applied 25 times for production by changing the number of dimensions in data construct, correlation between dimensions and sample size. Thus, 3x3x3=27 different research conditions and 27x25=675 data set were obtained. flexMIRT program was employed as well as apt methods for each data set in data analysis: BA-EM algorithms two and three dimensional data constructs and MH-RM algorithms for five dimensional data construct. The study concluded that the item parameter estimations were highly correlated for both models, as a result of the analyses of two, three and five dimensional data constructs which were performed based on unidimensional and multidimensional item response theory. When the standard RMS values obtained from the estimations of item parameter values in two, three and five dimensional data constructs were compared, it was seen that multidimensional item response theory (IRT) estimated with a lower number of errors in comparison to unidimensional IRT. It was observed that the values of ability parameter which were estimated in two, three and five dimensional data constructs were highly correlated in all research conditions. Besides, it was found that multidimensional item response theory estimated with a lower number of errors in all conditions, when the standard errors obtained from the ability parameter estimations were considered. As a result of the analyses based on unidimensional and multidimensional IRTs, model-data fit values were examined and multidimensional models gave higher fit in the model. As a result of variance analysis, based on the standard error of the mean obtained from the ability parameters, it was concluded that different data constructs influenced the reached standard errors and high correlations between dimensions produced low error outcomes. As a result, it was concluded that multidimensional IRT gave better outcomes in analysis of multidimensional constructs, and produced more accurate results, particularly in estimations of individual response parameters and decision making, when compared to unidimensional IRT. It was also found that unidimensional IRT estimated better ability parameter values when the number of dimensions is low and the sample size is large, and that the number of dimensions higher than two and the sample size larger than 1000 in multidimensional models influenced estimations positively. It was concluded that higher correlations between dimensions improved estimations based on both theories in analyses with unidimensional and multidimensional IRTs but there were estimations with low error outcomes in multidimensions