Çok kategorili maddelerde çok boyutlu madde tepki kuramına dayalı parametre kestirimlerinin karşılaştırılması
Comparison of parameter estimation based on multidimensional item response theory in polytomous items
Yazar: SERAP BÜYÜKKIDIK
Danışman: DOÇ. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory ; Parametre tahmini = Parameter estimation ; Parametreler = Parameters ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Çok kategoride puanlanan maddeler = Polytomous items

Özet:
Bu araştırmanın amacı, çok kategorili çok boyutlu yapıların, farklı örneklem büyüklüğü (1500 ve 3000), madde sayısı (12, 24, 36), boyutlar arası korelasyon (0,20; 0,50 ve 0,80), kategori sayısı (üç ve beş) ve boyut sayısı (iki, üç) koşulları altında, çok boyutlu madde tepki kuramı modellerinden aşamalı tepki modeli kullanarak kestirilen madde ve yetenek parametrelerininin hata ve yanlılığını karşılaştırmaktır. Hatalar hata ortalamalarının karekökü (RMSE) ve yanlılık (bias) değerleri farklı koşullarda ve farklı algoritmalarla (EM, MHRM, QMCEM) incelenerek alanyazına katkı sağlanmaya çalışılmıştır. Çalışmanın verileri çok kategorili verilerin çok boyutlu madde tepki kuramı çerçevesindeki modellerden aşamalı tepki modeline uygun olarak farklı simülasyon koşullarında R yazılımı kullanılarak üretilmiştir. Verilerin üretilmesinde çok kategorili gerçek madde parametreleri ve alanyazındaki çalışmalar göz önüne alınmıştır. a ve b parametreleri tekdüze (uniform)  dağılımdan üretilmiştir. Yetenek parametresi ise 𝚺 yeteneğin varyans-kovaryans matrisi olacak şekilde çok değişkenli normal dağılımdan 𝛉~𝑀𝑉𝑁(0,𝚺) üretilmiştir. Analizler, 72 (3x3x3x2x2=72) farklı koşulda 100 replikasyonla 7200 veri setiyle ve üç algoritmayla (EM, MHRM, QMCEM) R yazılımında gerçekleştirilmiştir. Elde edilen bulgular doğrultusunda her üç algoritmayla da madde ve yetenek parametrelerine ait RMSE değerlerinin örneklem büyüklüğü ve madde sayısı arttıkça genellikle azaldığı görülmüştür. Korelasyon değerlerinin artmasının ise madde parametrelerinin RMSE ve yanlılık değerlerinin artmasında ya da azalmasında bir örüntüye neden olmadığı bulunmuştur. Boyutlar arası korelasyonun değişmesi yetenek parametrelerinin hata ve yanlılık değerlerinde bir etkiye sahip olmamıştır. Kategori sayısının artması yetenek parametrelerine ait RMSE değerlerinde daha büyük bir düşüşe neden olurken, madde parametrelerinde ise 1500 örneklem koşulunda çoğu madde parametrelerinde kısmen azalmaya sebep olmuştur. Ayrıca üç boyutlu verilerde genellikle madde parametrelerine ait en yüksek RMSE değerleri EM algoritmasıyla elde edilmiştir. İki ve daha fazla boyutla çok kategorili çok boyutlu madde tepki kuramında analizler gerçekleştirecek araştırmacılara mümkün olduğunca büyük örneklem, en az 24 madde, beş kategori ve QMCEM algoritmasıyla çalışmaları önerilmektedir. Her bir simülasyon koşulu ve madde parametresi için hesaplanan yanlılık değerleri sıfıra ve birbirine oldukça yakın olduğu bulunmuştur. Yetenek parametrelerine ait yanlılık değerleri madde sayısından ve örneklem büyüklüğünden büyük ölçüde etkilenmemiştir. Ancak genellikle küçük örnekleme ve az madde sayısına sahip koşullardan elde edilen yanlılık değerleri daha yüksektir. Kestirilen yanlılık değerlerinin oldukça küçük değerlere sahip olması nedeniyle yanlılığın genel olarak birbirine yakın olduğu görülmektedir.

Abstract:
The purpose of this research was to compare the error and bias terms of the item and ability parameters for polytomous multi-dimensional structures estimated by graded response model, a polytomous item response model, under the following conditions: Sample size (1500 and 3000), number of items (12, 24, 36), interdimensional correlations (0.20; 0.50 0.80), number of categories (three and five) and number of dimensions (two and three). This research aimed to contribute to the literature by investigating Root Mean Square Error (RMSE) and bias terms under different conditions and different algorithms (EM, MHRM, QMCEM). The data were generated using R software under different simulation conditions in accordance with graded response model within the frame of polytomous multidimensional item response theory. Real polytomous item parameters and the research in the literature were taken into consideration during data simulation process. The parameters, a and b, were generated from a uniform distribution. The ability parameter was generated from a multivariate normal distribution 𝛉~𝑀𝑉𝑁(0,𝚺), where 𝚺 represents variance-covariance matrix for ability. The analysis was performed with R software using 72 different conditions (3x3x3x2x2=72), 100 replications, 7200 data sets and three algorithms (EM, MHRM, QMCEM). The results indicated that RMSE values for the item and ability parameters for each algorithm generally decreased when sample size and number of items increased. The increase in correlation values did not produce a pattern for increasing or decreasing RMSE and bias values of item parameters. The change in the correlation within the dimensions had no effect in the values of error and bias of item parameters. The increase in the number of categories (from three to five) caused a sharp decrease in RMSE values of ability parameters while it caused a sharp decrease in the RMSE values of item parameters. However, the increase in the number of categories caused a slight decrease in most of the item parameters under the condition of sample size of 1500. Besides, the highest RMSE values belonging to item parameters for three dimensional data were generally obtained with the EM algorithm. Future research on polytomous multidimensional item response theory may consider using a large sample size of at least at 24 items and five categories and QMCEM algorithm for smaller RMSE or bias terms. It was found that bias values estimated for each simulation condition and item parameters were close to zero and each other. The bias values for ability parameters were not affected to a great extent by number of items and sample size. However, bias values estimated from the conditions that had small sample size and fewer number of items were generally higher. In the all conditions, as the bias values estimated were small it was seen that bias values was generally close to each other.