Dina modelde Q matrisinin hatalı belirlenmesinin farklı örneklem büyüklüklerinde parametre kestirimine  ve bireylerin sınıflandırılmasına etkisi
The effect of the Q-matrix misspecification on parameter estimation and classification of individuals in differing sample sizes for the Dina model
Yazar: GİZEM UYUMAZ
Danışman: DOÇ. DR. ÖMAY ÇOKLUK BÖKEOĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2016
Konu: Eğitim ve Öğretim = Education and Training
Dizin: DINA model = DINA model ; Hatalı sınıflandırma = Misclassification ; Q matrisi = Q matrix ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bireylerin ölçülen beceri ya da beceriler bakımından sınıflandırılmasının geçerliği, ölçme aracındaki her maddenin, ölçtüğü becerilere göre sınıflandırmada farklı etkiye sahip olmasıyla sağlanır. Bunu temel alan Bilişsel Tanı Modellerinde çıkarımların kalitesi ve sınıflamaların doğruluğu, ölçme aracındaki madde-beceri ilişkilerinin hatasız kurulmasına diğer bir deyişle Q matrisinin hatasızlığına bağlıdır. Q matrisinin hatalı belirlenmesi bireyler hakkında verilen kararların hatalı olmasına sebep olmaktadır. Bu nedenle, temel araştırma niteliğindeki bu çalışmada, DINA modele uygun simülatif olarak oluşturulan farklı örneklem büyüklüklerindeki (250, 500, 1000) veri setlerinde, 30 madde ile 4 beceri ölçülecek biçimde yapılandırılan Q matrisinin farklı biçimlerde hatalı belirlenmesinin (düzen, oran, madde blokları, bağımlılık ilişkisi), madde parametrelerine ve bireylerin sınıflandırılmalarına etkisi incelenmiştir. Üç farklı örneklem büyüklüğü için, 20 farklı koşulda hatalı belirlenen Q matrislerine ilişkin kestirimler, veri setine uygun hatasız Q matrisine ilişkin madde parametreleri ve sınıflamalarla karşılaştırılmıştır. Parametre kestirimleri Bayes kestirimine dayanan Markov Zinciri Monte Carlo yöntemi ile yapılmıştır. Gibbs örnekleyicisinde zincir uzunluğu 5000, yakma periyodu ise 1000 olarak belirlenmiştir ve parametre kestirimleri 4000 iterasyona göre yapılmıştır. Q matrisinde eksik belirleme yapılan koşullarda, eksik belirleme yapılan maddelere ilişkin kaydırma parametreleri ve bunlara ilişkin standart hata değerleri, fazla belirleme yapılan koşullarda ise fazla belirleme yapılan maddelere ilişkin tahmin parametreleri ve bunlara ilişkin standart hata değerleri gerçek değerinden yüksek değerde kestirilmiştir. Ele alınan koşulların tümünde, parametre kestirimleri Q matrisinin hatalı belirlenmesinden etkilenmektedir. Fakat bireylerin hatalı Q matrisi kullanılarak olası farklı örtük sınıflara yerleştirilmelerindeki oranları ile hatasız Q matrisi ile elde edilen sınıflama oranları farklılaşmamaktadır. Q matrisi hatalı belirlendiğinde, incelenen tüm örneklem büyüklüğü koşullarında, parametre kestirimleri hatalı olmaktadır ancak kestirimlerdeki hata miktarı örneklem büyüklüğüne göre düzenli bir farklılaşma göstermemektedir.


Anahtar Kelimeler: Q matrisi, hatalı belirleme, DINA model

Abstract:
The validity of the classification of individuals with respect to the attribute or attributes that are tested, is provided when each item in the scale has a different effect on the classification according to the tested attributes. In CDMs, based on this condition, the quality of implications and the accuracy of classification depend on developing proper item-attribute relationships, in other words, the correctness of Q-matrix. Misspecification of the Q-matrix leads to the incorrect decisions about the individuals. Therefore, the present study, serving as a fundamental research, investigates the effect of the Q-matrix misspecification to be constructed to assess 30 items and 4 attributes in different ways (array, percentage, item blocks, dependency relationship) in the data sets having differing sample sizes (250, 500, 1000), which are designed as a simulation in accordance with the DINA model, on item parameters and classification of individuals. It compares estimation for Q matrix that is misspecified in 20 different conditions, item parameters and classifications with respect to the correctly estimated Q-matrix appropriate to data set for three different sample sizes. Parameter estimations were made using Marcov Chain Monte Carlo method based on Bayesian estimation. The chain length was 5000 and the burn-in was 1000 in Gibbs sampling and parameter estimation was made according to 4000 iteration.  In case of under-specification in Q-matrix, slipping parameters for under-specified items and their standard error values related to these; in case of over-specification, guessing parameters related to over-specified items and their standard error values related to these were overestimated.  Parameter estimation is affected by the Q-matrix misspecification in all of the conditions discussed. However, the rate of placing individuals to the different latent classes by using the misspecified Q-matrix, and the classification ratios obtained through the correctly estimated Q-matrix do not become distinct. When the Q-matrix is misspecified, parameter estimation is expected to be faulty under all observed sample size conditions. Nevertheless, the amount of error in estimation does not show a regular variation in accordance with the sample size.


Keywords: Q-matrix, Misspecification, DINA model