Klasik ve bayesçi yaklaşımlara göre Madde Tepki Kuramı parametre kestirimlerinin farklı simülasyon koşullarında karşılaştırılması
Comparison of Item Response Theory parameter estimations according to classical and bayesian approaches in different simulation conditions
Yazar: ERAY SELÇUK
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bayes Kestirim Yöntemi = Bayes Estimation Method ; Benzetim = Simulation ; En yüksek olabilirlik = Maximum possibility ; Madde Tepki Kuramı = Item Response Theory ; Parametre kestirim yöntemleri = Parameter estimation methods ; Programlama dilleri = Programming languages ; R programı = R program

Özet:
Bu araştırmanın amacı, farklı simülasyon koşularında Klasik ve Bayesçi yaklaşımlara göre Madde Tepki Kuramı (MTK)'nın yetenek ve madde parametre kestirimlerinin karşılaştırılmasıdır. Bu amaçla; önsel yetenek (theta) dağılım biçiminin, örneklem büyüklüğünün, madde sayısının ve modelin kestirilen parametre sayısının değişimlerine bağlı olarak; klasik en çok olabilirlik ve Bayes yöntemine göre kestirilen yetenek ve madde parametreleri ile bu parametrelerin RMSE değerlerindeki farklılaşmalar incelenmiştir. Verilerin üretilmesinde Monte Carlo Simülasyon tekniği kullanılmıştır. Buna göre; parametre kestirim yöntemleri sabit tutularak, farklı önsel yetenek dağılım biçimleri, örneklem büyüklüğü, madde sayısı ve modelin kestirilen parametre sayısı değişimlenerek simülasyon koşulları oluşturulmuştur. Önsel yetenek dağılımı (normal, sola çarpık, sağa çarpık, sivri ve basık), madde sayısı (10, 20, 40), örneklem büyüklüğü (100, 500, 1000), model parametre sayısı (2 PL, 3 PL) olmak üzere 5x3x3x2=90 adet simülasyon koşulu 100 tekrarla gerçekleştirilmiştir. Verilerin üretilmesinde, parametrelerin ve RMSE değerlerinin kestiriminde, RMSE değerlerindeki farklılaşmaların incelenmesinde ve grafiklerin çiziminde R programlama dili kullanılmıştır. Simülasyon koşullarına göre üretilen verilerin MTK varsayımlarına göre tek boyutluluk, yerel bağımsızlık ve model-veri uyumu analizleri yapılmıştır. Ayrıca simülasyon verilerinin geçerliği için istatistiksel ve mantıksal kontroller yapılmıştır. Simülasyon koşullarının her birinde klasik ve Bayesçi yaklaşımlara göre MTK'nın yetenek ve madde parametre kestirimlerindeki RMSE değerlerinin farklılaşmaları incelenmiştir. Farklılaşmaların belirlenmesinde karma model ANOVA analizi gerçekleştirilmiştir. Buna göre önsel yetenek dağılımı normal, sola çarpık, sağa çarpık, sivri ya da basık olan verilerde klasik (en çok olabilirlik) ve Bayes kestirimler arasında hem yetenek hem de madde parametrelerinin RMSE değerlerinde manidar farklılaşmalar olduğu görülmüştür. 2 PL modelde kestirilen yetenek parametresi ve RMSE değerlerinin farklılaşmasında önsel yetenek dağılım biçimi, madde sayısı ve kestirim yöntemi; 3 PL modelde kestirilen yetenek parametresi ve RMSE değerlerindeki farklılaşmalarda önsel yetenek dağılım biçimi ve madde sayısı etkili olmuştur. 2 PL modelde kestirilen madde ayırt edicilik parametresi RMSE değerlerinde önsel yetenek dağılım biçimi, örneklem büyüklüğü ve kestirim yöntemi manidar farklılaşma yaratırken madde güçlük parametresi RMSE değerlerinde hiçbir koşul manidar bir farklılaşma oluşturmamıştır. 3 PL modelde kestirilen madde ayırt edicilik RMSE değerlerinde önsel yetenek dağılım biçimi, örneklem büyüklüğü ve kestirim yöntemi; şans parametresi RMSE değerlerinde önsel yetenek dağılım biçimi ve kestirim yöntemi manidar farklılaşma oluşturmuştur. Ancak madde güçlük parametreleri RMSE değerlerinde hiçbir koşul manidar farklılaşma oluşturmamıştır. Yetenek ve madde parametreleri için manidar olan durumlar önsel yetenek dağılımı sola ve sağa çarpık olduğu, örneklem büyüklüğünün küçüldüğü ve madde sayısının azaldığı durumlarda Bayes kestirim yöntemi lehinedir. Bayes kestirim yöntemi klasik en çok olabilirlik yöntemine göre daha düşük hata değerleri kestirmektedir. Buna göre önsel yetenek dağılımı normalden dağılımdan uzaklaştıkça, örneklem küçüldükçe ve madde sayısı azaldıkça yetenek ve madde parametrelerinin kestiriminde Bayes yönteminin kullanılması önerilmektedir.

Abstract:
The purpose of this research is to compare the ability and item parameter estimations of Item Response Theory (IRT) according to the Classical and Bayesian approaches in different simulation conditions. For this purpose, normal, skewed left, skewed right, leptokurtic, platykurtic five different type including the distribution sample size, item count (test length), and estimated parameters of the model depending on the number of cases of classical maximum likelihood method and the Bayesian method to differentiation according to the differences in ability and item parameters and the RMSE value were investigated. Monte Carlo Simulation technique was used to generate the data. According to this; by keeping the estimation methods constant, simulation conditions were created by manipulating the sample size, item count and parameters of the model in different types of distribution. Prior distribution (normal, skewed left, skewed right, leptokurtic, platykurtic), item count (10, 20, 40), sample size (100, 500, 1000), model parameters (2 PL, 3 PL) and 5x3x3x2=90 simulation conditions were carried out with 100 replications. The R program was used to generate the data, estimate the parameters and draw the graphs. The unidimensionality, local independence and model-data fit analyzes of the data produced according to the simulation conditions were made according to the assumptions of the IRT. Also, statistical and logical validity checks were made for the simulation data. In each of the simulation conditions, the differences in the RMSE values in the ability and item parameter estimations of the IRT according to the maximum likelihood and Bayesian approaches were examined. Mixed model ANOVA analysis was performed to determine the differentiations. Accordingly, it was observed that there were significant differences in the RMSE values of both ability and item parameters between classical (maximum likelihood) and Bayesian estimations in data with normal, left skewed, right skewed, leptokurtic or platykurtic a priori ability distribution. The a priori ability distribution type, number of items and estimation method were significant in the differentiation of the estimated ability parameter and RMSE values in the 2 PL model. The a priori ability distribution type and the number of items were significant in the differences in the ability parameter and RMSE values estimated in the 3 PL model. While a priori ability distribution type, sample size and estimation method created significant differences in the RMSE values of the item discrimination parameter estimated in the 2PL model, none of conditions created a significant difference in the RMSE values of the item difficulty parameter. A priori ability distribution type, sample size and estimation method created significant differences in the item discrimination RMSE values predicted in the 3PL model. Prior ability distribution and estimation method created significant differentiation in the RMSE values of the lower asymptote parameter. However, none of the conditions created a significant difference in the RMSE values of item difficulty parameters. Significant conditions for ability and item parameters are in favor of Bayes estimation method when the a priori ability distribution is skewed to the left and right, the sample size is smaller and the number of items decreases. Bayesian estimation method estimates lower error values than classical maximum likelihood method. Accordingly, as the a priori ability distribution moves away from the normal distribution, as the sample gets smaller and the number of items decreases, it is recommended to use the Bayesian method in the estimation of ability and item parameters.