Karma yapıdaki geniş ölçekli Naep fen bilimleri testinin boyutluluk yapısının çok boyutlu madde tepki kuramına göre incelenmesi
Using Naep science achievement test data to explore the dimensional structure of a complex large scale assessment using multidimensional item response theory
Yazar: ARİFE KART ARSLAN
Danışman: DR. ÖĞR. ÜYESİ ÖMER KUTLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory

Özet:
Bu araştırmanın amacı Tek Boyutlu Madde Tepki Kuramı modelleri, Çok Boyutlu Madde Tepki Kuramı modelleri ve Bifaktör modeller (BF) kapsamında karma test formatında uygulanan, hem ayrı hem de eş zamanlı kalibre edilen NAEP 2011 yılı Fen Bilimleri Testinin madde türü, içerik alanı ve bilişsel süreçler (fen uygulamaları) değişkenlerine ve bu değişkenlerin birleşimlerine ilişkin madde parametrelerinin kestirim tekniği, standart hata kestirim tekniği, test uzunluğu, faktör yapıları ile test yapısının model-veri uyumları açısından genel uyum iyiliği indislerinin ve madde-model uyum indislerinin belirlenmesi ve bu kestirimlere dayalı gerçek verinin boyutluluk durumlarını ortaya koymaktır. Araştırma, uygulamalı araştırma niteliğinde nicel bir çalışmadır. Bu durum, çalışmaya kuramsal açıdan yeni bir bakış açısı sunmaktadır. Araştırmanın genel amacı doğrultusunda model-veri ve madde-model uyum indisleri incelenmiştir. Araştırma verilerinin çözümlenmesinde ilgili değişkenler ve bu değişkenlerin birleşimleri farklı Madde Tepki Kuramı modelleri kapsamında hem iki kategorili hem de çok kategorili modellerle karşılaştırmalı olarak ele alınmış ve en iyi modelin belirlenmesi sürecinde Tek Boyutlu Madde Tepki Kuramı, Bifaktör ve Çok Boyutlu Madde Tepki Kuramı modelleriyle ölçme modelleri ortaya konulmuştur. Araştırmanın sonucunda örneklem büyüklüğü sabit kaldığında test uzunluğunun önemli bir değişken olduğu, yanıtı yapılandırılmış açık uçlu maddelerin teste eklenmesinin önemli bir etken olduğu, testte yer alan yanıtı yapılandırılmış açık uçlu madde sayısının arttırılması durumunda kısa testlerde bile çok boyutluluğa yol açtığı belirlenmiştir. Ayrıca testte yer alan yanıtı yapılandırılmış açık uçlu maddelerin testin daha doğru geçerlik ve güvenirlik değerlerini ortaya koyduğu, yanıtı yapılandırılmış açık uçlu maddelerden elde edilen bilginin çoktan seçmeli maddelerden elde edilen bilgiden nispeten daha fazla olduğu ve yüksek ayırt edicilik parametre değerlerinin test maddeleri hakkında daha fazla bilgi verdiği görülmüştür. Bununla birlikte karma testlerin eş zamanlı kalibrasyonunun yüksek bilgi oranlarının elde edilmesinde ve ölçme duyarlılığının artışında önemli bir etken olduğu gözlenmiştir. Diğer taraftan düşünme becerileri madde türleri tarafından ölçülmektedir ve bu durumda madde türlerinin tek başına bir boyut oluşturabildiği belirlenmiştir. NAEP fen bilimleri testinin, Doğrulayıcı Faktör Analizi ile Bifaktör modellerle de daha iyi uyum sağlayabileceği sonucuna ulaşılmıştır. Bununla birlikte, test verisi çok boyutlu modellerle karmaşık test yapısı ile daha iyi uyum sağlamıştır. Ayrıca alt testlerde karmaşık yapı sergileyen modellerin temelde yarı karışık test yapısını da temsil ettiği gözlenmiştir. NAEP çok boyutlu test verisi hem Açımlayıcı Faktör Analizi hem Doğrulayıcı Faktör Analizi hem de Bifaktör modelleriyle de uyum göstermiştir ancak model karşılaştırmalarında testte yer alan maddelerin karakteristik niteliklerinden dolayı Açımlayıcı Faktör Analizi ile daha başarılı sonuçlar vermiştir. Bu durumda çok boyutlu veriler her modelle uyum sağlasa da en iyi modelin ortaya konulmasında kuramsal temellere dayandırılmasının ve araştırmacının görüşünün önemli olduğu vurgulanmıştır. Tek boyutlu modellerde test verisinde madde-model uyumunu bozan veya madde-model uyumu için incelenmesi gereken maddelerin daha fazla olduğu belirlenmiştir. Madde-model uyum indisleri incelendiğinde modeller ayrı kalibre edildiğinde madde-model uyumsuzluğunu gösteren çok sayıda madde bulunurken eş zamanlı kalibre edildiğinde madde-model uyumsuzluğunu gösteren az sayıda madde olduğu belirlenmiştir. Diğer taraftan ayrı kalibre edilen tek boyutlu modellerde yer alan birçok çoktan seçmeli maddenin 1. tip hata oranını arttırdığı belirlenmiştir. Çoktan seçmeli madde sayısı azaltılmalıdır. Madde-model ve model-veri uyumunu bozan ve daha üst düzey düşünme becerisi gerektiren çoktan seçmeli maddeler, yanıtı yapılandırılmış açık uçlu madde türüne dönüştürülmelidir. NAEP test verisi, Genelleştirilmiş Kısmi Puanlamalı Model, MH-RM ve SEM teknikleriyle daha başarılı sonuçlar ortaya koymuştur. NAEP verisi BA-EM algoritması ve Dereceli Tepki Modeli ile uyum göstermemiştir. Fizik Bilimleri içerik alanı ile fen uygulamalarının üst basamağı olan bilimsel sorgulama becerisi alt testleri çözümsüz kalmıştır. Bir başka anlatımla, tek boyutluluk dahi sağlanamamıştır. Küme maddeler, test verisinin model-veri uyumunu bozmaktadır. Model-veri uyumunun bozulmasında ayırt edicilik parametresinin çok kategorili modellerde kategori tepki derecesinden etkilendiği belirlenmiştir. Test verisinde yer alan 3, 4 ve 5 kategorili yanıtı yapılandırılmış açık uçlu maddeler birleştirilmelidir ya da 4 ve 5 kategorili yanıtı yapılandırılmış açık uçlu maddeler birleştirilerek testte yanıtı yapılandırılmış açık uçlu maddelerin sayısı arttırılmalıdır. Madde türü değişkeni açısından test verisi iki boyutlu, içerik alanı değişkeni açısından test verisi üç boyutlu ve bilişsel süreçler değişkeni açısından ise test verisi iki boyutludur.

Abstract:
The purpose of this research is to reveal the model-data fit, item-model fit, and determine to the dimensionality of the NAEP 2011 Science Assessment by examining the parameters in item level with overall goodness of fit indices both separate and simultaneously calibration. In this context, the combination of the item type, the combination of the science content areas and the cognitive skills (the combination of the science practices) has been taken into consideration within the scope of the Unidimensional Item Response Theory, Multidimensional Item Response Theory and Bi-Factor models in the real mixed format test. Accordingly, for this purpose, the item parameter estimation techniques, the standard error estimation techniques, the test length, the factor structure and the test structure variables are used. The research is a quantitative study which is a practical research attribute. In the context of the general purpose of the research, it was investigated the item-model fit indices and the model-data fit indices. The relevant variables and the combination of these variables were dealt with in comparative within the variety Item Response Theory models with both dichotomous and polytomous models and in the process of determining the best model, the measurement models were being revealed by Unidimensional Item Response Theory models, Bi-Factor models and Multidimensional Item Response Theory models. As a result of the study, it has been concluded that if the sample size is kept constant, it has been determined that the test length is an important variable, the addition to the constructed response items to the test is an significant factor, and the data might be able to compatible with the Confirmatory Factor Analysis and Bi-Factor models as well, and even in the short tests, if the constructed response items are increased in the test, it leads to multidimensionality. Besides it has been determined that the constructed response items give the better validity and reliability values and provide the higher information than multiple-choice items. Moreover, it is seen that the higher discrimination parameter values give more information about the test items. In addition to this, the results indicate that when the models are calibrated simultaneously in mixed item tests, this is an important factor to increase overall measurement accuracy and obtain high information from the tests. On the other hand, thinking skills are measured by different item types and this situation reveals that even one items on its own constructs one dimension. However, the data are more compatible with the multidimensional complex test structure models. Furthermore, it has been observed that the models which coincide with complex structures in the subtests essentially represent the semi-mixed test structure as well. When models are calibrated separately, it is seen that there are many misfit items than the models are calibrated simultaneously. On the other hand, it has been determined that when models are calibrated separately, Type 1 error rate increases in the unidimensional models which have multiple choice items. Therefore, the number of multiple choice items should be decreased in the test. However, these multiple choice items are related higher order thinking skills, and therefore, these items should be used as constructed response items. The multidimensional NAEP Assessment are compatible with both the Exploratory Factor Analysis models, the Confirmatory Factor Analysis models, and the Bi-Factor models as well, but due to the unique characteristics of items, the data have yielded more successful results with Exploratory Factor Analysis model structures in the model comparisons. In this situation, even though the multidimensional data are compatible with all models, it has been emphasized that it is more important the researcher's impressions, observations and interpretations based upon the theoretical foundations in the creation of the best model. It has been determined that in revealing item-model fit in the data, misfit items, or item which require more investigation are more located in the unidimensional models. The NAEP Assessment produced more successful results with the Generalized Partial Credit Model, the MH-RM and Supplemented EM techniques. The NAEP Assessment did not fit into the BA-EM algorithm and Graded Response Model. The Physical Science content area, and the Using Science Inquiry Skill represented the Science Practices which refer to the top level of the Science Practices, had remained unsolved. In other words, even the unidimensionality could not be provided. The cluster items deteriorate the model-data fit. The constructed response items which consist of 3, 4, and 5 categories should either be merged or increased after they are merged in their own categories in the test. When examined the data, it is seen that the data set is two-dimensional in terms of the item type variable, is three-dimensional with respect to the Science content area, and is two-dimensional in regards the Science Practices.