Derecelendirme ölçeklerindeki tepki stillerinin karma MTK ve çoklu süreç MTK yöntemlerine göre incelenmesi
Investigation of response styles in rating scales according to mixture and multi-process IRT methods
Yazar: HALİME YILDIRIM HOŞ
Danışman: PROF. DR. NİLÜFER KAHRAMAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı /  Eğitim Bilimleri Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Tepki stillerinin modellenmesine odaklanan bu çalışma, katılımcıların tepki eğilimlerinin iki farklı model çatısı altında modellenmesini içermektedir. Bu amaçla, TIMSS 2019 8.sınıf Fende Kendine Güven Ölçeğindeki tepki stillerinin incelenmesinde Karma DTM ve Çoklu-Süreç MTK modelleri kullanılmıştır. Çalışmanın analizleri üç aşamalı olarak tasarlanmış olup ilk aşamada, tepki stillerini evrendeki gözlenemeyen heterojenliğin bir kaynağı olarak ele alan Karma DTM ile evrendeki heterojenliği dikkate almayan DTM model veri uyumları karşılaştırılmıştır. Veriye en iyi uyum sağlayan modelin üç sınıflı sınırlandırılmış Karma Model olduğu belirlenmiştir. İlk aşama kapsamında, üç sınıflı sınırlandırılmış Modeldeki herbir örtük sınıf için sınıf-özel kategori eşik parametreleri ve beklenen kategori frekansları incelenerek tepki stilleri; Uç Tepki Stili, Kabullenici Tepki Stili ve Sıradan Tepki Stili sınıfları olarak özelleştirilmiştir. Ardından, tepki stilleri örtük sınıflarındaki gözlenen heterojenliğin kaynakları olarak fen başarısı yeterlik düzeyi ve cinsiyet kovaryant değişkenlerinin etkilerinin kontrol edilmesi ile model iyileşmesi değerlendirilmiştir. Koşulsuz modele dâhil edilen kovaryant değişken etkilerinin kontrol edilmesi ile model uyum indekslerinde iyileşme gözlendiği sonucuna ulaşılmıştır. Ayrıca tepki stillleri örtük sınıflarındaki kız ve erkek öğrencilerin ölçek maddelerinin tepki kategorilerini oldukça benzer şekilde kullandıkları, ancak UTS ve KTS sınıflarındaki alt düzey altı ve alt yeterlik düzeyindeki öğrencilerin ise olumsuz ifade edilmiş maddelere, madde içeriğinden bağımsız olarak biraz katılma/çok katılma eğiliminde oldukları belirlenmiştir. Çalışmanın ikinci aşamasında, tepki stillerini sürekli değişkenler olarak ele alan iki farklı Çoklu-Süreç Modeli test edilmiştir. İlk model Ç-SM1'de bireyin aslî özelliği ve uç tepki stili, ikinci model Ç-SM2'de ise bireyin aslî özelliği ve pozitif ve negatif olmak üzere iki ayrı uç tepki eğilimini yansıtan uç tepki stilleri örtük özellikleri modellenmiştir. Bu modellerden Ç-SM2'nin veriye daha iyi uyum sağladığı belirlenmiş olup, kovaryant değişkenlerin Ç-SM2'den elde edilen fende kendine güven ve uç tepki stilleri örtük değişkenleri üzerindeki etkisinin kontrol edilmesi ile model veri uyumunun iyileştiği belirlenmiştir. Çalışmanın son aşamasında ise tepki stilllerini ele alış yoluna göre farklılaşan sınırlandırılmış Karma DTM ve Ç-SM2'den elde edilen tutum puanlarının DTM'den elde edilen tutum puanlanları ile benzer bir açıda dağıldığı gözlenmiştir. Özel olarak sınırlandırılmış Model yaklaşımında, fark puan dağılımının %20'sinde azımsanmayacak düzeyde bir değişim gözlenirken, Ç-SM2 için bu değişimin daha küçük düzeyde olduğu belirlenmiştir. Bu araştırmanın sonuçları, sınırlandırılmış Karma DTM özelinde tüm bireyleri aynı homojen evrenden gelme varsayımının, başka bir ifadeyle yetenek ve madde parametlerinin değişmezliğinin pratikte gerçek olmadığını, evrende gözleyemediğimiz örtük grupların varlığının bu parametrelerin kestirimlerinde yol açtığı yanlılığı destekler niteliktedir. Ayrıca bu çalışma, Çoklu-Süreç Modelleme yaklaşımlarının tepki stillerini ele alması ve veriye daha iyi uyum sağlaması gibi yönleriyle standart DTM'ye kıyasla tercih edilebilir bir model olabileceğini göstermektedir. Bu sonuçlar ışığında, uygulayıcıların kendi çalışmalarında kendi koşullarına göre hangi modeli seçmelerinin uygun olacağı yönünde bilgi sunması, yol göstermesi ve tepki stillerinin varlığını, yetenek kestirimleri üzerindeki etkisini göstermesi bakımından bu çalışma önemli görülmektedir.

Abstract:
Focusing on the modeling of response styles, this study includes modeling the response styles of the participants under two different models. For this purpose, Mixture GRM and Multi-Process IRT models were used to examine the response styles in the TIMSS 2019 8th Grade Science Self Confidence Scale. The analyzes of the study were designed in three stages, and in the first stage, the data fit of the Mixture DTM and DTM model were compared. It was determined that the model that best fitted the data was the three-class constrained Mixture Model. In the first stage, class-specific category threshold parameters and expected category frequencies for each latent class in the three-class constrained Model were examined and response styles; Extreme Response Style, Accepting Response Style and Ordinary Response Style were determined as latent classes. Then, model improvement was evaluated by controlling the effects of science achievement proficiency level and gender covariant variables as the sources of the observed heterogeneity in the latent classes of response styles.  In the conditional model analysis, it was concluded that the model fit indices improved by controlling the effects of the covariant variables added to the constrained model. In addition, it was determined that male and female students in the latent classes with response styles used the response categories of the scale items quite similarly. It was determined that the students at the lower level and at the lower proficiency level in the UTS and KTS classes tended to agree a little/agree a lot with the negatively expressed items, regardless of the item content. In the second stage of the study, two different Multi-Process Models that consider response styles as continuous variables were tested. In the first model, M-PM1 is the latent trait and extreme response style, and in the second model, M-PM2 is the latent trait and positive and negative extreme response styles that reflect two different extreme response tendencies. The model fit indices calculated for the Multi-Process Models showed that M-PM2 fitted the data better. In the last stage of the Multi-Process Model analysis, model improvement was evaluated by controlling the effect of covariate variables on the latent variables of extreme response styles estimated from M-PM2. According to nested model difference tests and model-data fit indices, it was determined that controlling the effects of predictive variables improved model-data fit. In the last stage of the study, how the constrained Mixture Model and M-PM2 ability estimations differed from the GRM ability estimations were examined through the distributions of the model ability estimations. Then, the direction and magnitude of the bias in ignoring sample heterogeneity or not including multiple-processes in response tendencies were evaluated over difference score distributions. In the specially constrained Model approach, a substantial change was observed in 20% of the difference score distribution, while it was determined that this change was at a smaller level for M-PM2. The results of this research show that the constrained Mixture Model and M-PM2 offer improved ability estimations compared to GRM. In addition, this study shows that Multi-Process Modeling approaches are a preferable model compared to standard GRM in terms of handling response styles and better fit to data. In the light of these results, this study is considered important in terms of providing information and guiding practitioners in terms of which model would be appropriate to choose according to their own conditions in their own studies, showing the existence of response styles and its effect on ability estimations.