Psikolojik ölçeklerin çok boyutlu BOBUT olarak uyarlanması
Adaptation of psychological scales as multidimensional cat
Yazar: FAZİLET GÜL İNCE ARACI
Danışman: PROF. DR. ŞEREF TAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Akademik benlik = Academic self ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Psikolojik ölçekler = Psychological scales ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Çok boyutlu ölçekleme = Multidimensional scaling ; Ölçekler = Scales ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın birincil amacı, Akademik Benlik Kavramı (ABK) Ölçeğinin çok boyutlu bilgisayar ortamında bireye uyarlanmış test (çok boyutlu BOBUT) olarak uyarlanmasının uygunluğunu araştırmaktır. Amaç doğrultusunda öncelikle 8. ve 9. sınıf öğrencilerinden ABK ölçeği kağıt-kalem uygulaması verisi toplanmıştır. 1807 öğrenciden toplanan veri ile ölçülen yapının çok boyutluluk özelliği gösterip göstermediği sınanmış ve yapının çok boyutlu olduğuna karar verilmiştir. Gerçekleştirilen faktör analizleri sonucunda ise en uygun modelin maddeler arası boyutluluk (basit çok boyutlu) modeli olduğu belirlenmiştir. Sonraki aşamada, gerçek verilere dayalı post-hoc simülasyon uygulamaları yürütülmüştür. Uygulamalar hem tek boyutlu hem de çok boyutlu BOBUT olarak gerçekleştirilmiştir. Post-hoc simülasyonlarda sonlandırma kuralı olarak standart hata kuralı ve sabit madde sayısı kuralı uygulanmıştır. Çok boyutlu Madde Tepki Kuramı (çok boyutlu MTK) modeli olarak çok boyutlu Aşamalı Tepki Modeli (çok boyutlu ATM) ve çok boyutlu Genelleştirilmiş Kısmi Puanlama Modeli (çok boyutlu GKPM) kullanılmıştır. Araştırmada madde seçme yöntemi olarak iki klasik yöntem olan APrule ve DPrule ile Braeken ve Paap (2020) tarafından alana yeni kazandırılan filtrelenmiş-A(A-filtered), hafif kısıtlanmış-A (A-soft restricted), filtrelenmiş-D (D-filtered) ve hafif kısıtlanmış-D (D-soft restricted) yöntemleri kullanılmıştır. Yeni madde seçme yöntemleri ile ABK Ölçeği-çok boyutlu BOBUT uygulamasında karşılaşılabilecek, madde seçme yöntemi ile sonlandırma kuralı arasındaki asimetri problemine çözüm bulmak amaçlanmıştır. Uygulama bulgularını değerlendirme ve karşılaştırma amacı ile post-hoc simülasyonlar sonucunda her bir boyut için ortalama madde sayısı, bias, RMSD, kağıt-kalem uygulamasından elde edilen θi ve post-hoc simülasyonlar aracılığı ile elde edilen θ ̂_i  değerleri arasındaki korelasyon, ortalama standart hata, uygulanan madde ranjı gibi istatistikler sunulmuştur. Araştırma bulgularına göre, hem klasik hem de yeni madde seçme yöntemleri ile yürütülen uygulamalar istenen ölçme kesinliği, ölçüm doğruluğu ve verimliliği ile tamamlanmıştır. Ancak klasik madde seçme yöntemleri ile yürütülen uygulamaların tamamlanması için gereken ortalama madde sayısı, yeni madde seçme yöntemleri ile yürütülen uygulamalar için gereken ortalama madde sayısından oldukça yüksektir. Çok boyutlu BOBUT ile tek boyutlu BOBUT uygulamaları karşılaştırıldığında ise, tek boyutlu BOBUT uygulamalarının bazı boyutlar için istenen sonlandırma kuralını sağlamakta başarısız olduğu ve kullanılan madde sayılarına göre çok boyutlu BOBUT uygulamalarına göre göreceli etkililiklerinin düşük olduğu tespit edilmiştir. Bulgular doğrultusunda, ölçeğin çok boyutlu BOBUT olarak uyarlanmasının uygun olduğuna karar verilmiştir. Çok boyutlu BOBUT uygulamalarının standart hataya dayalı yürütülmesinde karşılaşılan asimetri probleminden kaçınmak için kullanılan yeni madde seçme yöntemleri ile gerçekleştirilen simülasyonlarda, belirlenen sonlandırma kuralına istenen ölçme doğruluğu ve daha az madde ortalaması ile ulaşılmıştır.

Abstract:
The primary purpose of this research is to investigate the suitability of adapting the Academic Self Concept (ASC) Scale as a multidimensional computerized adaptive test (Multidimensional CAT). In line with the purpose, first of all, data on paper-pencil application of ASC was collected from 8th and 9th grade students. With the data collected from 1807 students, it was tested whether the structure showed multidimensionality and it was decided that the structure was multidimensional. As a result of the factor analyzes carried out, it was determined that the most appropriate model was the between-item dimensionality (simple structure) model. In the next stage, post-hoc simulations, based on real data, were performed. Applications were carried out as both unidimensional CATs and multidimensional CATs. Standard error and fixed item number rules were applied as termination rules in post-hoc simulations. Multidimensional Graded Response Model (Multidimensional GRM) and Multidimensional Generalized Partial Credit Model (Multidimensional GPCM) were used as the Multidimensional Item Response Theory (Multidimensional  IRT) models. Two classical methods, APrule and DPrule, and A-filtered, A-soft restricted, Dfiltered and D-soft restricted methods, which were newly introduced to the field by Braeken and Paap (2020), were used as item selection methods in the research. With the new item selection methods, it is aimed to find a solution to the asymmetry problem between the item selection method and the termination rule, which may be encountered in the application of ASC-Multidimentional CAT. Statistics such as the average number of items for each dimension, bias, RMSD, correlation between θi values obtained from paper-pencil application and θ ̂_i  obtained through post-hoc simulations, mean standard error and applied item range of post-hoc simulations are presented for the purpose of evaluating and comparing the application findings. According to the research findings, the applications carried out with both classical and new item selection methods were completed with the desired measurement precision, measurement accuracy and efficiency. However, the average number of items required to complete the applications carried out with the classical item selection methods is considerably higher than the average number of items required for the applications carried out with the new item selection methods. When multidimensional and unidimensional CAT applications were compared, it has been determined that unidimensional CAT applications fail to provide the desired termination rule for some dimensions and their relative efficiency was found to be lower than the Multidimentional CAT applications according to the number of items applied. In line with the findings, it was decided that it would be appropriate to develop the scale as a multidimensional CAT. In the simulations carried out with the new item selection methods used to avoid the asymmetry problem encountered in the execution of multidimensional CAT applications based on standard error, the determined termination rule was achieved with the desired measurement accuracy and less item average.