Çok kategorili bireyselleştirilmiş bilgisayarlı test uygulamalarının farklı madde seçim yöntemlerinde sonlandırma kuralları açısından incelenmesi
Investigation of different item selection methods in terms of stopping rules in polytomous computerized adaptive testing
Yazar: SÜLEYMAN DEMİR
Danışman: DR. ÖĞR. ÜYESİ DERYA ÇOBANOĞLU AKTAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Madde seçme yöntemi = Item selection method ; Sonlandırma kuralı = Stopping rule ; Ölçekler = Scales ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada, Bireyselleştirilmiş Bilgisayarlı Test (BBT) uygulamalarında kullanılan farklı madde seçim yöntemleri ve sonlandırma kurallarının Mesleki Olgunluk Ölçeğinin madde parametreleri kullanılarak simülatif veri ile karşılaştırılması, elde edilen en uygun madde seçim yöntemi ve sonlandırma kuralı kullanılarak BBT uygulamasının geçerliğinin test edilmesi amaçlanmıştır. Bu amaç doğrultusunda çalışmanın ilk aşamasında, Kuzgun ve Bacanlı tarafından geliştirilen Mesleki Olgunluk Ölçeğine ait maddeler kullanılarak BBT uygulaması için madde havuzu oluşturulmuş ve Mesleki Olgunluk Ölçeği madde parametreleri 667 bireyden elde edilen verilere göre belirlenmiştir. Mesleki Olgunluk Ölçeği madde parametreleri kullanılarak üretilen simülatif verilerle farklı madde seçim yöntemleri (Maksimum Fisher Bilgi, Olabilirlikle Ağırlıklandırılmış Maksimum Bilgi,  Sonsal Dağılımla Ağırlıklandırılmış Maksimum Bilgi, Beklenen Maksimum Bilgi, Beklenen Minimum Sonsal Varyans,  Sonsal Dağılımla Ağırlıklandırılmış Beklenen Maksimum Bilgi) ve farklı sonlandırma kuralları altında (SH<0.30, SH<0.50, SH<0.70, MS=10 madde, MS=20 madde) madde sayısı ortalaması, standart hata ortalamaları, korelasyon katsayıları, yanlılık ve RMSE istatistikleri hesaplanarak incelenmiştir. Farklı madde seçim yöntemleri altında standart hata ortalamaları, korelasyon katsayıları, yanlılık ve RMSE istatistikleri tüm koşullar için birbirine benzer sonuçlar vermiştir. Bu istatistikler açısından madde seçim yöntemleri arasında farklılık olmamasına rağmen madde sayısı ortalaması düşünüldüğünde BBT uygulamasında kullanılacak en uygun madde seçim yöntemi olarak Maksimum Fisher Bilgi yöntemi ve sonlandırma kuralı olarak ise SH<0.30 olarak belirlenmiştir. Çalışmanın ikinci aşamasında Mesleki Olgunluk ölçeğinin BBT uygulaması CONCERTO platformu üzerinden hazırlanmıştır. BBT uygulaması sonucunda 33 birey için minimum 8, maksimum ise 28 madde uygulanarak mesleki olgunluk düzeyi kestirimi yapılmıştır. BBT ile KKT uygulamasından elde edilen mesleki olgunluk düzeyleri arasında orta düzeyde, pozitif yönlü anlamlı bir ilişki bulunmuştur (r=0.535, p<0.05).

Abstract:
In this study, it is aimed to compare the different item selection methods and stopping rules used in Computerized Adaptive Testing (CAT) applications with simulative data by using the item parameters of Vocational Maturity Scale and to test the validity of CAT application by using the most appropriate item selection method and stopping rule. For this purpose, simulative data produced by using Vocational Maturity Scale item parameters were analyzed under different item selection methods and stopping rules by calculating the average number of items, standard error averages, correlation coefficients, bias and RMSE statistics. Under different item selection methods, standard error averages, correlation coefficients, bias and RMSE statistics showed similar results for all conditions. Although there is no difference between item selection methods in terms of these statistics, considering the average number of items, the appropriate method to be used in CAT application was determined item selection method as Maximum Fisher Information (MFI) and stopping rule as SE<0.30. After the simulation study, in the second phase of the study, CAT application of the Vocational Maturity Scale is prepared using CONCERTO platform. The paper-pencil test application of the Vocational Maturity scale and CAT application were applied to 33 students. As a result of CAT application estimation has been made by applying minimum 8 items and maximum 28 items for 33 individuals. A moderate, positive and statistically significant relationship between CAT application and vocational maturity levels obtained from paper-pencil test were found (r=0.535, p<0.05).