Mesleki Alan İlgi Envanteri'nin bilgisayar ortamında bireye uyarlanmış formunun geliştirilmesi
Developing a computerized adaptive test form of the Occupatinal Field Interest Inventory
Yazar: VOLKAN ALKAN
Danışman: DOÇ. DR. KAAN ZÜLFİKAR DENİZ
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Benzetim = Simulation ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Lise öğrencileri = High schools students ; Madde Tepki Kuramı = Item Response Theory ; Mesleki Alan İlgi Envanteri = Occupational Field Interest Inventory ; Mesleki ilgi = Occupational interest

Özet:
Bu araştırmada, daha önce kâğıt-kalem formatında uygulanan Mesleki Alan İlgi Envanteri (MAİ)'nin Bilgisayar Ortamında Bireye Uyarlanmış Test (BOBUT) olarak geliştirilmesi amaçlanmaktadır.  Bu amaç doğrultusunda, lise düzeyinde öğrenim gören 1425 öğrenciye MAİ'nin kâğıt kalem formu uygulanmış ve uygulamadan elde edilen verilerle post-hoc simülasyonlar gerçekleştirilmiştir. Simülasyonlarda, MTK modeli olarak KTM ve GKPM, test sonlandırma kuralı olarak 0.30, 0.40 ve 0.50 standart hata değerleri ve madde seçim yöntemi olarak Beklenen En Yüksek Bilgi (BEYB), Fisher En Yüksek Bilgi (FEYB), Beklenen En Yüksek Sonsal Ağırlıklandırılmış Bilgi (BEYSAB) ve Beklenen En Düşük Sonsal Varyans (BEDSV) yöntemleri kullanılmıştır. Simülasyonlar, Mesleki Alan İlgi Envanteri'nin 14 alt ölçeği için ayrı ayrı gerçekleştirilmiştir.  Simülasyonlardan elde edilen sonuçlara göre BOBUT uygulaması için en ideal ölçütlerin, MTK modeli olarak GKPM, test sonlandırma kuralı olarak 0.40 standart hata değeri, madde seçim yöntemi olarak da FEYB yöntemi olduğuna karar verilmiştir. Ayrıca, uygun görülen ölçütlerle gerçekleştirilmiş olan BOBUT simülasyonu sonucunda kâğıt-kalem formu 156 madde olan MAİ ortalama 59 madde ile sonlanmış ve kâğıt-kalem formundan alınan puanlar ile simülasyonla kestirilen teta (θ) düzeyleri arasındaki korelasyonların 0.91-0.97 aralığında olduğu görülmüştür. Post-hoc simülasyon sonuçlarına göre BOBUT uygulaması geliştirilmiş ve 150 öğrenciye uygulanmıştır. Öğrencilerin kâğıt-kalem formunun çevrimiçi uygulamasından aldıkları puanlar ile BOBUT formu ile kestirilen θ düzeyleri arasındaki korelasyonların 0.73 ile 0.91 arasında değiştiği görülmüştür. Ayrıca, BOBUT uygulamasının kâğıt-kalem formunun çevrimiçi uygulamasına göre, madde sayısı açısından yaklaşık %66 ve uygulama süresi açısından da yaklaşık %67 avantaj sağladığı tespit edilmiştir.  Araştırma sonuçları, Mesleki Alan İlgi Envanteri'nin BOBUT olarak uygulanabilir olduğunu göstermektedir. Ayrıca madde havuzunun daha yüksek bilgi sağlayan maddeler ile genişletilmesinin ve envantere zamanın gereksinimlerine uygun olarak yeni mesleki ilgi alanlarının eklenmesinin envanteri BOBUT için daha elverişli hale getirebileceği düşünülmektedir.

Abstract:
In this study, it is aimed to develop the Occupational Field Interest Inventory, which was previously applied in a paper-pencil format, as an computerized adaptive test (CAT). In line with this purpose, paper and pencil form of the Occupational Field Interest Inventory was applied to 1425 high school students and post-hoc simulations were carried out with the data obtained from the application. In simulations, GRM and GPCM as the IRT model, 0.30, 0.40 and 0.50 standart error of measurements as the stopping rule, and the as the item selection method Maximum Expected Information (MEI), Maximum Fisher Information (MFI), Maximum Expected Posterior Weighted-Information (MEPWI) and Minimum Expected Posterior Variance (MEPV) methods were used. Simulations were carried out separately for 14 subscale of the Occupational Field Interest Inventory. According to the results obtained from the simulations, it was decided that the most ideal criteria for the CAT application were GPCM as a model, 0.40 standard error of measurement as the test stopping rule, and the MFI method as an item selection method. In addition, as a result of the CAT simulation carried out with the appropriate criteria, the Occupational Field Interest Inventory, which has 156 items in the paper-pencil form, ended with an average of 59 items, and the correlations between the scores obtained from the paper-pencil form and the θ levels estimated by simulation were in the range of 0.91-0.97. According to the post-hoc simulation results, CAT application was developed and applied to 150 students. It was observed that the correlations between the scores of the students in the online application of the paper-pencil form and the θ levels estimated with the CAT form varied between 0.73 and 0.91. In addition, it was determined that the CAT application provided approximately 66% advantage in terms of the number of items and approximately 67% in terms of application time compared to the online application of the paper-pencil form. The results of the research show that the Occupational Field Interest Inventory is applicable as CAT. In addition, it is thought that expanding the item pool with items that provide higher information and adding new occupatioanl interests to the inventory in accordance with the needs of the age may make the inventory more convenient for the CAT.