Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
Yazar: ERCAN ÇOBAN
Danışman: DOÇ. DR. CELAL DEHA DOĞAN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bireyselleştirilmiş testler = Individual tests ; Dil seviye testi = Language achievement test ; Test birleştirme = Test assembly ; Testler = Tests ; Yabancı Dil Seviye Tespit sınavı = Foreign Language Achievement Test ; Yabancı dil = Foreign language ; YÖKDİL = YÖKDİL ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada bireyselleştirilmiş bilgisayarlı test (BBT), çok aşamalı bireyselleştirilmiş test (ÇABT) ve bilgisayarlı sınıflama testi (BST) bireyselleştirilmiş test yaklaşımlarından hangisinin Türkiye'de kullanılan dil sınavlarına daha uygun olduğunu belirlemek amaçlanmıştır. Bireyselleştirmenin olmadığı bilgisayarlı lineer test (BLT) ise bireyselleştirilmiş testlerin geleneksel testlere göre ne derece avantajlı olduğunu belirlemek için referans olarak kullanılmıştır. Bu test yaklaşımlarını, madde havuzu büyüklüğü ve test uzunluğunun değiştirildiği koşullarda sınıflama doğruluğu, test güvenliği ve madde havuzu kullanımı açısından karşılaştırmak için bilgisayar ortamında simülasyonlar yapılmıştır. BBT, ÇABT ve BLT ölçme kesinliği açısından da karşılaştırılmıştır. Madde seçim yönteminin BST uygulamalarının sınıflama doğruluğu üzerindeki etkisini araştırabilmek için, bu test yaklaşımı iki farklı madde seçim yöntemiyle uygulanmıştır. Türkiye'de kullanılan dil sınavları, içerik ve madde formatı açısından birbirine benzerdir.  Bu çalışmada,  bu sınavlardan biri olan Yüksek Öğretim Kurumları Dil Sınavı (YÖKDİL) ele alınmış ve BBT, ÇABT, BST ve BLT test yaklaşımları YÖKDİL bağlamında karşılaştırılmıştır. Araştırmada kullanılan madde havuzları YÖKDİL'in içerik ve madde sayısına dayalı olarak oluşturulmuştur. Araştırma sonuçlarına göre, BBT ölçme kesinliği açısından ÇABT ve BLT'ye göre daha iyidir. Sınıflama doğruluğu en yüksek olan test yaklaşımı, madde seçimini kesme puanına dayalı olarak yapan BST'dir. ÇABT, sınıflama doğruluğu açısından diğer test yaklaşımlarına göre daha kötü sonuçlar vermiştir. Fakat madde kullanım sıklığı oranları, test çakışma oranları ve madde havuzu kullanımı açısından en iyi sonuçlar ÇABT simülasyonlarında elde edilmiştir.

Abstract:
This study aimed to determine which of computerized adaptive test (CAT), multi-stage adaptive test (MST), and computerized classification test (CCT) is the most appropriate adaptive testing approach for the language exams applied in Turkey. Computerized linear test (CLT), which does not have any adaptive feature, was used as a reference test approach to determine how advantageous adaptive tests are compared to conventional tests. Computer simulations were conducted to compare these testing approaches in terms of classification accuracy, test security and item pool usage under different test length and pool size conditions. CAT, MST and CLT were also compared in terms of measurement precision. CCT simulations were conducted with two different item selection methods to investigate the effect of item selection method on classification accuracy of this testing approach. The language exams used in Turkey are similar in terms of content and item format. In this study, Foreign Language Exam for Higher Education Institutions (YOKDIL), which is one of these exams, was addressed and CAT, MST, CCT, and CLT were compared in the context of this exam. Item pools used in the study were generated based on content and item number of YOKDIL. Results of the study revealed that CAT was superior to MST and CLT in terms of measurement precision. CCT selecting items based on cut score was the test approach having the highest classification accuracy rates. MST provided worse results in terms of classification accuracy than did other test approaches. However, MST yielded the best results in terms of item exposure rates, test overlap rates, and item pool usage.