İngilizce seviye belirleme sınav sonuçları üzerinde bilgisayarda bireyselleştirilmiş sınıflama testi yaklaşımının uygulanması
Application of computerized adaptive classification test approach on English placement test results
Yazar: DEMET ALKAN
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada Bilkent Üniversitesi Yabancı Diller Yüksekokulunda öğrenim gören 919 bireye uygulanan İngilizce seviye belirleme sınavına ait tek boyutlu 256 okuma maddelerinin cevap örüntüleri üzerinde sınıflamanın iki, üç ve dört kategoride yapıldığı durumlarda BBST yaklaşımının uygulanabilirliğinin araştırılması amaçlanmıştır. Araştırmada yetenek kestirim yöntemi olarak Maksimum Olabilirlik Kestirimi (MOK), Ağırlıklandırılmış Olabilirlik Kestirimi (AOK), Beklenen Sonsal Dağılım (BSD) yöntemleri kullanıldığında, ortalama test uzunluğu (OTU), ortalama sınıflama doğruluğu (OSD), gerçek yeteneklerle kestirilen yetenekler arası korelasyon (r), kestirimin standart hatasını gösteren RMSE, ortalama mutlak hata (OMH) ve yanlılık değerlerinin Ardışık olasılık Oran Testi (AOOT), Genelleştirilmiş Olabilirlik Oran (GOO) ve Güven Aralığı (GA) sınıflama kriterleri ile Kestirilen Yetenek temelli Maksimum Fisher Bilgisi (MFB-KY) ve Kullback-Leibler Bilgisi (KLB-KY), Kesme Noktası Temelli Maksimum Fisher Bilgisi (MFB-KN) ve Kullback-Leibler Bilgisi (KLB-KN) madde seçme yöntemlerine göre iki, üç, dört kategorili sınıflamada nasıl değiştiği incelenmiştir. Araştırmada R yazılımı kullanılarak gerçek veriye dayanan simülasyon için toplam 108 koşul oluşturulmuştur. Araştırma sonunda iki, üç ve dört kategorili sınıflamalarda test etkililiği (OTU, OSD) için GA sınıflama kriterinin, ölçme kesinliği (korelasyon, yanlılık, RMSE, OMH) için AOOT sınıflama kriterinin yüksek performans gösterdiği sonucuna ulaşılmıştır. GOO sınıflama kriterinin dört kategorili sınıflamada MOK ve BSD yetenek kestirimleri ve MFB madde seçme yöntemleriyle test etkililiği için başarılı olduğu anlaşılmıştır.

Abstract:
In this study, it was aimed to investigate the applicability of the CACT approach when the classification is made in two, three, or four categories on the response patterns of 256 one-dimensional readıng items of the English placement test administered to 919 individuals studying at Bilkent University School of Foreign Languages. In the study, when Maximum Likelihood Estimation (MLE), Weighted Likelihood Estimation (WLE), Expected a Posteriori (EAP) methods were used as ability estimation methods, average test length (ATL), average classification accuracy (ACA), correlation between real and estimated thetas (r), Root Mean Square Error (RMSE) indicating the standard error of estimation, mean absolute error (MAE) and bias values of Sequential Probability Ratio Test (SPRT), Generalized Likelihood Ratio (GLR) and Confidence Interval (CI) classification criteria and how they change in two- three, and four-category classification according to Estimated Ability-based Maximum Fisher Information (MFI-EB) and Kullback-Leibler Information (KLI-EB), cut-point based Maximum Fisher Information (MFI-CB) and Kullback-Leibler Information (KLI-CB) item selection methods were examined. In the study, a total of 108 conditions were created for the simulation based on real data using R software. At the end of the study, it was concluded that the CI classification criterion showed high performance for test effectiveness (ATL, ACA), and the WLE classification criterion showed high performance for measurement precision (correlation, bias, RMSE, MAE) in two, three and four category classifications. The GLR classification criterion was found to be successful for test effectiveness in four-category classification with MLE and EAP ability estimations and MFI item selection methods.