Açık ve uzaktan öğrenmede çok aşamalı ölçmenin etkililiğinin incelenmesi: Bir simülasyon çalışması
Investigation of the efficiency of multi-stage testing in open and distance learning: A simulation study
Yazar: GÜLGÜN BULUT
Danışman: DOÇ. DR. MURAT AKYILDIZ
Anadolu Üniversitesi / Sosyal Bilimler Enstitüsü / Uzaktan Eğitim Ana Bilim  Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Ölçme ve değerlendirmenin özünde bireyin zihninde gizil (örtük) durumda bulunan bilgi birikimini en az hata ile gerçeğe en yakın doğrulukta kestirebilmek yatmaktadır. Geçmişten günümüze bu konu ile ilgili pek çok yöntem uygulanmış olmakla birlikte en yaygın kullanılan ölçme aracı sınavla ölçme ve değerlendirme yöntemidir. Bu sınavların özellikle geniş kitlelere uygulanma biçimi çoktan seçmeli testler şeklindedir. Araştırma kapsamında MST örüntüsü test üretme yönteminin açıköğretim sınavlarına uygulanması durumunda elde edilen olası sonuçların simülatif bir ortamda farklı yöntem ve tekniklerle incelenerek Açık ve Uzaktan Öğrenme (AUÖ) sistemi için optimum algoritmanın keşfedilmesi amaçlanmıştır. Araştırma sürecinde simülasyona dayalı olarak üretilen verilerin KTK, IRT ve MST (MST-R ve MST-S) yöntemlerinin her biri için ayrı ayrı standart hata değerleri, korelasyon katsayısı, AIC değerleri ve farklı kuramlara göre puan sıralaması farkları bağlamında analizleri gerçekleştirilmiştir. Analiz sonuçlarına göre KTK verilerle en az uyumlu yöntem olarak tespit edilirken IRT 3PL yöntemi en az standart hata değerine sahip optimum yöntem olarak tespit edilmiştir. MST test sunum yöntemi ise KTK'dan önemli oranlarda uzaklaşırken IRT 3PL yöntemine oldukça yakın sonuçlar vermektedir. Araştırma sonuçlarından elde edilen bulgular, MST yönteminin açık ve uzaktan öğrenme sistemleri dahil olmak üzere geniş kitlelere çoktan seçmeli testler ile sınav uygulayan herhangi bir sistemin ölçüm kesinliğini artırabileceğini göstermektedir.

Abstract:
The main objective of measurement and assessment is to estimate the latent ability with a small amount of error and great precision. Although many methods have been applied for this purpose from the past to the present, the most widely used measurement tool is testing. These assessments are administered, especially to a high number of students, using multiple-choice question formats. Within the scope of the research, it is aimed to discover the optimum algorithm for the Open and Distance Learning (ODL) system by examining the possible results obtained in the case of applying the test generation method of the Multistage to the open education exams in a simulative environment in different conditions. In the research process, the simulation-based data were analyzed and compared by using Classical Test Theory, Item Response Theory, and Multistage testing conditions (MST-R and MST-S) estimations in terms of standard error values, correlation coefficients, AIC values, and score rank differences. Classical Test Theory was found to be the approach that fit the data the least well, and the IRT 3PL method was found to be the best one with the lowest error rate. The Multistage test presentation-based estimations, differs significantly from the Classical Test Theory-based estimations, giving results very close to the IRT 3PL model. The conclusions drawn from the study's findings demonstrate that the Multistage testing method can improve the measurement precision of any system, including open and remote learning systems, that use multiple-choice test techniques on big number of students.