Modeling an Adaptive Test Based on the Results of Classical Testing
Authors: Безруков А.И. , Акимова С.А. 
Published: July 2024

Тестирование широко используется учителями и преподавателями вузов, как для текущего, так и для аттестационного контроля знаний. По сравнению с традиционными методами оценки, тестирование – более быстрый, менее трудоемкий и более объективный метод. Однако тестирование часто вызывает нарекания. Его называют «лотереей», вспоминая случаи, когда удачливый троечник выполнял тест на «отлично», а отличник не мог справиться с тем же тестом. Тестирование – случайный процесс, в котором мы можем гарантировать только вероятности, а не его результат. Чтобы снизить воздействие случайных факторов, тест должен соответствовать рекомендациям теории педагогических измерений (IRT). Такие параметры теста, как: метод проведения тестирования, содержание и количество заданий в тесте, их распределение по трудности выполнения, рейтинговая шкала и т.д., должны задаваться исходя из целей тестирования, с учетом подготовленности аудитории. Обычно в педагогической практике используются классические алгоритмы тестирования, однако их цель: с максимальной точностью оценить уровень подготовленности испытуемых, не соответствуют цели проведения тестирования: расставить оценки, т.е. отнести каждого испытуемого к одной из заданных категорий. Более подходящим для этого является адаптивное тестирование, базирующееся на алгоритме Байеса, цель которого: наиболее точно оценить вероятности принадлежности тестируемого к каждой категории. Настоящая публикация посвящена сравнительному анализу алгоритмов классического и адаптивного тестирования. Для их сопоставления на результатах классического тестирования был имитирован адаптивный тест. Для сравнения достоверности результатов тестирования были рассчитаны матрицы рассеяния. Эксперимент показал, что достоверность адаптивного тестирования выше, чем классического, при том, что число выполненных заданий составляет 60% от заданий, при классическом тестировании. Результаты работы показывают важность внедрения адаптивных методов в системы компьютерного тестирования, используемые при контроле знаний.

Testing is widely used by teachers and lecturers of universities, both for current and for attestation control of knowledge. Compared to traditional assessment methods, testing is the fastest, least time-consuming and more objective method. However, testing is often controversial. Some call it the "lottery", recalling cases when a successful “C” student completed a test with "excellent", but an "A" student could not cope with the same test. Testing is a random process in which we can only guarantee the probabilities, not its outcome. To reduce the impact of random factors, the test should comply with the recommendations of the item response theory (IRT). Test parameters such as: the method of testing, the content and number of tasks in the test, their distribution according to the difficulty of performing, the rating scale, etc., should be set based on the goals of testing, taking into account the preparedness of the audience. Usually, in pedagogical practice, classical testing algorithms are used, but their goal: to assess the level of preparedness of the subjects with maximum accuracy, does not correspond to the purpose of testing: assign each subject to one of the given categories. More suitable for this purpose is adaptive testing based on the Bayesian algorithm, the purpose of which is to most accurately estimate the probabilities of belonging to each category. This publication is devoted to a comparative analysis of classical and adaptive testing methods. To compare them, an adaptive test was simulated on the results of classical testing. To compare the reliability of the test results, scatter matrices were calculated. The experiment showed that the reliability of adaptive testing is higher than that of classical testing, despite the fact that the number of completed tasks is 60% of the tasks in classical testing. The results of the work show the importance of introducing adaptive methods into computer testing systems used in knowledge control.