Система критериально-ориентированного тестирования
CRITERIA-ORIENTED TESTING SYSTEM

Изобретение относится к области образовательных систем с компьютерными технологиями.
Оно может использоваться как самостоятельно действующая система, так и в сочетании с традиционными образовательными методиками.
Известен прибор контроля знаний по патенту РФ №2110096, кл. G09B 7/07 с приоритетом 25.03.1994 года, в котором реализовано присвоение весовых коэффициентов каждому вопросу теста, подача теста обучающимся, последующее сравнение их ответов с правильными и индикация результатов.
К недостаткам этого прибора относится возможность простого бесконтрольного угадывания ответов, а также жесткая априорная однозначность оценки сложности вопросов, которая не учитывает различную подготовленность контингента обучающихся.
Известна система рейтингового тестирования по патенту РФ №2175782 с приоритетом от 04.02.2001 года. Эта система отличается тем, что тестирование осуществляют по нескольким дисциплинам, часть которых профильные, а индивидуальный итоговый рейтинг обучающихся вычисляют по совокупности максимальных результатов тестирования. Полученный индивидуальный рейтинг сравнивают с нормативами соответствия учебных планов для характеристики готовности к следующему этапу обучения.
Известна система рейтингового тестирования уровня подготовки к обучению в высшем учебном заведении по патенту РФ №2145442 с приоритетом от 28.05.1998 г. Эта система включает присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающемуся, последующее сравнение его ответов с правильными, индикацию результатов, причем весовые коэффициенты вопросов могут быть изменены в процессе тестирования. Следствием работы системы является дополнительная проверка обоснованности и корректности ответа на вопрос теста.
Недостатки такой системы связаны с отсутствием случайной последовательности выдачи тестов и возможности обработки нестандартных ответов обучаемого, и как следствие этого - неадекватность оценки его знаний.
Наиболее близким техническим решением предлагаемого изобретения является система рейтингового тестирования по патенту РФ №2356100 с приоритетом от 21.06.2005 г. Эта система тестирования генерирует случайную последовательность вопросов, формирующих тест, и случайную выборку из множественности ответов на каждый вопрос в тесте. На основе этой информации обучающийся выбирает все представленные правильные ответы. В системе используются нормативно-ориентированные тесты и методы оценки их результатов [1]. При проведении нескольких контролей по одному и тому же тесту система обеспечивает выбор результирующей оценки по списку ответов, представленному набором различных вариантов правильных и неправильных ответов.
Недостатком такой системы является отсутствие возможности оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемой учебной программы или ее части и, как следствие этого, невозможность оперативности текущего педагогического контроля, который возможен при использовании критериально-ориентированных тестов и методов оценки результатов их выполнения [1].
Техническим результатом изобретения является повышение эффективности обучения и достоверности определения уровня и качества знаний обучаемого, возможность управления в режиме реального времени процессом выполнения системы одиночных критериально-ориентированных тестовых заданий с единственным верным ответом, обеспечивающим остановку тестирования при достижении заданной достоверности оценки его результатов.
Указанный технический результат достигается тем, что в известную систему рейтингового тестирования уровня подготовки обучающихся, включающую подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, согласно изобретению в экспертную систему дополнительно введен расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.
Система критериально-ориентированного тестирования построена на основе принципов построения интегрированных информационных систем, позволяющих повысить эффективность контроля знаний и качество образования как творческого процесса приобретения и усвоения знаний.
Все элементы системы критериально-ориентированного тестирования являются типовыми устройствами вычислительной техники.
i
зад
В качестве показателя достижения заданной достоверности результата тестирования в предлагаемой системе критериально-ориентированного тестирования используется наперед заданное значение ширины доверительного интервала (заданная точность) вероятности правильного выполнения тестового задания (ТЗ). Процедура управления тестированием, позволяющая останавливать процесс тестирования после получения результата p заданной точности δ , поясняется алгоритмом управления тестированием, представленным на фиг. 1.
Реализация приведенного алгоритма заключается в следующем:
i
1) По формуле  [2] определяется достигнутое значение вероятности p успешного выполнения ТЗ (где i - номер последнего выполненного ТЗ).
i
2) По формуле  [2] определяется верхняя  и нижняя  граница доверительного интервала (ДИ) результата p (где i - число ТЗ, k - число ошибок, a  - квантиль порядка а распределения F с  степенями свободы)
3) Остановка процесса тестирования осуществляется по критерию [3]
i
i
i
где I - показатель сравнения заданной и достигнутой точности результатов тестирования (I=1 - останов тестирования; I=0 - продолжение тестирования).
На фиг. 2 представлена блок-схема системы критериально-ориентированного тестирования. Схема содержит следующие функциональные блоки: рабочие места преподавателя 1 и обучаемых 2, блок тестирования знаний 3, блок документирования 4.
Блоки 1 и 2 (фиг. 3) содержат персональный компьютер 5, РС-клавиатуру 6, манипуляторы «мышь» 7, микрофон 8 и головной телефон 9.
Блок 3 (фиг. 4) включает экспертную систему формирования тестов, диагностики и тестирования. Блок 3 позволяет организовать стратегию критериально-ориентированного тестирования и содержит генератор тестов 10, использующий датчик случайных чисел, систему объяснения 11, базу данных тестов и результатов тестирования 12, расчетный модуль 13, в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.
Блок документирования 4 (фиг. 5) получает информацию от блока тестирования знаний 3. Блок документирования содержит два модуля. Первый модуль 14 обеспечивает документирование результатов тестирования на основе автоматического формирования электронных ведомостей, содержащих общие сведения о результатах тестирования. Второй модуль 15 формирует соответствующие протоколы для каждого обучаемого.
Процесс тестирования состоит в выполнении циклов тестирования, связанных с последовательным предъявлением обучаемому различных тестов (пример теста - фиг. 6), анализом представленных решений и оценкой знаний.
Функционирование системы критериально-ориентированного тестирования в целом осуществляется с рабочего места преподавателя 1 и на основе алгоритма функционирования описывается следующим образом.
После включения системы осуществляется:
1. Регистрация обучаемого и присвоение ему идентификатора (номера) .
2. Определение порядкового номера предъявляемого ТЗ i=i+1 (i - номер тестового задания (ТЗ), в начальный момент принимается равным нулю).
3. Случайный выбор из набора  тестовых заданий i-го ТЗ (осуществляется выбор предъявляемого ТЗ из имеющегося множества невыполненных ТЗ и производится исключение избранного ТЗ из числа невыполненных ТЗ).
a
i
4. Предъявление ТЗ  обучаемому.
a
i
5. Восприятие избранного обучаемым варианта  ответа на ТЗ  (определение номера k варианта суждения, выбранного обучаемым).
a
i
эт
6. Восприятие эталонного варианта  ответа на ТЗ  (выбор из базы данных теста номера k правильного суждения на выполняемое ТЗ).
эт
i
i
i
i
7. Проверка соответствия номера k суждения обучаемого номеру k правильного суждения (Если суждение обучаемого соответствует эталонному, то ТЗ выполнено верно - балл r оценки за выполнение ТЗ r=1. Если суждение обучаемого не соответствует эталонному, то ТЗ выполнено неверно - балл r оценки за выполнение ТЗ r=0).
8. Расчет суммы  баллов, набранных за выполнение всех ТЗ.
i
i
a
9. Оценка вероятности p правильного выполнения ТЗ после выполнения ТЗ  (Рассчитывается по формуле , где i - номер последнего выполненного ТЗ).
i
i
a
10. Оценка верхней  и нижней  границ доверительного интервала p после выполнения ТЗ  (Оценки производятся по формуле:
где i - число ТЗ, k - число ошибок, a  - квантиль порядка α распределения F с  степенями свободы).
i
11. Проверка условия завершения тестирования - определение показателя I достоверности результатов тестирования (Расчет производится по формуле:
зад
i
i
i
i
где δ - наперед заданное значение предельно возможного отклонения оценки p вероятности правильного выполнения ТЗ. В случае I=1 производится остановка тестирования и утверждение p в качестве оценки j-го обучаемого. В случае I=0 продолжение тестирования (переход к пункту 2).
12. Сохранение информации о тестировании.
13. Документирование результатов тестирования.
Источники информации
1. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. - М.: Центр тестирования и развития «Гуманитарные технологии», 2009. URL: http://www.ege.ru/dict/dict1.htm.
2. Палкин С.К., Печников А.Н., Печников Д.А. Метод интервальной оценки результатов выполнения системы одиночных тестовых заданий закрытого типа с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2014. - Том 17, №2. - С. 491-501 URL: http://ifets.ieee.org/russian/.
3. Палкин С.К., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2015. - Том 18, №1. - С. 544-560 URL: http://ifets.ieee.org/russian/.