АВТОМАТИЗИРОВАННАЯ УНИВЕРСАЛЬНАЯ ТЕСТОВАЯ СИСТЕМА ДИАГНОСТИКИ КАЧЕСТВА ОБРАЗОВАНИЯ

Полезная модель относится к автоматизированным системам тестирования и контроля знаний и может быть использована в образовательных учреждениях всех видов, где необходим оперативный мониторинг или периодическая проверка уровня знаний обучаемых и коррекция учебного процесса.
Большинство существующих тестовых систем строятся по следующим принципам:
- экзаменуемому задается заранее заданное число вопросов, которые заранее определены или представляют собой выборку (случайную или нет) из общего числа вопросов;
- каждый вопрос имеет несколько вариантов ответов, один из которых является верным, а все остальные - нет;
- результатом ответа на вопрос является бинарное утверждение: ответил - не ответил;
- результатом тестирования является число правильных ответов. Архитектура таких систем строится на базе персональных компьютеров
(ПК). Например, из патента РФ №2110095 от 27.04.1998 известна система для дистанционного обучения, выполненная на базе персонального компьютера, использующего информационную стимуляцию на субсенсорном уровне восприятия при индивидуальном обучении. В качестве пульта управления использован процессор персонального компьютера и его программное обеспечение, в качестве устройства ввода ответов и реакций обучаемого использована клавиатура персонального компьютера, в качестве одного блока ввода информации использован видеоадаптер, другой блок ввода информации (блок стимулирующего информационного фона) выполнен в виде платы.
Такая система является самой простой автоматизированной системой, однако, имеет ряд недостатков:
- все базы данных, применяемые при тестировании, содержатся в персональном компьютере тестируемого, что затрудняет его использование для других целей;
- не обеспечивается конфиденциальность и безопасность сведений и контрольно-измерительных тестовых заданий, в силу возможности несанкционированного доступа к базам данных, расположенных в памяти ПК тестируемого;
- невозможность использования такой системы при массовой диагностике уровня знаний обучающихся различных регионов по единым контрольным тестам, что значительно снижает ее функциональность;
- требует дополнительных трудовых и материальных затрат при тестировании большого числа обучаемых.
При решении данных проблем были созданы системы, которые, помимо ПК обучаемых или тестируемых, содержат сервер, в котором содержатся все базы данных и блоки управления процессами обучения и/или тестирования. При этом для мобильности системы, возможности ее использования на расстоянии и работы на ней в интерактивном режиме, персональные компьютеры соединяются с сервером при помощи сети Интернета или Интранета.
Такие системы описаны в патентах: РФ №17650 от 10.04.2001, РФ №35678 от 27.01.2004, Франции №2775820 от 10.09.1999.
Система дистанционного обучения, известная из патента РФ №17650 от 10.04.2001, содержит сервер с базой знаний, соединенный с помощью сети Интернета с персональными компьютерами обучаемых, блок финансов, статистического и аттестационного контроля, выполненный на базе сервера, соединенного с сервером с базой знаний, и персональными компьютерами тестируемых, блок организации дистанционного учебного процесса, выполненный на базе персональных компьютеров.
В патенте РФ №35678 от 27.01.2004 раскрыта система, содержащая комплексную систему компьютерных блоков с базой данных, снабженную соответствующим программным обеспечением (сервером), соединенную посредством сети Интернет с ПК обучаемого, блок аттестации знаний преподавателя, включающий блок электронного тестирования преподавателя с автоматической обработкой ответов по читаемой им и смежным учебным дисциплинам, блок работы с абитуриентами, производящий автоматическую аттестацию знаний абитуриента на соответствие требованиям по зачислению в учебный центр.
Из патента Франции №2775820 от 10.09.1999 известен метод и система для проверки знаний, например, на предприятиях, содержащая центральный сервер, который поставляет вопросы пользователю на персональный компьютер по сети Интернет или Интранет. Вопросы могут иметь коэффициент трудности и содержать варианты, и могут выбираться в зависимости от ответа пользователя. Тестирующийся должен за определенное время отвечать на вопросы, при этом если он правильно отвечает, то последующие вопросы выбираются из группы, содержащей более сложные вопросы.
Все выше названные системы, содержат сервер с базами знаний, которые используются при дистанционном обучении, при этом к серверу имеют доступ как обучающие для его наполнения и актуализации, так и все обучаемые для получения учебного материала и контроля его усвоения, что не обеспечивает безопасность системы при ее массовом использовании. Такие системы не универсальны, как правило, «привязаны» к сети только одного учреждения, управляются только им и используются, преимущественно, при осуществлении только дистанционного обучения и непригодны для массовой диагностики, при этом для обеспечения работоспособности системы требуется наличие квалифицированных специалистов. В силу указанных недостатков использование таких систем для массового тестирования невозможно.
Недостатки, связанные с низким уровнем автоматизации и трудоемкостью процесса тестирования, частично решены в системе тестирования, описанной в патенте РФ №2163731 от 27.02.2001. Из данного патента известна автоматизированная система тестирования и обучения, содержащая ПК обучающего, с которым связаны индивидуальные устройства тестирования. Программное обеспечение компьютера предназначено для организации учебного процесса. В систему входит также преобразователь сигналов (сервер), выполненный в виде модуля с сетевым питанием устройств тестирования и включающий в себя блок сопряжения с компьютером и блок сопряжения с устройствами тестирования, подключенными к последнему параллельно. Каждое устройство тестирования выполнено в виде модуля и имеет микропроцессорное устройство, с которым связаны оперативное и постоянное запоминающие устройства, буквенно-цифровой индикатор, блок сопряжения с преобразователем, клавиатура, буквенно-цифровой индикатор и звуковой сигнализатор. Комплекс обеспечивает повышенную объективность результатов контроля знаний тестируемых.
Недостатком такой системы, также, как и выше приведенных аналогов, является то, что все базы данных, применяемые при тестировании, содержатся в ПК тестируемого, что затрудняет его использование для других целей.
Из патентов РФ №98123346 от 27.09.2000 и №2186423 от 27.07.2002 известна система тестирования «Телетестинг», позволяющая осуществить дистанционное тестирование региональных участников (т.е. тестируемых, объединенных одним региональным признаком, например: школа, район, город, область) из Центра в режиме «on-line», повысить защищенность данных от несанкционированного доступа, унифицировать представление результатов разных тестов, ускорить сбор сводных данных и обеспечить оперативное оповещение участников о результатах тестирования.
Такая система может обеспечить дистанционное тестирование из Центра как в режиме «on-line», так и при определенных условиях в режиме «off-line». Однако, в режиме «on-line» требуется наличие доступа к сети Интернет с ПК тестируемого на протяжении всего процесса тестирования, при этом в значительной степени скорость процесса ограничивается возможностью сети и стоимостью ее использования, а в режиме «off-line» необходима установка на ПК тестируемого соответствующего программного обеспечения, включая базу данных тестовых заданий, что обуславливает наличие тех же недостатков, которые имеют выше перечисленные аналоги. Кроме этого, несмотря на возможность достаточно быстрого сбора индивидуальных результатов тестирования и оперативного оповещения тестируемых, такая система не обеспечивает автоматизированный доступ с ПК тестируемого к процессу формирования обобщенных аналитических материалов диагностики группы тестируемых регионального участника, что значительно снижает оперативность получения сводного (по всей группе) конечного результата тестирования регионального участника и увеличивает зависимость его получения региональными участниками тестирования из Центра.
Наиболее близким аналогом по своей технической сути и достигаемым техническим результатам является патент РФ №53477 от 10.05.2006, принятый за прототип.
Из данного патента известна автоматизированная система тестирования и обучения, содержащая ПК обучающего, по меньшей мере, одно индивидуальное устройство тестирования и сервер. Сервер оснащен базой данных экзаменационного и учебного материала, базой данных для хранения результатов тестирования, а ПК обучающего содержит модуль формирования блока данных, касающегося тестового задания, из базы данных экзаменационного и учебного материала сервера и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования, при этом сервер оснащен модулем анализа результатов тестирования, который ведет числовой подсчет результатов.
Прототип имеет следующие недостатки:
- система может использоваться только для диагностики уровня знаний обучающихся различных подразделений одного учреждения или корпорации и не обеспечивает возможность массового тестирования обучающихся региональных участников по единым контрольно-измерительным тестам;
- система не обеспечивает оперативного получения результата тестирования и сводных аналитических материалов диагностики по всем региональным участникам;
- быстродействие системы тестирования зависит от скорости канала Интернет;
- возможность несанкционированного доступа к базе данных тестовых заданий с индивидуального компьютера тестирования значительно снижает конфиденциальность используемых тестов, безопасность функционирования системы, объективность и качество тестового контроля;
- эксплуатация системы в каждом отдельном учреждении требует наличия квалифицированных специалистов по ее обслуживанию и наполнению базы данных контрольно-измерительных тестов.
Таким образом, задачей, на которую направлена заявленная полезная модель, является создание простой и доступной для любого учреждения, безопасной, быстродействующей универсальной автоматизированной системы объективной независимой оценки уровня знаний обучаемых при массовой диагностике региональных участников по единым нормам и правилам.
Техническим результатом при решении этой задачи является обеспечение возможности массового тестирования обучающихся региональных участников по единым контрольно-измерительным тестам в локальном режиме с дистанционным управлением запуском компьютерного теста и формированием результата по его окончанию из Центра, расширение функциональных возможностей системы в подготовке тестов индивидуально для каждого учреждения или региона, а также обеспечение быстродействия, оперативности получения объективного результата и сводных аналитических материалов диагностики уровня знаний тестируемых регионального участника, обеспечение конфиденциальности тестовых материалов и безопасности работы.
Технический результат достигается тем, что автоматизированная универсальная тестовая система диагностики качества образования, содержащая сервер с базой данных тестовых заданий, ПК разработчика компьютерного теста с модулем формирования блока данных компьютерного теста, модулем передачи блока данных компьютерного теста в другие модули тестовой системы и, по меньшей мере, один ПК тестируемого с модулем приема и хранения сформированных данных компьютерного теста, составные части которой связаны между собой, а модули управляются программным обеспечением, дополнительно содержит центральный сервер тестирования, ПК разработчика компьютерного теста и сервер с базой данных тестовых заданий связаны между собой посредством локальной вычислительной сети (ЛВС) в одно рабочее место, модуль формирования блока данных компьютерного теста состоит из модуля формирования блока вариативных тестовых заданий компьютерного теста (БВТЗ КТ) и модуля формирования блока правильных ответов компьютерного теста (БПОТЗ КТ), а модуль передачи сформированного блока данных компьютерного теста включает модуль передачи сформированного БВТЗ КТ на ПК тестируемого и модуль передачи БПОТЗ КТ по сети Интернет на центральный сервер тестирования, ПК тестируемого дополнительно содержит модуль тестирования и модуль обработки результатов тестирования, при этом модуль приема и хранения сформированного блока данных компьютерного теста содержит модуль приема и хранения БВТЗ КТ с ПК разработчика компьютерного теста и модуль приема БПОТЗ КТ с центрального сервера тестирования, модуль тестирования выполнен в виде модуля регистрации тестируемого и модуля формирования индивидуального варианта компьютерного теста, организации процесса тестирования и формирования протокола тестирования, модуль обработки результатов тестирования выполнен в виде модуля передачи протокола тестирования на центральный сервер тестирования и модуля приема, отображения и вывода отчетных форм результатов тестирования, а центральный сервер тестирования содержит модуль приема, хранения и выдачи БПОТЗ КТ, базу данных учетных записей тестируемых, модуль приема и хранения протоколов тестирования, модуль обработки протоколов тестирования, формирования результатов тестирования и отчетных форм, связан с каждым ПК тестируемого посредством сети Интернет и выполнен с возможностью массового одновременного доступа тестируемых. При этом модуль передачи БВТЗ КТ ПК разработчика компьютерного теста связан с ПК тестируемого посредством сети Интернет и/или посредством переносных магнитных или иных носителей. Каждое тестовое задание сервера базы данных тестовых заданий представляет собой контрольно-измерительное средство, снабженное идентификатором, отражающим его контрольно-измерительные и диагностические параметры, которые используются при обработке результатов тестирования.
На фигуре представлена общая структурная схема, состав тестовой системы и функциональные связи ее элементов.
Автоматизированная универсальная тестовая система диагностики качества образования состоит из рабочего места разработчика компьютерных тестов 1, одного или нескольких ПК тестируемого 2, центрального сервера тестирования 3. Количество ПК тестируемого определяется количеством экзаменуемых.
Рабочее место разработчика компьютерных тестов 1 состоит из ПК разработчика компьютерного теста 4 и сервера с базой данных тестовых заданий 5, соединенных между собой ЛВС. ПК разработчика компьютерного теста 4 состоит из модуля формирования блока данных компьютерного теста 6 и модуля передачи сформированного блока данных компьютерного теста 7. Модуль формирования блока данных компьютерного теста 6 содержит модуль формирования блока вариативных тестовых заданий компьютерного теста (БВТЗ КТ) 8 и модуль формирования блока правильных ответов тестовых заданий (БПОТЗ КТ) 9. Модуль передачи сформированного блока данных компьютерного теста 7 содержит модуль передачи БВТЗ КТ 10 на ПК тестируемого 2 и модуль передачи БПОТЗ КТ 11 на центральный сервер тестирования.
ПК тестируемого 2 состоит из модуля приема и хранения сформированного блока данных компьютерного теста 12, модуля тестирования 13 и модуля обработки результатов тестирования 14. Модуль приема и хранения сформированного блока данных компьютерного теста 12 содержит модуль приема и хранения БВТЗ КТ 15 и модуль приема БПОТЗ КТ 16. Модуль тестирования 13 содержит модуль регистрации тестируемого 17 и модуль формирования индивидуального варианта компьютерного теста, организации процесса тестирования и формирования протокола тестирования 18. Модуль обработки результатов тестирования 14 содержит модуль передачи протокола тестирования 19 на центральный сервер тестирования 3 и модуль приема, отображения и вывода отчетных форм результатов тестирования 20.
Центральный сервер тестирования 3 содержит модуль приема, хранения и выдачи БПОТЗ КТ 21, базу данных учетных записей тестируемых 22, модуль приема и хранения протоколов тестирования 23 и модуль обработки протоколов тестирования, формирования результатов тестирования и отчетных форм 24.
Составные части тестовой системы взаимодействуют между собой посредством ЛВС, сетей Интернет (Интранет), межпроцессного взаимодействия, передачи данных на магнитных, оптических или иных носителях информации.
Каждое тестовое задание сервера базы данных тестовых заданий 5 рабочего места разработчика компьютерного теста 1 представляет собой контрольно-измерительное средство, снабженное идентификатором, отражающим его контрольно-измерительные и диагностические параметры, которые используются при обработке результатов тестирования.
Элементы тестовой системы реализованы на базе ПК и серверных станций простейших конфигураций.
Объединение ПК разработчика компьютерного теста и сервера с базой данных тестовых заданий в одно рабочее место позволяет обеспечить организацию разработки единой, универсальной базы данных тестовых заданий и разработки компьютерных тестов, функционально отделив процесс подготовки тестовой базы и разработки самих компьютерных тестов от непосредственно процесса тестирования. При этом формирование данных компьютерного теста, используемых непосредственно при тестировании, осуществляется посредством модулей ПК разработчика компьютерного теста, выполненных с возможностью формирования передаваемого непосредственно на ПК тестируемого БВТЗ КТ и передаваемого на ПК тестируемого через центральный сервер тестирования БПОТЗ КТ. Это позволяет обеспечить создание единой базы данных контрольно-измерительных тестов, возможность участия в создании тестовых материалов региональных участников с учетом их индивидуальных особенности и требований, а также конфиденциальность тестовых заданий, используемых в компьютерном тесте.
Модуль формирования индивидуального варианта компьютерного теста, организации процесса тестирования и формирования протокола тестирования, связанный с модулем приема и хранения БВТЗ КТ и модулем приема БПОТЗ КТ, позволяет сформировать случайным выбором из БВТЗ КТ индивидуальный вариант компьютерного теста при каждом запуске теста, не связываясь при этом с централизованной базой данных всех тестовых заданий, а формирование в самостоятельный блок БПОТЗ КТ, размещаемый на центральном сервере тестирования, обеспечивает быстрый запуск теста, безопасность работы системы за счет организации доступа к этому блоку только тех тестируемых, которые прошли регистрацию в системе и которым разрешен доступ для санкционированного запуска компьютерного теста.
Наличие в системе центрального сервера тестирования, связанного посредством сети Интернет с каждым ПК тестируемого, позволяет обеспечить централизованное управление процессом одновременного массового тестирования всех участников, формирование результатов тестирования и отчетных форм в автоматическом режиме и обеспечение доступа к сформированным отчетным данным каждого ПК тестируемого, оснащенного модулем обработки результатов тестирования. При этом, в отличие от других известных систем, при запуске теста регистрация тестируемого и загрузка блока правильных ответов компьютерного теста осуществляется в режиме «on-line», а дальнейший процесс тестирования - в режиме «off-line». Такой комбинированный способ тестирования позволяет осуществить непосредственное тестирование самим региональным участником в локальном режиме, не требующим больших затрат и квалификации специалистов, а управление доступом к системе, запуском компьютерного теста, формированием результата по его окончанию и обслуживание системы - из Центра централизованной службой администрирования процесса диагностики.
Таким образом, описанная тестовая система обеспечивает выполнение следующих функций: централизованную разработку компьютерных тестов, подготовку процедуры тестирования региональных участников и непосредственное тестирование с формированием и выводом результата.
Разработка компьютерного теста. В качестве контрольно-измерительных средств при организации тестирования используются компьютерные тесты, разработка которых выделена в отдельный процесс, осуществляемый централизовано на рабочем месте разработчика компьютерного теста. Посредством модуля формирования блока данных компьютерного теста осуществляется формирование компьютерного теста автоматизированным выбором из базы данных вариативного набора тестовых заданий в соответствии с планом теста, вводимым разработчиком в качестве исходных данных. При этом соответствующими модулями формируется отдельно БВТЗ КТ, который передается на ПК тестируемого в виде тестового файла и БПОТЗ КТ, который размещается администратором системы на центральном сервере тестирования. Распространение и передача сформированного БВТЗ КТ на ПК тестируемого осуществляется как посредством сети Интернет, так и посредством переносных магнитных или иных носителей. Все используемые тестовые задания размещены на отдельном сервере рабочего места разработчика компьютерного теста. Каждое тестовое задание представляет собой контрольно-измерительное средство, снабженное уникальным идентификатором, отражающим его контрольно-измерительные и диагностические параметры, которые используются в дальнейшем при обработке результатов тестирования. В качестве разработчика тестов может выступить как специальная служба разработчиков, так и региональный участник, заранее заказав план теста с указанием перечня идентификаторов тестовых заданий, необходимых для включения в тест.
Подготовка тестирования. Дистанционное управление запуском компьютерного теста и формированием результата по его окончанию осуществляется посредством центрального сервера тестирования, для чего предварительно посредством модуля приема, хранения и выдачи БПОТЗ КТ на нем размещены все БПОТЗ КТ всех используемых при тестировании компьютерных тестов, ранее сформированные разработчиками тестов. Также для организации процесса тестирования и осуществления учета тестируемых, на сервере, по заявке региональных участников тестирования, размещается база данных учетных записей тестируемых. Обслуживание центрального сервера тестирования осуществляется администратором тестовой системы централизованной службы. Для организации процесса тестирования на ПК тестируемого региональным участником самостоятельно устанавливается модуль тестирования, модуль обработки результатов тестирования и посредством модуля приема и хранения БВТЗ КТ размещается БВТЗ КТ.
Тестирование, формирование и вывод результата. Непосредственно тестирование осуществляется региональным участником в локальном режиме на своей стандартной компьютерной базе, состоящей из одного или нескольких ПК тестируемого, подключенных к сети Интернет. При запуске теста тестируемым модуль регистрации тестируемого, обращаясь к центральному серверу тестирования, осуществляет запрос на регистрацию и идентифицирует тестируемого при наличии разрешенного доступа к системе. После успешной идентификации и регистрации тестируемого модуль приема БПОТЗ КТ осуществляет прием БПОТЗ КТ из соответствующего модуля сервера тестирования. После этой операции на весь период тестирования подключения ПК тестируемого к сети Интернет не требуется. Дальнейшее тестирование осуществляется в режиме «off-line». При этом модуль формирования индивидуального варианта компьютерного теста, организации процесса тестирования и формирования протокола тестирования осуществляет формирование случайным образом варианта компьютерного теста персонально для идентифицированного тестируемого, выводит тест в режиме диалога с тестируемым на экран ПК, а по окончании тестирования формирует протокол тестирования, в котором фиксируются все действия тестируемого и результат сравнения введенных ответов с правильными. По окончании тестирования всей группы тестируемых регионального участника, сформированные протоколы тестирования по каналам связи через модуль передачи протокола тестирования передаются на центральный сервер тестирования, где посредством связанных модулей 23 и 24 происходит прием протокола, его обработка и формирование результата в виде отчетных форм диагностики. При этом в отчетных формах отражается аналитический результат качества обучения как индивидуально каждого тестируемого, так и региональной группы в целом, с указанием качества усвоения каждого тестового задания теста или одной проверяемой темы, имеющей один идентификатор. Региональный участник с каждого ПК тестируемого, оснащенного модулем приема, отображения и вывода отчетных форм результатов тестирования, имея доступ по сети Интернет к сформированным на сервере тестирования отчетным формам, имеет возможность самостоятельно получить отчетные аналитические формы результата диагностики, отобразить их на экране ПК тестируемого и вывести на печать.
Таким образом, предлагаемая система тестирования позволяет осуществить массовое централизованное тестирование, обеспечить при этом безопасность, конфиденциальность, независимость и объективность процесса диагностики уровня знаний обучающихся в образовательных и иных учреждениях и оперативное получение региональными участниками аналитических результатов тестирования.