Способ предоставления подсказки о поведении студента в ходе проведения дистанционного экзамена
METHOD FOR PROVIDING TIP ON BEHAVIOUR OF STUDENT DURING REMOTE EXAMINATION

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к области технологий дистанционного обучения, а именно к способу предоставления подсказки о поведении студента в ходе дистанционного экзамена. Изобретение может быть использовано в автоматизированных системах прокторинга при проведении дистанционных экзаменов, в которых студенты участвуют с использованием средств вычислительной техники.
ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ
Автоматизированные системы прокторинга предполагают, что студент проходит контрольное мероприятие, используя компьютер, который подключен к сети Интернет, а видеоданные и звук из помещения, в котором в это время студент сдает экзамен, передаются третьей стороне – проктору, наблюдающему за студентом. На компьютер в ходе сессии прокторинга студент получает от удаленного сервера назначенные контрольные задания (тестовые вопросы, тема для эссе, математические примеры). Чтобы исключить влияние недобросовестного поведения на результаты контрольного мероприятия, за студентом устанавливается, по возможности автоматизированное, наблюдение. Проктор имеет возможность следить за действиями студента, не находясь непосредственно в помещении, в котором студент выполняет контрольные задания. Для этого используются любые данные, передаваемые от компьютера студента на сервер и, затем, с сервера на компьютер проктора. Традиционно такими данными являются звуковые и видеоданные от компьютера студента. В случае если проктору покажется, что студент проявляет недобросовестное поведение (например, списывает), то проктор может сделать студенту замечание или прервать для такого студента мероприятие.
Однако для того чтобы обеспечить возможность масштабирования системы прокторинга, а именно снизить число прокторов и увеличить число одновременно проходящих испытания студентов, необходимы технологии, которые позволили бы выявлять недобросовестное поведение автоматически или, по меньшей мере, в автоматизированном режиме, а участие проктора свести только к анализу спорных ситуаций, например, ложноположительных срабатываний алгоритмов анализа поведения студента.
Способы обеспечения наблюдения за ходом дистанционного экзамена в системах прокторинга известны, например, из заявок на патенты US20070117083 (опубл. 21.11.2006) и US20120135388 (опубл. 31.05.2012). Известные технические решения направлены на автоматизацию наблюдения за студентом, и используют аппаратные и программные средства компьютера студента для передачи потоков видео-, звуковых и других видов данных для их последующего анализа проктором. Дополнительно могут быть использованы биометрические данные студента для установления его личности перед началом экзамена. При анализе данных от компьютера студента, в случае если студент проявляется недобросовестное поведения, то проктор может вмешаться в ход экзамена, чтобы пресечь такое поведение или полностью остановить экзамен.
Известен способ управления массовым тестированием экзаменуемых через систему прокторинга, раскрытый в заявке на патент US20110279228 (опубликовано 17.11.2011). В известном способе используют биометрическую информацию о каждом экзаменуемом для выявления экзаменуемых, чье поведение отличается от поведения большинства. В качестве отправной точки известного способа полагают, что нормальное поведение экзаменуемого, не связанное с мошенничеством, то есть нарушением регламента тестирования, является проявлением поведения большинства экзаменуемых и может быть описано через математическую модель, представленную кластером из значений векторов признаков. При этом в наиболее массивный кластер попадают те значения, которые наиболее близки друг другу. Вектора признаков формируются на основе потоков данных, получаемых от программных и аппаратных средств компьютеров экзаменуемых. В наиболее распространенных случаях таковыми являются веб-камера, микрофон, средства слежения за активностью экзаменуемого при работе с системными и прикладными программами на его компьютере. При этом гипотеза о недобросовестном поведении одного или нескольких экзаменуемых принимается в зависимости от того, на каком расстоянии от центроида упомянутого кластера находится значение вектора признаков, рассчитанное для этих экзаменуемых. Для того чтобы избежать большого количества ложных срабатываний при расчете упомянутого расстояния предусмотрено одно или несколько пороговых значений, с которыми проводят сопоставление фактического расстояния вектора, рассчитанного для экзаменуемого, от центроида кластера. При превышении одного или нескольких порогов срабатывает модуль оповещения проктора о подозрении на недобросовестное поведение со стороны экзаменуемого.
Известен способ динамической идентификации личности испытуемого, раскрытый в заявке на патент RU2016139461 (патент № RU2642406, опубл. 07.10.2016). Известный способ позволяет сделать процедуру проверки личности студента на протяжении всего экзамена автоматической. Для этого используется сопоставление рассчитанного в определенный промежуток времени вектора биометрических признаков для испытуемого с эталонным значением для испытуемого, рассчитанным предварительно перед началом экзамена на основе фотографии с изображением студента. При этом такие события как отсутствие испытуемого либо подмена испытуемого в ходе экзамена расцениваются как нарушения регламента мероприятия. Затем проводят скоринг нарушений, сущность которого заключается в том, что каждому из упомянутых нарушений присваивается весовое значение в зависимости от строгости нарушения. Одновременно с этим рассчитывают сумму присвоенных нарушениям весов и на протяжении всего экзамена следят, чтобы рассчитанная сумма не превышала предварительно установленное пороговое значение. При достижении порогового значения проктору направляют оповещение о нарушении регламента мероприятия, при этом проктор может сделать замечание студенту, переключиться на наблюдение за испытуемым в ручном режиме, либо остановить проведение экзамена для испытуемого, проявившего недобросовестное поведение.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Техническая задача, положенная в основу настоящего изобретения, заключается в автоматизации выявления нарушений регламента дистанционного экзамена.
Технический результат, достигаемый при осуществлении настоящего изобретения заключается в снижении количества ошибок при выявлении нарушений регламента дистанционного экзамена в автоматизированных системах прокторинга.
В качестве изобретения заявлен способ предоставления подсказки о поведении студента в ходе дистанционного экзамена, в котором анализируют поток данных по меньшей мере от одного программного, аппаратного средства, которыми снабжен компьютер студента, выявляют автоматически в упомянутом потоке данных по меньшей мере одно событие поведения студента, в случае если упомянутое событие является нарушением регламента дистанционного экзамена, то такому событию присваивают вес в зависимости от типа нарушения, в случае если в ходе экзамена выявлено более одного нарушения, то определяют совокупность весов выявленных нарушений и сопоставляют ее с по меньшей мере одним предварительно установленным пороговым значением, возвращают подсказку о поведении студента, указывающую на степень достижения упомянутой совокупности весов по меньшей мере одного порогового значения, при этом вес по меньшей мере одного нарушения определяют как совокупность весов для этого нарушения, выявленного в одном или нескольких режимах из следующей группы: выявлено автоматически, выявлено автоматически и подтверждено в ручном режиме, выявлено в ручном режиме; причем для одного нарушения установлены количественно различающиеся веса, в зависимости от того, в каком из упомянутых режимов выявлено нарушение.
В частности, программные средства компьютера студента представлены средствами наблюдения за рабочим столом.
В частности, аппаратные средства компьютера студента представлены веб-камерой и микрофоном.
В частности, нарушения в зависимости от типа анализируемого потока данных отнесены к одной или нескольким из следующих категорий: видеонарушения, голосовые нарушения, нарушения, ассоциированные с активностью рабочего стола, нарушения, ассоциированные с идентификацией личности студента.
В частности, условия отнесения события поведения студента к нарушению регламента дистанционного экзамена предварительно загружены на компьютер студента.
В частности, тип нарушения является индикатором строгости этого нарушения и заранее определен для каждого нарушения.
В частности, для разных типов нарушений установлены количественно различающиеся веса.
В частности, для веса нарушения, выявленного автоматически, предусмотрен дополнительный понижающий коэффициент, устанавливающий значение веса ниже в сравнении с весами нарушений, выявленных автоматически и подтвержденными в ручном режиме или выявленных в ручном режиме.
В частности, выявление нарушений в автоматическом режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.
В частности, выявление нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.
В частности, подтверждение нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.
В частности, подсказка представляет собой текстовую, графическую или звуковую информацию.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Настоящее описание проиллюстрировано следующими фигурами, призванными сделать сущность изобретения ясной.
ФИГ.1
иллюстрирует схему примерного компьютера студента;
ФИГ.2
иллюстрирует схемы синхронного и асинхронного режимов прокторинга;
ФИГ.3
иллюстрирует схему взаимодействия программного и аппаратного обеспечения процесса прокторинга;
ФИГ.4
иллюстрирует блок-схему варианта проведения дистанционного экзамена с использованием настоящего изобретения;
ФИГ.5A
иллюстрирует начало блок-схемы варианта процедуры скоринга нарушений;
ФИГ.5B
иллюстрирует окончание блок-схемы варианта процедуры скоринга нарушений.
ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
ФИГ.1
101
101
102
103
104.
В соответствии с примером, представленным на , компьютер студента может быть сконфигурирован таким образом, чтобы предоставлять стороне, проводящей экзамен, доступ к некоторым ресурсам упомянутого компьютера. В общем случае компьютером может являться любой выполненный в соответствии с известными принципами компьютер в широком смысле, т.е. таким компьютером может являться персональный стационарный компьютер или специально предоставленный студенту компьютер, сконфигурированный для проведения экзамена, а также нестационарные устройства, такие как ноутбук или смартфон. Более конкретно, для того чтобы сконфигурировать компьютер студента для проведения дистанционного экзамена, такой компьютер должен быть снабжен веб-камерой , которая позволяет проводить видеосъемку лица студента и его окружения, микрофоном , который позволяет записывать голос студента и звуки из его окружения, а также быть способным предоставлять доступ к ресурсам операционной системы для наблюдения за рабочим столом Под термином “рабочий стол” понимаетсяэкранная интерактивная среда, позволяющая пользователю обращаться к каталогам и приложениям компьютера, переключаться между активными окнами запущенных приложений.
101
105
102
103
104
105
101
101
Для осуществления изобретения также могут быть задействованы другие программные и аппаратные средства компьютера , например, запоминающее устройство , позволяющее записывать и выполнять помимо операционной системы, драйверов и прикладного программного обеспечения, также еще и программное обеспечение, необходимое для проведения дистанционного экзамена и наблюдения за поведением студента в ходе экзамена посредством веб-камеры , микрофона  и рабочего стола . Запоминающее устройство  может быть представлено оперативным, постоянным запоминающим устройством, другим известным видом запоминающего устройства. Помимо программных и аппаратных средств, упомянутых ранее, компьютер также должен включать в себя устройства пользовательского ввода, такие как клавиатура, мышь, средства сенсорного ввода. Следует отметить, что оговоренные в настоящем описании опции и требования к компьютеру  студента также справедливы и для любого другого компьютера, который может быть привлечен для осуществления настоящего изобретения, например, компьютера проктора или тьютора.
ФИГ.2
201
101
202
101
203
203
101
203
101
203
101
203
В соответствии с примером, представленным на , процедура прокторинга может быть осуществлена в асинхронном или синхронном режиме. Асинхронный режим  прокторинга предполагает, что любое множество компьютеров студентов  может быть объединено в сеть посредством каналов связи , работающих поверх сети Интернет, через которую осуществляется обмен данными между компьютерами  и серверной инфраструктурой . Серверная инфраструктура  может состоять из любого количества физических или виртуальных серверов, и может представлять собой централизованную или распределенную инфраструктуру. В качестве примера рассмотрим распределенную серверную инфраструктуру, в которой каждый из серверов представляет собой стек, состоящий из медиа-сервера, веб-сервера и сервера бизнес-логики. Медиа-сервер предназначен для обеспечения трансляции и записи видеопотоков; через веб-сервер обеспечивают взаимодействие между веб-браузером компьютера  и сервером бизнес-логики; сервер бизнес-логики включает служебные сервисы и базы данных, при помощи которых возможно для различных целей хранить и обрабатывать данные, поступающие на серверную инфраструктуру  со стороны компьютеров , и наоборот, направлять команды, данные, сигналы со стороны инфраструктуры  на компьютеры . Результаты прокторинга сохраняют и обрабатывают в инфраструктуре , и затем после завершения сеанса прокторинга результаты доступны для ознакомления с любого пригодного для этого и компьютера, имеющего права доступа к упомянутым результатам.
204
101
203
203
205
202
203
205
205
101
ФИГ.1
Синхронный режим предполагает аналогичный характер взаимодействия между компьютерами и инфраструктурой , но дополнительно включает в себя одновременное взаимодействие с инфраструктурой компьютеров прокторов посредством канала связи , работающего поверх сети Интернет. Результаты прокторинга сохраняют и обрабатывают в инфраструктуре , и делают доступными для ознакомления в режиме реального времени или после завершения сеанса прокторинга с компьютера проктора. В отношении компьютеров  справедливы все те же положения, что были сделаны ранее в отношении компьютеров  с ссылкой на .
ФИГ.3
101
301
301
101
302
203
205
202
302
101
301
301
101
В соответствии с примером, представленном на , программное и аппаратное обеспечение процесса прокторинга может быть более детально раскрыто следующим образом. Компьютер снабжен веб-браузером , посредством которого студенту предоставляют доступ к материалам дистанционного экзамена, личному кабинету студента в системе прокторинга и другим необходимым для обеспечения прокторинга опциям. В качестве веб-браузера  может быть рассмотрен любой известный и широко применяемый веб-браузер без каких-либо ограничений. Дополнительно на компьютере  предварительно установлено и запущено клиентское расширение , позволяющее извлекать результаты и другие промежуточные данные прокторинга и передавать их впоследствии на инфраструктуру  и далее на компьютеры  прокторов через каналы связи . Клиентское расширение  может быть запущено в среде операционной системы компьютера , либо непосредственно в среде веб-браузера , когда расширение сконфигурировано как подключаемое расширение веб-браузера . Различные выполнения клиентских расширений могут быть предусмотрены для различных операционных систем, веб-браузеров, компьютеров , чтобы обеспечить наилучшую программную совместимость.
203
303
304
305
101
205
Инфраструктура  может быть выполнена в виде нескольких связанных посредством сетевых технологий физических серверов, на каждом из которых запущены гостевые виртуальные серверы с установленным пакетом средства контейнеризации такой как DOCKER или аналогичной. Каждый DOCKER-контейнер представляет собой запущенный образ сервиса, содержащий в себе образы виртуальной операционной системы, пакетов установки, автозапускаемых скриптов. Контейнер является работающим образом, т.е. запущенной виртуальной машиной, на которой запущены все службы, сервисы и пакеты образа. На каждом гостевом сервере устанавливают один из трех контейнеров: KMS  с медиасервером для трансляции и записи видеопотоков, Master  со служебными сервисами и базами данных, PERF  с сервером взаимодействия между веб-браузером компьютеров  и  и медиасервером.
306
306
306
306
Взаимодействие проктора с результатами прокторинга возможно через веб-интерфейс системы прокторинга. Через интерфейс проктору возвращают сведения о нарушениях, поступивших от одного или нескольких студентов. Возврат таких сведений может быть осуществлен через чат, в котором информирование проктора осуществляется в виде текстовых или звуковых оповещений. Также через интерфейсе  проктору возвращают подсказку о поведении студента в виде индикации, о которой будет упомянуто впоследствии в больших деталях. Также интерфейс  может предоставлять проктору возможность просмотра видеопотока, поступающего от веб-камеры компьютера студента в режиме реального времени, либо из архива, в который записана сессия прокторинга.
ФИГ.4
В соответствии с примером, представленном на , процесс дистанционного экзамена с использованием настоящего изобретения может включать в себя следующие шаги.
401
101
101
Проведение дистанционного экзамена начинается с шага , на котором студенту предлагают присоединиться к соглашению о конфиденциальности. В общем случае, такое соглашение гарантирует приватность для всех полученных от студента персональных, в том числе, биометрических данных. Дополнительные положения, с которыми может быть предложено согласиться студенту, включают в себя разрешение на использование веб-камеры, микрофона, получения удаленного доступа к рабочему столу его компьютера , а также других аппаратных и программных средств компьютера , которые могут быть использованы как источники данных о поведении студента во время дистанционного экзамена.
402
101
На следующем шаге осуществляют проверку соответствия компьютера  студента техническим требованиям, включая проверку готовности операционной системы, аппаратных средств компьютера, наличия необходимого предварительно установленного программного обеспечения, оценку качества интернет-соединения.
403
На следующем шаге  осуществляют прием идентификационных данных от студента, которые позволяют установить личность студента, чтобы удостовериться, что в проведении экзамена участвует именно тот студент, которому предписано пройти дистанционный экзамен. В качестве идентификационных данных может быть использован какой-либо удостоверяющий личность студента документ с фотографией, например, его паспорт, а также видеопоток, в кадрах которого присутствует студент.
404
403
На следующем шаге  проводят идентификацию студента на основе принятых на предыдущем шаге его идентификационных данных. Идентификация студента может быть проведена один раз перед началом испытательной части экзамена и динамически, т.е. на протяжении всего времени экзамена. Также идентификация может быть осуществлена вручную проктором либо автоматически. Автоматическая идентификация может быть более предпочтительной в случаях проведения массовых экзаменов, когда количество студентов значительно превышает количество прокторов. Автоматическая идентификация может быть осуществлена посредством нейронной сети, представляющей собой автоматическую обучаемую систему распознавания лиц. Нейронная сеть включает библиотеку алгоритмов обработки изображений, компьютерного зрения, а также численных алгоритмов общего назначения. Нейронная сеть проводит обработку кадров полученного от веб-камеры студента видеопотока и передает результаты обработки в функциональный модуль, ответственный за принятие решения об идентификации студента исходя из сходств, найденных между обработанным нейронной сетью изображением лица студента и предварительно полученным изображением, являющимся эталонным для этого же студента.
405
406
405
406
405
406
Выполнение следующих шагов и  может быть начато одновременно, при этом шаг  включает инициирование проверочной части, а шаг  включает инициирование работы программного обеспечения, предназначенного для наблюдения за поведением студента во время экзамена. Однако отметим, что употребление термина «одновременно» не означает, что выполнение шагов  и  начинают строго в один и тот же момент времени, а только подчеркивает параллельный режим выполнения этих шагов. На практике упомянутое программного обеспечение может начать свою работу немного раньше или позже начала проверочной части экзамена.
405
На шаге  студенту предоставляют доступ к материалам проверочной части экзамена. Упомянутые материалы могут включать в себя тестовые задания, экзаменационные вопросы, предполагающие открытый ответ, математические примеры, темы для письменного ответа без каких-либо ограничений по форме или темам заданий. Предоставление доступа к материалам может быть осуществлено посредством обращения к сетевому ресурсу или сервису, предназначенному для дистанционного обучения, посредством веб-браузера. Также материалы проверочного испытания могут быть предоставлены студенту посредством любого другого подходящего средства коммуникации, такого как электронная почта или онлайн-мессенджер. Выбор способа предоставления доступа может быть определен исходя из регламента экзамена и по существу может быть произвольным.
406
Как уже было упомянуто выше, на шаге  инициируют работу программного обеспечения (ПО), предназначенного для наблюдения за поведением студента во время экзамена. Предпочтительно упомянутое ПО может иметь модульную структуру, т.е. состоять из функциональных модулей. В качестве иллюстрирующего примера здесь и далее рассмотрим работу трех функциональных модулей, каждый из которых направлен на анализ определенного вида данных, которые возможно получить при помощи программных и аппаратных средств компьютера студента. Здесь и далее термины «функциональный модуль» и «модуль» употреблены как синонимические.
407
408
409
Рассмотрим более детально назначение каждого из примерных модулей. Модуль распознавания лиц  представляет собой автоматическую систему фиксации видеонарушений, связанных с распознаванием лица студента. Модуль голосового контроля  представляет собой автоматическую систему фиксации голосовых нарушений. Модуль контроля рабочего стола представляет собой автоматическую систему фиксации нарушений, возникающих при обращении студентом к запрещенным регламентом экзамена приложению или каталогу через среду рабочего стола. Несмотря на то, что работа ПО в настоящем описании проиллюстрирована тремя функциональными модулями, на практике таких модулей может быть значительно больше, что зависит от конкретных видов нарушений со стороны студента, которые необходимо выявить в ходе проведения экзамена, чтобы считать экзамен пройденным или непройденным для студента.
410
410
410
Параллельно с работой упомянутого ПО, выполняют шаг , который является процессом взаимодействия студента с материалами проверочной части экзамена. Например, при выполнении шага  принимают результаты пользовательского ввода или выбора студентом ответа на тестовое заданий. Продолжительность во времени шага  определяется регламентом экзамена.
406
По результатам работы ПО во время выполнения шага  формируют подсказки о поведении студента, взаимодействующего с материалами экзамена. Подсказки могут предназначаться проктору и быть предоставленными ему в режиме реального времени, когда один проктор наблюдает одновременно за несколькими студентами. Также подсказки о поведении студента могут быть предоставлены проктору после окончания экзамена, чтобы проктор мог просмотреть видеозапись сдачи экзамена студентом, поведение которого является подозрительным, не отвлекаясь на это непосредственно в ходе проведения экзамена.
Подсказка может быть предоставлена проктору в виде индикатора, на шкале которого отражено количество штрафных баллов, полученных студентом по результатам автоматического и/или ручного прокторинга. Примером используемой шкалы может являться шкала из ста баллов. В зависимости от количество штрафных баллов индикатор может иметь зеленый цвет, когда количество штрафных баллов равно нулю или значительно ниже, чем установленное пороговое значение; желтый цвет, когда количество штрафных баллов незначительно ниже упомянутого порогового значения; красный цвет, когда количество штрафных баллов превысило пороговое значение. В зависимости от цвета индикатора процедура прокторинга может быть принята, отклонена или требовать действий или внимания со стороны проктора. Отметим, что цветовая индикация может быть произвольной, как и установленное пороговое значение для изменения цвета индикации и количество пороговых значений, которых может быть более одного. Одно пороговое значение может быть установлено на восьмидесяти баллах, то есть при получении восьмидесяти баллов и более прохождение экзамена студентом не засчитывается.
411
407
409
Начисление каждого штрафного балла студенту происходит при условии , если какой-либо из модулей - обнаружил нарушение регламента экзамена. Все нарушения могут быть разделены на несколько классов, в зависимости от характера нарушения. Так, если нарушения разделены на два класса – незначительные и значительные, то штрафные баллы могут быть начислены следующим образом: за каждое незначительное нарушение студенту начисляют десять баллов, за каждое значительное нарушение – двадцать баллов. В качестве незначительных нарушений могут быть рассмотрены длительный увод взгляда, разговор во время экзамена, наличие еще одного человека в видеопотоке от веб-камеры. В качестве значительных нарушений могут быть рассмотрены отсутствие студента в кадре, подмена студента, использование книг/конспектов, смена активного окна рабочего стола, обращение к сайту или использование программного обеспечения, недопустимых исходя из регламента экзамена.
412
413
Процедуру начисления штрафных баллов для целей настоящего изобретения будем называть как процедуру скоринга нарушений . Конкретное значение штрафного балла для студента является одним из результатов прокторинга и передается затем в аналитическую систему на шаге , где может быть отражено в рейтинге активности индивидуального студента или группы студентов. Скоринг нарушений может быть проведен как для индивидуального студента, так и для группы студентов, сдающих дистанционных экзамен с одного или разных компьютеров.
414
415
Затем на шаге  получают результат проверочного испытания, ассоциируют с ним результаты прокторинга и на шаге  записывают эти сведения в архив, к которому может обратиться, проктор или любое другое лицо, имеющее санкционированный доступ к таким данным, например, администратор учебного курса или тьютор.
ФИГ.5A и ФИГ.5B
В соответствии с примером, представленным на , процедура скоринга нарушений может быть осуществлена следующим образом.
407
408
409
В качестве иллюстрирующих, но не ограничивающих сущность настоящего изобретения примеров, рассмотрим процедуру скоринга следующих категорий нарушений. Как уже было отмечено выше, модуль распознавания лиц  предназначен для фиксации видеонарушений; модуль голосового контроля  предназначен для фиксации голосовых нарушений; модуль контроля рабочего стола  предназначен для фиксации нарушений, ассоциированных с активностью на рабочем столе.
Категории нарушений могут включать в себя несколько типовых событий, расцениваемых как нарушения в зависимости от регламента экзамена.
Категория видеонарушений содержит без ограничения следующие события: увод студентом взгляда от экрана компьютера, отсутствие студента в кадре, использование книг или конспектов, использование сторонних технических средств.
Категория голосовых нарушений содержит без ограничения следующие события: наличие разговора при выполнении контролируемого мероприятия, обнаружение голоса студента или посторонних голосов.
Категория нарушений, ассоциированных с активностью рабочего стола, включает без ограничения следующие события: смена активного окна рабочего стола, использование сайтов или ПО, запрещенных регламентом экзамена.
Особенностью человеческого поведения является тот факт, что каждое нарушение происходит не мгновенно, следовательно, не может быть дискретным, оно занимает время (непрерывный отрезок длительностью больше 1 секунды), необходимое объекту на то, чтобы совершить действие, которое является событием одной из категорий нарушений и может быть зафиксировано в системе прокторинга.
407-409
Модули , находясь в активном состоянии, проводят проверку ассоциированного с ними типа данных, ожидая распознавания события.
501
407
502
503
503
502
503
504
505
506
cybCam
P(1)*cybCam
auto
auto
При распознавании  события из категории видеонарушений, модуль  инициирует выполнение  функции , фиксирующей видеонарушения. После получения данных о начале фиксации видеонарушения активируют таймер с предустановленным временным интервалом, например, в течение пяти минут. На шаге  проводят проверку вида распознаваемых событий в течение предустановленного временного интервала. Если проверка  завершается с отрицательным результатом, то совершают возврат на шаг . Если проверка  завершается с положительным результатом, то проводят группировку  распознанных событий и присваивают  сгруппированному событию тип нарушения. Если нарушение является значительным, то ему присваивают вес , исходя из функции , в которой:
P(1) – это установленный вес для нарушения первого типа (значительные нарушения).
507
P(2)*cybCam
auto
Иначе, если определено два типа нарушений (значительные/незначительные), то нарушению присваивают вес , исходя из функции , в которой:
P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).
503
Библиотеки и алгоритмы, позволяющие распознавать события, связанные с видеонарушениями, дают точность для распознавания события в пределах 64-82%. Такой процент точности приводит к появлению ложноположительных или ложноотрицательных срабатываний. Однако, если нарушение в действительности имеет место, то несколько срабатываний происходит в течение короткого промежутка времени. На практике количество срабатываний может составлять три и более случаев за одну минуту. Поэтому проверка  с таймером является предпочтительным шагом для снижения влияния автоматического распознавания событий на результаты прокторинга.
508
408
509
510
510
509
510
511
512
cybVoice
P(2)*cybVoice
auto
auto
При распознавании  события из категории голосовых нарушений, модуль  инициирует получение  значения , фиксирующей голосовые нарушения. После получения данных о начала фиксации голосового нарушения активируют таймер с предустановленным временным интервалом. На шаге  проводят проверку вида распознаваемых событий в течение предустановленного временного интервала. Если проверка  завершается с отрицательным результатом, то совершают возврат на шаг . Если проверка  завершается с положительным результатом, то проводят группировку  распознанных событий. Для голосовых нарушений может быть определен только один тип нарушения, предпочтительно, незначительные. В таком случае нарушению присваивают вес , исходя из значения , в котором:
P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).
cybVoice
auto
Значение  рассчитывается за весь период прохождения экзамена, согласно правилу неприменимости двойного наказания за один и тот же разговор. На автоматическую функцию определения голоса может быть наложено ограничение: не более одного предупреждения в минуту, чтобы не перегружать чат проктора/тьютора однотипными нарушениями.
513
409
514
515
auto
auto
При распознавании  события из категории нарушений, ассоциированных с активностью рабочего стола, модуль  инициирует выполнение  функции cybDesk. При выявлении каждого события рабочего стола ему присваивают вес , исходя из значения P(2)*cybDesk, в котором:
P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).
cybIdent
auto
Помимо трех упомянутых выше категорий нарушений в системе прокторинга также может быть осуществлена динамическая идентификация личности студента  для нарушений, связанных с идентификацией и верификации людей в кадре.
516
Данные о выявляемых в ходе сессии прокторинга нарушениях и их весовых коэффициентах затем обрабатываются , например, вычисляется их сумма, чтобы определить текущую оценку скоринга для студента. Учитывая веса, которые предусмотрены для каждой из категорий нарушения, формула для текущей оценки скоринга будет следующей:
или
Где   – установленный вес для нарушения, в зависимости от типа (1 – значительные нарушения 2 – незначительные нарушения);
auto
cybCam(N) – номер видеонарушения;
auto
cybVoice(N) – номер голосового нарушения;
Вес для нарушения из каждой категории устанавливают в зависимости от размерности шкалы. Например, вес может исчисляется в баллах и составить от 10 до 20 баллов, в зависимости от типа нарушения, при максимальном возможном значении в 100 пунктов, при котором автоматически экзамен для студента считается непройденным по причине нарушения регламента.
517
Значение оценки прокторинга F может быть автоматически обновляемым в ходе всей сессии прокторинга. При этом на протяжении всей сессии следят  за близостью значения оценки F и предварительно установленного порогового значения К.
Пороговое значение K устанавливают исходя из степени дисциплинарного контроля мероприятия. Сумма весов всех нарушений пользователя имеет ограничение в 100 пунктов, в виде нормирования оценочной шкалы. Исходя из этого, если выбрано значение порога в 100 пунктов, то прокторинг для всех контрольных мероприятий считается пройденным и сессии пользователей обладают положительным статусом Correct. Если выбрано значение порога в 0 пунктов, то прокторинг для всех контрольных мероприятий имеет статус Incorrect и требует дополнительного ручного просмотра со стороны прокторов и/или тьюторов. Если значение порога больше половины от 100 пунктов, это значит, что допустимо несколько нарушений (больше двух). Если значение порога меньше половины, то выбран строгий режим оценивания, подразумевающий минимальное количество нарушений (например, одно или два нарушения). Помимо порогового значения, может быть установлено допустимое количество нарушений для конкретного дистанционного экзамена, что необходимо для расчета весовых характеристик нарушений.
518
519
520
521
522
523
101
В случае проверки , если оценка F превышает пороговое значение K, то студенту не засчитывают прокторинг по причине превышения  количества допустимых нарушений. Иначе переходят к проверке , в случае которой, если оценка F превысила пониженное пороговое значение 0,75K, то проктору возвращают подсказку о подозрительном поведении  студента в ходе экзамена. В случае если значение F не превысило значение 0,75K, то прокторинг для студента считают успешным, без превышения количества допустимых нарушений. В этом случае проктору возвращают подсказку, о том, что поведение студента является добросовестным . По итогам сессии данные об автоматически выявленных нарушениях записывают в архив . Также в архив могут быть включены полностью или частично полученные в ходе дистанционного экзамена потоковые данные от компьютеров  студентов.
524
101
Предпочтительно результаты автоматического прокторинга должны быть дополнены результатами  выявления нарушений в ручном режиме, когда проктор в ходе дистанционного экзамена отслеживает потоки данных от компьютера  студента в режиме реального времени или ознакамливается с ними после окончания экзамена.
Пример. Проведение процедуры скоринга, объединяющей результаты автоматического проекторинга и выявления нарушений в ручном режиме.
Для дистанционного экзамена могут быть установлены весовые коэффициенты для каждого типа нарушений. Установка может быть представлена следующим образом.
А) Определяют допустимое количество нарушений первого типа: F(1);
B) Рассчитывают вес нарушения 1-го типа:
где К – порог, F(1) – количество нарушений первого типа;
C) Определяют допустимое количество нарушений 2-го типа: F(2);
D) Рассчитывают вес нарушения 2-го типа:
E) Соблюдают условие:
F) Вычисляют понижающий коэффициент для нарушения 2-го типа:
Работа скоринговой функции может быть определена для трех случаев получения результатов прокторинга:
–  выявлено автоматически;
–  выявлено автоматически и подтверждено в ручном режиме;
–  выявлено в ручном режиме.
При полностью автоматическом прокторинге функция включает только параметры автоматической фиксации нарушений, весовые характеристики автоматических нарушений применяются с понижающим коэффициентом.
При смешанном прокторинге функция включает как параметры автоматической фиксации нарушений, так и эталонные весовые значения нарушений, зафиксированных вручную, при этом учитываются только подтвержденные автоматические нарушения, вес.
При ручной фиксации нарушений вес оценки проктора и/или тьютора является эталонным с коэффициентом равным единице. Каждое нарушение, зафиксированное проктором и/или тьютором априори считается положительным и подлежит обязательному включению в расчеты по формуле.
Более детально рассмотрим пример, в котором проведение процедуры прокторинга происходит в смешанном режиме, т.е. объединяет результаты автоматического проекторинга и выявления нарушений в ручном режиме.
A) Параметры нарушения cybCam
auto
- Из всего времени экзамена t, ищутся такие отрезки времени Xt, что кол-во нарушений одного типа (cybCamt)в минуту >=3;
- Каждый такой отрезок времени Xt = Pn(Alert_type), где Alert_type принимает значение 1 или 2.
C) Параметры нарушения cybVoice
auto
cybIdentauto(Alert_type) = 0,5Pn(Alert_type).
D) Параметры нарушения со сменой активного окна cybDesk
auto
- t – Общая продолжительность экзамена;
- cybVoiceauto => 0.65, тогда
- cybVoiceauto = Pn(2), (нарушение проктора 2 типа),
- 0.5 <= cybVoiceauto < 0,65, тогда cybVoice = 0,5Pn(2)
- если cybVoiceauto < 0,5, то cybVoice = 0.
E) Параметры нарушений, подтвержденных в ручном режиме
- cybCamt = Tn(Alert_type), где Alert_type принимает значение 1 или 2;
- cybDeskt = Tn(Alert_type),
- cybVoicet =Tn(Alert_type).
F) Параметры нарушений, выявленных в ручном режиме тьютором
где F(Alert_type) - количество допустимых нарушений типа Alert_type на экзамен.
G) Параметры нарушений, выявленных в ручном режиме проктором
Tn(Alert_type) = Pn(Alert_type).
H) Параметр “Нарушитель“ (cheat)
Cheat = K+1, где K - пороговое значение.
I) Параметр “Идентификация” - не учитывается в общей оценке
- если результат идентификации OK или NO PHOTO, то I принимает значение 0;
- если результат идентификации FAIL, то I принимает значение -101.
J) Параметр “Идентификация” - учитывается в общей оценке
переменная I =0, значение проверки выводится отдельно.
Промежуточный результат
Если Res > 100, то Res=100;
ResI=Res+I, где I – идентификация.
Итоговый результат прокторинга:
A) Прокторинг пройден - результат равен или ниже порогового значения K:
B) Прокторинг не пройден - результат выше порогового значения K:
C) Идентификация не пройдена
Следует отметить, что представленные выше конкретные детали являются лишь примером осуществления настоящего изобретения и призваны сделать его сущность более ясной без какого-либо ограничения. Специалистам будет понятно, что изобретение может быть дополнено многими другими деталями без отклонения от его сути. Сущность изобретения выражена формулой, приложенной к настоящему описанию.