ИНТЕРАКТИВНЫЙ ТРЕНАЖЕР ДЛЯ ОСУЩЕСТВЛЕНИЯ ТРЕНИРОВОК С ПОМОЩЬЮ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ
INTERACTIVE SIMULATOR FOR TRAINING USING VIRTUAL REALITY

ОБЛАСТЬ ТЕХНИКИ
[0001] Заявленное техническое решение в общем относится к области компьютерной техники, а в частности к интерактивному тренажеру для осуществления тренировок с помощью виртуальной реальности (далее - BP).
УРОВЕНЬ ТЕХНИКИ
[0002] Использование виртуальной реальности для осуществления различного рода тренировок и процесса обучения, на сегодняшний момент с развитием технологий в данной отрасли, является достаточно распространенным решением, позволяющим обеспечить более интерактивный и функционально продвинутый режим, позволяющий пользователям более полноценно погружаться в процесс для выполнения эффективных тренировок в компьютерно-моделируемом пространстве BP.
[0003] Из патентной заявки CN 108489330 А (заявитель: Mu et al., дата публикации: 04.09.2018) известна система выполнения тренировочного процесса в BP, в частности, для сотрудников полиции. Система обеспечивает выполнения тренировочных сессий для отработки тактических навыков и стрельбы, и включает в себя игровые компьютеры участников тренировочного процесса, компьютер инструктора, центральный сервер, гарнитуры участников для обеспечения процесса тренировки в BP и сенсоров для отслеживания положения участников в BP. Гарнитуры выполняются в виде шлемов BP, контроллеров и сенсоров для отслеживания перемещений пользователей.
[0004] Аналогичное решение известно также из патента США 9,599,821 (патентообладатель: Curen et al., дата публикации: 21.03.2017). В данном патенте раскрывается система для обеспечения тренировочного процесса в BP, с обеспечением единой сессии для нескольких игроков в едином виртуальном пространстве.
[0005] Недостатком известных подходов является ограниченный функционал, предлагаемый тренировочными комплексами, в частности, основывающийся на приближении тренировочного процесса к игровому, для отслеживания общего процесса взаимодействия и поведения игроков в BP, без анализа важных показателей непосредственной физической активности, требуемых для отработки навыков поведения в различных реальных ситуациях.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Настоящее техническое решение направлено на устранение технической проблемы, заключающейся в ограниченности функционала тренажеров на основе BP, что обеспечивается за счет возможности динамического изменения сценариев тренировочного процесса, а также возможности отслеживания направления и длительности взгляда участников тренировочной сессии с привязкой к критически важным объектам виртуального пространства.
[0007] Техническим результатом, достигающимся при решении вышеописанной технической проблемы, является расширение функциональных возможностей тренажера на основе BP, за счет обеспечения отслеживания визуального отклика участников тренировочной сессии при взаимодействии с объектами виртуального пространства.
[0008] Дополнительным результатом является повышение качества тренировочного процесса, за счет дополнительного отслеживания показаний визуального отклика участников тренировочной сессии при выполнении заданных сценариев.
[0009] Заявленный технический результат достигается за счет интерактивного тренажера для осуществления тренировок с помощью виртуальной реальности (BP), который содержит
по меньшей мере один сервер, обеспечивающий генерирование виртуальных комнат для проведения тренировочных сессий;
одно или несколько компьютерных устройств участников тренировочного процесса, соединенные посредством сети передачи данных с сервером и содержащие подключенные BP гарнитуру, контроллер BP и сенсоры для отслеживания перемещения и действий участника в BP;
при этом
BP гарнитура содержит средство отслеживания визуального отклика участника тренировки, обеспечивающее передачу данных на соответствующее компьютерное устройство участника, о направлении и времени визуального контакта с объектами BP;
компьютерное устройство участников обеспечивает:
генерирование виртуального окружения тренировочной сессии;
активацию изменения сценариев окружения BP в зависимости от получаемых упомянутых данных визуального отклика участников;
сбор показателей активности участников и параметров выполнения условий тренировочной сессии;
расчет итоговой оценки прохождения тренировочной сессии каждым участником.
[0010] В одном из частных примеров реализации тренажера контроллер выполнен в виде имитатора оружия.
[0011] В другом частном примере реализации тренажера имитатор содержит систему контроля выстрела и отдачи.
[0012] В другом частном примере реализации тренажера дополнительно содержит трекер, закрепляемый на элементе тренировочного окружения.
[0013] В другом частном примере реализации тренажера элемент тренировочного окружения представляет собой кейс, или мешок, или рюкзак.
[0014] В другом частном примере реализации тренажера дополнительно по меньшей мере один участник тренировочной сессии одет в костюм с тактильной отдачей.
[0015] В другом частном примере реализации тренажера костюм обеспечивает получение биометрических показателей участника тренировочной сессии.
[0016] В другом частном примере реализации тренажера компьютерное устройство участника фиксирует биометрический отклик участников при выполнении тренировочной сессии.
[0017] В другом частном примере реализации тренажера формируется рекомендация для участника на основании биометрического отклика при выполнении тренировочной сессии.
[0018] В другом частном примере реализации тренажера объекты BP включают в себя статичные и/или динамические объекты.
[0019] В другом частном примере реализации тренажера динамические объекты представляют собой анимированные модели, выбираемые из группы: животные, люди, транспорт, или их сочетания.
[0020] В другом частном примере реализации тренажера компьютерное устройство обеспечивает участнику тренировочной сессии управление динамических объектом, представляющим модель человека.
[0021] В другом частном примере реализации тренажера режим тренировки осуществляется по меньшей мере двумя участниками тренировочной сессии в едином виртуальном пространстве.
[0022] В другом частном примере реализации тренажера анимированные модели построены на алгоритмах поведения на основе искусственных нейронных сетей (ИНС).
[0023] В другом частном примере реализации тренажера анимированные модели изменяют поведение в зависимости от выполнения сценария по меньшей мере одним участником тренировочной сессии.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0024] Фиг. 1 иллюстрирует общую схему заявленного решения.
[0025] Фиг. 2 А, 2Б иллюстрируют пример визуального отклика участника.
[0026] Фиг. 3 иллюстрирует пример сценария тренировочной сессии.
[0027] Фиг. 4 иллюстрирует общий вид вычислительного устройства для реализации заявленного изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0028] Как представлено на Фиг. 1, общая схема заявленного тренажера представляет собой комплекс устройств, предназначенных для обеспечения тренировочной сессии для участников (110, 120). Оборудование, минимально необходимое для осуществления тренировочного процесса в BP состоит из следующих устройств: компьютеры (111, 121), BP гарнитура (112, 122), BP контроллер (113, 123).
[0029] Компьютерные устройства (111, 121) участников (110, 120) подключаются к тренировочной сессии, генерируемой сервером (160), посредством канала передачи данных (150). В качестве канала передачи данных (150) может использоваться локальная вычислительная сеть (ЛВС), беспроводное сетевое соединение (WLAN, Wi-Fi и т.п.), сеть «Интернет» и т.п.Сервер (160) обеспечивает формирование тренировочных сессий или виртуальных комнат, позволяя нескольким игрокам, находящимся в единой реальной зоне (10) или удаленных друг от друга территориально местах, взаимодействовать в едином виртуальном пространстве (20).
[0030] Сервер (160) может представлять собой техническую реализацию, не ограничиваясь, Photon Server™ (https://www.photonengine.com/en-US/Server), в котором идет создание сетевых виртуальных комнат для тренировочной сессии участников (110, 120) при поступлении соответствующего сигнала от устройств участников (111, 121). Также, через сервер (160) проходят все сообщения между администратором (не показан), участниками (110, 120) и наблюдателями (не показаны).
[0031] Виртуальное пространство формируется с помощью вычислительных устройств (111, 121), за счет обработки заданной программной логики. Положение участников (110, 120) тренировки в BP обрабатывается с помощью информации, захватываемой оптическими сенсорами (130, 140), например, камерами глубины. Координаты самих участников (110, 120) в пространстве (10) захватываются с помощью трекеров, которые могут размещаться в контроллере (113, 123) или представлять дополнительное оборудование, надеваемое участниками (110, 120). Примерами таких трекеров могут выступать трекеры движения Vive™, одеваемые на руки, и/или ноги участников (110, 120).
[0032] Программная логика для обеспечения тренировочного процесса в BP может быть реализована на игровом движке, поддерживающем 3D, например, Unity3D или Unreal Engine, с помощью которого формируются трехмерные сцены и учет параметров в процессе проведения тренировок.
[0033] Трекеры, BP гарнитура (112, 122), BP контроллеры (113, 123) подключаются к вычислительным устройствам (111, 121) посредством проводной или беспроводной связи, например, через стандартизованные интерфейсы, такие как: USB, Wi-Fi, Bluetooth, BLE и т.п. Дополнительно, участники (110, 120) могут использовать средства тактильной отдачи и стимуляции мышечной активности, например, костюм для BP Teslasuit™. С помощью такого костюма дополнительно появляется возможность отслеживание биометрических показателей участника (110, 120), например, пульс, уровень стресса и т.п.
[0034] Как показано на Фиг. 1 виртуальное пространство содержит виртуальное окружение (20), в котором генерируются элементы окружения (201-204), представляющие собой модели зданий, транспорта, людей, предметов ландшафта и т.п. Виртуальное окружение (20) может формироваться из реальной модели объекта или пространства, тренировку на котором необходимо провести. Построение такой модели окружения (20) может осуществляться с помощью технологии съемки окружения (например, с помощью ARKit™) и перевода полученных изображений в трехмерную компьютерную модель для использования в виртуальном окружении (20).
[0035] Динамические объекты виртуального окружения (203, 204) могут быть основаны на базе искусственного интеллекта (ИИ) для обеспечения выполнения заданных функций во время проведения тренировочной сессии. Участники (110, 120) тренировочной сессии в виртуальном окружении представлены динамическими моделями аватаров (210, 220) для обеспечения взаимодействия между собой и с объектами BP (201-204) в процессе тренировки.
[0036] BP гарнитуры (112, 122) участников (110, 120) могут выполняться в виде очков, шлема или другого носимого устройства, обеспечивающего отображение BP. Гарнитура (112, 122) содержит средство фиксации оптического отклика участников (110, 120), позволяющего анализировать направление взгляда, время фиксации взгляда на объекты BP (201-204). Также может учитываться частота моргания и мышечные сокращения. BP гарнитура (112, 122) также может содержать встроенные средства для воспроизведения аудио и записи речевой информации для осуществления общения участников (110, 120).
[0037] Технология фиксации взгляда (от англ. Eye tracking) позволяет получить важную информацию при проведении тренировочных сессий для персонала, например, для инкассаторов, сотрудников полиции, охранников и другого персонала, для которых наблюдение за окружающей обстановкой играет первостепенную задачу.
[0038] На Фиг. 2А - 2Б приведен пример анализа информации, получаемой от гарнитуры (112) с технологией обработки визуального отклика участника (110). При выполнении тренировочных сессий виртуальное окружение (20) может содержать объекты, в частности, динамические объекты (203, 204), наблюдение за которыми необходимо осуществить для отработки тех или иных тактических действий. Например, наблюдение за людьми (203) и транспортом (204).
[0039] Сценарии тренировок управляются с помощью программной логики на устройствах участников (111, 121), при этом генерирование сценария тренировочной сессии может осуществляться только на одном компьютерном устройстве (111, 121). Дополнительно может использоваться рабочее место инструктора, представляющее собой компьютерное устройство, обеспечивающее подключение к тренировочной сессии для мониторинга и/или управления сценарием тренировки.
[0040] Сценарий тренировочной сессии реализован на базе программной логики и может учитывать объекты виртуального окружения (20), присутствующие в текущей сессии и формировать команды на осуществления тех или иных действий данными объектами, например, движение людей (203), машин (204), формирование опасных/нештатных ситуаций и т.п.
[0041] Изменение сценария поведения объектов BP (203 - 204) может также происходить в зависимости от получаемых данных визуального отклика участников (110, 120), например, при выполнении условия наблюдения за объектом (203-204) заданное количество времени Т (которое может измеряться, например, в секундах). Получаемые показатели во время тренировочной сессии позволяют проанализировать активность участников (110, 120) и определить параметры выполнения условий тренировочной сессии, а также произвести расчет итоговой оценки прохождения тренировочной сессии каждым участником (110, 120).
[0042] На Фиг. 3 представлен пример тренировочной сессии, при которой участник (210) отрабатывает перемещение с ценным грузом (211). Для отработки данного сценария может применяться элемент дополнительного тренировочного окружения (211), снабженного трекером для отслеживания его положения в BP. В качестве такого элемента (211) может выступать, например, кейс, мешок, рюкзак и т.п. При перемещении участника (ПО) в реальном помещении (10) осуществляется отслеживание соответствующего перемещения его цифрового аватара (210) в BP (20).
[0043] Для успешного осуществления тренировочной сессии анализируется визуальный отклик участника (ПО) с помощью обработки визуального контакта с объектами BP (203-204), в частности, время наблюдения за объектами, осмотр ближайших объектов по пути перемещения и т.п.
[0044] Сценарий тренировочной сессии может активировать триггерные события при наступлении установленных условий, например, пропуск критически важного объекта BP (203-204), например, модели человека (203) в зоне проведения тренинга, что формирует программную логику поведения объекта BP (203) для осуществления заложенных действий, например, нападение, препятствование и т.п. Программная логика на базе искусственного интеллекта объектов (203-204) может строиться на таких семействах алгоритмов, как "деревья поведения", а также с применением агентов машинного обучения (ML Agents) и моделях целе-ориентированного планирования действий (Goal-Oriented Action Planning), позволяющих обучаться и адаптироваться к поведению участников (110, 120) при повторных выполнениях сценариев тренировок.
[0045] В качестве контроллеров (113, 123) могут применяться модели оружия для отработки сценариев, направленных на имитацию боевых действий. В качестве таких контроллеров (113, 123) могут использоваться такие устройства, как: Vive Blaster™ (https://www.vive.com/us/VR-hvperkin-hyper-blaster-with-tracker/), Vive Controller™ (https://www.vive.com/us/accessory/controller/). Может также применяться имитация реального оружия, снабженного специализированной системой отслеживания магазина и положения затвора, что позволяет обеспечить более реальное погружение в тренировочный процесс.
[0046] Заявленный тренажер также обеспечивает режим как совместного прохождения тренировки несколькими участниками (110, 120), при котором участники (110, 120) формируют единую команду для отработки заданного сценария, так и режим, при котором участники (110, 120) соревнуются друг с другом. В этом режиме может генерироваться к исполнению несколько сценариев. Одним из таких сценариев может выступать отработка стрельбы из укрытия, при котором анализируется визуальный отклик участников (110, 120), в совокупности с данными стрельбы, получаемой с систем контроллеров (113, 123). В другом режиме участники (110,120) отрабатывают сценарии, в котором один из участников (210) выполняет одну задачу, а аватар второго (210) участника визуально не отличается от других моделей людей (203) виртуального окружения (20), до наступления момента совершения действий по отношению к первому участнику (110). Например, при совершении нападения на аватар первого участника (210). Такой режим позволяет осуществлять более гибкую отработку различных сценариев с учетом реальных действий участников (110, 120).
[0047] Тренировки могут проходить также и в режиме, не требующим подключения к сети (150), т.н. оффлайн режим, при котором участник (110) единолично участвует в сессии с помощью его компьютерного устройства (111) и необходимых устройств (112, 113).
[0048] Использование дополнительных средств, таких как костюм с тактильной отдачей, позволяет также получать информацию об индивидуальном восприятии участников (110, 120), например, уровень стресса в той или иной ситуации, внимательность, меткость, скорость реакции и т.п.
[0049] Важной особенностью применения такого костюма, например, Teslasuit™ или аналога, является возможность моделировать сценарии тренировок с термическим воздействием на участников (110, 120). Костюм может оборудоваться терморегулирующими элементами, например, трубками, соединенными с сосудом или средством для циркулирования жидкости по ним, обеспечивая нагрев или охлаждение жидкости в них, тем самым имитируя жар или холод, передаваемый участникам (110, 120). Костюм представляет собой вариант дополнительного контроллера для BP, который подключается к устройству (111 или 112) и реагирует на изменение виртуального окружения при проведении тренировочной сессии. Такой подход в использовании тактильного костюма может найти широкое применение для пожарников или отработки сценариев в условиях зимы и т.п. Костюм позволяет осуществлять электрическое взаимодействие на любые мышечные группы участников, что позволяет повысить эффективность имитации в BP нестандартных ситуаций и качество самого процесса тренировки.
[0050] Выполнение вариантов использование заявленного тренажера не ограничивается только данными примерами и может быть адаптировано под требуемую область и специфику применения. Дополнительные трекеры могут устанавливаться на различные типы имитаторов реального оборудования для осуществления тренировочного процесса, например, пожарные шланги, строительные инструменты, имитаторы оружия и т.п.
[0051] Площадка (10) для перемещения участников (110, 120) может содержать дополнительные элементы окружения, модели которых могут адаптироваться под BP, например, укрытия, имитаторы тротуара, природных насаждений и др. Площадка (10) может содержать сенсоры, которые при приближении к ним участников (110, 120) активируют программную логику BP, задействующей триггеры виртуального окружения, которые могут влиять на изменение сценария поведения объектов (201-204) виртуального окружения (20).
[0052] На Фиг. 4 представлен пример общего вида вычислительного устройства (300), на базе которого может быть реализовано заявленное решение, в частности вычислительные устройства, и элементы, выполняющие вычислительную обработку информации.
[0053] В общем случае, устройство (300) содержит объединенные общей шиной информационного обмена (310) один или несколько процессоров (301), средства памяти, такие как ОЗУ (302) и ПЗУ (303), интерфейсы ввода/вывода (304), устройства ввода/вывода (305), и устройство для сетевого взаимодействия (306). В общем случае устройство (300) может представлять собой сервер, серверный кластер, мейнфрейм, суперкомпьютер, или иной тип пригодного вычислительного устройства.
[0054] Процессор (301) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п.Под процессором или одним из используемых процессоров в устройстве (300) также необходимо учитывать графический процессор, например, GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения заявленного способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.
[0055] ОЗУ (302) представляет собой оперативную память и предназначено для хранения исполняемых процессором (301) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (302), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (302) может выступать доступный объем памяти графической карты или графического процессора.
[0056] ПЗУ (303) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[0057] Для организации работы компонентов устройства (300) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (304). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[0058] Для обеспечения взаимодействия пользователя с устройством (300) применяются различные средства (305) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор, мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[0059] Средство сетевого взаимодействия (306) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (306) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0060] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.