УСТРОЙСТВО ДЛЯ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

УСТРОЙСТВО ДЛЯ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Область техники, к которой относится полезная модель
Полезная модель относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащим корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации, поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя. В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами несуществующий объект, от которого передаваемые человеку ощущения (через зрение слух и т.п.) имитируются техническими средствами.
Дополненная реальность - воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).
Устройство для создания и просмотра объектов дополненной реальности - любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.
Смартфон (англ. smartphone - умный телефон) - сотовый телефон, дополненный функциональностью карманного персонального компьютера.
Биометрические параметры лица - набор определенных параметров, точек на лице человека, посредством анализа изображений которых возможно провести распознавания базовых эмоций, выражаемых мимикой лица человека, таких как - радость, грусть, страх, удивление, гнев, презрение и отвращение, а также сигналы, подаваемые лицом человека (подмигивание и прочее).
Биометрические параметры жестов - набор определенных параметров, точек тела человека, преимущественно рук, посредством анализа изображений которых возможно провести распознавания сигналов, подаваемых жестами человека (поглаживание, прощание, рукопожатие и прочее).
Уровень техники
В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности - то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.
Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, что объект дополненной реальности реагирует на воздействие.
Известны устройства для воздействия на виртуальные объекты дополненной реальности, содержащие корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации,
поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя. Этот уровень техники раскрыт в публикации описания патента на изобретение РФ №2560794 от 20.05.2015.
Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемой полезной модели. Также как и полезная модель, прототип может выводить на дисплей виртуальные объекты дополненной реальности.
Недостатком этого прототипа является недостаточные возможности воздействия на виртуальные объекты дополненной реальности.
В частности - невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от команд, соответствующих различной частоте сердечного пульса.
Раскрытие полезной модели
Настоящая полезная модель, главным образом, имеет целью предложить устройство для воздействия на виртуальные объекты дополненной реальности, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить расширение возможности воздействия на виртуальные объекты дополненной реальности, что и является поставленной технический задачей.
Для достижения этой цели блок распознавания команд имеет модуль определения частоты сердечного пульса пользователя.
Благодаря данным выгодным характеристикам появляется возможность дополнительно определять частоту сердечного пульса и использовать его для повышения точности распознавания базовых эмоций, выражаемых мимикой лица человека, таких как - радость, грусть, страх, удивление, гнев, и проч. Или управлять объектами в зависимости от частоты сердечного пульса.
Краткое описание чертежей
Другие отличительные признаки и преимущества данной полезной модели ясно вытекают из описания, приведенного ниже для иллюстрации и не
являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:
- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно полезной модели,
- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно полезной модели.
Согласно фигуре 1 устройство для воздействия на виртуальные объекты дополненной реальности содержит корпус 1, в котором размещены видеокамера 2, дисплей 3, соединенные с вычислительным модулем 4, обрабатывающим данные.
Устройство имеет блок 5 хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем 4, который имеет электронный блок 6 распознавания среди различных вариантов мимики лица и жестов пользователя, поступивших через видеокамеру 2 устройства, команд из базы данных, причем выход блока 6 распознавания соединен с входом расположенного в вычислительном модуле электронного блока 7 активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя
Блок 6 распознавания среди мимики лиц и жестов пользователя команд может иметь:
- модуль 61 распознавания биометрических параметров лица,
- модуль 62 распознавания биометрических параметров жестов,
- модуль 63 определения температуры пользователя, соединенный с инфракрасной камерой 64 (или тепловизором),
- модуль 65 определения частоты моргания глаз пользователя,
- модуль 66 определения частоты сердечного пульса пользователя,
- модуль 67 предсказания действий пользователя.
На фигуре 1 также обозначено:
8 - реальный объект, который снимает видеокамера 2,
9 - изображение реального объекта на дисплее 3,
10 - изображение виртуального объекта дополненной реальности на дисплее 3,
11 - пользователь.
Осуществление полезной модели
Устройство для воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации полезной модели, имея в виду, что данный пример не ограничивает применения полезной модели.
Согласно фигуре 2:
Этап А1. До начала воздействия на виртуальные объекты дополненной реальности формируют базу действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующих разным вариантам мимики и жестов пользователя.
Этап А2. Заранее устанавливают соответствие между вариантами мимики и жестов пользователя и вариантом действий объекта дополненной реальности.
Этап A3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности любое изображение, служащее маркером для создания виртуальных объектов дополненной реальности или физический объект.
Этап А4. Создают объект дополненной реальности и выводят его на дисплей устройства.
Этап А5. Пользователь изображает мимикой и жестами те варианты, которые имеются в базе данных.
Этап А6. Устройство принимает изображение лица пользователя или его жеста. То есть происходит захват видео с камеры 2.
Этап А7. Затем посредством блока распознавания среди различных вариантов мимики лица и жестов пользователя, поступивших через видеокамеру устройства, команд из базы данных производится распознавание, ориентированное на режим реального времени;
Процесс распознавания мимики может состоять из нескольких подэтапов.
Этап А71. Сначала цифровые изображения подвергают предварительной обработке для улучшения качества распознавания.
Этап А72. Затем производят детектирование лица человека на панорамном изображении и копировании найденного лица в отдельный кадр, который подают на вход классификатора. В качестве классификатора может быть использована нейронная сеть, обученная по алгоритму обратного
распространения ошибки. В обучающую выборку могут войти семь эталонов из классификатора Экмана, мимические картины на которых значительно отличаются по силе экспрессии.
Этап А8. С помощью электронного блока 7 активируют действия виртуальных объектов дополненной реальности, соответствующие распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя.
Устройство может быть обучаемо, т.е. предусмотрена возможность добавления новых жестов в базу данных.
Для размещения объектов дополненной реальности на реальных объектах (например, на столе), также могут выполнять следующие операции:
1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы
2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,
3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.
4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействие с виртуальными объектами дополненной реальности.
Промышленная применимость
Предлагаемое устройство для воздействия на виртуальные объекты дополненной реальности может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что
позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенной полезной моделью изготовлен опытный образец устройства. Испытания опытного образца показали, что он обеспечивает возможность:
- определения среди множества вариантов мимики и жестов пользователя, те варианты, которые соответствуют определенным заранее заданным вариантам мимики лица и жестов пользователя тем, что заранее занесены в базу данных,
- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенному жесту или мимике пользователя,
- выполнения указанной последовательности действий, соответствующей определенному жесту или мимике пользователя, объектом дополненной реальности.
Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный пес облизывает руки при попытке его погладить. См. фиг. 1.
Пример реализации 2. Созданный в качестве объекта дополненной реальности виртуальный цветок распускается при распознавании радости и увядает при распознавании грусти на лице пользователя.
Пример реализации 3. Созданный в качестве объекта дополненной реальности виртуальный человек машет в ответ рукой в знак приветствия или прощания при распознавании жестов приветствия или прощания пользователя.
Таким образом, в данной полезной модели достигнута поставленная задача - расширение возможности воздействия на виртуальные объекты дополненной реальности.