БЛОК СБОРА ИНФОРМАЦИИ ДЛЯ УСТРОЙСТВА СОВМЕЩЕННОЙ РЕАЛЬНОСТИ

Область техники, к которой относится полезная модель.
Полезная модель относится к области визуализации совмещенной реальности, в частности к сбору информации об окружающих объектах для их дальнейшей визуализации вместе с объектами виртуальной реальности.
Уровень техники.
Решения, направленные на предоставление пользователю изображений виртуальной реальности, находят применение в различных областях деятельности человека.
Существуют решения в области виртуальной реальности, в которых посредством очков или шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.
Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения (виртуальные), накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.
Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.
Известно, выбранное в качестве прототипа, решение (патент RU138628, опубл. 20.03.2014) «ОЧКИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ», в котором описываются устройства для воспроизведения стереоскопического изображения, а также воспроизведения комбинации из виртуального изображения и изображения окружающей обстановки, эти устройства могут быть использованы в геолокационных сервисах, системах навигации, обучающих программах, системах визуализации в медицине, игровых программах, системах проектирования, виртуальной рекламе.
Предложенные в RU138628 очки дополненной реальности содержат оправу, на которой закреплены правый и левый оптические рефлекторы, каждый из которых выполнен из слоев поликарбонатного прозрачного стекла, между которыми имеется электроуправляемая пленка, внутренняя поверхность оптических рефлекторов покрыта полупрозрачным отражающим слоем, между рефлекторами на носовой перемычке над правым и левым носовыми упорами установлены правая и левая эмиссионные жидкокристаллические матрицы, размещенные с возможностью формирования оптического пути через соответствующий рефлектор к глазу пользователя, корпусы дужек оправы выполнены полыми, и в корпусе правой дужки размещен правый электронный блок, включающий процессор с блоком памяти, к шине которого подключены модуль беспроводной связи Bluetooth, разъем MicroUSB, датчик освещенности, микрофон и звуковой генератор, а в корпусе левой дужки размещен левый электронный блок, включающий подключенные к шине правого электронного блока видеопроцессор, ИК-камеру, МЭМС-датчик движения и устройство ввода, при этом видеопроцессор связан с правой и левой эмиссионными жидкокристаллическими матрицами, а на разъемной носовой перемычке размещен узел регулировки, выполненный с возможностью изменения расстояния между оптическими рефлекторами.
Однако в известном решении не собираются данные о расположении объектов окружающего пространства относительно очков дополненной реальности.
Также известно решение (WO 2013033195 A2, опубл. 07.03.2013), в котором описываются шлем виртуальной реальности с дисплеем и способ управления дисплеем для оптимизации производительности дисплея путем автоматического указания профиля пользователя. Идентификатор пользователя определяется путем сканирования ирисовой диафрагмы и распознавания пользователя, что позволяет извлекать информацию профиля пользователя и использовать ее для улучшения работы пользователя со шлемом с дисплеем. Профиль пользователя может содержать пользовательские настройки, касающиеся сервисов, обеспечивающих изображения дополненной реальности, а также информацию настройки дисплея, оптимизирующую положение отображаемых элементов на дисплее шлема виртуальной реальности.
Однако в известном решении не собираются данные о расположении объектов окружающего пространства относительно очков дополненной реальности.
Раскрытие полезной модели.
В одном аспекте полезной модели раскрыт блок сбора информации для устройства совмещенной реальности, содержащий:
- корпус;
- блок захвата изображений, выполненный с возможностью захвата изображений реального мира;
- блок сканирования пространства реального мира, выполненный с возможностью определения габаритов и расположения объектов реального мира;
- блок позиционирования, выполненный с возможностью определения местоположения и ориентации блока сбора информации в пространстве;
- блок передачи, выполненный с возможностью передачи данных захваченных изображений, данных габаритов и расположения объектов реального мира и данных местоположения и ориентации блока сбора информации на устройство совмещенной реальности;
причем блок захвата изображений, блок сканирования, блок позиционирования и блок передачи выполнены конструктивно едиными, функционально соединены друг с другом и смонтированы в корпусе.
В дополнительных аспектах раскрыто, что блок сбора информации дополнительно содержит блок для формирования изображений совмещенной реальности.
В дополнительных аспектах раскрыто, что блок сбора информации представляет собой очки или шлем виртуальной реальности.
В дополнительных аспектах раскрыто, что блок захвата изображений представляет собой камеру или стереоскопическую камеру.
В дополнительных аспектах раскрыто, что блок сбора информации дополнительно содержит блок памяти, содержащий изображения виртуальной реальности, и блок обработки, выполненный с возможностью совмещения изображений виртуальной реальности с изображениями реального мира, с учетом данных о местоположении и ориентации блока сбора информации, а также данных габаритов и расположения объектов реального мира.
В дополнительных аспектах раскрыто, что блок обработки является одним из: специализированной микросхемы, процессора, контроллера.
В дополнительных аспектах раскрыто, что изображения виртуальной реальности представляют собой изображения по меньшей мере одного из строительного объекта, музея, зоопарка, парка аттракционов.
В дополнительных аспектах раскрыто, что данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы.
В дополнительных аспектах раскрыто, что блок сбора информации дополнительно содержит инерциальную навигационную систему  для дополнительного определения данных о местоположении блока сбора информации.
В дополнительных аспектах раскрыто, что инерциальная навигационная система основана на гироскопах и акселерометрах.
В дополнительных аспектах раскрыто, что блок захвата изображений содержит камеру, выполненную с возможностью захвата изображений реального мира в широком диапазоне углов.
В дополнительных аспектах раскрыто, что диапазон углов захвата изображений составляет более 180 градусов.
Основной задачей, решаемой заявленной полезной моделью, является сбор данных об объектах реального мира и их местоположении относительно устройства для сбора этих данных.
Сущность полезной модели заключается в том, что средство для сбора данных об объектах реального мира получает изображения реального мира с камеры и данные об их местоположении со сканера, связывает эти данные со своим местоположением и ориентацией, затем эти данные передаются на блок формирования изображений совмещенной реальности, который совмещает их с изображениями виртуальной реальности и предоставляет пользователю с учетом местоположения и ориентации устройства. Для пользователя совмещенное изображение представляет собой более реалистичное изображение за счет учета особенностей объектов реального мира.
Технический результат, достигаемый решением, заключается в том, что обеспечивается повышение информативности собираемых данных о реальном мире, а также расширяется арсенал технических средств.
Краткое описание чертежей.
Фиг.1 показывает блок-схему устройства для формирования изображений совмещенной реальности.
Осуществление полезной модели.
Для построения изображений совмещенной реальности необходимо определить местоположение пользователя посредством определения местоположения шлема (очков) дополненной реальности, который он надел.
Определение местоположения шлема совмещенной реальности возможно при помощи GPS, однако в некоторых условиях точность в таком случае может составлять около 6-8 метров, что недопустимо для многих приложений.
Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника или приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.
Кроме методов на основе GPS, существует ряд методов определения местоположения, более подходящих для реализации в помещении, часть из которых представлена ниже.
Определение местоположения по сотовым сетям – точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.
Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.
Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка c фронтальной камеры смартфона, возможно определение местоположения.
Определение местоположения с помощью магнитометрии – определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.
Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.
Радиокарта или “цифровые отпечатки” сигналов Wi-Fi/Bluetooth– местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.
В заявленном решении блок позиционирования может применять любой из вышеописанных способов для определения своего местоположения.
При использовании в применениях, которые требуют повышенной точности, возможен вариант определения местоположения по сигналам размещенных в заранее известных местоположениях радиостанций.
Таким образом, для повышения точности определения местоположения было предложено размещать в реальном пространстве, где предполагается формировать изображения совмещенной реальности, станции, передающие радиосигналы. Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.
В этом варианте используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.
Таким образом, в данном варианте осуществления блок позиционирования заявленного решения принимает сигналы от внешних источников (спутников GPS, радиостанций и т.п.), сигналы от инерциальной навигационной системы и определяет с их помощью свое местоположение и ориентацию в пространстве.
Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.
В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в блоке сбора информации, в частности в носимом на голове устройстве (шлеме или очках) совмещенной реальности, который также содержит по меньшей мере одну камеру (предпочтительно стереоскопическую камеру) для получения изображений реального мира вокруг пользователя, который надел устройство совмещенной реальности. В одном варианте осуществления используется две камеры для обеспечения заданной ширины угла обзора. Возможно использование двух камер с углом обзора 90 градусов, для обеспечения общего угла обзора в 180 градусов.
В одном варианте осуществления изображение виртуальной реальности совмещается с изображением реального мира только в диапазоне углов, в котором человек воспринимает объекты трехмерными.
В другом варианте осуществления изображение виртуальной реальности совмещается с изображением реального мира только в диапазоне углов, в котором человек воспринимает объекты полноцветными.
В еще одном варианте осуществления наиболее высокое разрешение для совмещенного изображения обеспечивается в диапазоне углов, в котором человек воспринимает объекты трехмерными, или в диапазоне углов, в котором человек воспринимает объекты полноцветными.
В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, блок сбора информации, в частности шлем виртуальной реальности, выполнен с возможностью определять свое местоположение при помощи блока GPS определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.
На фиг.1 показана структурная схема блока сбора информации, содержащего блок 101 захвата изображений, блок 102 позиционирования, блок 103 передачи, блок 104 сканирования.
Блок захвата 101 изображений может представлять собой камеру, стереоскопическую камеру, несколько камер.
Блок 102 позиционирования может представлять собой блок GPS, блок определения местоположения на основе инерциальной системы навигации или иное подходящее средство.
Блока 104 сканирования может представлять собой средство ультразвукового или лазерного сканирования пространства, которое собирает информацию об объектах реального мира вокруг этого средства.
Блок 103 передачи может представлять собой любое средство, подходящее для передачи данных от блоков 101, 102, 104 к блоку обработки, который в дальнейшем совмещает полученные данные с данными виртуальной реальности, которая хранится в памяти.
Работа заявленного решения осуществляется следующим образом: блок 101 захвата изображений получает визуальные данные об объектах реального мира, одновременно блок 102 позиционирования определяет данные о местоположении заявленного блока сбора информации, а блок 104 сканирования определяет расположение объектов реального мира относительно местоположения заявленного блока. Все собранные данные передаются в блок обработки для последующего анализа, построения трехмерной картины и совмещения с объектами виртуальной реальности. Предпочтительно данные передаются в одном пакете и по меньшей мере поэтому ассоциированы друг с другом. Поскольку местоположение блока сбора информации может меняться в течение времени, то взаимное расположение объектов реального мира и блока сбора информации также изменяется, что необходимо учитывать при обработке поступающих данных.
Шлем виртуальной реальности на основе заявленного решения содержит в себе все упомянутые блоки блока сбора информации и дополнительно блок обработки. Блок обработки может быть как встроен в корпус блока сбора информации, так и вынесен относительно него, связь может осуществляться как проводным, так и беспроводным образом.
В шлеме виртуальной реальности на блок обработки передаются данные об определенном местоположении, данные об ориентации и данные с блока 101 захвата изображений и блока 104 сканирования для формирования блоком обработки данных совмещенной реальности, посредством совмещения данных реального мира и имеющих географическую привязку данных виртуальных объектов из блока памяти.
Блоком обработки может быть специализированная схема ASIC, микросхема, процессор, процессор обработки сигналов, микропроцессор или любое иное средство, функциональность которого позволяет принимать от шлема виртуальной реальности данные, обрабатывать их, совмещать с сохраненными в блоке 104 памяти изображениями виртуальной реальности и предоставлять для просмотра пользователю посредством дисплея шлема виртуальной реальности.
Блок обработки выполнен с возможностью считывать из памяти данные о визуализируемых объектах, в предпочтительном варианте осуществления данные о строительном объекте, которые могут быть представлены в формате CAD (система автоматического проектирования). Эти данные имеют географическую привязку, поэтому блоку обработки необходимы данные о местоположении пользователя, чтобы точно совместить данные о реальном мире, получаемые с блока 101 захвата изображений и блока 104 сканирования, и данные о виртуальной реальности, хранящиеся в памяти. Чем точнее будет определено местоположение и ориентация пользователя, тем точнее данные будут совмещены друг с другом.
Память может содержать любое известное в области техники запоминающее устройство: энергозависимую, энергонезависимую память, постоянную память, оперативную память, память на оптическом носителе, память на магнитном носителе, FLASH память и иные виды памяти или их комбинацию. В некоторых вариантах память может представлять собой среду, в которой распространяется сигнал.
Пользователь, наблюдающий совмещенную реальность, может наглядно увидеть будущую постройку в реальном местоположении, пройти по объекту, который еще планируется строить или уже частично строится, увидеть его с разных ракурсов. Таким объектом может быть, например, музей или здание, которое только в виртуальной реальности представляет собой музей. Также это может быть парк аттракционов как открытый, так и крытый.
Также пользователь может вносить изменения в объекты виртуальной реальности, для этого на руку пользователя помещают маркеры или тактильные устройства ввода, которые считывает блок 101 захвата изображений, в результате чего посредством блока обработки пользователю предоставляется графическое меню, с помощью которого можно управлять отображаемой реальностью, например строительной моделью. Возможна также организация виртуального совещания, когда изображения двух пользователей передаются на их шлемы виртуальной реальности и обеспечивается возможность общения с передачей не только звука, но и видеоизображения собеседника.
Предложенное решение позволяет пользователю получать доступ к 3D-модели здания, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM (информационное моделирование здания): просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией.
Предложенное решение может быть связано с платформой для облачных вычислений с помощью математического алгоритма, сопоставляющего изображение реального мира с изображением, получаемым из эталонной 3D-модели объекта. Для формирования эталонной 3D-модели объекта алгоритм собирает данные из разных источников: техническая документация (чертежи и спецификации), сметы и пр. Результатом работы математического алгоритма является совмещение полученных данных в одном изображении с изображением реального вида.
В одном из вариантов осуществления шлем виртуальной реальности отслеживает свое местоположение, используя либо сигналы от передатчиков радиосигналов базовых станций, либо используя данные системы indoor-определения местоположения.
В случае расположения в открытом пространстве, где нет препятствий для сигналов от передатчиков, точность определения местоположения на их основе является достаточно высокой, однако при нахождении в помещении точность ухудшается, что может привести к искажениям в отображении совмещенной реальности. Для уменьшения таких искажений было предложено оценивать точность определения местоположения с помощью радиосигналов, измеряя их интенсивность, если интенсивность радиосигналов (одного или средняя) ниже определенного порога, то местоположение определяется с помощью системы indoor-определения местоположения.
Как только интенсивность радиосигналов превышает порог, то местоположение снова определяется с помощью радиосигналов.
Если используются инерциальные системы, где используется модель движения человека, причем движение определяется с помощью гироскопов и акселерометров, то имеется эффект накопления ошибки, ошибка тем больше, чем длительнее осуществляется определение местоположения при помощи этой системы. Поэтому в варианте осуществления, в котором используется определение местоположения на основании указанной выше инерциальной системы и системы определения местоположения на основании радиосигналов от базовых станций, порог интенсивности для радиосигналов уменьшается в течение времени, чтобы нейтрализовать эффект накопления ошибки.
В одном из вариантов осуществления вводится порог для длительности определения местоположения с помощью инерциальной системы, при превышении этого порога определение местоположения с помощью инерциальной системы считается неточным. Таким образом, при недостаточно высокой интенсивности радиосигналов или превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется на основании радиосигналов, в ином случае определение местоположения осуществляется с помощью инерциальной системы.
В одном из вариантов осуществления при превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется совместно с помощью инерциальной системы и системы определения местоположения с помощью радиосигналов, причем определенное двумя системами местоположение усредняется.
Блоки, образующие заявленное решение, функционально связаны напрямую или опосредованно посредством известных в уровне техники линий связи, которые могут представлять собой шины, проводники для передачи электрических или световых сигналов, беспроводные линии связи.
Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления полезной модели, не выходящие за пределы сущности и объема данной полезной модели.
Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.
Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.
Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы полезной модели. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы полезной модели. Аналогичное справедливо и в отношении многофункционального аппаратного обеспечения, осуществляющего способы или алгоритмы.
В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность полезной модели не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления полезной модели могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.
Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.
Несмотря на то что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкую полезную модель и что данная полезная модель не должна ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.
Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.