Носимое устройство управления, система виртуальной/дополненной реальности и способ управления
PORTABLE CONTROL DEVICE, VIRTUAL/AUGMENTED REALITY SYSTEM AND CONTROL METHOD

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к области электронных устройств и, в частности, к носимому устройству управления, системе виртуальной/дополненной реальности и способу управления.
УРОВЕНЬ ТЕХНИКИ
[0002] Дополненная реальность (AR), которая является технологией улучшения восприятия пользователем реального мира посредством информации, обеспеченной компьютерной системой, применяет виртуальную информацию к реальному миру и накладывает виртуальную информацию (включающую в себя виртуальные объекты, сцены или информацию системной подсказки), генерируемую компьютером, на реальную сцену, таким образом, осуществляя расширение реальности.
[0003] Наголовное аудиовизуальное устройство, отвечающее уровню техники, включает в себя три части: наголовный дисплей, хост-компьютер AR и беспроводной блок дистанционного управления. Наголовный дисплей используется для отображения виртуальной информации, генерируемой хост-компьютером AR, и захвата информации окружения в реальном окружении; хост-компьютер AR используется для вычисления виртуальной информации и ее вывода на наголовный дисплей; беспроводной блок дистанционного управления используется для приема управляющего действия пользователя и ввода управляющего действия пользователя в хост-компьютер AR, что позволяет хост-компьютеру AR регулировать или изменять генерируемую виртуальную информацию.
[0004] При практическом использовании, наголовный дисплей носится на голове пользователя, хост-компьютер AR может носиться пользователем на поясе, и пользователь держит в руке беспроводной блок дистанционного управления. Беспроводной блок дистанционного управления легко потерять и неудобно хранить.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] Варианты осуществления настоящего изобретения предусматривают носимое устройство управления, систему виртуальной/дополненной реальности и способ управления для решения по меньшей мере одной из вышеупомянутых технических проблем и других потенциальных технических проблем в уровне техники.
[0006] Согласно аспекту настоящего изобретения, предусмотрено носимое устройство управления для соединения с наголовным аудиовизуальным устройством. Носимое устройство управления включает в себя верхнюю часть корпуса и нижнюю часть корпуса, расположенные параллельно, и между двумя противоположными внутренними боковыми поверхностями верхней части корпуса и нижней части корпуса сформирован промежуток; хвостовые участки верхней части корпуса и нижней части корпуса соединены переходной частью;
[0007] по меньшей мере один физический блок дистанционного управления располагается на верхней поверхности верхней части корпуса; и
[0008] модуль вычисления, соответствующий наголовному аудиовизуальному устройству, располагается внутри верхней части корпуса и/или нижней части корпуса, и модуль вычисления электрически соединен с физическим блоком дистанционного управления.
[0009] В альтернативной реализации, физический блок дистанционного управления включает в себя по меньшей мере одно из физической кнопки, виртуальной кнопки, колесика прокрутки, джойстика и шарового манипулятора.
[0010] В альтернативной реализации, физический блок дистанционного управления включает в себя первую нажимную часть и вторую нажимную часть, расположенные параллельно в краевой области на верхней поверхности верхней части корпуса; и
[0011] краевая область является локальной областью верхней поверхности на удалении от переходной части.
[0012] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя:
[0013] первую кнопку, расположенную между первой нажимной частью и второй нажимной частью.
[0014] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя:
[0015] колесико прокрутки, расположенное между первой нажимной частью и второй нажимной частью.
[0016] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя вторую кнопку, расположенную на боковой поверхности нижней части корпуса.
[0017] В альтернативной реализации, переходная часть снабжена соединительным проводом для соединения с наголовным аудиовизуальным устройством.
[0018] В альтернативной реализации, длина верхней части корпуса меньше длины нижней части корпуса.
[0019] Согласно другому аспекту настоящего изобретения, предусмотрено носимое устройство управления для соединения с наголовным аудиовизуальным устройством. Носимое устройство управления включает в себя:
[0020] корпус;
[0021] по меньшей мере один физический блок дистанционного управления, расположенный на корпусе;
[0022] модуль вычисления, расположенный внутри корпуса и электрически соединенный с физическим блоком дистанционного управления;
[0023] модуль вычисления выполнен с возможностью генерации аудиовизуальной информации, выводимой наголовным аудиовизуальным устройством, аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации виртуальной реальности (VR), аудиовизуальной информации дополненной реальности (AR) и аудиовизуальной информации смешанной реальности (MR); генерации сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления; и управления выводом аудиовизуальной информации согласно сигналу управления.
[0024] В альтернативной реализации, корпус включает в себя верхнюю часть корпуса и нижнюю часть корпуса, расположенные параллельно, и хвостовые участки верхней части корпуса и нижней части корпуса соединены переходной частью;
[0025] по меньшей мере один физический блок дистанционного управления располагается на верхней поверхности верхней части корпуса.
[0026] В альтернативной реализации, между двумя противоположными внутренними боковыми поверхностями верхней части корпуса и нижней части корпуса сформирован промежуток.
[0027] В альтернативной реализации, физический блок дистанционного управления включает в себя по меньшей мере одно из физической кнопки, виртуальной кнопки, колесика прокрутки, джойстика и шарового манипулятора.
[0028] В альтернативной реализации, физический блок дистанционного управления включает в себя первую нажимную часть и вторую нажимную часть, которые располагаются параллельно в краевой области верхней поверхности верхней части корпуса;
[0029] краевая область является локальной областью верхней поверхности на удалении от переходной части.
[0030] В альтернативной реализации, модуль вычисления выполнен с возможностью генерации по меньшей мере одного из сигнала подтверждения, сигнала управления посредством перетаскивания и сигнала управления множественным выбором, согласованного с аудиовизуальной информацией, когда действие пользователя принимает первая нажимная часть; и модуль вычисления выполнен с возможностью генерации сигнала управления вспомогательным меню, согласованного с аудиовизуальной информацией, когда действие пользователя принимает вторая нажимная часть.
[0031] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя:
[0032] первую кнопку, расположенную между первой нажимной частью и второй нажимной частью.
[0033] В альтернативной реализации, модуль вычисления выполнен с возможностью приема речевого сигнала, когда действие пользователя принимает первая кнопка, и генерации речевого сигнала управления согласно речевому сигналу, или преобразования речевого сигнала в текстовый ввод.
[0034] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя: колесико прокрутки, расположенное между первой нажимной частью и второй нажимной частью.
[0035] В альтернативной реализации, модуль вычисления выполнен с возможностью генерации инструкции регулировки численного значения, когда действие пользователя принимает колесико прокрутки; и
[0036] при этом инструкция регулировки численного значения включает в себя: по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей.
[0037] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя: вторую кнопку, расположенную на боковой поверхности нижней части корпуса.
[0038] В альтернативной реализации, модуль вычисления выполнен с возможностью генерации по меньшей мере одного сигнала управления из сигнала возврата, сигнала предыдущей страницы и сигнала снимка экрана, когда действие пользователя принимает вторая кнопка.
[0039] В альтернативной реализации, модуль вычисления выполнен с возможностью генерации по меньшей мере одного сигнала управления из сигнала включения, сигнала отключения, сигнала перезапуска и сигнала отключения питания, когда действие пользователя принимает вторая кнопка.
[0040] В альтернативной реализации, переходная часть снабжена соединительным проводом для соединения с наголовным аудиовизуальным устройством.
[0041] В альтернативной реализации, длина верхней части корпуса меньше длины нижней части корпуса.
[0042] Согласно другому аспекту настоящего изобретения, предусмотрена система виртуальной/дополненной реальности, включающая в себя наголовное аудиовизуальное устройство и носимое устройство управления, соединенные друг с другом.
[0043] Носимое устройство управления является носимым устройством управления, предусмотренным в вышеупомянутых аспектах и опциональных реализациях.
[0044] Согласно другому аспекту настоящего изобретения, предусмотрен способ управления носимым устройством управления. Способ применяется к носимому устройству управления, предусмотренному в вышеупомянутых аспектах и опциональных реализациях, и носимое устройство управления используется для соединения с наголовным аудиовизуальным устройством. Способ включает в себя:
[0045] генерацию аудиовизуальной информации, выводимой наголовным аудиовизуальным устройством, причем аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR;
[0046] генерацию сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления; и
[0047] управление выводом аудиовизуальной информации согласно сигналу управления.
[0048] В альтернативной реализации, физический блок дистанционного управления включает в себя первую нажимную часть и вторую нажимную часть, расположенные параллельно в краевой области верхней поверхности верхней части корпуса;
[0049] генерация сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления, включает в себя:
[0050] генерацию сигнала подтверждения, согласованного с аудиовизуальной информацией, когда действие пользователя принимает первая нажимная часть; и
[0051] генерацию сигнала управления вспомогательным меню, согласованного с аудиовизуальной информацией, когда действие пользователя принимает вторая нажимная часть.
[0052] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя первую кнопку, расположенную между первой нажимной частью и второй нажимной частью;
[0053] генерация сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления, включает в себя:
[0054] прием речевого сигнала, когда действие пользователя принимает первая кнопка, и генерацию речевого сигнала управления согласно речевому сигналу, или преобразование речевого сигнала в текстовый ввод.
[0055] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя колесико прокрутки, расположенное между первой нажимной частью и второй нажимной частью;
[0056] генерация сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления, включает в себя:
[0057] генерацию инструкции регулировки численного значения, когда действие пользователя принимает колесико прокрутки;
[0058] при этом инструкция регулировки численного значения включает в себя: по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей.
[0059] В альтернативной реализации, физический блок дистанционного управления дополнительно включает в себя вторую кнопку, расположенную на боковой поверхности нижней части корпуса;
[0060] генерация сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления, включает в себя:
[0061] генерацию по меньшей мере одного сигнала управления из сигнала возврата, сигнала предыдущей страницы и сигнала снимка экрана, когда действие пользователя принимает вторая кнопка;
[0062] и/или
[0063] генерацию по меньшей мере одного сигнала управления из сигнала включения, сигнала отключения, сигнала перезапуска и сигнала отключения питания, когда действие пользователя принимает вторая кнопка.
[0064] Согласно другому аспекту настоящего изобретения, предусмотрено носимое устройство управления, описанное в вышеупомянутых аспектах и любой из опциональных реализаций, и носимое устройство управления выполнено с возможностью соединения с наголовным аудиовизуальным устройством. Устройство включает в себя:
[0065] процессор;
[0066] память для хранения процессорно-исполняемых инструкций;
[0067] причем процессор выполнен с возможностью:
[0068] генерации аудиовизуальной информации, выводимой наголовным аудиовизуальным устройством, причем аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR;
[0069] генерации сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления; и
[0070] управления выводом аудиовизуальной информации согласно сигналу управления.
[0071] Техническое решение, предусмотренное вариантом осуществления настоящего изобретения, дает по меньшей мере следующие технические результаты:
[0072] Помещая физический блок дистанционного управления на корпусе носимого устройства управления, пользователь может напрямую использовать физический блок дистанционного управления на корпусе для управления аудиовизуальной информацией, отображаемой на носимом аудиовизуальном устройстве, без использования отдельно расположенного беспроводного блока дистанционного управления, что позволяет решить проблему, состоящую в том, что беспроводной блок дистанционного управления в соответствующей технологии легко потерять, и позволяет повысить портативность и функциональность носимого устройства управления.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0073] Для более подробного объяснения технических решений согласно вариантам осуществления настоящего изобретения, чертежи, необходимые для описания вариантов осуществления, кратко перечислены ниже, и очевидно, что чертежи в нижеследующем описании являются лишь некоторыми вариантами осуществления настоящего изобретения, и что специалисты в данной области техники могут получить другие чертежи без применения творческих способностей.
[0074] фиг. 1 - схематический структурный вид системы дополненной реальности согласно уровню техники.
[0075] фиг. 2 - схематический структурный вид системы дополненной реальности согласно иллюстративному варианту осуществления настоящего изобретения.
[0076] фиг. 3 - схематическое изображение внешнего вида наголовного аудиовизуального устройства VR-типа согласно иллюстративному варианту осуществления настоящего изобретения.
[0077] фиг. 4 - схематическое изображение внешнего вида наголовного аудиовизуального устройства AR-типа согласно иллюстративному варианту осуществления настоящего изобретения.
[0078] фиг. 5 - вид в перспективе носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0079] фиг. 6 - вид спереди носимого устройства управления, предусмотренного в иллюстративном варианте осуществления настоящего изобретения.
[0080] фиг. 7 - вид сзади носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0081] фиг. 8 - боковой вид слева носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0082] фиг. 9 - боковой вид справа носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0083] фиг. 10 - вид снизу носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0084] фиг. 11 - вид сверху носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0085] фиг. 12 - вид носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения в ходе использования.
[0086] фиг. 13 - блок-схема операций способа управления носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
[0087] фиг. 14 - блок-схема системы дополненной реальности, согласно иллюстративному варианту осуществления настоящего изобретения.
[0088] фиг. 15 - конкретная реализация носимого устройства управления, согласно иллюстративному варианту осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
[0089] Варианты осуществления настоящего изобретения будут описаны более подробно ниже со ссылкой на прилагаемые чертежи. Хотя некоторые варианты осуществления настоящего изобретения проиллюстрированы на прилагаемых чертежах, следует понимать, что настоящее изобретение можно реализовать в различных формах и оно не ограничено изложенными здесь вариантами осуществления; эти варианты осуществления представлены, чтобы настоящее раскрытие будет исчерпывающим и полным. Следует понимать, что чертежи и варианты осуществления настоящего изобретения предназначены только для иллюстрации, но не ограничения объема настоящего изобретения.
[0090] Термин "включать в себя" и его варианты, используемые здесь, следует понимать в открытом смысле, т.е. "включать в себя, но без ограничения". Термин "на основании" означает "по меньшей мере частично на основании". Термин "один вариант осуществления" означает "по меньшей мере один вариант осуществления"; термин "другой вариант осуществления" означает "по меньшей мере один другой вариант осуществления". Соответствующие определения других терминов приведены ниже.
[0091] Виртуальная реальность (VR), также известная как виртуальное окружение или искусственное окружение, представляет собой виртуальный мир, создаваемый в трехмерном пространстве посредством компьютерной эмуляции, для снабжения пользователя эмуляцией зрительных, слуховых, тактильных ощущений и т.д., что позволяет пользователю наблюдать объекты в трехмерном пространстве без ограничения по времени, как если бы они были реальными. Когда пользователь меняет свое положение, компьютер может сразу же осуществлять сложные операции для возврата точного изображения 3D-мира для создания эффекта присутствия. Все сцены и персонажи, наблюдаемые в режиме виртуальной реальности (VR) являются искусственными, помещающими человеческое сознание в виртуальный мир.
[0092] Дополненная реальность (AR) - это способ улучшения взаимодействия пользователя между реальным миром и виртуальным миром путем наложения реального мира и виртуального мира на одном и том же экране или в одном и том же пространстве посредством компьютерной технологии.
[0093] Смешанная реальность (MR) объединяет в себе преимущества виртуальной реальности (VR) и дополненной реальности (AR) и смешивает виртуальный мир и реальный мир друг с другом посредством компьютерной технологии. По сравнению с технологией дополненной реальности, технология смешанной реальности создает новое визуальное окружение, которое содержит как физические объекты, так и виртуальную информацию, позволяя пользователям взаимодействовать с окружением в реальном времени. Относительное положение виртуального объекта в окружении не зависит от изменения положения пользователя, и виртуальный объект, наблюдаемый пользователем, трудно отличить от реального объекта.
[0094] На фиг. 1 показана блок-схема системы 100 дополненной реальности, предусмотренной в уровне техники. Система 100 дополненной реальности включает в себя: наголовное аудиовизуальное устройство 102, носимое устройство 104 управления и беспроводной блок 106 дистанционного управления. Наголовное аудиовизуальное устройство 102 и носимое устройство 104 управления соединены проводным соединением, и носимое устройство 104 управления и беспроводной блок 106 дистанционного управления соединены беспроводным соединением.
[0095] Наголовное аудиовизуальное устройство 102 выполнено с возможностью отображения (или воспроизведения, вывода) аудиовизуальной информации AR.
[0096] Носимое устройство 104 управления выполнено с возможностью генерации аудиовизуальной информации AR и передачи аудиовизуальной информации AR в наголовное аудиовизуальное устройство 102. Носимое устройство 104 управления выполнено с возможностью приема сигнала управления от беспроводного блока 106 дистанционного управления, и регулировки или изменения аудиовизуальной информации AR согласно сигналу управления.
[0097] Беспроводной блок 106 дистанционного управления выполнен с возможностью приема действия пользователя, генерирования сигналов управления согласно действиям пользователя, и передачи сигналов управления в наголовное аудиовизуальное устройство 102 по беспроводному соединению.
[0098] В ходе эксплуатации пользователь носит наголовное аудиовизуальное устройство 102 на голове и носимое устройство 104 управления на поясе, и держит беспроводной блок 106 дистанционного управления в руке. Носимое устройство 104 управления может генерировать аудиовизуальную информацию AR для передачи в наголовное аудиовизуальное устройство 102, которое выводит (или воспроизводит) аудиовизуальную информацию AR. Когда пользователю нужно управлять дисплеем наголовного аудиовизуального устройства 102, для управления используется беспроводной блок 106 дистанционного управления.
[0099] Поскольку сцена использования AR является сценой, объединенной с реальным миром, к портативности системы 100 дополненной реальности предъявляются высокие требования, и когда пользователь ходит по разным реальным сценам, беспроводной блок 106 дистанционного управления очень легко потерять.
[00100] Вариант осуществления настоящего изобретения предусматривает носимое устройство управления, где беспроводной блок дистанционного управления встроен в носимое устройство управления, что позволяет пользователю управлять наголовным аудиовизуальным устройством, не нося отдельно беспроводной блок дистанционного управления.
[00101] На фиг. 2 показана блок-схема системы 200 виртуальной/дополненной реальности, предусмотренной иллюстративным вариантом осуществления настоящего изобретения. Система 200 включает в себя: наголовное аудиовизуальное устройство 202 и носимое устройство 204 управления. Наголовное аудиовизуальное устройство 202 и носимое устройство 204 управления соединены проводным соединением или беспроводным соединением.
[00102] Наголовное аудиовизуальное устройство 202 выполнено с возможностью вывода (или воспроизведения) аудиовизуальной информации, включающей в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR. Аудиовизуальная информация VR является аудиовизуальной информацией, используемой для представления полного виртуального трехмерного мира. Аудиовизуальная информация AR является аудиовизуальной информацией, используемой для представления виртуальных элементов, отображаемых с наложением на реальный мир. Виртуальным элементом является по меньшей мере одно из виртуального персонажа, виртуального мультипликационного персонажа, виртуального животного, виртуального растения, виртуального неживого объекта, виртуального меню, виртуальной диаграммы и виртуального изображения.
[00103] Носимое устройство 204 управления выполнено с возможностью генерации аудиовизуальной информации, выводимой (или воспроизводимой) наголовным аудиовизуальным устройством 202 и передачи аудиовизуальной информации в наголовное аудиовизуальное устройство 202. По меньшей мере один физический блок дистанционного управления имеется на корпусе носимого устройства 204 управления, и носимое устройство 204 управления дополнительно выполнено с возможностью генерации сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления, и управления выводом аудиовизуальной информации согласно сигналу управления.
[00104] В альтернативной реализации, представленной на фиг. 2, вышеописанное наголовное аудиовизуальное устройство 202 является очками для вывода (или воспроизведения) аудиовизуальной информации VR. Согласно фиг. 3 совместно, показана блок-схема наголовного аудиовизуального устройства 202, предусмотренного иллюстративным вариантом осуществления настоящего изобретения. Наголовное аудиовизуальное устройство 202 включает в себя собственно очки ("тело очков") 10 и конструкцию 20 для ношения, предназначенную для крепления очков 10 на лице пользователя.
[00105] Очки 10 имеют первую поверхность 12 и вторую поверхность 14. Первая поверхность 12 обращена к лицу пользователя и прилегает к нему, и отображающий экран располагается внутри корпуса в соответствии со второй поверхностью 14. В некоторых вариантах осуществления, отображающий экран может включать в себя левый отображающий экран, соответствующий левому глазу, и правый отображающий экран, соответствующий правому глазу. Отображающий экран используется для вывода (или воспроизведения) видеоинформации в аудиовизуальной информации VR.
[00106] Конструкция 20 для ношения включает в себя фиксированную соединительную часть 22 и часть 24 регулировки ношения.
[00107] Нижняя часть фиксированной соединительной части 22 прочно соединена с верхней частью очков 10, и фиксированная соединительная часть 22 и часть 24 регулировки ношения являются дугообразными и охватывают кольцевую конструкцию, согласованную с головой пользователя, что позволяет пользователю носить устройство. Часть 24 регулировки ношения используется для регулировки формы кольцевой конструкции, что позволяет адаптировать конструкцию 20 для ношения к размерам головы разных пользователей.
[00108] Опционально, на очках 10 дополнительно имеется интерфейс соединения (не показан на фиг. 2), и очки 10 соединены с носимым устройством 204 управления соединительным проводом через интерфейс соединения.
[00109] В некоторых вариантах осуществления, фиксированная соединительная часть 22 дополнительно снабжена головным телефоном для воспроизведения аудиоинформации в аудиовизуальной информации VR.
[00110] В альтернативной реализации, представленной на фиг. 2, вышеописанное наголовное аудиовизуальное устройство 202 является очками для вывода (или воспроизведения) аудиовизуальной информации AR. Согласно фиг.4 совместно, показана блок-схема наголовного аудиовизуального устройства 202, предусмотренного иллюстративным вариантом осуществления настоящего изобретения. Наголовное аудиовизуальное устройство 202 включает в себя собственно очки ("тело очков") 30 и две дужки 32.
[00111] Очки 30 имеют первую поверхность 31 и вторую поверхность 33. Первая поверхность 31 обращена к лицу пользователя и прилегает к нему, вторая поверхность 33 обращена от лица пользователя, и вторая поверхность 33 снабжена двумя камерными модулями 34. Два камерных модуля 34 разнесены друг от друга на расстояние, например, 1 см или 2 см. Опционально, два камерных модуля 34 используются для получения картины окружения и расстояния до объекта в реальном окружении.
[00112] в одном возможном варианте осуществления, первая поверхность 31 снабжена отображающим экраном в каждой из двух областях, обращенных к глазам пользователя. Отображающий экран может включать в себя левый отображающий экран, соответствующий левому глазу, и правый отображающий экран, соответствующий правому глазу. Отображающий экран используется для воспроизведения картины окружения для реального окружения, полученного двумя камерными модулями 34 и видеоинформации в аудиовизуальной информации AR.
[00113] В другом возможном варианте осуществления, первая поверхность 31 снабжена прозрачной линзой в каждой из двух областях, обращенных к глазам пользователя. При этом проекционные части (не показаны на фиг. 3), обращенные к прозрачным линзам, обеспечены на двух дужках 32, и проекционная часть используется для проецирования видеоинформации в аудиовизуальной информации AR на прозрачные линзы с последующим наложением на картину окружения реального окружения, наблюдаемого пользователем через прозрачные линзы.
[00114] В отношении наголовного аудиовизуального устройства MR-типа, можно обратиться к схеме внешнего вида наголовного аудиовизуального устройства AR-типа (см. фиг. 4), и техническое решение, полученное специалистами в данной области техники в отношении наголовного аудиовизуального устройства MR-типа легко рассматривать на основании схематического изображения внешнего вида наголовного аудиовизуального устройства AR-типа.
[00115] На фиг. 5 показана блок-схема носимого устройства 204 управления, предусмотренного иллюстративным вариантом осуществления настоящего изобретения. Носимое устройство 204 управления включает в себя: корпус 50, по меньшей мере один физический блок 52 дистанционного управления, расположенный на корпусе 50 и модуль вычисления (не показан), расположенный внутри корпуса 50, где модуль вычисления электрически соединен с физическим блоком 52 дистанционного управления;
[00116] модуль вычисления, выполненный с возможностью генерации аудиовизуальной информации, выводимой (или воспроизводимой) на наголовном аудиовизуальном устройстве 202, при этом аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR; генерации сигнала управления аудиовизуальной информацией на основании действия пользователя, принятого физическим блоком 52 дистанционного управления; управляя выводом аудиовизуальной информации согласно сигналу управления.
[00117] Опционально, корпус 50 является U-образным корпусом. Один конец U-образного корпуса образует нижнюю часть 51 корпуса, другой конец U-образного корпуса образует верхнюю часть 53 корпуса, и искривленная часть U-образного корпуса образует переходную часть 54.
[00118] Имеется по меньшей мере один физический блок 52 дистанционного управления, расположенный на верхней поверхности верхней части корпуса. Промежуток 55 сформирован между противоположными поверхностями нижней части 51 корпуса и верхней части 53 корпуса.
[00119] Опционально, физический блок 52 дистанционного управления включает в себя по меньшей мере одно из физической кнопки, виртуальной кнопки, колесика прокрутки, джойстика и шарового манипулятора. Настоящий вариант осуществления не ограничивает положения физического блока 52 дистанционного управления на верхней поверхности верхней части 53 корпуса, и не ограничивает тип и количество физического блока 52 дистанционного управления.
[00120] В итоге, в носимом устройстве управления, предусмотренном в этом варианте осуществления, физический блок дистанционного управления располагается на корпусе носимого устройства управления, что позволяет пользователю напрямую использовать физический блок дистанционного управления на корпусе для управления аудиовизуальной информацией, отображаемой на наголовном аудиовизуальном устройстве, без использования отдельно расположенного беспроводного блока дистанционного управления, что позволяет решить проблему, состоящую в том, что беспроводной блок дистанционного управления в соответствующей технологии легко потерять, и повысить портативность и функциональность носимого устройства управления.
[00121] На фиг. 6-11 показано шесть видов сбоку носимого устройства 204 управления, предусмотренного другим иллюстративным вариантом осуществления настоящего изобретения. Носимое устройство 204 управления используется для соединения с наголовным аудиовизуальным устройством 202, и носимое устройство 204 управления включает в себя верхнюю часть 53 корпуса и нижнюю часть 51 корпуса, расположенные параллельно, с промежутком 55, сформированным между двумя противоположными поверхностями верхней части 53 корпуса и нижней части 51 корпуса. Хвостовые участки верхней части 53 корпуса и нижняя часть 51 корпуса соединены переходной частью 54.
[00122] Верхняя часть 53 корпуса является частью корпуса, снабженной несколькими физическими блоками 52 дистанционного управления. Верхняя часть 53 корпуса имеет удлиненную плоскую форму. Верхняя часть 53 корпуса включает в себя хвостовой участок вблизи переходной части 54 и верхнюю часть на удалении от переходной части 54. Верхняя часть 53 корпуса включает в себя верхнюю поверхность, две боковые поверхности, и поверхность, обращенную к нижней части 51 корпуса. По меньшей мере один физический блок 52 дистанционного управления располагается на верхней поверхности верхней части 53 корпуса.
[00123] Первая нажимная часть 521 и вторая нажимная часть 522 располагаются параллельно в краевой области на верхней поверхности верхней части 53 корпуса. Краевая область является локальной областью верхней поверхности на удалении от переходной части 54. Первая нажимная часть 521 может именоваться левой кнопкой, и вторая нажимная часть 522 может именоваться правой кнопкой. В одной возможной конструкции, корпус, соответствующий первой нажимной части 521, обладает упругостью, и первый микропереключатель располагается под первой нажимной частью 521, причем при нажатии первой нажимной части 521, первый микропереключатель также инициирует генерацию электрического сигнала; соответственно, корпус, соответствующий второй нажимной части 522, обладает упругостью, и второй микропереключатель располагается под второй нажимной частью 522, причем при нажатии второй нажимной части 522, второй микропереключатель также инициирует генерацию электрического сигнала.
[00124] Между первой нажимной частью 521 и второй нажимной частью 522 имеется промежуток. Физический блок 52 дистанционного управления дополнительно включает в себя первую кнопку 523 и колесико 524 прокрутки, расположенное между первой нажимной частью 521 и второй нажимной частью 522. На боковой поверхности нижней части 51 корпуса также имеется вторая кнопка 525.
[00125] Первая кнопка 523 и вторая кнопка 525 реализованы микропереключателями или виртуальными кнопками. Колесико 524 прокрутки может быть реализовано с использованием физического колесика прокрутки или виртуального колесика прокрутки.
[00126] Нижняя часть 51 корпуса имеет удлиненную плоскую форму. Нижняя часть 51 корпуса включает в себя хвостовой участок вблизи переходной части 54 и верхнюю часть на удалении от переходной части 54. Нижняя часть 51 корпуса включает в себя нижнюю поверхность, две боковые поверхности и поверхность, обращенную к верхней части 53 корпуса.
[00127] Модуль вычисления (не показан), соответствующий наголовному аудиовизуальному устройству 202, имеется внутри верхней части 53 корпуса и/или нижней части 51 корпуса, и модуль вычисления электрически соединен с каждым из физических блоков 52 дистанционного управления.
[00128] Модуль вычисления включает в себя процессор и память. Модуль вычисления может быть реализован в виде одной микросхемы или нескольких микросхем. Когда модуль вычисления реализован в виде нескольких микросхем, "разделение труда" между любыми двумя микросхемами может быть одинаковым или различным. Некоторые микросхемы могут располагаться в верхней части 53 корпуса, и другие микросхемы могут располагаться в нижней части 51 корпуса. В по меньшей мере одной из верхней части 53 корпуса и нижней части 51 корпуса также имеется батарея.
[00129] Переходная часть 54 снабжена соединительным проводом для соединения с наголовным аудиовизуальным устройством 202. Длина верхней части 53 корпуса меньше длины нижней части 51 корпуса. Длина верхней части 53 корпуса равна расстоянию сверху вниз верхней части 53 корпуса, и длина нижней части 51 корпуса равна расстоянию сверху вниз нижней части 51 корпуса.
[00130] Физические блоки 52 дистанционного управления могут работать по меньшей мере в одном из следующих режимов.
[00131] В первом режиме, когда действие пользователя принимает первая нажимная часть 521, модуль вычисления генерирует по меньшей мере одно из сигнала подтверждения, сигнала управления посредством перетаскивания и сигнала управления множественным выбором, согласованного с аудиовизуальной информацией.
[00132] Первая нажимная часть 521 может именоваться "левой кнопкой" или "кнопкой ввода", и действие пользователя включает в себя по меньшей мере одно из действия одиночного клика, действия двойного клика и сигнала длительного нажатия.
[00133] Сигнал подтверждения означает сигнал, который подтверждает смысловое значение или диапазон смысловых значений. Например, сигнал подтверждения может указывать подтверждение, одобрение, разрешение, переход к следующему этапу и прочее. Наименование или смысловое значение сигнала подтверждения может немного изменяться в зависимости от аудиовизуальной информации, но вариант осуществления настоящего изобретения не ограничивает это изменение. Сигнал управления посредством перетаскивания может представлять собой управляющее действие перетаскивания в отношении целевого объекта, например, перетаскивание целевого объекта из одного положения в другое, причем начальное положение и конечное положение перетаскивающего действия здесь не ограничены. Сигнал управления множественным выбором может представлять собой управляющее действие для выбора нескольких целевых объектов, и управляемый объект и номер выбора сигнала управления множественным выбором здесь не ограничены.
[00134] В одном примере, когда первая нажимная часть 521 принимает действие одиночного клика, модуль вычисления генерирует сигнал подтверждения клика, согласованный с аудиовизуальной информацией; когда первая нажимная часть 521 принимает действие длительного нажатия, модуль вычисления генерирует сигнал управления посредством перетаскивания или сигнал управления множественным выбором, согласованный с аудиовизуальной информацией.
[00135] Во втором режиме, когда действие пользователя принимает вторая нажимная часть 522, модуль вычисления генерирует сигнал управления вспомогательным меню, согласованный с аудиовизуальной информацией.
[00136] Вторая нажимная часть 522 может именоваться "правой кнопкой" или "кнопкой вызова меню", и сигнал управления вспомогательным меню означает вспомогательное меню, связанное с аудиовизуальной информацией. Содержание сигнала управления вспомогательным меню может немного изменяться согласно аудиовизуальной информации, но вариант осуществления настоящего изобретения не ограничивает изменение. В одном варианте осуществления, сигнал управления вспомогательным меню включает в себя по меньшей мере одно из меню режимов наблюдения, меню режимов размещения, меню нового содержания, настроенного меню, команды вырезания, команды копирования, команды вставки, меню регулировки громкости, меню регулировки яркости, меню регулировки поля зрения, и меню регулировки численного значения.
[00137] В одном примере, аудиовизуальная информация демонстрирует акулу, которая движется в реальной сцене и отображается в режиме наложения, и когда вторая нажимная часть 522 принимает действие одиночного клика, всплывает вспомогательное меню. Вспомогательное меню содержит команду копирования, и пользователь может выбрать команду копирования для отображения другой движущейся акулы в режиме наложения в реальной сцене.
[00138] В третьем режиме, когда действие пользователя принимает первая кнопка 523, модуль вычисления принимает речевой сигнал, и генерирует речевой сигнал управления согласно речевому сигналу, или преобразует речевой сигнал в текстовый ввод.
[00139] Первая кнопка 523 может именоваться "кнопка речевой активации", и действие пользователя включает в себя действие длительного нажатия или действие двойного клика.
[00140] Когда первая кнопка 523 принимает действие длительного нажатия, модуль вычисления осуществляет распознавание речи, пока нажата первая кнопка 523, принимает речевой сигнал, полученный микрофоном, и получает речевой сигнал управления согласно сигналу распознавания речи. Опционально, в носимом устройстве управления имеется микрофон, или микрофон имеется в наголовном аудиовизуальном устройстве, или является сторонним микрофонным устройством.
[00141] Когда первая кнопка 523 принимает действие двойного клика, модуль вычисления запускает службу преобразования речи в текст и преобразует речевой сигнал, полученный микрофоном, в текстовый ввод с использованием службы преобразования речи в текст.
[00142] Альтернативно, в случае приема действия длительного нажатия, речевой сигнал преобразуется в текстовый ввод, и в случае приема действия двойного клика, речевой сигнал получается и распознается для получения речевого сигнала управления, который здесь не ограничивается.
[00143] В четвертом режиме, когда действие пользователя принимает колесико 524 прокрутки, генерируется инструкция регулировки численного значения. Инструкция регулировки численного значения является инструкцией регулировки произвольного численного значения, связанного с аудиовизуальной информацией. Инструкция регулировки численного значения включает в себя по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей.
[00144] Колесико 524 прокрутки является механическим колесиком прокрутки или виртуальным колесиком-кнопкой. Опционально, колесико 524 прокрутки является колесиком прокрутки в двух направлениях или колесиком прокрутки в четырех направлениях. Когда действие пользователя принимает колесико 524 прокрутки, генерируется инструкция регулировки численного значения, согласованная с аудиовизуальной информацией. Аудиовизуальная информация включает в себя аудиоинформацию и визуальную информацию.
[00145] В порядке примера, действие пользователя с колесиком 524 прокрутки является действием прокрутки или скольжения.
[00146] В порядке примера, инструкция регулировки громкости является инструкцией увеличения или уменьшения громкости аудиоинформации. Инструкция регулировки яркости является инструкцией увеличения или уменьшения яркости визуальной информации. Инструкция регулировки размера поля зрения является инструкцией увеличения или уменьшения поля зрения в визуальной информации. Инструкция регулировки размера сцены является инструкцией увеличения или уменьшения размера окружающей сцены (или виртуального объекта) в визуальной информации. Инструкция поворота угла наблюдения является инструкцией поворота виртуального угла наблюдения в визуальной информации, и поворот включает в себя по меньшей мере один из поворотов вверх, вниз, влево и вправо. Инструкция регулировки угла наблюдения является инструкцией увеличения или уменьшения виртуального угла наблюдения в визуальной информации. Инструкция регулировки устройства интернета вещей является инструкцией регулировки рабочих параметров устройства, подключенного к интернету вещей (например, оборудования для "умного дома").
[00147] В пятом режиме, когда действие пользователя принимает вторая кнопка 525, модуль вычисления генерирует по меньшей мере один сигнал управления из сигнала возврата, сигнала предыдущей страницы и сигнала снимка экрана.
[00148] Вторая кнопка 525 также именуется "кнопкой питания", и сигнал возврата является сигналом для возврата к домашней странице или меню более высокого уровня. Сигнал предыдущей страницы является сигналом для возврата к странице, предшествующей текущей странице при наличии нескольких страниц. Сигнал снимка экрана является сигналом для захвата отображаемой в данный момент аудиовизуальной информации.
[00149] В порядке примера, когда вторая кнопка 525 принимает действие одиночного клика, модуль вычисления генерирует по меньшей мере один сигнал управления из сигнала возврата, сигнала предыдущей страницы или сигнала снимка экрана, согласованный с аудиовизуальной информацией.
[00150] В шестом режиме, когда действие пользователя принимает вторая кнопка 525, модуль вычисления генерирует по меньшей мере один сигнал управления из сигнала включения, сигнала отключения, сигнала перезапуска и сигнала отключения питания.
[00151] Сигнал включения является сигналом для включения носимого устройства управления (или носимого устройства и наголовного аудиовизуального устройства), сигнал отключения является сигналом для отключения носимого устройства управления (или носимого устройства и наголовного аудиовизуального устройства), и сигнал перезапуска является сигналом для перезапуска носимого устройства управления (или носимого устройства и наголовного аудиовизуального устройства).
[00152] В порядке примера, когда вторая кнопка 525 принимает первое действие длительного нажатия (например, нажатие в течение 2 секунд), если носимое устройство управления находится во включенном состоянии, модуль вычисления генерирует сигнал отключения или сигнал перезапуска; и если носимое устройство управления находится в отключенном состоянии, модуль вычисления генерирует сигнал включения.
[00153] Когда вторая кнопка 525 принимает второе действие длительного нажатия (например, в течение 6 секунд), если носимое устройство управления находится во включенном состоянии, модуль вычисления генерирует сигнал отключения питания.
[00154] Пользователь также может использовать вышеупомянутые несколько кнопок для осуществления разных функций, например, одновременно нажимать две кнопки или нажимать нажимную часть для инициирования заранее заданной функции, которая не ограничена в этом варианте осуществления. В некоторых вариантах осуществления, функции физических блоков дистанционного управления отвечают требованиям пользователя, и пользователь сам задает функцию или быструю клавишу, соответствующую каждому физическому блоку дистанционного управления.
[00155] В порядке примера для этого варианта осуществления, когда наголовное аудиовизуальное устройство соединено с носимым устройством управления, пользователь принимает сообщение-подсказку, отображаемое на наголовном аудиовизуальном устройстве, причем это сообщение сообщает наименование и модель наголовного аудиовизуального устройства для указания пользователю подтвердить, соединено ли наголовное аудиовизуальное устройство с носимым устройством управления. При этом пользователю необходимо делать соответствующий выбор согласно фактическим условиям, и если наименование и модель наголовного аудиовизуального устройства согласованы с отображаемыми в сообщении, пользователь будет нажимать первую нажимную часть 51 на носимом устройстве управления (т.е. одиночный клик левой кнопкой), и выбирать виртуальную кнопку "ОК" в сообщении-приглашении, для инициирования генерации модулем вычисления инструкции подтверждения, и завершения процесса подтверждения соединения наголовного аудиовизуального устройства.
[00156] В порядке другого примера настоящего варианта осуществления, когда пользователь управляет содержанием, отображаемым носимым наголовным аудиовизуальным устройством, например, когда пользователь помещает просматриваемую фотографию в новую папку, пользователь перетаскивает выбранную фотографию, непрерывно нажимая первую нажимную часть 521 (т.е. долго нажимая левую кнопку), благодаря чему выбранная фотография помещается в новую папку. В порядке другого примера, когда пользователю нужно удалять фотографии партиями, пользователь выбирает фотографии, подлежащие удалению, нажатием левой кнопки 301 долгое время и перетаскивает фотографии в корзину, т.е. осуществляет удаление партии выбранных фотографий.
[00157] Согласно варианту осуществления настоящего изобретения, вторая нажимная часть 522 выполнена с возможностью инициирования генерации модулем вычисления инструкции генерации вспомогательное меню для вызова вспомогательного меню в ответ на прием сигнала длительного нажатия. В порядке примера настоящего варианта осуществления, когда пользователь изменяет параметр атрибута носимого устройства управления, например, когда пользователь непрерывно нажимает вторую нажимную часть 522 (т.е. долговременно нажимает правую кнопку), вспомогательное меню может отображаться на интерфейсе отображения наголовного аудиовизуального устройства.
[00158] В порядке примера этого варианта осуществления, когда пользователь изменяет пиктограмму прикладной программы, отображаемую на наголовном аудиовизуальном устройстве, вторая нажимная часть 52 непрерывно нажимается (т.е. правая кнопка нажимается длительно) для инициирования генерации инструкции вспомогательного меню главной схемой управления, и на наголовном аудиовизуальном устройстве появляется вспомогательное меню, и выбирается виртуальная кнопка "изменение пиктограммы", т.е. изменение пиктограммы прикладной программы, отображаемой на наголовном аудиовизуальном устройстве. Следует отметить, что вспомогательное меню включает в себя несколько команд быстрых клавиш, и каждая команда быстрой клавиши может инициировать генерацию модулем вычисления инструкции быстрой клавиши, чтобы оптическое устройство отображения осуществляло действие быстрой клавиши. Например, когда пользователь изменяет размер текста, отображаемого на наголовном аудиовизуальном устройстве, правая кнопка нажимается длительно для инициирования генерации инструкции вспомогательного меню главной схемой управления. Затем на наголовном аудиовизуальном устройстве появляется вспомогательное меню, во вспомогательном меню появляется команда быстрой клавиши "настроить размер текста", и выбирается команда быстрой клавиши "настройка размера текста", благодаря чему размер текста изменяется. Следует понимать, что команды быстрой клавиши, включенные во вспомогательное меню, упрощают пользователю работу по изменению некоторых параметров наголовного аудиовизуального устройства и удобны для использования пользователем. Опционально, команды быстрой клавиши, включенные во вспомогательное меню, могут изменяться в соответствии с привычками пользователя. Например, команды быстрой клавиши могут устанавливаться как персональные настройки, например, "изменение пиктограммы", "настройка размера текста" и прочие, и также могут устанавливаться как функциональные настройки, например, "Добавить список дел", "Проверить почту" и т.д.
[00159] В некоторых вариантах осуществления настоящего изобретения, физический блок управления дополнительно включает в себя первую кнопку 523, расположенную между первой нажимной частью 51 и второй нажимной частью 52.
[00160] Согласно варианту осуществления настоящего изобретения, первая кнопка 523 выполнена с возможностью инициирования генерации модулем вычисления инструкции распознавания речи для распознавания речевых данных при приеме сигнала нажатия; инициирования генерации инструкции отключения модулем вычисления при приеме сигнала отпускания, и таким образом, для отключения функции распознавания речи; и инициирования генерации инструкции преобразования модулем вычисления при приеме сигнала двойного клика, для преобразования функции распознавания речи в функцию текстового ввода.
[00161] В порядке примера настоящего варианта осуществления, например, в случае, когда пользователь использует функцию речевого чата для общения с участником чата, когда пользователь желает общаться путем отправки сообщения в речевой форме участнику чата, нажимается первая кнопка 523, расположенная между первой нажимной частью 51 и второй нажимной частью 52, и когда первая кнопка 523 принимает сигнал нажатия, модуль вычисления инициирует генерацию инструкции распознавания речи, для распознавания речевых данных и генерирования сообщения в речевой форме; когда пользователь заканчивает говорить, он отпускает первую кнопку 523, и когда первая кнопка 523 принимает сигнал отпускания, модуль вычисления инициирует генерацию инструкции отключения для отключения распознавания речевых данных, и сгенерированное сообщение в речевой форме отправляется участнику чата; когда участнику чата неудобно отправлять речь, например, когда пользователь общается с участником чата, находящимся в библиотеке, пользователь дважды нажимает первую кнопку 523, и кнопка 523 активации распознавания речи принимает сигнал двойного клика, и инициирует генерацию инструкции преобразования модулем вычисления, благодаря чему функция распознавания речи преобразуется в функцию текстового ввода, и пользователь может общаться с участником чата в режиме текстового ввода.
[00162] В порядке другого примера настоящего варианта осуществления, первая кнопка 523 также может преобразовывать распознаваемую речь в сообщение в текстовой форме для отправки. Когда пользователь не может вводить текст, и участнику чата неудобно прослушивать принятое речевое сообщение, например, когда участник чата находится в театре, пользователь может двойным кликом первой кнопки 523 выбирать функцию преобразования речи в текстовый ввод для преобразования распознаваемой речи в текстовое сообщение.
[00163] В некоторых вариантах осуществления настоящего изобретения, физический блок управления дополнительно включает в себя колесико 524 прокрутки, расположенное между первой нажимной частью 521 и второй нажимной частью 522, как показано на фиг.6. Согласно варианту осуществления настоящего изобретения, колесико 524 прокрутки выполнено с возможностью инициирования генерации модулем вычисления инструкции регулировки для регулировки различных параметров наголовного аудиовизуального устройства при приеме сигнала прокрутки. Опционально, колесико 524 прокрутки может скользить в направлении вверх (т.е. к первой кнопке 523) или может скользить в направлении вниз (т.е. от первой кнопки 523).
[00164] В порядке примера настоящего варианта осуществления, будет описан пример регулировки яркости содержания, отображаемого на наголовном аудиовизуальном устройстве. Когда яркость отображающего экрана наголовного аудиовизуального устройства слишком низка, колесико 524 прокрутки скользит в направлении вверх (т.е. к первой кнопке 523), и когда колесико 524 прокрутки принимает сигнал прокрутки, модуль вычисления инициирует генерацию инструкции регулировки яркости дисплея, благодаря чему яркость отображающего экрана наголовного аудиовизуального устройства повышается. В порядке другого примера, когда пользователь, просматривающий видео с использованием наголовного аудиовизуального устройства, считает, что звуковое сопровождение видео звучит слишком громко, колесико 524 прокрутки скользит к нижней стороне (т.е. в направлении от первой кнопки 523), и когда колесико 524 прокрутки принимает сигнал прокрутки, модуль вычисления инициирует генерацию инструкции регулировки громкости, благодаря чему громкость видео, воспроизводимого на наголовном аудиовизуальном устройстве, снижается.
[00165] В некоторых вариантах осуществления настоящего изобретения, физический блок управления включает в себя вторую кнопку 525, расположенную на краевой поверхности нижней части 51 корпуса, как показано на фиг. 6. Согласно варианту осуществления настоящего изобретения, вторая кнопка 525 выполнена с возможностью инициирования генерации модулем вычисления инструкции включения/отключения при приеме сигнала длительного нажатия, для управления включением/отключением носимого устройства управления.
[00166] В порядке примера настоящего варианта осуществления, когда носимое устройство управления не используется, вторая кнопка 525, расположенная на краевой поверхности нижней части 51 корпуса, непрерывно нажимается (т.е. длительное нажатие многофункциональную физическую кнопку), и модуль вычисления инициирует генерацию инструкции отключение, когда вторая кнопка 525 принимает сигнал длительного нажатия, благодаря чему носимое устройство управления входит в отключенное состояние. Следует понимать, что при необходимости активировать носимое устройство управления, вторая кнопка 525, расположенная на краевой поверхности нижней части 51 корпуса, нажимается длительно, и модуль вычисления инициирует генерацию инструкции включения при приеме сигнала длительного нажатия второй кнопкой 525, для активации носимого устройства управления, т.е. носимое устройство управления входит во включенное состояние.
[00167] В некоторых вариантах осуществления настоящего изобретения, вторая кнопка 525 дополнительно выполнена с возможностью инициирования генерации модулем вычисления инструкции возврата в случае приема сигнала клика, для того, чтобы оптическое устройство отображения возвращалось к предыдущей странице или к предыдущему действию.
[00168] В порядке другого примера настоящего варианта осуществления, например, в случае, когда наголовное аудиовизуальное устройство используется для просмотра веб-страницы, когда наголовное аудиовизуальное устройство, успешно соединенное с носимым устройством управления, используется для просмотра текущей веб-страницы, необходимо проверять содержание страницы, предшествующей вебстранице, в данный момент отображаемой на наголовном аудиовизуальном устройстве, и нажимать вторую кнопку 525 (т.е. щелкать второй кнопкой 525) для инициирования генерации модулем вычисления инструкции возврата, чтобы веб-страница, в данный момент отображаемая на наголовном аудиовизуальном устройстве, возвращалась к предыдущей странице. Следует понимать, что инструкция возврата, генерируемая модулем вычисления, инициируется при приеме сигнала клика второй кнопкой 525, также может использоваться для осуществления действия для возврата к другим интерфейсам прикладных программ. Например, при просмотре видео онлайн с использованием наголовного аудиовизуального устройства, которое успешно соединено с носимым устройством управления, необходимо искать другие просматриваемые видеозаписи на домашней странице прикладной программы воспроизведения видео, и нажимать вторую кнопку 525 для инициирования генерации модулем вычисления инструкции возврата, для изменения отображаемого в данный момент содержания наголовного аудиовизуального устройства, т.е. возврата к домашней странице прикладной программы видео из текущего интерфейса воспроизведение видео.
[00169] В некоторых вариантах осуществления настоящего изобретения, между нижней частью корпуса и верхней частью корпуса сформирован промежуток. Согласно варианту осуществления настоящего изобретения, промежуток используется для прикрепления вышеописанного носимого устройства управления к одежде пользователя.
[00170] В порядке примера этого варианта осуществления, при использовании носимого устройства управления, край кармана одежды пользователя может зажиматься промежутком, сформированным между нижней частью корпуса и верхней частью корпуса носимого устройства управления, как показано на фиг.12, чтобы пользователю было удобно носить носимое устройство управления и было легко хранить носимое устройство управления. По сравнению с другим наголовным аудиовизуальным устройством с увеличенным количеством компонентов, объединение блока управления и модуля вычисления может уменьшать необходимость отдельно устанавливать беспроводной блок дистанционного управления, избавляя пользователя от необходимости размещать беспроводной блок дистанционного управления отдельно, и проблемы того, что беспроводной блок дистанционного управления легко потерять.
[00171] На фиг. 13 показана блок-схема операций, демонстрирующая способ управления носимым устройством управления согласно иллюстративному варианту осуществления настоящего изобретения. Способ может применяться к вышеупомянутому носимому устройству, и носимое устройство электрически соединено с наголовным аудиовизуальным устройством. Способ включает в себя:
[00172] этап 601: генерацию аудиовизуальной информации, выводимой наголовным аудиовизуальным устройством, причем аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR.
[00173] Носимое устройство управления генерирует аудиовизуальную информацию VR и аудиовизуальную информацию AR, которые выводятся (или воспроизводятся) на наголовном аудиовизуальном устройстве, и их комбинацию, в зависимости от типа или эксплуатационных показателей наголовного аудиовизуального устройства.
[00174] Например, наголовное аудиовизуальное устройство поддерживает только аудиовизуальную информацию VR, и носимое устройство управления генерирует аудиовизуальную информацию VR; наголовное аудиовизуальное устройство поддерживает только аудиовизуальную информацию AR, и носимое устройство управления генерирует аудиовизуальную информацию AR; наголовное аудиовизуальное устройство поддерживает как аудиовизуальную информацию VR, так и аудиовизуальную информацию AR, и носимое устройство управления генерирует аудиовизуальную информацию VR или аудиовизуальную информацию AR согласно текущему рабочему режиму наголовного аудиовизуального устройства.
[00175] Способ включает в себя этап 602 генерации сигнала управления аудиовизуальной информацией согласно действию пользователя, принятого физическим блоком дистанционного управления.
[00176] В одном примере, физический блок дистанционного управления включает в себя первую нажимную часть и вторую нажимную часть, расположенные параллельно в краевой области верхней поверхности верхней части корпуса. Этот этап включает в себя:
[00177] генерацию по меньшей мере одного из сигнала подтверждения, сигнала управления посредством перетаскивания и сигнала управления множественным выбором, согласованного с аудиовизуальной информацией, когда действие пользователя принимает первая нажимная часть; и
[00178] генерацию сигнала управления вспомогательным меню, согласованного с аудиовизуальной информацией, когда действие пользователя принимает вторая нажимная часть.
[00179] В одном примере, физический блок дистанционного управления дополнительно включает в себя первую кнопку, расположенную между первой нажимной частью и второй нажимной частью; и этот этап включает в себя:
[00180] прием речевого сигнала, когда действие пользователя принимает первая кнопка, и генерацию речевого сигнала управления согласно речевому сигналу, или преобразование речевого сигнала в текстовый ввод.
[00181] В одном примере, физический блок дистанционного управления дополнительно включает в себя колесико прокрутки, расположенное между первой нажимной частью и второй нажимной частью; этот этап включает в себя:
[00182] генерацию инструкции регулировки численного значения, когда действие пользователя принимает колесико прокрутки;
[00183] при этом инструкция регулировки численного значения включает в себя: по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей.
[00184] В одном примере, физический блок дистанционного управления дополнительно включает в себя вторую кнопку, предусмотренную на боковой поверхности нижней части корпуса; этот этап включает в себя:
[00185] генерацию по меньшей мере одного сигнала управления из сигнала возврата, сигнала предыдущей страницы и сигнала снимка экрана, когда действие пользователя принимает вторая кнопка; и/или генерацию по меньшей мере одного сигнала управления из сигнала включения, сигнала отключения, сигнала перезапуска и сигнала отключения питания, когда действие пользователя принимает вторая кнопка.
[00186] Способ дополнительно включает в себя этап 603 управления выводом аудиовизуальной информации согласно сигналу управления.
[00187] В итоге, в способе, предусмотренном настоящим вариантом осуществления, путем обеспечения физического блока дистанционного управления на корпусе носимого устройства управления, пользователь может напрямую использовать физический блок дистанционного управления на корпусе для управления аудиовизуальной информацией, отображаемой на наголовном аудиовизуальном устройстве, без использования отдельного беспроводного блока дистанционного управления, что позволяет решить проблему, состоящую в том, что беспроводной блок дистанционного управления в соответствующей технологии легко потерять, и повысить портативность и функциональность носимого устройства управления.
[00188] В другом варианте осуществления настоящего изобретения, предусмотрено носимое устройство управления. Носимое устройство управления является носимым устройством управления, описанным в вышеупомянутом аспекте и в любой опциональной реализации, и носимое устройство управления выполнено с возможностью соединения с наголовным аудиовизуальным устройством. Устройство включает в себя процессор, и память для хранения инструкций, исполняемых процессором;
[00189] причем процессор выполнен с возможностью:
[00190] генерации аудиовизуальной информации, выводимой наголовным аудиовизуальным устройством, причем аудиовизуальная информация включает в себя по меньшей мере одно из аудиовизуальной информации VR, аудиовизуальной информации AR и аудиовизуальной информации MR;
[00191] генерации сигнала управления аудиовизуальной информацией согласно действию пользователя, принятому физическим блоком дистанционного управления; и
[00192] управления выводом аудиовизуальной информации согласно сигналу управления.
[00193] В альтернативной реализации, процессор выполнен с возможностью: [00194] генерации по меньшей мере одного из сигнала подтверждения, сигнала управления посредством перетаскивания и сигнала управления множественным выбором, согласованного с аудиовизуальной информацией, когда действие пользователя принимает первая нажимная часть; и
[00195] генерации сигнала управления вспомогательным меню, согласованным с аудиовизуальной информацией, когда действие пользователя принимает вторая нажимная часть.
[00196] В альтернативной реализации, процессор выполнен с возможностью:
[00197] приема речевого сигнала, когда действие пользователя принимает первая кнопка, и генерации речевого сигнала управления согласно речевому сигналу, или преобразования речевого сигнала в текстовый ввод.
[00198] В альтернативной реализации, процессор выполнен с возможностью:
[00199] генерации инструкции регулировки численного значения, когда действие пользователя принимает колесико прокрутки;
[00200] при этом инструкция регулировки численного значения включает в себя: по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей.
[00201] В альтернативной реализации, процессор выполнен с возможностью:
[00202] генерации по меньшей мере одного сигнала управления из сигнала возврата, сигнала предыдущей страницы и сигнала снимка экрана, когда действие пользователя принимает вторая кнопка; и/или генерации по меньшей мере одного сигнала управления из сигнала включения, сигнала отключения, сигнала перезапуска и сигнала отключения питания, когда действие пользователя принимает вторая кнопка.
[00203] Рассматривая аудиовизуальное устройство AR в порядке примера наголовного аудиовизуального устройства, на фиг. 14 показана блок-схема системы 1400 дополненной реальности, предусмотренной иллюстративным вариантом осуществления настоящего изобретения. Эта система 1400 дополненной реальности включает в себя наголовное аудиовизуальное устройство 202 и носимое устройство 204 управления. Наголовное аудиовизуальное устройство 202 является устройством для вывода (или воспроизведения) аудиовизуальной информации AR. Носимое устройство 204 управления соединено с наголовным аудиовизуальным устройством 202 посредством проводного соединения, например, подключаемого кабеля.
[00204] Опционально, наголовное аудиовизуальное устройство 202 использует уложенные в стопку световодные оптические элементы (LOE) 1427 в качестве блоков отображения для левого и правого глаз. Наголовное аудиовизуальное устройство 202 дополнительно включает в себя источник 1421 света для осуществления проекции, контроллер 1423, пространственный модулятор 1425 света (SLM) и по меньшей мере один набор уложенных в стопку LOE 3390, которые действуют как много плоскостная система фокусировки. Система 1400 дополненной реальности также может включать в себя подсистему отслеживания движения глаз (не показана). Следует понимать, что другие варианты осуществления могут иметь несколько наборов уложенных в стопку LOE 1446.
[00205] Носимое устройство 204 управления выполнено с возможностью генерации аудиовизуальной информации AR (сокращенно, виртуального контента), подлежащей отображению пользователю. Процессор 1446 изображений может преобразовывать изображение или видео, связанное с виртуальным контентом, в формат, который может проецироваться пользователю в 3D режиме. Например, при генерировании 3D контента может быть желательно форматировать виртуальный контент таким образом, чтобы участки конкретного изображения отображались в конкретной плоскости глубины, а другие участки отображались в других плоскостях глубины. В одном варианте осуществления, все изображения могут генерироваться в конкретной плоскости глубины. В другом варианте осуществления, процессор 1446 изображений может быть запрограммирован обеспечивать немного разные изображения для правого и левого глаз, благодаря чему при совместном наблюдении обеспечивается 3D стереоскопический эффект.
[00206] Носимое устройство 204 управления может дополнительно включать в себя процессор 1442, память 1444 и процессор 1446 изображений, а также другие схемы для генерации и обработки изображений. Носимое устройство 204 управления может быть запрограммировано желаемым виртуальным содержанием, которое необходимо представлять на наголовном аудиовизуальном устройстве 202. Процессор 1446 изображений выполнен с возможностью выполнения кода в памяти 1444 для осуществления способа управления носимого устройства управления, предусмотренного вышеописанным вариантом осуществления.
[00207] Носимое устройство 204 управления присоединено кабелем к источнику 1421 света, который проецирует свет, связанный с желаемым виртуальным содержанием, на один или более пространственных модуляторов 1425 света. Источник 1421 света присоединен к контроллеру 1423. Источник 1421 света может включать в себя LED и лазеры, имеющие конкретные цвета и расположенные в различных геометрических конфигурациях. Опционально, источник 1421 света может включать в себя LED или лазеры одного цвета, и каждый лазер связан с конкретной областью поля зрения блока отображения. В другом варианте осуществления, источник 1421 света может включать в себя излучатель большой площади, например, накальную или люминесцентную лампу, имеющую маскирующий покровный слой для сегментирования площади и положения излучения.
[00208] В различных иллюстративных вариантах осуществления, SLM 1425 может быть отражающим, пропускающим или излучающим. Тип (например, скорость, размер и т.д.) SLM 1425 можно выбирать для улучшения 3D восприятия. SLM 1425 кодирует свет от источника 1421 света желаемым виртуальным содержанием.
[00209] Свет от SLM 1425 направляется к LOE 1427, благодаря чему световой пучок, закодированный посредством SLM 1425 данными изображения одной плоскости глубины и/или цветом, эффективно распространяется вдоль одного LOE 1427 для доставки в глаз пользователя. Каждый LOE 1427 выполнен с возможностью проецировать изображение или подизображение, происходящее из плоскости желаемой глубины или углового положения FOV, на сетчатку пользователя. Таким образом, источник 1421 света и LOE 1427 могут выборочно проецировать изображения (синхронно закодированные посредством SLM 1425 под управлением контроллера 1423), происходящие из различных плоскостей глубины или пространственных положений. Изображения последовательно проецируются с достаточно высокой частотой кадров с использованием каждого из источника 1421 света и LOE 1427.
[00210] Контроллер 1423 осуществляет связь и в ходе работы подключен к носимому устройству 204 управления, источнику 1421 света и SLM 1425 для координации синхронизированного отображения изображений путем предписания SLM 1425 кодировать световой пучок от источника 1421 света надлежащей информацией изображения из носимого устройства 204 управления.
[00211] Опционально, система 1400 дополненной реальности дополнительно включает в себя подсистему отслеживания движения глаз выполненный с возможностью отслеживания глаз пользователя и определения фокуса пользователя. В одном варианте осуществления, система 1400 выполнена с возможностью выбора поднабора активированных LOE 1427 на основании ввода из подсистемы отслеживания движения глаз, благодаря чему изображение генерируется в плоскости желаемой глубины, согласующейся с фокусом/регулировкой пользователя.
[00212] Конструкция наголовного аудиовизуального устройства 202 является иллюстративной, и конкретная реализация конструкция наголовного аудиовизуального устройства 202 не ограничивается этим вариантом осуществления.
[00213] На фиг. 15 показана конкретная реализация носимого устройства управления согласно иллюстративному варианту осуществления настоящего изобретения, причем поверхность верхней части корпуса носимого устройства управления является дугообразной, и поверхность верхней части корпуса снабжена кнопкой, и кнопка включает в себя: левую кнопку (т.е. кнопку подтверждения) 521, правую кнопку (вспомогательное меню можно открывать, кликая правой кнопкой) 522, кнопку 523 активации распознавания речи (т.е. кнопку речевой активации), колесико 524 прокрутки, кнопку 525 возврата или питания.
[00214] Действие левой кнопки 521 носимого устройства управления включает в себя по меньшей мере одно из действия одиночного клика для подтверждения сигнала подтверждения смыслового значения или аналогичного подтверждения смыслового значения, действия двойного клика для открытия по меньшей мере одного целевого файла приложения, документа, таблицы, слайда, изображения, видео и аудио, и действия длительного нажатия для осуществления по меньшей мере одного действия выбора файлов партиями или перетаскивания файлов. Правая кнопка 522 используется для открытия вспомогательного меню, когда пользователь осуществляет действие одиночного клика, и содержание вспомогательного меню немного изменяется в зависимости от аудиовизуальной информации. Кнопка 523 речевой активации может принимать действие длительного нажатия или действие двойного клика, и в случае приема действия двойного клика кнопкой речевой активации, модуль вычисления в носимом устройстве управления может преобразовывать речевой сигнал, полученный микрофоном, в текстовый ввод, или в случае приема действия длительного нажатия кнопкой активации распознавания речи, речевой сигнал преобразуется в текстовый ввод. Колесико 524 прокрутки используется для генерации инструкции регулировки численного значения, когда пользователь осуществляет действие прокрутки или скольжения, и инструкция регулировки численного значения включает в себя по меньшей мере одно из инструкции регулировки громкости, инструкции регулировки яркости, инструкции регулировки размера поля зрения, инструкции регулировки размера сцены, инструкции поворота угла наблюдения, инструкции регулировки угла наблюдения и инструкции регулировки устройства интернета вещей. В порядке примера, пользователь может регулировать громкость путем вращения колесика прокрутки, например, громкость увеличивается при вращении колесика прокрутки вверх (т.е. в направлении, в котором пользователя палец выдвигается), и громкость уменьшается при вращении колесика прокрутки вниз (т.е. в направлении в котором пользователя палец отводится назад). Кнопка 525 возврата или питания используется для возврата к домашней странице или меню более высокого уровня, когда пользователь осуществляет действие одиночного клика, или используется для по меньшей мере одного действия из действия включения, действия отключение, действия перезапуска и сигнала отключения питания. Например, при длительном нажатии кнопки 525 возврата или питания в течение 2 секунд, если носимое устройство управления находится во включенном состоянии, носимое устройство управления включается, и если носимое устройство управления находится в отключенном состоянии, носимое устройство управления отключается, или при длительном нажатии кнопки 525 возврата или питания в течение 6 секунд, если носимое устройство управления находится во включенном состоянии, питание носимого устройства управления отключается.
[00215] Пользователь также может использовать вышеупомянутые несколько кнопок совместно для осуществления разных функций, например, одновременно нажимать две кнопки или нажимать нажимную часть для инициирования заранее заданной функции, которая не ограничена в этом варианте осуществления. В некоторых вариантах осуществления, функции физических блоков дистанционного управления отвечают требованиям пользователя, и пользователь задает функцию или быструю клавишу, соответствующую каждому физическому блоку дистанционного управления.
[00216] Вышеприведенное описание относится только к предпочтительному варианту осуществления настоящего изобретения, и не призвано ограничивать настоящее изобретение, и любые модификации, эквивалентные замены, улучшения и т.д., отвечающие сущности и принципу настоящего изобретения, подлежат включению в объем настоящего изобретения.