УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА
INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAMME

Область техники, к которой относится изобретение
Настоящее раскрытие относится к устройству обработки информации, способу обработки информации и программе и, более конкретно, к устройству обработки информации, способу обработки информации и программе для совместного использования расширенного реального пространства с другим устройством.
Уровень техники
В последнее время, в качестве примера, технологии расширенной реальности (ниже называется технологией AR) виртуальная цифровая информация (виртуальный объект) отображается с наложением на информацию реального пространства, такую как изображение реального пространства. Кроме того, виртуальный объект совместно используется между множеством устройств, таким образом, чтобы виртуальный объект предпочтительно обрабатывали как объект в реальном пространстве.
Для наложения виртуальной цифровой информации на информацию реального пространства виртуальное пространство должно быть распознано путем анализа трехмерной структуры пространства. Например, в патентной литературе 1 раскрыта технология, в которой множество пользователей совместно используют виртуальное пространство для обеспечения соответствия положения в каждом из реального пространства пользователя и положения в виртуальном пространстве в соответствии друг с другом таким образом, что пользователи могут распознавать друг друга и могут входить в контакт друг с другом в виртуальном пространстве.
Список литературы
Патентная литература
Выложенная заявка на японский патент №2002-149581
Сущность изобретения
В соответствии с первым вариантом осуществления, раскрытие направлено на устройство обработки информации, содержащее: процессор, выполненный с возможностью получения первой информации о положении корпуса устройства, соответствующей устройству обработки информации, первой координаты расстояния, соответствующей устройству обработки информации, второй информации о положении корпуса устройства, соответствующей другому устройству обработки информации, и второй координаты расстояния, соответствующей другому устройству обработки информации, в котором процессор выполнен с возможностью рассчитывать положение объекта в виртуальном пространстве на основе первой и второй информаций о положении корпуса устройства и первой и второй координат расстояния.
Устройство обработки информации может дополнительно включать в себя детектор, выполненный с возможностью детектировать первую информацию о положении корпуса устройства, путем детектирования ориентации устройства обработки информации.
Устройство обработки информации может дополнительно включать в себя интерфейс, выполненный с возможностью получения второй информации о положении корпуса устройства из другого устройства обработки информации.
Устройство обработки информации может дополнительно включать в себя устройство съемки изображения, выполненное с возможностью получения изображения, соответствующего другому устройству обработки информации, в котором процессор выполнен с возможностью получения второй информации о положении корпуса устройства на основе полученного изображения.
Устройство обработки информации может дополнительно включать в себя детектор, выполненный с возможностью расчета расстояния между устройством обработки информации и другим устройством обработки информации.
Детектор может быть выполнен с возможностью расчета расстояния между устройством обработки информации и другим устройством обработки информации в виртуальном пространстве.
Детектор может быть выполнен с возможностью расчета расстояния между устройством обработки информации и другим устройством обработки информации в реальном пространстве.
Процессор может быть выполнен с возможностью распознавать виртуальное пространство на основе первой и второй информации о положении корпуса устройства.
Процессор может быть выполнен с возможностью расчета значения нормализации на основе разности между первой координатой расстояния и второй координатой расстояния.
Процессор может быть выполнен с возможностью определения координаты устройства обработки информации в виртуальном пространстве и преобразования эту координату в координату в виртуальном пространстве другого устройства обработки информации на основе значения нормализации.
Устройство обработки информации может дополнительно включать в себя интерфейс, выполненный с возможностью передавать преобразованную координату в другое устройство обработки информации.
Устройство обработки информации может дополнительно включать в себя интерфейс, выполненный с возможностью принимать координату из другого устройства обработки информации, в котором процессор выполнен с возможностью преобразовывать координату в виртуальное пространство устройства обработки информации на основе значения нормализации.
Первая координата расстояния может соответствовать первому коэффициенту масштабирования расстояния, и вторая координата расстояния может соответствовать второму коэффициенту масштабирования расстояния.
Процессор может быть выполнен с возможностью расчета значения нормализации на основе первого и второго коэффициентов масштабирования расстояния.
Процессор может быть выполнен с возможностью расчета значения нормализации путем деления первого коэффициента масштабирования расстояния на второй коэффициент масштабирования расстояния.
Процессор может быть выполнен с возможностью назначения координаты устройства обработки информации в виртуальном пространстве и преобразования этой координаты на основе первой и второй информации о положении корпуса устройства и значения нормализации.
Устройство обработки информации может дополнительно включать в себя интерфейс, выполненный с возможностью передавать преобразованную координату в другое устройство обработки информации.
Устройство обработки информации может дополнительно включать в себя интерфейс, выполненный с возможностью принимать координату из другого устройства обработки информации.
Процессор может быть выполнен с возможностью преобразовывать координату на основе первой и второй информации о положении корпуса устройства и значения нормализации.
Устройство обработки информации может также включать в себя дисплей, в котором процессор выполнен с возможностью управления дисплеем для отображения объектов на основе преобразованной координаты.
В соответствии с другим вариантом осуществления, раскрытие направлено на способ обработки информации, выполняемый устройством обработки информации, содержащий: получают с помощью процессора устройства обработки информации первую информация о положении корпуса устройства, соответствующую устройству обработки информации, и первую координату расстояния, соответствующую устройству обработки информации; получают с помощью интерфейса устройства обработки информации вторую информацию о положении корпуса устройства, соответствующую другому устройству обработки информации, и вторую координату расстояния, соответствующую другому устройству обработки информации; и рассчитывают с помощью процессора устройства обработки информации положение объекта в виртуальном пространстве на основе первой и второй информации о положении корпуса устройства, и первых и вторых координат расстояния.
В соответствии с другим вариантом осуществления, раскрытие направлено на энергонезависимый считываемый компьютером носитель информации, включающий в себя инструкции компьютерной программы, которые при их выполнении в устройстве обработки информации, обеспечивают выполнение устройством обработки информации способа, содержащего: получают первую информацию о положении корпуса устройства, соответствующую устройству обработки информации, и первую координату расстояния, соответствующую устройству обработки информации; получают вторую информацию о положении корпуса устройства, соответствующую другому устройству обработки информации, и вторую координату расстояния, соответствующую другому устройству обработки информации; и рассчитывают положение объекта в виртуальном пространстве на основе первой и второй информаций о положении корпуса устройства и первой и второй координат расстояния.
Техническая задача
Однако в патентной литературе 1, хотя множество пользователей могут распознавать друг друга, совместно используя виртуальное пространство, трудно размещать виртуальный объект в виртуальном пространстве таким образом, чтобы виртуальный объект совместно использовался множеством устройств.
Поэтому, учитывая упомянутые выше проблемы, настоящее раскрытие обеспечивает новое или улучшенное устройство обработки информации, способ обработки информации и программу, выполненные с возможностью простого совместного использования виртуального объекта, который накладывается на виртуальное пространство, распознаваемое в результате анализа реального пространства.
Решение задачи
Как описано выше, в соответствии с настоящим раскрытием, становится возможным легко совместно использовать виртуальный объект, который наложен на виртуальное пространство, распознаваемое путем анализа реального пространства.
Краткое описание чертежей
На фиг.1 показана схема для пояснения технологии AR.
На фиг.2 показана схема для пояснения виртуального пространства, распознанного на основе анализа реального пространства.
На фиг.3 показана схема для пояснения совместного использования объекта AR, расположенного в пространстве AR.
На фиг.4 показана блок-схема, иллюстрирующая комплект аппаратного оборудования устройства обработки информации в соответствии с вариантом осуществления изобретения.
На фиг.5 показана блок-схема, иллюстрирующая функциональную конфигурацию устройства обработки информации в соответствии с вариантом выполнения.
На фиг.6 показана схема для пояснения совпадения направлений систем координат между устройствами в соответствии с вариантом выполнения.
На фиг.7 А показана схема для пояснения единичной координаты в соответствии с вариантом выполнения.
На фиг.7 В показана схема для пояснения нормализации системы пространственных координат в соответствии с вариантом выполнения.
На фиг.8 показана схема для пояснения нормализации системы пространственных координат в соответствии с вариантом выполнения.
На фиг.9 показана блок-схема последовательности операций, иллюстрирующая детали операций устройства обработки информации, в соответствии с вариантом выполнения.
На фиг.10 показана блок-схема последовательности операций, иллюстрирующая детали операций устройства обработки информации, в соответствии с вариантом выполнения.
На фиг.11 показана блок-схема последовательности операций, иллюстрирующая детали операций устройства обработки информации, в соответствии с вариантом выполнения.
На фиг.12 показана блок-схема последовательности операций, иллюстрирующая изменение деталей операций устройства обработки информации, в соответствии с вариантом выполнения.
На фиг.13 показана блок-схема последовательности операций, иллюстрирующая изменение деталей операций устройства обработки информации, в соответствии с вариантом выполнения.
На фиг.14 показана блок-схема последовательности операций, иллюстрирующая изменение деталей операций устройства обработки информации, в соответствии с вариантом выполнения.
Подробное описание изобретения
Ниже будут подробно описаны предпочтительные варианты осуществления настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что, в данном описании и на приложенных чертежах, структурные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих структурных элементов исключено.
Кроме того, "лучшие режимы вариантов осуществления изобретения" будут описаны в следующем порядке.
[1] Цель варианта осуществления
[2] Общий обзор устройства обработки информации
[3] Конфигурация аппаратных средств устройства обработки информации
[4] Функциональная конфигурация устройства обработки информации
[5] Подробное описание операций устройства обработки информации
[6] Модификация подробного описания операций устройства обработки информации
[1] Цель варианта осуществления
Вначале будет описана цель варианта осуществления. В последнее время, в качестве примера технологии расширенной реальности (ниже называется технологией AR), виртуальную цифровую информацию (виртуальный объект) отображают с наложением на информацию реального пространства, такую, как изображение в реальном пространстве. Кроме того, виртуальный объект совместно используется среди множества устройств, таким образом, чтобы виртуальный объект предпочтительно обрабатывать как объект в реальном пространстве.
Для наложения виртуальной цифровой информации на информацию реального пространства, виртуальное пространство должно быть распознано посредством анализа структуры трехмерного пространства. Например, раскрыта технология, в которой множество пользователей совместно используют виртуальное пространство для обеспечения возможности установления положения в реальном пространстве каждого пользователя и положения в виртуальном пространстве так, чтобы они соответствовали друг другу, с тем, чтобы пользователи могли распознавать и контактировать друг с другом в виртуальном пространстве.
Однако в упомянутой выше технологии, хотя множество пользователей могут распознавать друг друга, в результате совместного использования виртуального пространства, трудно размещать виртуальный объект в виртуальном пространстве так, чтобы множество устройств совместно использовали этот виртуальный объект. Поэтому, с учетом упомянутой выше проблемы, устройство 10 обработки информации, в соответствии с вариантом осуществления становится неестественным. В соответствии с устройством 10 обработки информации, становится возможным легко совместно использовать виртуальный объект, наложенный на виртуальное пространство, которое распознается путем анализа реального пространства.
[2] Общий обзор устройства обработки информации
Выше была раскрыта цель варианта осуществления. Далее, со ссылкой на фиг.1-3, описан общий обзор устройства 10 обработки информации в соответствии с вариантом осуществления. Терминал обработки информации, имеющий устройство дисплея, такой как мобильный телефон, карманный персональный компьютер (PDA), портативное игровое устройство, персональный компьютер (PC) с малыми размерами и т.п., можно представить, как пример устройства 10 обработки информации. В устройстве 10 обработки информации зарегистрирован виртуальный объект, который должен быть наложен на изображение реального пространства.
На фиг.1 показана схема для пояснения технологии AR. На фиг.2 показана схема для пояснения виртуального пространства (пространства AR), распознаваемого в результате анализа реального пространства. На фиг.3 показана схема для пояснения совместного использования объекта AR, который размещен в пространстве AR.
На фиг.1 виртуальная цифровая информация наложена на изображение 301 реального мира в реальном мире. В соответствии с этим, дополнительная информация может быть синтезирована и может отображаться на изображении 301 реального мира. Изображение 301 реального мира представляет собой изображение в реальном пространстве, снятое устройством съемки изображения и т.п. Кроме того, виртуальная цифровая информация 302 представляет собой виртуальный объект, который получают путем анализа реального пространства и который расположен в произвольном положении в реальном пространстве.
Например, на фиг.1, мяч, как виртуальный объект, наложен на экране дисплея, где отображен человек, принимающий участие в броске мяча в реальном пространстве. Таким образом, в устройстве 10 обработки информации, цифровое изображение мяча синтезировано в изображении человека в реальном пространстве, таким образом, что может быть показано то, что человек выглядит как реально бросающий этот мяч.
Далее, виртуальное пространство (пространство AR), распознаваемое путем анализа реального пространства, описано со ссылкой на фиг.2. На фиг.2 иллюстрируется состояние, в котором виртуальный объект расположен в пространстве AR, распознаваемом путем использования устройства 10 обработки информации. AR пространство представляет собой пространство, в котором система пространственной координаты виртуального пространства, распознаваемой путем анализа реального пространства, наложена на систему пространственных координат реального пространства. Это означает, что, если будет определено положение в системе координат реального пространства в пространстве AR, координаты в пространстве AR будут уникально определены. Другими словами, в случае, когда объект AR расположен в произвольном положении в реальном пространстве, положение, в котором расположен объект AR в пространстве AR, будет уникально определено.
Устройство 10 обработки информации, в соответствии с вариантом осуществления, совместно использует пространство AR с другим устройством, таким образом, что объект AR, расположенный в пространстве AR, может совместно использоваться. Например, как показано в пояснительном виде 310 на фиг.3, мяч AR, как пример объекта AR, расположенного в пространстве AR, совместно используется между принимающим и нападающим, таким образом, что мяч AR можно рассматривать, как мяч в реальном пространстве. Более конкретно, система пространственных координат виртуального пространства, распознанного устройством на стороне принимающего и системой пространственных координат виртуального пространства, распознанного устройством на стороне нападающего, могут соответствовать друг другу. Затем виртуальный объект располагают в системе пространственных координат, совместно используемой этими двумя устройствами, таким образом, что информация положения о положении корпуса устройства и т.п.виртуального объекта в виртуальном пространстве может совместно использоваться.
[3] Конфигурация аппаратных средств устройства обработки информации
Выше был описан общий обзор устройства 10 обработки информации. Далее будет описана конфигурация аппаратных средств устройства 10 обработки информации со ссылкой на фиг.4. На фиг.4 показана блок-схема, иллюстрирующая конфигурацию аппаратных средств устройства 10 обработки информации. Устройство 10 обработки информации включает в себя центральное процессорное устройство (CPU) 101, постоянное запоминающее устройство (ROM) 102, оперативное запоминающее устройство (RAM) 103, главную шину 104, мост 105, внешнюю шину 106, интерфейс 107, устройство 108 ввода, устройство 109 вывода, устройство ПО накопителя (HDD), привод 111, устройство 112 передачи данных, устройство 20 захвата изображения и различные датчики 40.
ЦПУ 101 функционирует как устройство обработки расчетов и устройство управления для управления общими операциями устройства 10 обработки информации в соответствии с различными программами. Кроме того, CPU 101 может представлять собой микропроцессор. ROM 102 сохраняет программы, расчетные параметры и т.п., используемые CPU 101. RAM 103 временно содержит программы, используемые для выполнения CPU 101, параметры, соответствующим образом измененные при выполнении, и т.п. Эти компоненты соединены друг с другом через главную шину 104, которая построена с шиной ЦПУ и т.п.
Главная шина 104 соединена с внешней шиной 106, такой как шина/интерфейс межсоединения периферийных компонентов (PCI), через мост 105. Кроме того, главная шина 104 не обязательно выполнена отделено от моста 105 и внешней шины 106. Функции этих шин могут быть воплощены в одной шине.
Устройство 108 ввода выполнено, например, с входным модулем, через который пользователь вводит информацию, такой как мышь, клавиатура, сенсорная панель, кнопка, микрофон, переключатель, рычаг и т.п., схемой управления вводом, которая генерирует входной сигнал на основе входных команд пользователя и выводит входной сигнал в CPU 101, и т.п. Пользователь устройства 10 обработки информации может вводить различные типы данных или может подавать команду для выполнения операций обработки в отношении устройства 10 обработки информации, путем манипулирования устройством 108 ввода.
Устройство 109 вывода выполнено, например, с устройством дисплея, таким как устройство дисплея на электронно-лучевой трубке (CRT), устройство жидкокристаллического дисплея (LCD), устройство дисплея с органическим излучением света (OLED), лампой и т.п., и модулем вывода звука, таким как громкоговоритель, головной телефон и т.п. Выходное устройство 109 выводит, например, воспроизводимое содержание. Более конкретно, устройство дисплея отображает различные типы информации, такой как воспроизводимые данные изображения, как текст или изображение. С другой стороны, модуль вывода звука преобразует воспроизводимые данные звука и т.п. в звук и выводит звук. Описанное ниже устройство 30 дисплея представляет собой пример выходного устройства 109.
Устройство ПО сохранения представляет собой устройство для сохранения данных, которое выполнено, например, как модуль сохранения устройства 10 обработки информации в соответствии с вариантом осуществления. Устройство ПО сохранения может включать в себя носитель информации, устройство записи, которое записывает данные на носителе записи, устройство считывания, которое считывает данные с носителя записи, устройство удаления, которое удаляет данные, записанные на носителе информации, и т.п. Устройство ПО сохранения выполнено, например, с приводом жесткого диска (HDD). Устройство ПО сохранения осуществляет привод жесткого диска для сохранения программ, выполняемых ЦПУ 101, или различных данных. Кроме того, в устройстве ПО сохранения, сохранены описанные ниже элементы, идентификационные номера и т.п.
Привод 111 представляет собой блок считывания/записи для носителя сохранения информации, который встроен или закреплен на внешнем участке устройства 10 обработки информации. Привод 111 считывает информацию, записанную на съемном носителе 24 записи, устанавливаемом в нем, таком как магнитный диск, оптический диск, оптомагнитный диск или полупроводниковое запоминающее устройство, и выводит информацию в RAM 103.
Устройство 112 передачи данных представляет собой, например, интерфейс передачи данных, который построен с модулем передачи данных и т.п. для соединения с сетью 50 передачи данных. Кроме того, устройство 112 передачи данных может представлять собой устройство передачи данных, соответствующее беспроводной локальной вычислительной сети (LAN), устройство передачи данных, соответствующее беспроводной USB, проводное устройство передачи данных, которое выполняет передачу данных через проводную линию.
Устройство 20 съемки изображения имеет функцию съемки изображения субъекта фотографирования, путем преобразования света, проходящего через объектив фотографирования в электрический сигнал с помощью CCD и преобразования аналогового сигнала в цифровой сигнал. Изображение, снимаемое устройством 20 съемки изображения, отображают в устройстве дисплея. Различные датчики 40 представляют собой датчики для распознавания виртуального пространства и, например, геомагнитный компас или датчик ускорения могут быть представлены в качестве примеров. Кроме того, в качестве примера различных датчиков 40, может быть представлено, как пример, устройство 41 детектирования направления силы гравитации, выполненное с возможностью детектирования направления силы гравитации.
[4] Функциональная конфигурация устройства обработки информации
Выше была описана конфигурация аппаратных средств устройства 10 обработки информации.
Далее, со ссылкой на фиг.5, будет описана функциональная конфигурация устройства 10 обработки информации в соответствий с вариантом осуществления. Кроме того, функциональная конфигурация описана, соответственно, со ссылкой на фиг.6 и 8. На фиг.5 показана блок-схема, иллюстрирующая функциональную конфигурацию устройства 10 обработки информации в соответствии с вариантом осуществления.
Как показано на фиг.5, устройство 10 обработки информации включает в себя детектор 152, компаратор 154, генератор 156, нормализатор 158, приемопередатчик 160 и т.п.
Детектор 152 имеет функцию детектирования различных устройств, которые могут передавать и принимать заданную информацию. Заданная информация представляет собой информацию о положении, информацию о положении корпуса устройства и т.п. разных устройств. Детектор 152 детектирует информацию о положении корпуса устройства разных устройств и передает информацию о положении корпуса устройства в компаратор 154. Здесь, в отношении информации о положении корпуса устройства, наклон или направление основного корпуса устройства могут быть детектированы, используя датчик ускорения и т.п. Кроме того, информация о положении корпуса может быть представлена системой пространственных координат каждого устройства.
Кроме того, информация о положении корпуса может быть детектирована детектором 152 только в случае, когда поступает команда на выполнение нормализации системы пространственных координат, в соответствии с манипуляцией пользователя. Например, в случае, когда существует множество устройств, может обеспечиваться получение информации о положении корпуса устройства, в которое поступила команда на выполнение нормализации системы пространственных координат.
Компаратор 154 имеет функцию сравнения информации о положении корпуса разных устройств, подаваемой детектором 152, с информацией о положении корпуса текущего устройства. Более конкретно, компаратор 154 сравнивает информацию о положении корпуса разных устройств с информацией о положении корпуса текущего устройства для определения, совпадают или нет информации о положении корпуса двух устройств друг с другом. Совпадает или нет информация о положении корпуса друг с другом, может быть определено на основе, совпадает или нет система пространственных координат другого устройства и система пространственных координат текущего устройства друг с другом. Кроме того, совпадает или нет система пространственных координат другого устройства и система пространственных координат текущего устройства друг с другом, можно определять, используя систему глобальных координат, имеющую направление силы гравитации в качестве опорного направления. Глобальная система координат, описанная здесь, представляет собой систему координат, имеющую направление силы гравитации, как направление одной из осей.
Компаратор 154 также может получать информацию о положении корпуса другого устройства путем анализа изображения другого устройства, снятого устройством 20 съемки изображения, и рассчитывая разность между информацией о положении корпуса другого устройства, полученной таким образом, и информацией о положении корпуса текущего устройства. Разность, рассчитанная таким образом, соответствует относительной информации о положении корпуса и может использоваться для определения, совпадает или нет друг с другом информация о положении корпуса другого устройства и информация о положении корпуса текущего устройства.
Компаратор 154 также может принимать, из другого устройства, информацию о положении корпуса другого устройства (например, разность между заданным опорным значением и информацией о положении корпуса другого устройства), которая была получена в другом устройстве, используя различные датчики, такие как датчик ускорения, и путем расчета разности между информацией о положении корпуса другого устройства, полученной таким образом, и информацией о положении корпуса текущего устройства (например, разности между заданным опорным значением, совместно используемым с другим устройством, и информацией о положении корпуса текущего устройства). Разность, рассчитанная таким образом, также может использоваться для определения, совпадает или нет информация о положении корпуса другого устройства и информация о положении корпуса текущего устройства друг с другом.
Здесь совпадение направлений систем координат между устройствами описано со ссылкой на фиг.6. На фиг.6 показан вид для пояснения совпадения направлений систем координат между устройствами. Пояснительный вид 320 на фиг.6 иллюстрирует состояние, в котором информация о положении корпуса устройства 10 обработки информации (устройство А) и информация о положении корпуса другого устройства (устройство В) не совпадают друг с другом. Другими словами, в пояснительном виде 320, направления систем пространственных координат между устройством А и устройством В не совпадают друг с другом.
Пояснительный вид 322 на фиг.6 иллюстрирует, что состояние, где направления систем пространственных координат не совпадают друг с другом, изменяется в состоянии, в котором информация о положении корпуса устройства А и информация о положении корпуса устройства В совпадают друг с другом, в результате изменения положения корпуса устройства А и положения корпуса устройства В. Другими словами, в пояснительном виде 322, направления систем координат устройства А и устройства В совпадают друг с другом. Если система координат устройства А установлена как (X, Y, Z), и система координат устройства В установлена как (X′, Y′, Z′), устройство А и устройство В имеют следующую взаимосвязь.
X=-X′
Y=Y′
Z=-Z′
Возвращаясь к фиг.5, генератор 156 имеет функцию анализа структуры трехмерного пространства для реального пространства и генерирования системы пространственных координат виртуального пространства, в случае, когда информация о положении корпуса другого устройства и информация о положении корпуса текущего устройства соответствуют друг другу в результате сравнения в компараторе 154. В случае, когда информация о положении корпуса другого устройства и информация о положении корпуса текущего устройства соответствуют друг другу, например, в случае, когда информация о положении корпуса двух устройств совпадает с или противоположна друг другу, может использоваться в качестве примера.
В варианте осуществления, как показано на пояснительном виде 322 на фиг.6, хотя генератор 156 выполнен с возможностью генерирования системы пространственных координат виртуального пространства, настоящее изобретение не ограничено примером для случая, когда информация о положении корпуса устройства А, как текущего устройства, и информация о положении корпуса устройства В, как другого устройства, совпадают друг с другом. Например, после того, как каждое устройство генерирует систему пространственных координат виртуального пространства путем анализа структуры трехмерного пространства реального пространства каждого из них, системы пространственных координат нескольких устройств могут быть выполнены так, чтобы они совпадали с системой пространственных координат другого устройства.
Возвращаясь к фиг.5, нормализатор 158 имеет функцию нормализации системы пространственных координат другого устройства, на основе информации о положении другого устройства в системе пространственных координат текущего устройства, и информации о положении текущего устройства в системе пространственных координат другого устройства. Более конкретно, нормализатор 158 рассчитывает значение нормализации для нормализации системы пространственных координат другого устройства на основе расстояния между другим устройством и текущим устройством в системе пространственных координат, генерируемой другим устройством, и расстояния между текущим устройством, и другим устройством в системе пространственных координат, генерируемой генератором 156.
Здесь различные способы могут применяться для расчета расстояния между текущим устройством и другим устройством в системе пространственных координат. Например, в качестве первого примера способа для расчета расстояния между текущим устройством и другим устройством в системе пространственных координат, может быть предусмотрен способ для расчета расстояния с использованием распознавания объекта с помощью обработки изображений. Объект для распознавания здесь также может иметь форму плоскости. Таким образом, также возможно использовать распознавание плоскости в качестве распознавания объекта.
При выполнении распознавания объекта детектор 152 может выделять особенности путем анализа изображения в реальном пространстве, снимаемом устройством 20 съемки изображения. Затем детектор 152 может детектировать положение объекта, как относительное положение на основе выделенных особенностей, в то время как положение устройства 20 съемки изображения используется, как опорное, и генератор 156 может выполнять распознавание в пространстве (генерировать пространственные координаты), на основе детектируемого относительного положения. Здесь устройство 20 съемки изображения соединено с устройством 10 обработки информации (устройство А в примере, показанном на фиг.8), изображение, снятое устройством 20 съемки изображения, подают в устройство 10 обработки информации, и изображение, подаваемое в устройство 10 обработки информации, анализируют с помощью детектора 152.
Детектор 152 может рассчитывать расстояние от устройства 20 съемки изображения до другого устройства 50 (устройства В в примере, показанном на фиг.8), присутствующего в заданном направлении в распознанном пространстве (виртуальное пространство). В примере, показанном на фиг.8, хотя заданное направление соответствует переданному направлению (направлению, нормальному устройству А, то есть оси Z) устройства 20 съемки изображения, направление не ограничивается этим примером. Детектор 152 может детектировать расстояние от устройства 10 обработки информации до другого устройства 50 в виртуальном пространстве, например, путем анализа изображения другого устройства 50, снятого устройством 20 съемки изображения.
Способ, описанный выше, представляет собой первый пример способа для расчета расстояния между текущим устройством и другим устройством в системе пространственных координат. Поскольку расстояние, рассчитанное таким образом, рассчитывают в пространственных координатах, генерируемых генератором 156, это расстояние соответствует относительному расстоянию между устройством 10 обработки информации (текущим устройством) и другим устройством 50. В соответствии с этим, детектор 152 также может преобразовывать такое относительное расстояние в абсолютное расстояние на основе расстояния заданного интервала в реальном пространстве и расстояния интервала в виртуальном пространстве, которое соответствует заданному интервалу.
Более конкретно, детектор 152 может, например, получать значение (расстояние в реальном пространстве, соответствующее единичной координате в виртуальном пространстве), путем деления расстояния заданного интервала в реальном пространстве на расстояние интервала в виртуальном пространстве, которое соответствует заданному интервалу, и умножения относительного расстояния на полученное значение, для получения результата умножения в качестве абсолютного расстояния.
Таким образом, возможно, устанавливать расстояние заданного интервала в реальном пространстве, равным, например, заданному значению. Более конкретно, в случае, когда расстояние заданного интервала в реальном пространстве определяют заранее, как 1 м (метр), например, детектор 152 может устанавливать расстояние заданного интервала в реальном пространстве, равным 1 м, и использовать это расстояние от устройства 10 обработки информации (или устройства 20 съемки изображения) до объекта в виртуальном пространстве, как расстояние интервала в виртуальном пространстве, которое соответствует заданному интервалу. В таком случае, например, обеспечивается отображение детектором 152 сообщения, такого как, "Пожалуйста, выполните калибровку с устройством 10 обработки информации (или с устройством 20 съемки изображения) и объекта в реальном пространстве, разделенными друг от друга на 1 м" в устройстве 30 дисплея, и после этого может быть измерено расстояние от устройства 10 обработки информации (или устройства 20 съемки изображения) до объекта в виртуальном пространстве.
Также возможно использовать расстояние в виртуальном пространстве от устройства 10 обработки информации (или устройства 20 съемки изображения) до другого устройства 50, в качестве расстояния интервала в виртуальном пространстве, которое соответствует заданному интервалу в реальном пространстве. В этом случае, например, обеспечивают отображение детектором 152 сообщения, такого как "Пожалуйста, выполните калибровку с отдельными устройствами, разделенными друг от друга на 1 м" в устройстве 30 дисплея, и после этого расстояние от устройства 10 обработки информации (или устройства 20 съемки изображения) до другого устройства 50 в виртуальном пространстве может быть измерено. Само собой разумеется, что расстояние заданного интервала в реальном пространстве может иметь любое значение, кроме 1 м.
Кроме того, например, в качестве второго примера способа для расчета расстояния между текущим устройством и другим устройством в системе пространственных координат, можно рассмотреть способ расчета расстояния с использованием заданного устройства измерения. В качестве заданного устройства измерения, можно использовать устройство измерения, такое как датчик GPS, датчик глубины, геомагнитный компас или датчик ускорения. Заданное устройство измерения соответствует, например, различным датчикам 40, представленным на фиг.4. Расстояние, рассчитанное таким образом, соответствует абсолютному расстоянию между устройством 10 обработки информации (текущему устройству) и другим устройством 50. В соответствии с этим, в данном случае, абсолютную координату в виртуальном пространстве генерируют с помощью генератора 156.
Приемопередатчик 160 имеет функцию передачи или приема информации, для совместного использования системы пространственных координат, и представляет собой, например, передатчик или приемник, в соответствии с настоящим раскрытием. Приемопередатчик 160 может передавать систему пространственных координат другого устройства, нормализованную нормализатором 158, в другое устройство, и может передавать нормализованное значение, рассчитанное нормализатором 158, в другое устройство. Другое устройство, в которое передают нормализованную систему пространственных координат, генерирует систему пространственных координат виртуального пространства, используя передаваемую систему пространственных координат. Кроме того, другое устройство, в которое передают нормализованное значение, нормализует систему пространственных координат виртуального пространства, используя переданное нормализованное значение.
Здесь нормализация системы пространственных координат описана со ссылкой на фиг.7А, 7В и 8. На фиг.7А показан вид для пояснения единичной координаты устройства 10 обработки информации (устройство А) и другого устройства (устройства В). Когда устройство 10 обработки информации и другое устройство генерируют соответствующее системы пространственных координат виртуальных пространств, поскольку реальные пространства, соответствующие этим устройствам, также отличаются, системы пространственных координат виртуальных пространств генерируют на основе разных единиц координат. Другими словами, масштабы систем пространственных координат, генерируемых устройствами, будут отличаться друг от друга.
Как представлено на фиг.7А, единица 331 координат в системе пространственных координат виртуального пространства, генерируемого генератором 156 устройства 10 обработки информации (устройства А), и единица 333 координат системы пространственных координат виртуального пространства, генерируемого другим устройством (устройством В), становятся отличающимися друг от друга. Таким образом, в случае, когда единица 331 координат системы пространственных координат устройства А и единица 333 координат системы пространственных координат устройства В отличаются друг от друга, положение виртуального объекта между устройствами невозможно правильно распознать. Поэтому, единицу координат другой системы пространственных координат нормализуют с помощью нормализатора 158, и совместно используют положение виртуального объекта.
Нормализация системы пространственных координат в нормализаторе 158 описана со ссылкой на фиг.7В. Нормализатор 158 получает единицу координат для устройства В в системе пространственных координат (системе координат XYZ) устройства А. Кроме того, получают единицу координат для устройства А в системе пространственных координат (в системе координат X′Y′Z′) устройства В. Единицу координат для устройства А в системе пространственных координат устройства В получают из устройства В, которое представляет собой другое устройство, через приемопередатчик 160.
Значение а нормализации, для нормализации систем пространственных координат устройства А и устройства В рассчитывают в соответствии со следующим Уравнением.
(Значение а нормализации)=(Расстояние (единица координат) до устройства А в системе координат X′Y′Z′)/(Расстояние (единица координат) до устройства В в системе координат XYZ)
Система пространственных координат устройства В может быть нормализована путем использования значения а нормализации, рассчитанного в соответствии с представленным выше Уравнением. Нормализация системы пространственных координат устройства В описана со ссылкой на фиг.8. На фиг.8 показан вид для пояснения нормализации системы пространственных координат устройства В. Как представлено на фиг.8, система пространственных координат устройства А представлена в системе координат XYZ, и система пространственных координат устройства В представлена в системе координат X'Y'Z'.
Как представлено на фиг.8, начало координат устройства А представлено (0, 0, 0) в системе пространственных координат (системе координат XYZ) устройства А. Координата центра устройства В представлена (0, 0, d) в системе пространственных координат (системе координат XYZ) устройства В. Здесь d представляет собой расстояние (единица координат) между устройством А и устройством В в системе пространственных координат (системе координат XYZ) устройства А.
Координата (l, m, n) в системе пространственных координат (системе координат X′Y′Z′) устройства В может быть представлена, используя значения а нормализации следующим образом.
l=-ах
m=аy
n=-az+d
Как описано выше, система пространственных координат устройства В может быть нормализована в устройстве А, и результат нормализации может быть передан в устройство В. Кроме того, значение нормализации, рассчитанное в устройстве А, может быть передано в устройство В. Как представлено на фиг.8, система пространственных координат устройства В представлена системой пространственных координат устройства а, используя значения нормализации, таким образом, что становится возможным соответствующим образом определить взаимосвязь положения виртуального объекта, расположенного в виртуальном пространстве между этими двумя устройствами.
Кроме того, на фиг.8, хотя начало координат пространственной системы координат установлено в центральную точку устройства, настоящее изобретение не ограничено этим примером. Другая точка, чем центральная точка устройства, точка, обеспечивающая возможность определения взаимосвязи положения относительно устройства, такая как точка, отделенная заданным расстоянием от устройства, также может быть установлена, как начало координат.
[5] Подробное описание операций устройства обработки информации
Выше была описана функциональная конфигурация устройства 10 обработки информации. Далее со ссылкой на фиг.9-14 подробно описана работа устройства 10 обработки информации. Вначале процесс нормализации системы пространственных координат другого устройства (устройства В) в устройстве 10 обработки информации (устройстве А) описан со ссылкой на фиг.9. На фиг.9 представлена подробная блок-схема последовательности операций, иллюстрирующая процесс нормализации пространственной системы координат.
На фиг.9 устройство 10 обработки информации описано, как устройство А, и другое устройство описано, как устройство В. В представленном ниже описании, устройство В описано, как устройство обработки информации, имеющее ту же функциональную конфигурацию, как и у устройства А. Как показано на фиг.9, вначале, детектор 152 устройства А получает информацию о положении корпуса устройства (S102). Затем, в устройстве В, получают информацию о положении корпуса устройства В (S104).
После этого, устройство В передает информацию о положении корпуса в устройство А, и устройство А получает информацию о положении корпуса устройства В через приемопередатчик 160 (S106). Затем информацию о положении корпуса устройства, полученную на этапе S102, и информацию о положении корпуса устройства В, полученную на этапе S106, сравнивают друг с другом (S108).
На этапе S108, в случае, когда информация о положении корпуса устройства А и информация о положении корпуса устройства В совпадают друг с другом, генератор 156 анализирует структуру трехмерного пространства реального пространства для распознавания виртуального пространства (S110). На этапе S110 генератор 156 генерирует пространственную систему координат виртуального пространства.
Затем нормализатор 158 устройства А получает расстояние до устройства В в пространстве AR, генерируемом устройством A (S112). Кроме того, в устройстве В получают расстояние до устройства в пространстве AR, сгенерированное устройством В (S114). Расстояние до устройства в устройстве В, полученное на этапе S114, передают, и расстояние принимают через приемопередатчик 160 (S116).
Здесь выполняют процесс с этапа S112 по этап S116, в то время как расстояние между устройством А и устройством В поддерживают постоянным. Это связано с тем, что пространственная система координат может совместно использоваться между устройством А и устройством В при выполнении обработки нормализации на основе расстояния (единица координат) в устройство В, в пространстве AR устройства А, и расстояния (единица координат) для устройства А в пространстве AR устройства В, которые получают для идентичного расстояния.
Затем нормализатор 158 рассчитывает значение а нормализации для нормализации пространственной системы координат устройства В по расстоянию до устройства В в пространстве AR (виртуальном пространстве) устройства А, полученном на этапе S112, и расстоянию до устройства А в устройстве В, полученном на этапе S116. Более конкретно, значение а нормализации рассчитывают путем деления расстояния (единицы координат) до устройства А в пространственной системе координат устройства В на расстояние (единица координат) до устройства В в пространственной системе координат устройства А.
Выше был описан процесс нормализации пространственной системы координаты. Далее, процесс преобразования координат для случая, когда обозначена координата каждого устройства в пространстве AR, описан со ссылкой на фиг.10 и 11. На фиг.10 показана блок-схема последовательности операций, иллюстрирующая процесс преобразования координат в случае, когда обозначена координата устройства А в пространстве AR. Кроме того, на фиг.11 показана блок-схема последовательности операций, иллюстрирующая процесс преобразования координат в случае, когда обозначена координата устройства В в пространстве AR.
Как показано на фиг.10, вначале обозначают координату устройства А в пространстве AR (S202). В устройстве А координату, обозначенную на этапе S202, определяют, как координату в пространстве AR (S204).
Затем координату, обозначенную на этапе S202, преобразуют в координату устройства В, в пространственной системе координат AR на основе значения а нормализации рассчитанного нормализатором 158 (S206). Как описано выше, координата (1, m, n) устройства В в системе пространственных координат может быть представлена как (-ах, ay, -az+d), используя значения а нормализации и расстояния d между устройствами. Поэтому, координату (х, у, z), обозначенную на этапе S202, преобразуют в координату (-ах, ay,-az+d) устройства В в пространственной системе координат AR.
Затем, координату, преобразованную на этапе S206, передают в устройство В через приемопередатчик 160 (S208). Устройство В принимает координату, переданную на этапе S208 (S210). Таким образом, координату, обозначенную в устройстве А, преобразуют в координату устройства В в пространственной системе координат AR, и преобразованную координату передают в устройство В таким образом, что совместно используется пространственная система координат пространства AR. Поэтому, становится возможным соответствующим образом определить взаимосвязь положения объекта AR, расположенного в пространстве AR.
Далее, со ссылкой на фиг.11, будет описан процесс преобразования координат в случае, когда обозначена координата устройства В в пространстве AR. Как показано на фиг.11, координата устройства В в пространстве AR обозначена (S302). В устройстве В координата в пространстве AR определена путем использования координаты, обозначенной на этапе S302 (S304). Координату, обозначенную на этапе S302, передают в устройство A (S306).
В устройстве А координату, переданную на этапе S306, получают (принимают) через приемопередатчик 160 (S308). Координату, полученную на этапе S308 и обозначенную устройством В, преобразуют в координату устройства А в пространственной системе координат AR (S310). Как описано выше, координата устройства В в пространственной системе координат AR может быть представлена, как (-ах, ay, -az+d), используя значения а нормализации и расстояния d между устройствами. Поэтому, координату, обозначенную в устройстве В, преобразуют в координату устройства А в пространственной системе координат, используя значения а нормализации и расстояния d между устройствами.
Затем координату, преобразованную на этапе S310, определяют, как координату устройства А (S312). Таким образом, даже в случае, когда координату устройства В обозначают, координату, обозначенную в устройстве В, преобразуют в координату устройства А в пространственной системе координат пространства AR, и совместно используют пространственную систему координат пространства AR. Поэтому, становится возможным соответствующим образом определить взаимосвязь положения объекта AR, расположенного в пространстве AR.
Выше был описан процесс преобразования координат в случае, когда обозначена координата устройства В в пространстве AR. Как описано выше, в соответствии с устройством 10 обработки информации, в соответствии с вариантом осуществления, между множеством устройств, выполненных с возможностью распознавания виртуального пространства, путем анализа трехмерного пространства реального пространства, возможно совместно использовать виртуальный объект, путем нормализации пространственной системы координат в каждом устройстве и определения соответствующего положения виртуального объекта, расположенного в виртуальном пространстве.
[6] Модификация подробного описания операций устройства обработки информации
Далее, со ссылкой на фиг.12 - 14, будет описана модификация подробного описания операций устройства 10 обработки информации. Вначале процесс нормализации пространственной системы координат другого устройства (устройства В) в устройстве 10 обработки информации (устройство А) будет описан со ссылкой на фиг.12. На фиг.12 показана подробная блок-схема последовательности операций, иллюстрирующая процесс нормализации пространственной системы координат. На фиг.12 устройство 10 обработки информации описано, как устройство А, и другое устройство описано, как устройство В. В представленном ниже описании устройство В также будет описано, как устройство обработки информации, имеющее ту же функциональную конфигурацию, как и у устройства А.
Как представлено на фиг.12, вначале, детектор 152 устройства А получает первую единицу координат (S402), соответствующую заданному расстоянию. Например, в случае, когда заданное расстояние составляет 1 м (метр), и расстояние, соответствующее 1 м в виртуальном пространстве координат устройства А, соответствует 10 делениям шкалы, эти 10 делений шкалы получают, как первую единичную координату. Затем детектор 152 устройства В получает вторую единичную координату, соответствующую заданному расстоянию (S404). Например, в случае, когда заданное расстояние составляет 1 м (метр), и расстояние, соответствующее 1 м в виртуальном пространстве координат устройства В, соответствует 5 делениям шкалы, 5 делений шкалы получают, как вторую единичную координату.
Затем вторую единичную координату, полученную устройством В, передают в устройство A (S406), и устройство А получает вторую единичную координату через приемопередатчик 160. Затем нормализатор 158 устройства А рассчитывает значение А нормализации на основе первой единичной координаты, полученной на этапе S402 и принятой второй единичной координаты (S408). Более конкретно, нормализатор 158 устройства А рассчитывает значение а нормализации, путем деления второй единичной координаты на первую единичную координату.
Затем детектор 152 устройства А получает информацию о положении корпуса устройства (S410). Затем информацию о положении корпуса устройства В получают в устройстве В (S412). После этого информацию о положении корпуса, полученную в устройстве В, передают в устройство A (S414), и устройство А получает информацию о положении корпуса устройства В через приемопередатчик 160. Как описано выше, компаратор 154 также может получать информацию о положении корпуса другого устройства путем анализа изображения другого устройства, которое снимают с помощью устройства 20 съемки изображения, и рассчитывают разницу между информацией о положении корпуса другого устройства, полученную таким образом, и информацией о положении корпуса текущего устройства. Если используется разница, рассчитанная таким образом, процесс на этапе S412 и процесс на этапе S414 могут быть исключены.
Выше была описана модификация процесса нормализации пространственной системы координат. Далее процесс преобразования координат для случая, когда обозначена координата каждого устройства в пространстве AR, будет описан со ссылкой на фиг.13 и 14. На фиг.13 показана блок-схема последовательности операций, иллюстрирующая модификацию процесса преобразования координат в случае, когда обозначена координата устройства А в пространстве AR. Кроме того, на фиг.14 показана блок-схема последовательности операций, иллюстрирующая модификацию процесса преобразования координат в случае, когда обозначена координата устройства В в пространстве AR.
Как показано на фиг.13, вначале, обозначают координату устройства А в пространстве AR (S502). В устройстве А координату, обозначенную на этапе S502, определяют, как координату в пространстве AR (S504).
Затем координату, обозначенную на этапе S502, преобразуют в координату устройства В в пространственной системе координат AR на основе информации о положении корпуса устройства А, информации о положении корпуса устройства В, и значения а нормализации, рассчитанного нормализатором 158 (S506). Затем координату, преобразованную на этапе S506, передают в устройство В через приемопередатчик 160 (S508). Устройство В принимает координату, переданную на этапе S508 (S510).
Таким образом, координату, обозначенную в устройстве А, преобразуют в координату устройства В в пространственной системе координат AR, и преобразованную координату передают в устройство В, таким образом, что пространственная система координат пространства AR совместно используется. Поэтому становится возможным соответствующим образом определить взаимосвязь положения объекта AR, расположенного в пространстве AR. Например, устройство В выполнено с возможностью управления отображаемым изображением в ответ на принятую преобразованную координату.
Далее, со ссылкой на фиг.14, будет описана модификация процесса преобразования координат в случае, когда координата устройства В обозначена в пространстве AR. Как показано на фиг.14, координата устройства В обозначена в пространстве AR (S602). В устройстве В, координата в пространстве AR определена путем использования координаты, обозначенной на этапе S602 (S604). Координату, обозначенную на этапе S602, передают в устройство A (S606).
В устройстве А координату, переданную на этапе S606, получают (принимают) через приемопередатчик 160 (S608). В устройстве А, координату, обозначенную на этапе 602, преобразуют в координату устройства В в пространственной системе координат AR на основе информации о положении корпуса устройства А, информации о положении корпуса устройства В и значения а нормализации, рассчитанного нормализатором 158 (S610).
Затем координату, преобразованную на этапе S610, определяют, как координату устройства A (S612). Таким образом, даже в случае, когда координата устройства В обозначена, координату, обозначенную в устройстве В, преобразуют в координату устройства А в пространственной системе координат пространства AR, и пространственную систему координат пространства AR совместно используют. Поэтому, становится возможным соответствующим образом определить взаимосвязь положения объекта AR, расположенного в пространстве AR. Устройство А может быть затем быть выполнено с возможностью управления отображаемого изображения в ответ на принятую преобразованную координату.
Выше была описана модификация процесса преобразования координаты в случае, когда координата устройства В в пространстве AR обозначена. Как описано выше, в соответствии с устройством 10 обработки информации, в соответствии с вариантом осуществления, между множеством устройств, выполненных с возможностью распознавания виртуального пространства, путем анализа трехмерного пространства реального пространства, становится возможным совместно использовать виртуальный объект путем нормализации пространственной системы координат в каждом устройстве и определения соответствующего положения виртуального объекта, расположенного в виртуальном пространстве.
Для специалиста в данной области техники будет понятно, что различные модификации, комбинации, подкомбинации и изменения могут возникнуть в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.
Например, этапы процесса устройства 10 обработки информации, описанные в описании, не обязательно могут быть выполнены во временной последовательности, в соответствии с порядком, раскрытым в блок-схеме последовательности операций. Другими словами, этапы в процессе устройства 10 обработки информации могут быть выполнены параллельно в другом процессе. Кроме того, совместно используемая система координат может представлять собой глобальную систему координат, имеющую гравитационное направление. Кроме того, процесс преобразования координаты может быть выполнен в любом из устройств и может быть выполнен в облачном сервере.
Кроме того, аппаратные средства, такие как CPU, ROM и RAM, встроенные в устройство 10 обработки информации и т.п., также могут быть воплощены с помощью компьютерных программ, проявляющих функции, эквивалентные компонентам упомянутого выше устройства 10 обработки информации. Кроме того, также предусмотрен носитель информации, в котором записаны компьютерные программы.
Список номеров ссылочных позиций
10 устройство обработки информации
152 детектор
154 компаратор
156 генератор
158 нормализатор
160 приемопередатчик
20 устройство съемки изображения
30 устройство отображения.