СИСТЕМА ОБРАБОТКИ ИНФОРМАЦИИ И НОСИТЕЛЬ ИНФОРМАЦИИ
INFORMATION PROCESSING SYSTEM AND INFORMATION MEDIA

Область техники, к которой относится изобретение
Настоящее изобретение относится к системе обработки информации и носителю информации.
Уровень техники
В последние годы были предложены различные технологии в области передачи данных. Например, в представленной ниже Патентной литературе 1 предложена технология, относящаяся к решению межмашинной коммуникации (М2М). Более конкретно, в системе удаленного администрирования, прописанной в Патентной литературе 1, используется платформа (IS) мультимедийной подсистемы (IMS) Протокола Интернет (IP) и в результате раскрытия присутствия информации устройством или благодаря мгновенному обмену сообщениями между пользователем и устройством, обеспечивается взаимодействие между авторизованным клиентом-пользователем (UC) и клиентом - устройством.
С другой стороны, в областях акустической технологии, были разработаны различные типы расположенных в виде массива громкоговорителей, которые могут излучать акустические лучи. Например, в Патентной литературе 2, представленной ниже, описан массив громкоговорителей, в котором множество громкоговорителей, формирующих общий фронт волны, установлены в корпусе, и который управляет величиной задержки и уровнем звука, генерируемого соответствующими громкоговорителями. Кроме того, в Патентной литературе 2, представленной ниже, описано, что разрабатывают массивы микрофонов, имеющих одинаковый принцип.Массивы микрофонов могут произвольно устанавливать точку получения звука путем регулирования уровня и величины задержки выходных сигналов соответствующих микрофонов, и, таким образом, позволяют более эффективно получать звук.
Список литературы
Патентная литература
Патентная литература 1: JP 2006-279565 А
Патентная литература 2: JP 2008-543137 Т
Сущность изобретения
Техническая задача
Однако, в Патентной литературе 1 и Патентной литературе 2, описанных выше, ничего не упоминается о технологии или о способе передачи данных, которые понимают, как средство для расширения возможностей тела пользователя путем размещения множества датчиков изображений, микрофонов, громкоговорителей и т.п. в большой области.
В соответствии с этим, в настоящем раскрытии предложена система обработки информации и носитель информации, которые являются новыми и улучшенными, и которые позволяют обеспечить ощущение поглощения в третьем пространстве во время взаимодействия пространства, окружающего пользователя, с другим пространством.
Решение задачи
В соответствии с настоящим раскрытием, предложена система обработки информации, включающая в себя модуль распознавания, выполненный с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых множеством датчиков, размещенных вокруг конкретного пользователя, модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания, модуля оценки, выполненного с возможностью оценивать положение конкретного пользователя в соответствии с сигналом, детектируемым любым одним из множества датчиков, и модуля обработки сигналов, выполненного с возможностью обработки каждого из сигналов, полученных из датчиков вокруг первой цели и второй цели, идентифицированной модулем идентификации таким образом, что при его выводе из множества исполнительных элементов, расположенных вокруг конкретного пользователя, сигналы локализуются рядом с положением конкретного пользователя, в соответствии с оценкой, полученной модулем оценки.
В соответствии с настоящим раскрытием, предусмотрена система обработки информации, включающая в себя модуль распознавания, выполненный с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых датчиками вокруг конкретного пользователя, модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания, и модуля обработки сигналов, выполненного с возможностью генерирования сигналов, которые должны быть выведены из исполнительных элементов вокруг конкретного пользователя на основе сигналов, полученных множеством датчиков, расположенных вокруг первой цели и второй цели, идентифицированной модулем идентификации.
В соответствии с настоящим раскрытием, предусмотрен носитель информации, на котором сохранена программа, программа, предназначенная для обеспечения выполнения компьютером функции модуля распознавания, выполненного с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых множеством датчиков, расположенных вокруг конкретного пользователя, модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания, модуля оценки, выполненного с возможностью оценки положения конкретного пользователя в соответствии с сигналом, детектируемым любым одним из множества датчиков, и модуля обработки сигналов, выполненного с возможностью обработки каждого из сигналов, полученных из датчиков вокруг первой цели и второй цели, идентифицированной модулем идентификации таким образом, что при выводе из множества исполнительных элементов, расположенных вокруг конкретного пользователя, сигналы локализуются рядом с положением конкретного пользователя, оценка которого выполняется модулем оценки.
В соответствии с настоящим раскрытием, предусмотрен носитель информации, на котором сохранена программа, программа, предназначенная для обеспечения выполнения компьютером функции модуля распознавания, выполненной с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых датчиками вокруг определенного пользователя, модуля идентификации, выполненного с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания, и модуля обработки сигналов, выполненного с возможностью генерирования сигналов для вывода из исполнительных элементов вокруг конкретного пользователя на основе сигналов, полученных множеством датчиков, расположенных вокруг первой цели и второй цели, идентифицированной модулем идентификации.
Предпочтительные эффекты изобретения
В соответствии с настоящим раскрытием, как описано выше, может быть обеспечено ощущение поглощения третьим пространством во время взаимодействия пространства, окружающего пользователя, с другим пространством.
Краткое описание чертежей
На фиг. 1 представлена схема, иллюстрирующая основные принципы акустической системы в соответствии с вариантом осуществления настоящего раскрытия.
На фиг. 2 показана схема, представляющая системную конфигурацию акустической системы в соответствии с вариантом осуществления настоящего раскрытия.
На фиг. 3 показана блок-схема, представляющая конфигурацию устройства обработки сигналов в соответствии с настоящим вариантом выполнения.
На фиг. 4 представлена схема, иллюстрирующая формы акустически замкнутых поверхностей в соответствии с настоящим вариантом выполнения.
На фиг. 5 показана блок-схема, представляющая конфигурацию сервера администрирования в соответствии с настоящим вариантом выполнения.
На фиг. 6 показана блок-схема последовательности операций, представляющая основной процесс акустической системы в соответствии с настоящим вариантом выполнения.
На фиг. 7 показана блок-схема последовательности операций, представляющая процесс распознавания команды в соответствии с настоящим вариантом выполнения.
На фиг. 8 показана блок-схема последовательности операций, представляющая процесс получения звука в соответствии с настоящим вариантом выполнения.
На фиг. 9 представлена схема, иллюстрирующая конструкцию звукового поля третьего пространства в соответствии с настоящим вариантом выполнения.
На фиг. 10 представлена схема, иллюстрирующая технологии построения звукового поля места С.
На фиг.11 показана блок-схема, представляющая другую конфигурацию сервера администрирования в соответствии с настоящим вариантом выполнения.
На фиг. 12 представлена схема, иллюстрирующая измерение акустического параметра.
На фиг. 13 показана схема, представляющая компоновку множества микрофонов в среде измерений и компоновку множества громкоговорителей в среде слушания при сравнении друг с другом.
На фиг. 14 представлена схема, иллюстрирующая формы замкнутых поверхностей в среде измерений в соответствии с настоящим вариантом выполнения.
На фиг. 15 показана блок-схема, представляющая конфигурацию модуля обработки сигналов воспроизведения звукового поля, выполняющего построение звукового поля для предоставления ощущения поглощения местом С.
На фиг. 16А представлена схема, иллюстрирующая измерение импульсной характеристики в месте С.
На фиг. 16В представлена схема, иллюстрирующая арифметическую операцию, используя группу импульсной характеристики, выполняемую модулем свертки матрицы в соответствии с настоящим вариантом выполнения.
На фиг. 17 показана блок-схема последовательности операций, представляющая процесс воспроизведения звукового поля в соответствии с настоящим вариантом выполнения.
На фиг. 18А представлена схема, иллюстрирующая корпус, где устанавливается звуковое поле, созданное в месте В.
На фиг. 18В представлена схема, иллюстрирующая корпус, где звуковое поле, созданное в месте В, является подвижным.
На фиг. 19А представлена схема, иллюстрирующая измерение в целевом пространстве измерения.
На фиг. 19В представлена схема, иллюстрирующая измерение в безэховой комнате.
На фиг. 19С представлена схема, иллюстрирующая реконструкцию целевого пространства воспроизведения.
На фиг. 20 показана схема, представляющая другую системную конфигурацию акустической системы в соответствии с настоящим вариантом выполнения.
На фиг. 21 показана схема, представляющая пример системной конфигурации автономной акустической системы в соответствии с настоящим вариантом выполнения.
На фиг. 22 показана блок-схема, представляющая конфигурацию устройства, имеющего автономную акустическую систему в соответствии с настоящим вариантом выполнения.
На фиг. 23 показана блок-схема последовательности операций, представляющая процесс работы автономной акустической системы в соответствии с настоящим вариантом выполнения.
На фиг. 24 представлена схема, иллюстрирующая изменение рабочих устройств в соответствии с движением пользователя в автономной акустической системе в соответствии с настоящим вариантом выполнения.
На фиг. 25 представлена схема, иллюстрирующая корпус, где услуга предоставляется множеству пользователей в автономной акустической системе в соответствии с настоящим вариантом выполнения.
Подробное описание изобретения
Далее будут подробно описаны предпочтительные варианты осуществления настоящего раскрытия со ссылкой на приложенные чертежи. Следует отметить, что, в данном описании и на чертежах, элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены теми же номерами ссылочных позиций, и повторное пояснение их исключено.
Описание будет представлено в следующем порядке.
1. Общий обзор акустической системы в соответствии с вариантом осуществления настоящего раскрытия
2. Основная конфигурация
2-1. Конфигурация системы
2-2. Устройство обработки сигналов
2-3. Сервер администрирования
3. Процесс работы
3-1. Основной процесс
3-2. Процесс распознавания команды
3-3. Процесс получения звука
4. Конструкция звукового поля третьего пространства
4-1. Конфигурация сервера администрирования
4-2. Конфигурация модуля обработки сигналов воспроизведения звукового поля
4-3. Процесс воспроизведения звукового поля
5. Дополнение
6. Заключение
1. Общий обзор акустической системы в соответствии с вариантом осуществления настоящего раскрытия
Вначале, со ссылкой на фиг. 1, будет описан общий обзор акустической системы (система обработки информации) в соответствии с вариантом осуществления настоящего раскрытия. На фиг. 1 показана схема, иллюстрирующая общий обзор акустической системы в соответствии с вариантом осуществления настоящего раскрытия. Как показано на фиг. 1, в акустической системе, в соответствии с настоящим вариантом осуществления, предположим ситуацию, в которой большое количество датчиков и исполнительных элементов, таких как микрофоны 10, датчиков изображения (не показаны) и громкоговорителей 20 расположены везде в мире, в таких местах, как помещения, дома, здания, места за пределами зданий, районы и страны.
В примере, показанном на фиг. 1, на дороге и т.п.в области вне пределов помещения "место А", в котором в настоящее время расположен пользователь, размещено множество микрофонов 10А, как пример множества датчиков и множества громкоговорителей 20А, расположенных, как пример множества исполнительных элементов. Кроме того, в области за пределами помещения "место В", в котором пользователь В расположен в настоящее время, размещено множество микрофонов 10В и множество громкоговорителей 20В на стенках, на полу, на потолке и т.п. Следует отметить, что, в местах А и В, датчики движения и датчики изображения (которые не показаны), могут дополнительно быть размещены, как примеры датчиков.
Здесь место А и место В могут быть соединены друг с другом через сеть, и сигналы, выводимые из и подаваемые в соответствующие микрофоны, и соответствующие громкоговорители места А, и сигналы, выводимые из и подаваемые в соответствующие микрофоны и в соответствующие громкоговорители места В, передают и принимают между местами А и В.
Таким образом, акустическая система, в соответствии с настоящим вариантом осуществления воспроизводит в режиме реального времени голос или изображение, соответствующее заданной цели (человек, место, здание и т.п.), используя множество громкоговорителей и множество дисплеев, расположенных вокруг пользователя. Кроме того, акустическая система, в соответствии с настоящим вариантом осуществления, может воспроизводить вокруг пользователя в режиме реального времени голос пользователя, который был получен с помощью множества микрофонов, расположенных вокруг пользователя. Таким образом, акустическая система, в соответствии с настоящим вариантом осуществления, может обеспечивать взаимодействие пространства окружающего пользователя с другим пространством.
Далее, используя микрофоны 10, громкоговорители 20, датчики изображения и т.п., расположенные повсеместно, в местах внутри помещения и в местах за пределами помещения становится возможным, по существу, расширить на большую площадь тело, такое рот, глаза, уши пользователя, и обеспечить новый способ обмена данными.
Кроме того, поскольку микрофоны и датчики изображения расположены везде в акустической системе в соответствии с настоящим вариантом осуществления, пользователю не требуется носить с собой смартфон или терминал мобильного телефона. Пользователь устанавливает заданную цель, используя голос или жест, и может устанавливать соединение с пространством, окружающим заданную цель. Далее будет кратко описано применение акустической системы, в соответствии с настоящим вариантом осуществления в случае, когда пользователь А, расположенный на месте А, хочет поговорить с пользователем В, размещенным на месте В.
Процесс сбора данных
На месте А, процесс сбора данных постоянно выполняется через множество микрофонов 10А, множество датчиков изображения (не показаны), множество датчиков человека (не показаны) и т.п. В частности, акустическая система, в соответствии с настоящим вариантом осуществления собирает голоса, получаемые микрофонами 10А, снятые изображения, получаемые датчиками изображения, или результаты детектирования датчиков человека, и выполняет оценку положения пользователя на основе собранной информации.
Далее, акустическая система, в соответствии с настоящим вариантом осуществления, может выбирать группу микрофонов, размещенную в положении, в которой может быть в достаточной степени получен голос пользователя, на основе информации положения множества микрофонов 10А, которые зарегистрированы заранее, и оценки положения пользователя. Кроме того, акустическая система в соответствии с настоящим вариантом осуществления, выполняет обработку массивов микрофонов группы потока аудиосигналов, полученных с помощью выбранных микрофонов. В частности, акустическая система, в соответствии с настоящим вариантом осуществления, может выполнять задержку и суммирование массива так, что точка получения звука сфокусирована на рту пользователя А и может формировать исключительную направленность массива микрофонов. Таким образом, также может быть получена слабая вокализация, например, бормотание пользователя А.
Кроме того, акустическая система в соответствии с настоящим вариантом осуществления распознает команду на основе полученного голоса пользователя А, и выполняет процесс операции в соответствии с командой. Например, когда пользователь А, расположенный в месте А, говорит "я бы хотел поговорить с В", "запрос, формирующий вызов пользователя В", распознается, как команда. В этом случае, акустическая система, в соответствии с настоящим вариантом осуществления, идентифицирует текущее положение пользователя В, и обеспечивает соединение места В, в котором в настоящее время расположен пользователь В, с местом А, в котором в настоящее время расположен пользователь А. В результате такой операции пользователь А может говорить по телефону с пользователем В.
Процесс декомпозиции объекта
Процесс декомпозиции объекта, такой как разделение источника звука (разделение шумовых компонентов вокруг пользователя А, разговоры людей, находящихся вокруг пользователя А, и т.п.), устранение реверберации и процесс удаления шумов/эхо сигналов выполняется для аудиосигналов (потоковых данных), полученных множеством микрофонов на месте А во время телефонного вызова. В ходе такого процесса потоковые данные с высоким отношением S/N и подавленным ощущением реверберации, передают на место В.
Рассматривая случай, в котором пользователь А разговаривает во время движения, акустическая система, в соответствии с настоящим вариантом осуществления, может справиться с этим случаем путем постоянного выполнением сбора данных. В частности, акустическая система, в соответствии с настоящим вариантом осуществления, постоянно выполняет сбор данных на основе множества микрофонов, множества датчиков изображения, множества датчиков человека и т.п., и детектирует путь движения пользователя А или направление, в котором направляется пользователь А. Затем акустическая система, в соответствии с настоящим вариантом осуществления, постоянно выполняет выбор соответствующей группы микрофонов, расположенной вокруг движущегося пользователя А, и постоянно выполняет процесс размещения микрофонов в массиве таким образом, что точка получения звука постоянно фокусируется на рту движущегося пользователя А. В ходе такой операции акустическая система, в соответствии с настоящим вариантом осуществления, может справиться со случаем, в котором пользователь А разговаривает во время движения.
Далее, отдельно от голосовых потоковых данных, направление движения и направление пользователя А и т.п. преобразуют в метаданные и передают на место В вместе с потоковыми данными.
Синтез объекта
Далее, потоковые данные, передаваемые на место В, воспроизводят через громкоговорители, расположенные вокруг пользователя В, размещенного на месте В. В это время акустическая система, в соответствии с настоящим вариантом осуществления, выполняет сбор данных на месте В через множество микрофонов, множество датчиков изображения и множество датчиков человека, выполняет оценку положения пользователя В на основе собранных данных, и выбирает соответствующую группу громкоговорителей, окружающую пользователя В, через акустически замкнутую поверхность. Данные потока, передаваемые в место В, воспроизводятся через выбранную группу громкоговорителей, и областью, находящуюся внутри акустически замкнутой поверхности, управляют, как соответствующим звуковым полем. В данном раскрытии, поверхность, сформированная таким образом, что положения множества соседних громкоговорителей или множества соседних микрофонов соединяют так, чтобы они окружали объект (например, пользователя), концептуально называется "акустически замкнутой поверхностью". Далее, "акустически замкнутая поверхность" не обязательно формирует идеально замкнутую поверхность, и, предпочтительно, выполнена так, что она приблизительно окружают целевой объект (например, пользователя).
Далее, звуковое поле может быть соответствующим образом выбрано пользователем В. Например, в случае, когда пользователь В обозначает место А, как звуковое поле, акустическая система, в соответствии с настоящим вариантом осуществления, реконструирует окружающую среду места А в месте В. В частности, например, окружающая среда места А реконструируется на месте В, на основе информации звука, как окружающая среда, получаемая в режиме реального времени, и метаинформации, относящейся к месту А, которая была получена заранее.
Далее, акустическая система, в соответствии с настоящим вариантом осуществления, может управлять звуковым изображением А пользователя, используя множество громкоговорителей 20В, расположенных вокруг пользователя В на месте В. Другими словами, акустическая система, в соответствии с настоящим вариантом осуществления, может реконструировать голос пользователя А (звуковое изображение) в ушах пользователя В или вне акустически замкнутой поверхности путем формирования массива громкоговорителей (формирование луча). Кроме того, акустическая система, в соответствии с настоящим вариантом осуществления, может обеспечивать передвижение звукового изображения А пользователя вокруг пользователя В, в соответствии с фактическим движением пользователя А на месте В, используя метаданные пути движения или направления пользователя А.
Общее описание передачи голоса с места А на место В было описано выше в связи с соответствующими этапами процесса сбора данных, процесса декомпозиции объекта и процесса синтеза объекта, но, конечно, аналогичный процесс выполняется при передаче голоса с места В на место А. Таким образом, может быть выполнена двусторонняя передача речи между местом А и местом В.
Общее описание акустической системы (система обработки информации), в соответствии с вариантом осуществления настоящего раскрытия, было представлено выше. Далее конфигурация акустической системы, в соответствии с настоящим вариантом осуществления, будет подробно описана со ссылкой на фиг. 2-5.
2. Основная конфигурация
2-1. Конфигурация системы
На фиг. 2 показана схема, иллюстрирующая общую конфигурацию акустической системы, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 2, акустическая система включает в себя устройство 1А обработки сигналов, устройство 1В обработки сигналов и сервер 3 администрирования.
Устройство 1А обработки сигналов и устройство 1В обработки сигналов соединены с сетью 5, используя провода/беспроводно, и могут передавать данные друг другу или принимать данные друг от друга через сеть 5. Сервер 3 администрирования соединен с сетью 5, и устройство 1А обработки сигналов и устройство 1В обработки сигналов могут передавать или принимать данные в или из сервера 3 администрирования.
Устройство 1А обработки сигналов обрабатывает сигналы, подаваемые или выводимые множеством микрофонов 10А и множеством громкоговорителей 20А, расположенными в месте А. Устройство 1В обработки сигналов обрабатывает сигналы, подаваемые или выводимые множеством микрофонов 10В и множеством громкоговорителей 20В, расположенных в месте В. Кроме того, когда необходимо различать устройства 1А и 1В обработки сигналов друг от друга, устройства 1А и 1В обработки сигналов совместно называются "устройством 1 обработки сигналов".
Сервер 3 администрирования имеет функции выполнения процесса аутентификации пользователя и администрирования абсолютным положением пользователя (текущим положением). Далее, сервер 3 администрирования может также администрировать информацию (например, IP-адрес), представляющую положения места или здания.
Таким образом, устройство 1 обработки сигналов может передавать запрос на доступ к информации назначения (например, IP-адрес) заданной цели (человек, место, здание и т.п.) обозначенной пользователем, для сервера 3 администрирования и может получать информацию о месте назначения доступа.
2-2. Устройство обработки сигналов
Далее будет подробно описана конфигурация устройства 1 обработки сигналов, в соответствии с настоящим вариантом осуществления. На фиг. 3 показана блок-схема, представляющая конфигурацию устройства 1 обработки сигналов, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 3, устройство 1 обработки сигналов, в соответствии с настоящим вариантом осуществления, включает в себя множество микрофонов 10 (микрофоны массива), модуль 11 усиления/аналого-цифрового преобразователя (ADC), модуль 13 обработки сигналов, базу данных (DB) 15 информации о положении микрофона, модуль 16 оценки положения пользователя, модуль 17 распознавания, модуль 18 идентификации, интерфейс (I/F) 19 передачи данных, DB 21 информации о положении громкоговорителей, модуль 23 усиления/цифро-аналогового преобразователя (DAC) и множество громкоговорителей 20 (громкоговорители массива). Эти компоненты будут описаны ниже.
Массив микрофонов
Множество микрофонов 10 расположены в определенной области (месте), как описано выше. Например, множество микрофонов 10 расположены в местах за пределам помещения, таких как дороги, электрические столбы, уличные фонари, дома и внешние стены зданий и места внутри помещений, такие как полы, стены и потолки. Множество микрофонов 10 получают окружающие звуки, и выводят полученные окружающие звуки в модуль 11 усиления/ADC.
Модуль усиления/ADC
Модуль 11 усиления/ADC имеет функцию (усилителя), состоящую в усилении акустических волн, выводимых из множества микрофонов 10, и функцию (ADC), состоящую в преобразовании акустической волны (аналоговые данные) в аудиосигнал (цифровые данные). Модуль 11 усиления/ADC выводит преобразованные аудиосигналы в модуль 13 обработки сигналов.
Модуль обработки сигналов
Модуль 13 обработки сигналов имеет функцию обработки аудиосигналов, получаемых микрофонами 10, и передаваемых через модуль 11 усиления/ADC, и аудиосигналы, воспроизводимых громкоговорителей 20 через модуль 23 DAC/усиления. Кроме того, модуль 13 обработки сигналов, в соответствии с настоящим вариантом осуществления, функционирует, как модуль 131 обработки массива микрофонов, модуль 133 обработки с высоким S/N и модуль 135 обработки сигналов воспроизведения звукового поля.
Модуль обработки массива микрофонов
Модуль 131 обработки массива микрофонов выполняет управление направленностью, таким образом, что голос пользователя фокусируется (положение получения голоса фокусируется на рту пользователя) при обработке массива микрофонов для множества аудиосигналов, выводимых из модуля 11 усиления/ADC.
В это время модуль 131 обработки массива микрофонов может выбрать группу микрофонов, формирующую акустически замкнутую поверхность, окружающую пользователя, которая является оптимальной для получения голоса пользователя, на основе положения пользователя, оцениваемого модулем 16 оценки положения пользователя или положений микрофонов 10, зарегистрированных в DB 15 информации о положении микрофона. Затем модуль 131 обработки массива микрофона выполняет управление направленностью для аудиосигналов, получаемых выбранной группой микрофонов. Далее, модуль 131 обработки массива микрофонов может формировать исключительную направленность массива микрофонов через процесс задержки и суммирования массива и процесс генерирования нулей.
Модуль обработки с высоким S/N
Модуль 133 обработки с высоким S/N имеет функцию обработки множества аудиосигналов, выводимых из модуля 11 усиления/ADC, для формирования монофонического сигнала, имеющего высокую степень артикуляции и высокое отношение S/N. В частности, модуль 133 обработки с высоким S/N выполняет разделение источника звука, и выполняет устранение реверберации и ослабление уровня шумов.
Далее, модуль 133 обработки с высоким S/N может быть расположен в каскаде, следующем после модуля 131 обработки массива микрофонов. Далее, аудиосигналы (потоковые данные), обработанные модулем 133 обработки с высоким S/N, используют для распознавания голоса, выполняемого модулем 17 распознавания, и передают наружу через I/F 19 передачи данных.
Модуль обработки сигналов воспроизведения звукового поля
Модуль 135 обработки сигналов воспроизведения звукового поля выполняет обработку сигналов для аудиосигналов, которые должны быть воспроизведены через множество громкоговорителей 20, и выполняет управление таким образом, что звуковое поле локализуется вокруг положения пользователя. В частности, например, модуль 135 обработки сигналов воспроизведения звукового поля выбирает оптимальную группу громкоговорителей, для формирования акустически замкнутой поверхности, окружающей пользователя, на основе положения пользователя, оцениваемого модулем 16 оценки положения пользователя или положений громкоговорителей 20, зарегистрированных в DB 21 информации о положении громкоговорителей. Затем модуль 135 обработки сигналов воспроизведения звукового поля записывает аудиосигналы, которые были подвергнуты обработке сигналов, в выходные буферы из множества каналов, соответствующих выбранной группе громкоговорителей.
Далее модуль 135 обработки сигналов воспроизведения звукового поля управляет областью внутри акустически замкнутой поверхности, как соответствующим звуковым полем. В качестве способа управления звуковым полем, например, известны теорема интеграла Гельмгольца-Кирхгоффа и интеграла Рэлея, и синтез волнового поля (WFS) на основе теорем. Кроме того, модуль 135 обработки сигналов воспроизведения звукового поля может применять технологии обработки сигналов, раскрытые в JP 4674505 В и JP 4735108 В.
Следует отметить, что форма акустически замкнутой поверхности, сформированной микрофонами или громкоговорителями, не ограничена чем-либо конкретным, если только она представляет собой трехмерную форму, окружающую пользователя, и, как показано на фиг. 4, примеры формы могут включать в себя акустически замкнутую поверхность 40-1, имеющую овальную форму, акустически замкнутую поверхность 40-2, имеющую форму столба, и акустически замкнутую поверхность 40-3, имеющую многоугольную форму. Примеры, представленные на фиг. 4, представляют примеры формы акустически замкнутых поверхностей, сформированных множеством громкоговорителей 20В-1 - 20В-12, размещенных вокруг пользователя B в месте В. Примеры также относятся к формам акустически замкнутых поверхностей, сформированных множеством микрофонов 10.
DB информации о положении микрофона
DB 15 информации о положении микрофона представляет собой модуль сохранения, который содержит информацию о положении множества микрофонов 10, размещенных в месте. Информация о местоположении множества микрофонов 10 может быть зарегистрирована заранее.
Модуль оценки положения пользователя
Модуль 16 оценки положения пользователя имеет функцию оценки положения пользователя. В частности, модуль 16 оценки положения пользователя выполняет оценку положения пользователя относительно множества микрофонов 10 или множества громкоговорителей 20 на основе результатов анализа звуков, полученных множеством микрофонов 10, результатов анализа захваченных изображений, полученных датчиками изображения, или результатов определения направления, полученных датчиками человека. Модуль 16 оценки положения пользователя может получать информацию из Глобальной системы навигации (GPS) и может выполнять оценку абсолютного положения пользователя (получать информацию о текущем положении).
Модуль распознавания
Модуль 17 распознавания анализирует голос пользователя на основе аудиосигналов, которые получают, используя множество микрофонов 10, и затем обрабатывают модулем 13 обработки сигналов, и распознает команду. Например, модуль 17 распознавания выполняет морфологический анализ голоса пользователя, "я хотел бы поговорить с В", и определяет команду запроса места происхождения вызова на основе заданной цели "В", которая обозначена пользователем и запроса "я хотел бы поговорить с".
Модуль идентификации
Модуль 18 идентификации имеет функцию идентификации заданной цели, распознанной модулем 17 распознавания. В частности, например, модуль 18 идентификации может определять информацию о месте назначения доступа, для получения голоса и изображения, соответствующих заданной цели. Например, модуль 18 идентификации может передавать информацию, представляющую заданную цель, в сервер 3 администрирования через I/F 19 передачи данных, и получать информацию о месте назначения доступа (например, адрес IP), соответствующий заданной цели, из сервера 3 администрирования.
I/F передачи данных
I/F 19 передачи данных представляет собой модуль передачи данных, предназначенный для передачи или приема данных в или из другого устройства обработки сигналов или сервера 3 администрирования через сеть 5. Например, I/F 19 передачи данных, в соответствии с настоящим вариантом осуществления, передает запрос на доступ к информации места назначения, соответствующей заданной цели, в сервер 3 администрирования, и передает аудиосигнал, который был получен микрофоном 10 и затем обрабатывается модулем 13 обработки сигналов, в другое устройство обработки сигналов, которое представляет собой место назначения доступа. DB информации о положении громкоговорителей
DB 21 информации о положении громкоговорителей представляет собой модуль сохранения, который сохраняет информацию о положении множества громкоговорителей 20, расположенных в этом месте. Информация о местоположении множества громкоговорителей 20 может быть зарегистрирована заранее.
Модуль DAC/усиления
Модуль 23 DAC/усиления имеет функцию (DAC), состоящую в преобразовании аудиосигналов (цифровых данных), которые записаны в выходных буферах каналов, предназначенных для соответствующего воспроизведения через множество громкоговорителей 20 в акустические волны (аналоговые данные).
Кроме того, модуль 23 DAC/усиления усиливает преобразованные акустические волны, и воспроизводит (выводит) акустические волны через множество громкоговорителей 20.
Громкоговоритель массива
Множество громкоговорителей 20 расположены в определенной области (месте), как описано выше. Например, множество громкоговорителей 20 расположены в местах за пределами помещения, таких как дороги, электрические столбы, уличные фонари, дома и внешние стены зданий, и в местах внутри помещения, таких как полы, стены и потолки. Кроме того, множество громкоговорителей 20 воспроизводят акустические волны (голоса), выводимые модулем 23 DAC/усиления.
До настоящего времени была подробно описана конфигурация устройства 1 обработки сигналов, в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 5, будет описана конфигурация сервера 3 администрирования, в соответствии с настоящим вариантом осуществления.
2-3. Сервер администрирования
На фиг. 5 показана блок-схема, представляющая конфигурацию сервера 3 администрирования, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 5, сервер 3 администрирования включает в себя модуль 32 администрирования, модуль 33 поиска, DB 35 информации о положении пользователя и I/F 39 передачи данных. Упомянутые выше компоненты будут описаны ниже. Модуль администрирования
Модуль 32 администрирования выполняет администрирование информацией, ассоциированной с пространством (местом), в котором пользователь в настоящее время находится на основе идентификации (ID) пользователя, переданной из устройства 1 обработки сигналов. Например, модуль 32 администрирования идентифицирует пользователя на основе ID пользователя, и сохраняет IP-адрес устройства 1 обработки сигналов источника передачи в DB 35 информации о положении пользователя, в ассоциации с именем идентифицированного пользователя и т.п., как информацию о месте назначения доступа. ID пользователя может включать в себя имя, персональный идентификационный номер или биологическую информацию. Кроме того, модуль 32 администрирования может выполнять процесс аутентификации пользователя на основе переданного ID пользователя.
DB информации о положении пользователя
DB 35 информации о положении пользователя представляет собой модуль сохранения, который содержит информацию, ассоциированную с местом, в котором пользователь в настоящее время находится, в соответствии с администрированием, выполняемым модулем 32 администрирования. В частности, DB 35 информации о положении пользователя содержит ID пользователя и информацию о месте назначения доступа (например, IP-адрес устройства обработки сигналов, соответствующего месту, в котором расположен пользователь), в ассоциации друг с другом. Кроме того, информация о текущем положении каждого пользователя может постоянно обновляться.
Модуль поиска
Модуль 33 поиска выполняет поиск информации о месте назначения доступа со ссылкой на DB 35 информации о положении пользователя, в соответствии с запросом места назначения доступа (место назначения для происхождения вызова), из 1 устройства обработки сигналов. В частности, модуль 33 поиска выполняет поиск ассоциированной информации о месте назначения доступа и выделяет информацию о месте назначения доступа из DB 35 информации о положении пользователя на основе, например, имени целевого пользователя, включенного в запрос места назначения доступа.
I/F передачи данных
I/F 39 передачи данных представляет собой модуль передачи данных, который передает или принимает данные в или из устройства 1 обработки сигналов через сеть 5. Например, I/F 39 передачи данных, в соответствии с настоящим вариантом осуществления, принимает ID пользователя и запрос о месте назначения доступа из устройства 1 обработки сигналов. Далее, I/F 39 передачи данных передает информацию о месте назначения доступа целевого пользователя в ответ на запрос о месте назначения доступа.
До настоящего момента были подробно описаны компоненты акустической системы, в соответствии с вариантом осуществления настоящего раскрытия. Далее, со ссылкой на фиг. 6-9, будет подробно описан процесс операции, выполняемый акустической системой в соответствии с настоящим вариантом осуществления.
3. Процесс работы
3-1. Основной процесс
На фиг. 6 показана блок-схема последовательности операций, представляющая основную обработку акустической системы в соответствии с настоящим вариантом осуществления. Как показано на фиг. 6, прежде всего, на этапе S103, устройство 1А обработки сигналов передает ID пользователя А, который расположен в месте А, в сервер 3 администрирования. Устройство 1А обработки сигналов может получить ID пользователя А по метке, такой как метка радиочастотной идентификации (RFID), которая принадлежит пользователю А, или по голосу пользователя А. Далее устройство 1А обработки сигналов может считывать биологическую информацию о пользователе А (лицо, глаз, рука и т.п.), и получать биологическую информацию, как ID.
В то же время, на этапе S106, устройство 1В обработки сигналов аналогично передает ID пользователя В, находящегося в месте В, в сервер 3 администрирования.
Затем, на этапе S109, сервер 3 администрирования идентифицирует пользователя на основе ID пользователя, переданного из каждого устройства 1 обработки сигналов, и регистрирует, например, IP-адрес устройства 1 обработки сигналов для источника передачи, как информацию о месте назначении доступа, в ассоциации с, например, идентифицированным именем пользователя.
Затем, на этапе S112, устройство 1В обработки сигналов выполняет оценку положения пользователя В, расположенного в месте В. В частности, устройство 1В обработки сигналов выполняет оценку относительного положения пользователя В для множества микрофонов, расположенных в месте В.
Затем, на этапе S115, устройство 1В обработки сигналов выполняет обработку массива микрофонов для аудиосигналов, полученных множеством микрофонов, размещенных в месте В, на основе оцененного относительного положения пользователя В таким образом, что положение получения звука фокусируется на рту пользователя В. Как описано выше, устройство 1В обработки сигналов подготавливается к тому, что пользователь В что-то произнесет.
С другой стороны, на этапе S118, устройство 1А обработки сигналов аналогично выполняет обработку массива микрофонов для аудиосигналов, полученных множеством микрофонов, расположенных в месте А, таким образом, что положение получения звука фокусируется на рту пользователя А, и подготавливается к тому, что пользователь что-то произнесет. Затем устройство 1А обработки сигналов распознает команду на основе голоса (произнесенного звука) пользователя А. Здесь описание продолжится в отношении примера, в котором пользователь А произносит "я бы хотел поговорить с В", и устройство 1А обработки сигналов распознает этот произнесенный звук, как команду "запрос происхождения вызова для пользователя В". Процесс распознавания команды, в соответствии с настоящим вариантом осуществления, будет подробно описан в разделе [3-2. Процесс распознавания команды], который будет описан ниже.
Затем, на этапе S121, устройство 1А обработки сигналов передает запрос назначения доступа в сервер 3 администрирования. Когда команда представляет собой "запрос происхождения вызова для пользователя В", как описано выше, устройство 1А обработки сигналов запрашивает информацию о месте назначении доступа у пользователя В.
Затем, на этапе S125, сервер 3 администрирования выполняет поиск информации о месте назначения доступа для пользователя В в ответ на запрос о месте назначения доступа из устройства 1А обработки сигналов, и затем, на этапе S126, который следует далее, передает результат поиска в устройство 1А обработки сигналов.
Затем, на этапе S127, устройство 1А обработки сигналов идентифицирует (определяет) место назначения доступа на основе информации о месте назначения доступа пользователя В, принимаемой из сервера 3 администрирования.
Затем, на этапе S128, устройство 1А обработки сигналов выполняет обработку возникновения вызова для устройства 1В обработки сигналов, на основе информации о месте назначения доступа идентифицированного пользователя В, например, по IP-адресу устройства 1В обработки сигналов, соответствующему месту В, в котором в настоящее время расположен пользователь В.
Затем, на этапе S131, устройство 1В обработки сигналов выводит сообщение, запрашивающее пользователя В, следует ли ответить ли на вызов от пользователя А или нет (уведомление о вызове). В частности, например, устройство 1В обработки сигналов может воспроизводить соответствующее сообщение через громкоговорители, расположенные вокруг пользователя В. Далее, устройство 1В обработки сигналов распознает отклик пользователя В на уведомление о вызове на основе голоса пользователя В, полученного через множество микрофонов, расположенных вокруг пользователя В.
Затем, на этапе S134, устройство 1В обработки сигналов передает ответ пользователя B в устройство 1А обработки сигналов. Здесь, пользователь В передает отклик OK, и, таким образом, начинается двусторонний обмен данными между пользователем А (сторона устройства 1А обработки сигналов) и пользователем В (сторона устройства 1В обработки сигналов).
В частности, на этапе S137, для начала обмена данными с устройством 1В обработки сигналов, устройство 1А обработки сигналов выполняет процесс получения звука, состоящий в получении голоса пользователя А в месте А и передачи аудиопотока (аудиосигналов) на место В (сторону устройства 1В обработки сигналов). Обработка получения звука, в соответствии с настоящим вариантом осуществления, будет описана подробно в разделе [3-3. Процесс получения звука], который будет описан ниже.
Затем, на этапе S140, устройство 1В обработки сигналов формирует акустически замкнутую поверхность, окружающую пользователя В, через множество громкоговорителей, расположенных вокруг пользователя В, и выполняет процесс воспроизведения звукового поля на основе аудиопотока, переданного из устройства 1А обработки сигналов. Следует отметить, что процесс воспроизведения звукового поля, в соответствии с настоящим вариантом осуществления может дополнительно создавать звуковое поле третьего пространства (место С), и может обеспечивать для пользователя возможность разговора по телефону с другим пользователем, расположенным в другом пространстве, с ощущением, что они оба поглощены в третьем пространстве. Процесс воспроизведения звукового поля будет подробно описан в "4. Конструкция звукового поля третьего пространства", который будет описан ниже.
На этапах S137 - S140, описанных выше, в качестве примера, была описана односторонняя передача данных, но в настоящем варианте осуществления, может выполняться двусторонняя передача данных. В соответствии с этим, в отличие от этапов S137 - S140, описанных выше, устройство 1В обработки сигналов может выполнять процесс получения звука, и устройство 1А обработки сигналов может выполнять процесс воспроизведения звукового поля.
До данного момента был описан основной процесс акустической системы, в соответствии с настоящим вариантом осуществления. В описанном выше процессе пользователь А может разговаривать по телефону с пользователем В, расположенным другом месте, когда он произносит "я хотел бы поговорить с В", без использования терминала мобильного телефона, смартфона и т.п., используя множество микрофонов и множество громкоговорителей, расположенных вокруг пользователя А. Далее процесс распознавания команды, выполняемый на этапе S118, будет подробно описан со ссылкой на фиг. 7.
3-2. Процесс распознавания команды
На фиг. 7 показана блок-схема последовательности операций, представляющая процесс распознавания команды, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 7, прежде всего, на этапе S203, модуль 16 оценки положения пользователя устройства 1 обработки сигналов выполняет оценку положения пользователя. Например, модуль 16 оценки положения пользователя может выполнять оценку относительного положения и направления пользователя для каждого микрофона, и положение рта пользователя на основе звуков, получаемых через множество микрофонов 10, снятых изображений, полученных датчиками изображения, компоновки микрофонов, сохраненной в DB 15 информации о положении микрофонов и т.п.
Затем, на этапе S206, модуль 13 обработки сигналов выбирает группу микрофонов, формирующую акустически замкнутую поверхность, окружающую пользователя, в соответствии с относительным положением пользователя, и направлением, и положением рта пользователя, оценка которых была получена.
Затем, на этапе S209, модуль 131 обработки массива микрофонов модуля 13 обработки сигналов выполняет обработку массива микрофонов для аудиосигналов, получаемых через выбранную группу микрофонов, и управляет направленностью микрофонов, которые должны быть сфокусированы на рту пользователя. В ходе такого процесса устройство 1 обработки сигналов может подготавливаться к тому, что пользователь произнесет что-то.
Затем, на этапе S212, модуль 133 обработки с высоким S/N выполняет такую обработку, как устранение реверберации или уменьшение уровня шумов аудиосигнала, обработанного модулем 131 обработки массива микрофонов, для улучшения отношения S/N.
Затем, на этапе S215, модуль 17 распознавания выполняет распознавание голоса (анализ голоса) на основе аудиосигнала, выводимого модулем 133 обработки с высоким S/N.
Затем, на этапе S218, модуль 17 распознавания выполняет процесс распознавания команды на основе распознанного голоса (аудиосигнала). При этом отсутствует какое-либо конкретное ограничение в отношении конкретного содержания процесса распознавания команды, но, например, модуль 17 распознавания может распознавать команду путем сравнения ранее зарегистрированной (изученной) структуры запроса с распознанным голосом.
Когда команду не распознают на этапе S218 (Нет на этапе S218), устройство 1 обработки сигналов многократно выполняет обработку, выполняемую на этапах S203 - S215. В это время, поскольку этапы S203 и S206 также повторяются, модуль 13 обработки сигналов может обновлять группу микрофонов, формирующую акустически замкнутую поверхность, окружающую пользователя, в соответствии с движениями пользователя.
3-3. Процесс получения звука
Далее будет подробно описан процесс получения звуков, выполняемый на этапе S137 на фиг. 6, со ссылкой на фиг. 8. На фиг. 8 показана блок-схема последовательности операций, представляющая процесс получения звуков, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 8, прежде всего, на этапе S308, модуль 131 обработки массива микрофонов модуля 13 обработки сигналов выполняет обработку массива микрофонов для аудиосигналов, полученных через выбранные/обновленные микрофоны, и управляет направленностью микрофонов, так, чтобы они были сфокусированы на рту пользователя.
Затем, на этапе S312, модуль 133 обработки с высоким S/N выполняет обработку, такую как устранение реверберации или уменьшение уровня шумов для аудиосигнала, обрабатываемого модулем 131 обработки массива микрофонов, для улучшения отношения S/N.
Затем, на этапе S315, I/F 19 передачи данных передает аудиосигнал, выводимый из модуля 133 обработки с высоким S/N, в место назначения доступа (например, в устройство 1В обработки сигналов), представленное информацией о месте назначения доступа целевого пользователя, обозначенное на этапе S126 (см. фиг. 6). В ходе этого процесса голос, произносимый пользователем А в месте А, получают с помощью множества микрофонов, расположенных вокруг пользователя А, и затем передают на место В.
До настоящего момента, были описаны процесс распознавания команды и процесс получения звука, в соответствии с настоящим вариантом осуществления. Далее будет подробно описан процесс воспроизведения звукового поля, в соответствии с настоящим вариантом осуществления.
4. Конструкция звукового поля третьего пространства
Как описано выше, процесс воспроизведения звукового поля (этап S140 на фиг. 6), в соответствии с настоящим вариантом осуществления, позволяет построить звуковое поле третьего пространства (место С), и может предоставить для пользователя, говорящего по телефону с другим пользователем, который расположен в другом пространстве, ощущение поглощения в третьем пространстве. После этого, со ссылкой на фиг. 9, будут описаны общие элементы построения звукового поля, для предоставления для пользователя ощущения его поглощения третьим пространством.
На фиг. 9 показана схема, иллюстрирующая конструкцию звукового поля третьего пространства, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 9, в случае, когда пользователь А, расположенный в месте А, говорит по телефону с пользователем В, расположенным в месте В, акустическая система, в соответствии с настоящим вариантом осуществления, строит звуковое поле 42 в месте С, которое представляет собой третье пространство в каждом из мест А и В. Здесь, в качестве примера, предположим, что место А, место В и место С расположены за пределами друг друга (удаленные места). В этом случае, например, пользователь В, который находится в Токио (место В), может говорить по телефону с пользователем А, который находится в США (место А), и при этом для него будет обеспечено ощущение его поглощения в пространстве Италии (место С), которое представляет собой место, куда пользователь В должен поехать с пользователем А.
В частности, акустическая система, в соответствии с настоящим вариантом осуществления, может построить звуковое поле 42 места С, используя параметр акустической информации (характеристики таких параметров, как импульсная характеристика) заранее измеренный в месте С, или акустическое содержание (окружающие звуки), полученное в месте С. Следует отметить, что параметр акустической информации и акустическое содержание третьего пространства, могут быть получены в третьем пространстве заранее и могут быть накоплены в сервере администрирования.
Технология построения звукового поля места С
Здесь, со ссылкой на фиг. 10, будут описаны технологии построения звукового поля места С на соответствующих местах А и B в случае, когда пользователь А, расположенный в месте А, разговаривает по телефону с пользователем В, который расположен в месте В. На фиг. 10 показана схема, иллюстрирующая технологии построения звукового поля места С. В примере, показанном на фиг. 10, будет описан случай, когда в месте В, в котором расположен пользователь В, который разговаривает по телефону с пользователем А, строят звуковое поле места С (обеспечивается ощущение поглощения местом С).
Как показано на фиг. 10, технология 1 состоит в следующем: аудиоизображение локализуют так, что голос пользователя А присутствует за пределами акустически замкнутой поверхности 40В, сформированной множеством громкоговорителей 20В, окружающих пользователя В, и дополнительно модифицирована с использованием параметра акустической информации таким образом, что голос пользователя А можно слышать, как если бы голос отражался, как эхо, в месте С.
Здесь, как показано на фиг. 10, в случае, когда аудиоизображение пользователя А локализовано за пределами акустически замкнутой поверхности 40, оценивают волновой фронт в момент времени, когда голос, излучаемый пользователем А, расположенным за пределами акустически замкнутой поверхности 40В, пересекает поверхность 40В акустически замкнутого пространства. Затем выполняют воспроизведение из множества громкоговорителей 20 таким образом, что оценка волнового фронта формируется внутри акустически замкнутой поверхности 40В, чтобы, таким образом, локализовать аудиоизображение.
Далее, в случае оценки излучения пользователем А голоса в месте С, может возникнуть случай, когда голос пользователя А может достигнуть акустически замкнутой поверхности 40В, включая в себя отраженный звук (отраженный звук, отличающийся в зависимости от материалов и структур) от конструкции или препятствия в месте С. В соответствии с этим, акустическая система, в соответствии с настоящим вариантом осуществления, строит в месте В звуковое поле 42, в котором голос пользователя А можно услышать, как если бы этот голос отражался в месте С, путем модификации голоса пользователя А, используя акустический информационный параметр (импульсную характеристику), который был заранее измерен в месте С. Таким образом, для пользователя В может быть дополнительно в значительной мере обеспечено ощущение его поглощения в месте С.
Технология 2 состоит в следующем: получают голос пользователя В, который расположен внутри акустически замкнутой поверхности 40, этот голос модифицируют, используя акустический информационный параметр места С, и обработанный голос воспроизводят из множества громкоговорителей 20В, формирующих акустически замкнутую поверхность 40. Таким образом, для того, чтобы пользователь В, расположенный внутри акустически замкнутой поверхности 40, ощущал звуковое поле места С, как если бы пользователь В фактически ощущал звуковое поле, для него обеспечивается ощущение его еще более сильного поглощения в месте С, и он ощущает большой размер пространства места С, также важно чувствовать изменение речи, которое произносит сам/сама пользователь В (эхолокация) в дополнение к модификации (технологии 1) голоса партнера, с которым пользователь В разговаривает по телефону. В соответствии с этим, в технологии 2, звуковое поле 42 построено в месте В таким образом, что речь, которую пользователь В произносит, может быть слышна, как если бы эта речь отражалась, как эхо в месте С. Таким образом, пользователь В может дополнительно в значительной степени ощущать окружение места С и иметь ощущение поглощения местом С. Следует отметить, что конкретный способ для достижения технологии 2 будет описан ниже со ссылкой на фиг. 16А и фиг. 16В.
Технология 3 состоит в следующем: путем воспроизведения акустического содержания, такого как речь, произносимая шепотом в месте С, и окружающего звука из множества громкоговорителей 20В, формирующих акустически замкнутую поверхность 40, окружающую пользователя В, окружение местом С и ощущение поглощения местом С усиливаются. Акустическое содержание места С может быть заранее записано или может быть получено в режиме реального времени.
До настоящего времени, со ссылкой на фиг. 10, были описаны три технологии для построения звукового поля, для обеспечения ощущения поглощения местом С. В акустической системе, в соответствии с настоящим вариантом осуществления, звуковое поле может быть построено, используя одну технологию из трех технологий, или звуковое поле может быть построено, используя две или больше технологии в комбинации.
Обозначение места С
Далее, в настоящем варианте осуществления, третье пространство (место С) может соответствующим образом быть обозначено пользователем или может представлять собой место, которое установлено заранее. Например, когда пользователь А, расположенный в месте А, произносит "я хотел бы поговорить с пользователем В (первая цель) в месте С (вторая цель)", множество микрофонов 10А (см. фиг. 1), расположенных вокруг пользователя А, записывают эту речь, и эта речь распознается, как команда устройством 1А обработки сигналов.
Затем устройство 1А обработки сигналов передает запрос на доступ к информации места назначения, для разговора с "пользователем В" по телефону и для доступа к данным, для построения звукового поля обозначенного места для сервера администрирования. Затем сервер администрирования передает информацию о месте назначения доступа (здесь IP-адрес и т.п. устройства 1В обработки сигналов места В, где расположен пользователь В), и данные для построения звукового поля (здесь акустический информационный параметр и акустическое содержание места С) в устройство 1А обработки сигналов.
Далее, в случае, когда начинается связь между устройством 1А обработки сигналов и устройством 1В обработки сигналов (в случае, когда пользователь В вырабатывает ответ OK на вызов от пользователя А), данные для построения звукового поля также передают в устройство 1В обработки сигналов. Таким образом, звуковое поле в месте С строят в месте А и в месте В, и пользователь А, и пользователь В, расположенные в разных местах, могут совместно ощущать их поглощение в одном и том же месте.
До настоящего момента было представлено общее описание построения звукового поля для предоставления для пользователя ощущения его поглощения в третьем пространстве. Далее, со ссылкой на фиг. 11, будет описана конфигурация сервера администрирования, который накапливает параметр акустической информации и акустическое содержание третьего пространства.
4-1. Конфигурация сервера администрирования
На фиг. 11 показана блок-схема, представляющая другую конфигурацию сервера администрирования, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 11, сервер 3' администрирования включает в себя модуль 32 администрирования, модуль 34 поиска, DB 35 информации о положении пользователя, I/F 39 передачи данных, DB 36 параметра акустической информации и DB 37 акустического содержания. Поскольку модуль 32 администрирования, DB 35 информации о положении пользователя, и I/F 39 передачи данными являются такими же, как описано со ссылкой на фиг. 5, их описание здесь будет исключено.
Модуль поиска
Вначале модуль 34 поиска выполняет поиск таким же образом, как и модуль 33 поиска, описанный выше, информации о назначении доступа со ссылкой на DB 35 информации о положении пользователя, в соответствии с запросом места назначения доступа (место назначения происхождения вызова), из устройства 1 обработки сигналов. В частности, модуль 33 поиска выполняет поиск ассоциированной информации о месте назначения доступа и выделяет информацию места назначения доступа из DB 35 информации о положении пользователя на основе, например, имени целевого пользователя, включенного в запрос о назначении доступа.
Далее, в ответ на запрос для получения данных, для построения звукового поля из устройства 1 обработки сигналов, модуль 34 поиска выполняет поиск параметра акустической информации обозначенного места и выделяет параметр акустической информации из DB 36 параметра акустической информации. Кроме того, в ответ на запрос для получения данных, для построения звукового поля из устройства 1 обработки сигналов, модуль 34 поиска выполняет поиск акустического содержания обозначенного места и выделяет акустическое содержание из DB 37 акустического содержания.
Параметр акустической информации
DB 36 параметра акустической информации представляет собой модуль сохранения, который содержит параметры акустической информации, которые заранее измерили на соответствующих местах. Акустический параметр может быть получен путем измерения импульсной характеристики из любой точки или множества точек (положение (положения), попытка локализации которого осуществляется, в котором находится аудиоизображение (изображения)) в каждом месте. Далее, отношение S/N улучшается путем использования растянутой по времени импульсной характеристики (TSP) способа гармонических колебаний отклика М-последовательности, и т.п. при измерении импульсной характеристики.
Здесь, со ссылкой на фиг. 12, будет описано измерение параметра акустической информации. Измерение 1, показанное на фиг. 12, описывает измерение параметра акустической информации (первого параметра акустической информации), которая используется путем модификации голоса партнера по разговору, локализованного в любом положении за пределами акустически замкнутой поверхности 40 в технологии 1, описанной со ссылкой на фиг. 10. Как показано на фиг. 12, множество микрофонов 10С, каждый из которых обладает возможностью поворота направленности наружу, расположенных в месте С, измеряют, как выполняется передача (импульсная характеристика) из акустического источника (громкоговорителей 20С) в каждый из микрофонов 10С, при этом громкоговоритель 20С установлен в любом положении за пределами замкнутой поверхности 43, сформированной множеством микрофонов 10C.
В примере, показанном на фиг. 12, хотя один громкоговоритель 20С установлен при измерении 1, этот пример не ограничен этим, и множество громкоговорителей 20С может быть расположено за пределами замкнутой поверхности 43, и передача от каждого из громкоговорителей 20 в каждый из микрофонов 10С может быть измерена. Таким образом, множество местоположений, в которых могут быть локализованы источники звука пользователя А, может быть увеличено в технологии 1.
Далее, измерение 2, показанное на фиг. 12, описывает измерение акустического информационного параметра (второго акустического информационного параметра), который используется при модификации голоса самого/самой пользователя, расположенного внутри акустически замкнутой поверхности 40 в технологии 2, описанной со ссылкой на фиг. 10. Как показано на фиг. 12, множество микрофонов 10С каждый из которых обладает направленностью, повернутых наружу, расположенных в месте С, измеряют, как звук (сигнал для измерений), выводимый из источника звука (громкоговорителей 20С), передается в каждый из микрофонов 10C, с учетом влияния отражения/эха в месте С, при этом громкоговоритель 20С, установлен внутри замкнутой поверхности 43, сформированной множеством микрофонов 10C. В примере, показанном на фиг. 12, хотя один громкоговоритель 20С расположен при измерениях 2, в качестве примера, настоящий вариант выполнения не ограничен этим, и множество громкоговорителей 20С могут быть расположены внутри замкнутой поверхности 43, и передача из каждого из громкоговорителей 20 в каждый из микрофонов 10C может быть измерена.
Акустическое содержание
DB 37 акустического содержания представляет собой модуль сохранения, в котором содержится акустическое содержание, полученное из каждого места. Примеры акустического содержания включают в себя окружающие звуки (звуки окружающей среды, речь, произносимую шепотом, и т.п.), которые были записаны (измерены) на каждом месте.
Измерение акустического содержания выполняют, как показано при измерении 3 на фиг. 12, например, множеством микрофонов 10C, каждый из которых имеет направленность, обращенную наружу, расположенных в месте С для измерения (записи) окружающих звуков. Измерение окружающих звуков может быть выполнено в течение каждого часа, в будние дни и в выходные. Таким образом, акустическая система, в соответствии с настоящим вариантом осуществления, может строить звуковое поле места С в течение каждого часа, в будние дни и в выходные. Например, акустическое содержание, близкое к текущему часу, может быть воспроизведено в месте В, которое составляет окружающую среду для воспроизведения.
Следует отметить, что размер замкнутой поверхности 43, сформированной множеством микрофонов 10C, показанных на фиг. 12 может быть большим, чем акустически замкнутая поверхность среды прослушивания (среды воспроизведения). Ниже описание будет представлено со ссылкой на фиг. 13. На фиг. 13 показана схема, представляющая размещение множества микрофонов 10C в среде измерений (здесь место С) и компоновку множества громкоговорителей 20В в среде прослушивания (здесь место В) по сравнению друг с другом.
Как показано на фиг. 13, в отношении акустически замкнутой поверхности 40, сформированной множеством громкоговорителей 20В, предусмотренных так, что они окружают пользователя В, множество микрофонов 10C, используемых для измерения в месте С, размещены так, что они формируют замкнутую поверхность 43, размер которой больше, чем размер акустически замкнутой поверхности 40.
Далее, как описано выше со ссылкой на фиг. 4, в месте В среды прослушивания (среда воспроизведения), каждая трехмерная акустически замкнутая поверхность 40-1, 40-2 и 40-3 сформирована множеством громкоговорителей 20В-1 - 20В-12. В соответствии с этим, как показано на фиг. 14, также в месте С, которое представляет собой измерительную среду, множество микрофонов 10С-1 - 10C-12, каждый из которых обладает направленностью, обращенной наружу, могут формировать трехмерные замкнутые поверхности 43-1, 43-2 и 40-3.
До настоящего момента был подробно описан каждый компонент конфигурации сервера 3' администрирования, в соответствии с настоящим вариантом осуществления. Далее будет описано управление, выполняемое на стороне места В среды прослушивания (среды воспроизведения), в которой выполняется построение звукового поля места С, используя технологии 1-3 (см. фиг. 12). На стороне места В, оптимальное звуковое поле формируют с помощью модуля 135 обработки сигналов воспроизведения звукового поля (см. фиг. 3) устройства 1В обработки сигналов. Далее, со ссылкой на фиг. 15, будет, в частности, описана конфигурация модуля 135 обработки сигналов воспроизведения звукового поля, который строит звуковое поле, используя технологии 1-3.
4-2. Конфигурация модуля обработки сигналов воспроизведения звукового поля
На фиг. 15 показана блок-схема, иллюстрирующая конфигурацию модуля 135 обработки сигналов воспроизведения звукового поля, выполняющего построение звукового поля, для предоставления ощущения поглощения в месте С.Кроме того, на фиг. 15 показаны основные компоненты устройства 1В обработки сигналов, которые относятся здесь к описанию, и другие компоненты исключены.
Как показано на фиг. 15, модуль 135 обработки сигналов воспроизведения звукового поля функционирует, как модуль 136 свертки, модули 137 и 139 уменьшения нелинейных искажений и модуль 138 свертки матрицы.
Модуль свертки
Модуль 136 свертки имеет функцию достижения описанной выше технологии 1 (локализация аудиоизображения пользователя А, модификация голоса отраженного пользователя А). В частности, через I/F 19 передачи данных, модуль 136 свертки выполняет получение для аудиосигнала b (голоса пользователя А), полученного (принятого) из устройства 1А обработки сигналов в месте А для каждого выходного громкоговорителей, использование параметра С акустической информации (первого параметра акустической информации) места С.Далее, в этом случае, учитывая параметр положения, в котором расположено аудиоизображение пользователя А, модуль 136 свертки может использовать параметр акустической информации (импульсную характеристику) места С, соответствующий положению локализации. Следует отметить, что параметр положения, в котором расположено аудиоизображение пользователя А, может быть передан из устройства 1А обработки сигналов или сервера 3' администрирования через I/F 19 передачи данных или может быть рассчитан устройством 1В обработки сигналов на основе инструкции, заданной пользователем В. Далее, модуль 136 свертки может получить параметр акустической информации (импульсную характеристику) места С из сервера 3' администрирования через I/F 19 передачи данных.
Затем, как показано на фиг. 15, модуль 136 свертки записывает аудиосигнал, подвергнутый обработке сигнала, в выходной буфер каждого из выходных громкоговорителей (множество громкоговорителей 20В, формирующих акустически замкнутую поверхность 40В, окружающую пользователя В).
Модули уменьшения нелинейных искажений
Модули 137 и 139 уменьшения нелинейных искажений предусмотрены, в соответствии с необходимостью, для исключения нелинейных искажений, вызванных обратной связью, в последующей части модуля 11 усиления/ADC микрофонов и предыдущей частью модуля 23 DAC/усиления громкоговорителей, как показано на фиг. 15, соответственно, и выполнены с возможностью совместной работы. Как описано выше, в технологии 2, выполняют получение звука, снимаемого множеством микрофонов 10В, расположенных вокруг пользователя В, используя параметр акустической информации (импульсную характеристику), и звук воспроизводится множеством громкоговорителей 20В, расположенных вокруг пользователя В. В этом случае, поскольку положения микрофонов близки к положениям громкоговорителей, существует риск возникновения чрезмерных колебаний, из-за работы микрофонов и громкоговорителей. В соответствии с этим, в примере, показанном на фиг. 15, предусмотрены модули 137 и 139 уменьшения нелинейных искажений, и выполняется процесс уменьшения нелинейных искажений. Следует отметить, что для предотвращения чрезмерных колебаний, модуль 135 обработки сигналов воспроизведения звукового поля также может включать в себя модуль, устраняющий эхо-сигнал, в дополнение к модулям 137 и 139 уменьшения нелинейных искажений.
Модуль свертки матрицы
Модуль 138 свертки матрицы имеет функцию достижения упомянутой выше технологии 2 (модификация голоса пользователя В эхо-сигналом). В частности, модуль 138 свертки матрицы выполняет получение по аудиосигналу (звуку, генерируемому в акустически замкнутой поверхности 40В), полученному множеством микрофонов 10В, расположенных в месте В, для каждого выходного громкоговорителей, используя параметр акустической информации (второй параметр акустической информации; импульсную группу характеристики) в месте С. Таким образом, аудиосигнал для построения в месте В звукового поля, в котором генерируется звук в акустически замкнутой поверхности 40В в месте В, такой как голос самого/самой пользователя В, ощущается, как отражаемый эхо-сигнал в месте С.
Здесь, со ссылкой на фиг. 16А и фиг. 16В, будет описан, в частности, способ достижения технологии 2 в соответствии с настоящим вариантом выполнения. На фиг. 16А представлена схема, иллюстрирующая измерение импульсной характеристики на месте С.Как показано на фиг. 16А, во-первых, измеряют импульсную характеристику от каждого из громкоговорителей 20С к каждому из микрофонов 10C, при этом громкоговорители 20С расположены в месте С и обращены за пределы замкнутой поверхности 43, микрофоны 10C также расположены в месте С и обращены за пределы замкнутой поверхности 43.
В частности, измеряется импульсная характеристика от одиночного громкоговорителей на замкнутой поверхности 43 группы, включающей в себя множество микрофонов на той же самой замкнутой поверхности 43. С точки зрения оси частот импульсную характеристику можно также рассмотреть как передаточную функцию, на которую влияет пространственная акустика конструкции/препятствия места С.
Здесь, в примере, показанном на фиг. 16А, положения соответствующих микрофонов/громкоговорителей на замкнутой поверхности 43 представлены, как R1, R2 …, RN. Затем, как показано на фиг. 16А, измеряют соответствующие передаточные функции от громкоговорителя (SP), расположенного в R1 в микрофон, расположенный в R1, в микрофон, расположенный в R2…, и в микрофон, расположенный в RN. После этого измеряют соответствующие передаточные функции от громкоговорителя, расположенного в R2 в микрофон, расположенный в R1, в микрофон, расположенный в R2…, и в микрофон, расположенный в RN.
Затем, когда передаточная функция от громкоговорителя, расположенного в R1, в микрофон, расположенный в R1, будет представлена R11, и передаточная функция от громкоговорителя, расположенного в R1, в микрофон, расположенный в R2, будет представлена R12, матрица, в которой используется передаточная функция R, может быть выражена, как Выражение (1), показанное на фиг. 16А.
Данные матрицы накапливаются в сервере 3' администрирования и т.п., как параметр акустической информации, и используются для построения звукового поля места С в месте В. Затем, со ссылкой на фиг. 16В, будет описан случай, когда строят звуковое поле места С, используя данные матрицы в месте В.
На фиг. 16В показана схема, иллюстрирующая арифметическую операцию, используя группу импульсных характеристик, выполняемых модулем 138 свертки матрицы. В примере, показанном на фиг. 16В, предположим замкнутую поверхность на стороне места В (окружающая среда воспроизведения), замкнутая поверхность, имеющая, по существу, такой же размер и форму, как и во время измерения в месте С.Далее, предположим случай, когда количество из множества микрофонов 10В и количество из множества громкоговорителей 20В, расположенных в месте В, являются такими же, как и во время измерений в месте С, и положения их компоновки являются такими же R1, R2 …, RN, как и во время измерения в месте С.Однако, как показано на фиг. 16В, множество микрофонов 10В и множество громкоговорителей 20В обращены внутрь акустически замкнутой поверхности 40В.
Далее, как показано на фиг. 16В, выражение на основе оси частот, полученное соответствующими микрофонами в положениях R1, R2 …, RN в месте В, представлены, как V1, V2 …, VN. Далее, выходные сигналы (аудиосигналы), выводимые (воспроизводимые) из соответствующих громкоговорителей в положениях R1, R2 …, RN в месте В, представлены, как W1, W2 …, WN.
В этом случае, волновой фронт звука (голоса пользователя А или шумов), генерируемого в акустически замкнутой поверхности 40В в месте В, достигает акустически замкнутой поверхности 40В и снимается микрофонами 10В, обращенными внутрь, расположенными в положениях R1, R2 …, RN, и соответствующие микрофоны 10В снимают сигналы получения звука для V1, V2 …, VN.
Затем, модуль 138 свертки матрицы выполняет Выражение (2), показанное на фиг. 16В, используя группу сигналов (микрофонные входы) V1, V2 …, VN и матрицу (Выражение (1)) группы передаточной функции, описанной со ссылкой на фиг. 16А, и рассчитывает W1, W2 …, WN, выводимые из соответствующих громкоговорителей 20В.
Как описано выше, модуль 138 свертки матрицы выполняет обработку сигнала для аудиосигналов (V1, V2 …, VN), полученных множеством микрофонов 10В, используя параметры акустической информации (группу передаточных функций) в месте С.Далее, как показано на фиг. 15, модуль 138 свертки матрицы добавляет аудиосигналы (W1, W2 …, WN), подвергнутые процессу обработки сигнала, в выходные буферы соответствующих выходных громкоговорителей.
Добавление акустического содержания
Как показано на фиг. 15, модуль 135 обработки сигналов воспроизведения звукового поля добавляет акустическое содержание d места С, принимаемого из сервера 3' администрирования через I/F 19 передачи данных в каждый из выходных буферов соответствующих выходных громкоговорителей, и, таким образом, выполняется технология 3, описанная выше.
До настоящего момента была подробно описана конфигурация модуля 135 обработки сигналов воспроизведения звукового поля устройства 1В обработки сигналов, в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 17, будет описан, в частности, процесс воспроизведения звукового поля во время построения звукового поля места С в месте В.
4-3. Процесс воспроизведения звукового поля
На фиг. 17 показана блок-схема последовательности операций, представляющая процесс воспроизведения звукового поля, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 17, вначале, на этапе S403, модуль 16 оценки положения пользователя (см. фиг. 3) устройства 1В обработки сигналов выполняет оценку положения пользователя Б. Например, модуль 16 оценки положения пользователя может выполнять оценку относительного положения направления, положения рта и положения уха пользователя В относительно каждого из громкоговорителей 20В на основе звука, полученного из множества микрофонов 10В, снятых изображений, полученных датчиками изображения, и компоновкой громкоговорителей, сохраненной в DB 21 информации о положении громкоговорителей.
Далее, на этапе S406, модуль 13 обработки сигналов выбирает группу микрофонов/громкоговорителей, формирующую акустически замкнутую поверхность, окружающую пользователя на основе оценки относительного положения, направления, положения рта и положения уха пользователя В.
Затем, на этапе S407, модуль 135 обработки сигналов воспроизведения звукового поля модуля 13 обработки сигналов выполняет, с помощью модуля 136 свертки, процесс по технологии 1, показанный на фиг. 10, для принятого аудиосигнала b (голос пользователя, полученный в месте А). В частности, как показано на фиг. 15, модуль 136 свертки выполняет получение аудиосигнала b, принятого из устройства 1А обработки сигналов в месте А для каждого выбранного выходного громкоговорителей, используя параметр С акустической информации (первый параметр акустической информации) места С.Затем, модуль 136 свертки записывает аудиосигнал, подвергнутый процессу по технологии 1, в выходной буфер каждого выбранного выходного громкоговорителя.
Далее, на этапе S409, модуль 135 обработки сигналов воспроизведения звукового поля выполняет с помощью модуля 138 свертки матрицы процесс по технологии 2, показанный на фиг. 10 для голоса пользователя В, полученного в месте В, используя выбранную группу микрофонов. В частности, модуль 138 свертки матрицы выполняет представление аудиосигнала, принятого группой микрофонов (множество микрофонов 10В), формируя акустически замкнутую поверхность, окружающую пользователя В для каждого выходного громкоговорителей, используя параметр С акустической информации (второй параметр акустической информации) места С. Затем модуль 138 свертки матрицы добавляет аудиосигнал, подвергнутый обработке по технологии 2, в выходной буфер каждого выбранного выходного громкоговорителей.
Затем, на этапе S411, в качестве процесса по технологии 3, показанной на фиг. 10, модуль 135 обработки сигналов воспроизведения звукового поля добавляет акустическое содержание d места С в выходной буфер каждого выбранного выходного громкоговорителей.
Затем, на этапе S415, устройство 1В обработки сигналов выводит содержание каждого выходного буфера из группы громкоговорителей, выбранной на представленном выше этапе S406 через модуль 23 DAC/усиления.
Как описано выше, в акустической системе, в соответствии с настоящим вариантом осуществления, голос пользователя, полученный в месте А, подвергают передаче, используя первый параметр акустической информации, измеренный в месте С, и воспроизводят через множество громкоговорителей 20В в месте В с эхо-сигналом в месте С. Далее, голос самого/самой пользователя В, полученный в месте В, подвергают передаче, используя второй параметр акустической информации, измеренный в месте С, и воспроизводят через множество громкоговорителей 20В в месте В с эхо-сигналом в месте С. Кроме того, акустическое содержание, полученной в месте С, воспроизводят из множества громкоговорителей 20В в месте В.
Таким образом, акустическая система, в соответствии с настоящим вариантом осуществления, может обеспечивать, когда одно место (место B в данном случае) взаимодействует (обеспечивает разговор по телефону) с другим местом (местом А в данном случае), ощущение поглощения в третьем пространстве (место С в данном случае). Пользователь В может получать ощущение звукового поля, как если бы пользователь В находился в месте C с пользователем А, и может более сильно ощущать реальность.
Кроме того, модуль 135 обработки сигналов воспроизведения звукового поля может управлять аудиоизображением принятого аудиосигнала (голос пользователя А), используя группы громкоговорителей, расположенные вокруг пользователя В. Например, при формировании громкоговорителя массива (формирование луча), используя множество громкоговорителей, модуль 135 обработки сигналов воспроизведения звукового поля может реконструировать голос пользователя А в ухе пользователя В, и может реконструировать аудио изображение пользователя А за пределами акустически замкнутой поверхности, окружающей пользователя В.
Следует отметить, что постоянное исполнение этапов S403 и S406 обеспечивает для модуля 13 обработки сигналов возможность обновления группы громкоговорителей, формирующей акустически замкнутую поверхность, окружающую пользователя В, в соответствии с движением пользователя В. Далее будет представлено конкретное описание со ссылкой на фиг. 18А и фиг. 18В.
На фиг. 18А представлена схема, иллюстрирующая случай, в котором звуковое поле 42, построенное в месте В, является фиксированным. Как показано на фиг. 18А, предположим случай, в котором, вначале выбирают множество громкоговорителей 20В (этапы S403 и S406) для формирования акустически замкнутой поверхности 40, окружающей пользователя В, и строят звуковое поле 42, для предоставления для пользователя В ощущения его поглощения в месте С. В этом случае, когда пользователь В передвигается внутри комнаты или выходит из комнаты таким образом, что пользователь В перемещается за пределы акустически замкнутой поверхности 40, пользователь В не находится в звуковом поле 42, и, таким образом, пользователь В не может получить ощущение его поглощения в месте С.
В соответствии с этим, как описано выше, этапы S403 и S406 выполняются постоянно, и группу громкоговорителей, формирующую акустически замкнутую поверхность, окружающую пользователя В, обновляют в соответствии с движением пользователя В. На фиг. 18В показана схема, иллюстрирующая случай, когда звуковое поле 42, построенное в месте В, является мобильным.
Как показано на фиг. 18В, группу громкоговорителей (громкоговоритель 20В') формирующих акустически замкнутую поверхность 40', окружающую пользователя В, вновь выбирают (обновляют) в соответствии с движением пользователя В, и звуковое поле 42' вновь строят по обновленному множеству громкоговорителей 20В'.
До настоящего момента был подробно описан каждый процесс работы акустической системы в соответствии с настоящим вариантом осуществления. Далее будет описано дополнение настоящего варианта осуществления.
5. Дополнение
5-1. Модифицированный пример ввода команды
В представленном выше варианте осуществления команду вводят голосом, но способ ввода команды в акустической системе в соответствии с настоящим раскрытием не ограничен звуковым вводом и может представлять собой другой способ ввода. Например, устройство 1 обработки сигналов, в соответствии с настоящим вариантом осуществления, может детектировать операцию пользователя с каждым переключателем (который представляет собой пример части ввода операции), расположенным вокруг пользователя, и может распознавать команду, такую как запрос на начало вызова и т.п. Кроме того, в этом случае, устройство 1 обработки сигналов 1 выполнено с возможностью приема обозначения (имени и т.п. целевого пользователя), места назначения происхождения вызова и места (наименования места), в которое пользователь должен быть поглощен, используя сенсорную панель и т.п. (пример части ввода операции), расположенную рядом с пользователем.
Далее, модуль 17 распознавания устройства 1 обработки сигналов может анализировать жест пользователя на основе изображения, полученного модулем формирования изображения, расположенным рядом с пользователем, или результата детектирования, полученного тепловым датчиком IR, и может распознавать жест, как команду. Например, в случае, когда пользователь выполняет жест телефонного вызова, модуль 17 распознавания распознает этот жест, как команду запроса на начало вызова. Далее, в этом случае, устройство 1 обработки сигналов может принять место назначения (имя и т.п. целевого пользователя) для места назначения происхождения вызова и места назначения для места (наименования места), в котором пользователь должен быть поглощен из сенсорной панели и т.п., расположенной рядом с пользователем, или может определять место назначения на основе голосового анализа.
Далее, в случае, когда пользователь ощущает, что ему трудно слышать звуки при разговоре по телефону с другим пользователем, который расположен на другом месте (в случае, когда голос другого пользователя воспроизводится через множество микрофонов 10, расположенных вокруг пользователя), пользователь может передать запрос на управление звуком воспроизведением, используя жест. В частности, например, модуль 17 распознавания может распознавать жест, когда пользователь подносит открытую ладонь к уху или жест, когда пользователь подносит обе ладони близко к верхней части головы для имитации ушей кролика, в качестве команды на увеличение громкости.
Как описано выше, способ ввода команды в акустической системе, в соответствии с настоящим раскрытием, не ограничен вводом звука, и может представлять собой способ, использующий операцию переключателей или ввод жеста.
5-2. Пример другой команды
В представленном выше варианте осуществления был описан случай, где человек обозначен, как заданная цель, и запрос на происхождение вызова (запрос вызова) распознается, как команда, но команда акустической системы, в соответствии с настоящим раскрытием, не ограничена запросом на начало вызова (запросом на вызов), и может представлять собой другую команду. Например, модуль 17 распознавания устройства 1 обработки сигналов может распознавать команду, в которой место, здание, программа, музыкальная пьеса и т.п., которая была назначена, как заданная цель, реконструируется в пространстве, в котором расположен пользователь.
Далее, акустическая система в соответствии с настоящим вариантом осуществления может реконструировать, в пространстве, в котором располагается пользователь, другое пространство в режиме реального времени, или пространство, существовавшее в прошлом для обозначенного места, здания и т.п. (например, превосходный концерт, который был выполнен в прошлом в известном театре). 5-3. Преобразование большого пространства в малое пространство Здесь в описанном выше варианте осуществления предполагается случай, когда замкнутая поверхность стороны места В (среда воспроизведения) и замкнутая поверхность стороны места С (среда измерений) имеет, по существу, одинаковые размеры и форму друг с другом, но настоящий вариант осуществления не ограничен этим. Например, также в случае, когда размер замкнутой поверхности стороны воспроизведения окружающей среды меньше, чем размер замкнутой поверхности стороны измерения окружающей среды, настоящий вариант осуществления выполнен с возможностью реконструкции звукового поля (расширение пространства) для среды измерений в среде воспроизведения.
Такой процесс преобразования большого пространства в малое пространство может быть выполнен перед исполнением технологий 1 и 3, описанных выше со ссылкой на фиг. 10, для принятого аудиосигнала (аудиосигнала пользователя А или акустического содержания) в устройстве 1 обработки сигналов. Кроме того, в результате выполнения такого процесса преобразования в режиме реального времени, акустическая система, в соответствии с настоящим вариантом осуществления, может решать проблему несоответствия во взаимосвязи взаимоотношений положений громкоговорителей и микрофонов между стороной среды измерений и стороной среды воспроизведения.
В частности, например, модуль 135 обработки сигналов воспроизведения звукового поля может использовать обработку сигнала, используя передаточную функцию, раскрытую в JP 4775487 В. В JP 4775487 В передаточную функцию (измеренные данные импульсной характеристики) определяют в звуковом поле среды измерения, воспроизводят аудиосигнал, подвергнутый арифметической обработке на основе передаточной функции в среде реконструкции, и звуковое поле (реверберацию, локализацию аудиоизображения и т.п.) среды измерения реконструируют в среде реконструкции. Далее, со ссылкой на фиг. 19А - 19С будет описана обработка сигнала, используя передаточную функцию (данные измерения импульсной характеристики).
На фиг. 19А представлена схема, иллюстрирующая измерение в целевом пространстве измерения. Прежде всего, как показано на фиг. 19А, в целевом пространстве измерения (большое пространство) размещено М микрофонов, формирующих большую замкнутую поверхность Р, и выполняют измерение для М (выходной канал из М громкоговорителей"). Кроме того, положения, соответствующие М микрофонов, обозначены, как P1, Р2 …, РМ. Затем сигнал измерения выводят из каждого из громкоговорителей (SP), расположенных за пределами замкнутой поверхности Р, и измеряют импульсную характеристику каждого из громкоговорителей для каждого из микрофонов, расположенных в P1, Р2 …, РМ. Измеренная таким образом импульсная характеристика (передаточная функция) показана в Выражении (3) на фиг. 19А.
Далее, со ссылкой на фиг. 19В, будет описано измерение в безэховой камере. Как показано на фиг. 19В, в безэховой камере расположены М громкоговорителей, формирующих большую замкнутую поверхность Р, N микрофонов, формирующих малую замкнутую поверхность Q, расположены внутри замкнутой поверхности Р, и выполняют измерение для N (выходной канал из N громкоговорителей). Здесь положения, соответствующие М громкоговорителям, представлены, как P1, Р2 …, РМ, которые представляют собой те же положения, что и на из фиг. 19А. Кроме того, положения соответствующих N микрофонов обозначены, как Q1, Q2 …, QN.
Затем звук (измеренный сигнал), захваченный микрофоном, расположенным в Р1 на фиг. 19А, выводят через громкоговоритель, расположенный в Р1, и измеряют импульсную характеристику для каждого из микрофонов, расположенных в Q1, Q2 …, QN. Затем звук (сигнал измерения), полученный микрофоном, расположенным в Р2 на фиг. 19А, выводят из громкоговорителя, расположенного в Р2, и измеряют импульсную характеристику для каждого из микрофонов, расположенных в Q1, Q2 …, QN. Таким образом, измеряют все импульсные характеристики из М громкоговорителей для микрофонов, расположенных в Q1, Q2 …, QN.
Измеренные таким образом М вертикальных векторов помещают в операцию матрицы M×N, и, таким образом, преобразуют в N выходов. Таким образом, измеренные таким образом импульсные характеристики (передаточная функция) помещают в матрицу (генерируют матрицы группы передаточных функций), как показано в Выражении (4) на фиг. 19В, и, таким образом, получают преобразование из большого пространства (коэффициент для Mch) в малое пространство (коэффициент для Nch).
Затем, со ссылкой на фиг. 19С, будет описана реконструкция в целевом пространстве воспроизведения (малое пространство). Как показано на фиг. 19С, N громкоговорителей, формирующих малую замкнутую поверхность Q, окружающую пользователя В, расположены в целевом пространстве воспроизведения. Здесь положения соответствующих N громкоговорителей представлены, как Q1, Q2 …, QN, которые представляют собой те же положения, как и на фиг. 19В.
В этом случае, когда соответствующие громкоговорители, расположенные в Q1, Q2 …, QN, выводят принятые аудиосигналы (например, голос пользователя А: аудиосигнал S), выход каждого громкоговорителей определяется Выражением (5), показанным на фиг. 19С. Выражение (5) представляет собой арифметическую операцию, использующую импульсные характеристики (передаточную функцию), показанную в Выражении (3) и в Выражении (4).
Таким образом, в случае, когда аудиоизображение пользователя А локализуется за пределами замкнутой поверхности Q, например, волновой фронт в момент времени, когда оценивают голос пользователя А, расположенного за пределами замкнутой поверхности Q, пересекающий замкнутую поверхность Q, как показано на фиг. 19С, и оцениваемый волновой фронт формируется внутри замкнутой поверхности Q. В этом случае, несоответствие между количеством микрофонов в целевом пространстве измерений и количеством громкоговорителей в целевом пространстве воспроизведения преобразуется с помощью Выражения (5), и, таким образом, акустическая система, в соответствии с настоящим вариантом осуществления, может реконструировать звуковое поле большой замкнутой поверхности Р в звуковое поле малой замкнутой поверхности Q.
5-4. Построение видеоизображения
Кроме того, обеспечение ощущения поглощения третьим пространством достигается с помощью построения звукового поля (процесс воспроизведения звукового поля) в варианте осуществления, описанном выше, но акустическая система, в соответствии с настоящим раскрытием, не ограничена этим, и в ней также может использоваться построение видеоизображения.
Например, когда устройство 1 обработки сигналов принимает видеоизображение, полученное множеством датчиков изображения, расположенных в третьем пространстве (место С) из заданного сервера, и воспроизводит в месте В голос, полученный множеством микрофонов, размещенных в месте А, устройство 1 обработки сигналов может воспроизводить видеоизображение места С и может реконструировать пространство места С.
Воспроизведение видеоизображения может представлять собой проекцию пространства, используя воспроизведение голограммы, и может представлять собой воспроизведение с использованием телевидения в помещении, дисплея или дисплея, установленного на голове. Таким образом, в результате выполнения построения видеоизображения вместе с построением звукового поля, для пользователя может обеспечиваться ощущение поглощения в третьем пространстве, и он может более интенсивно ощущать реальность.
5-5. Другой пример системной конфигурации
В системной конфигурации для акустической системы, в соответствии с вариантом осуществления, описанным со ссылкой на фиг. 1 и фиг. 2, как сторона происхождения вызова (место А), рак и сторона назначения вызова (место В), имеют множество микрофонов и громкоговорителей, расположенных вокруг пользователя, и устройства 1А и 1В обработки сигналов выполняют обработку сигнала. Однако конфигурация системы для акустической системы, в соответствии с настоящим вариантом осуществления, не ограничена конфигурацией, показанной на фиг. 1 и фиг. 2, и может представлять собой конфигурацию, такую, как, например, показана на фиг. 20.
На фиг. 20 показана схема, представляющая другую конфигурацию системы для акустической системы, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 13, в акустической системе, в соответствии с настоящим вариантом осуществления, устройство 1 обработки сигналов, терминал 7 передачи данных и сервер 3 администрирования соединены друг с другом через сеть 5.
Терминал 7 передачи данных включает в себя терминал мобильного телефона или смартфона, включающий в себя нормальный одиночный микрофон и нормальный одиночный громкоговоритель, которые представляют собой традиционный интерфейс по сравнению с пространством усовершенствованного интерфейса, в соответствии с настоящим вариантом осуществления, в котором размещено множество микрофонов и множество громкоговорителей.
Устройство 1 обработки сигналов, в соответствии с настоящим вариантом осуществления, соединено с нормальным терминалом 7 передачи данных, и может воспроизводить голос, принятый из терминала 7 передачи данных, из множества громкоговорителей, расположенных вокруг пользователя. Кроме того, устройство 1 обработки сигналов, в соответствии с настоящим вариантом осуществления, может передавать голос пользователя, полученный с помощью множества микрофонов, расположенных вокруг пользователя, а терминал 7 передачи данных.
Как описано выше, в соответствии с акустической системой, в соответствии с настоящим вариантом осуществления, первый пользователь, расположенный в пространстве, в котором размещено множество микрофонов и множество громкоговорителей, рядом друг с другом, может разговаривать по телефону со вторым пользователем, который использует нормальный терминал 7 передачи данных. Таким образом, конфигурация акустической системы, в соответствии с настоящим вариантом осуществления, может представлять собой такую конфигурацию, что сторона происхождения вызова и сторона назначения вызова представляют собой пространство усовершенствованного интерфейса, в соответствии с настоящим вариантом осуществления, в котором размещено множество микрофонов и множество громкоговорителей.
5-6. Автономная акустическая система
Как описано со ссылкой на фиг. 1-3, в варианте осуществления, описанном выше, устройство 1 обработки сигналов управляет вводом и выводом множества микрофонов 10 и множеством громкоговорителей 20, расположенных вокруг пользователя, но конфигурации акустической системы, в соответствии с настоящим раскрытием, не ограничиваются этим. Например, множество автономных микрофонов и устройств громкоговорителей может быть размещено вокруг пользователя, эти устройства могут связываться друг с другом, акустически замкнутая поверхность, окружающая пользователя, может быть сформирована путем определения каждого из устройств, и, таким образом, может быть получена конструкция звукового поля, описанная выше. Ниже такая автономная акустическая система может быть описана, в частности, со ссылкой на фиг. 21-24. Следует отметить, что в автономной акустической системе, описанной здесь, будет описан случай, в качестве примера, где множество устройств 100, каждое включающее в себя один микрофон 10 и один громкоговоритель 20, размещено вокруг пользователя.
Системная конфигурация
На фиг. 21 показана схема, представляющая пример системной конфигурации для автономной акустической системы, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 21, автономная акустическая система, в соответствии с настоящим раскрытием, включает в себя множество устройств 100 (100-1 - 100-4), сервер 3 администрирования, DB 6 ID пользователя, DB 8 регистрации услуги и DB 9 индивидуального пользователя. Кроме того, как показано на фиг. 21, сервер 3 администрирования, DB 6 ID пользователя, DB 8 регистрации услуги и DB 9 индивидуального пользователя соединены друг с другом через сеть 5.
Устройство
Множество устройств 100 (100-1 - 100-4) расположены повсеместно в мире, в таких местах, как комнаты, строения, здания, места за пределам помещений, области и страны. В примере, показанном на фиг. 21, представлен случай, в котором множество устройств 100 размещены на стенах и на потолке общественного места, такого как универсальный магазин или станция. Кроме того, множество устройств 100 (100-1 - 100-4) могут связываться друг с другом по проводам или по радио, и отчитываются друг перед другом о своих возможностях. Кроме того, по меньшей мере, одно устройство 100 (например, устройство 100-1) из множества устройств 100 (100-1 - 100-4) являются доступными для сети 5. Дополнительно, каждое устройство 100 включает в себя микрофон 10 и громкоговоритель 20. Следует отметить, что конфигурация устройства, в соответствии с настоящим вариантом осуществления будет описана ниже со ссылкой на фиг. 22. Отчет об информации
Как описано выше, множество устройств 100 (100-1 - 100-4) отчитываются друг перед другом о своих их возможностях (информация о характеристиках). Информация о характеристиках, которая должна быть представлена в отчете, включает в себя ID устройства, услугу, которую устройство может предоставлять, ID владельца устройства, атрибут предоставления устройства и т.п. Здесь ID владельца представляет ID владельца (человека, который установил), устройства 100, и считается, что каждое из устройств 100 (100-1 - 100-4), показанных на фиг. 21, установлены индивидуумом или корпорацией. Кроме того, атрибут предоставления устройства представляет информацию, обозначающую атрибут услуги, в соответствии с которой кредитование (использования) заранее разрешено индивидуумом или корпорацией, которая установила устройство.
Кроме того, отчетность предоставления информации выполняется автономно и распределено, либо регулярно, или по запросу. Кроме того, в способе предоставления отчетов с информацией, в соответствии с настоящим вариантом осуществления, может использоваться процедура, общеизвестная, как способ построения ячеистой сети (использование радиомаяка в IEEE802.11s).
Далее, устройство 100 также может включать в себя множество типов I/F передачи данных. В этом случае каждое устройство 100 регулярно проверяет, какой из I/F передачи данных может связываться и с каким устройством, и I/F передачи данных, который позволяет непосредственно связываться с наибольшим количеством устройств, активируется с высоким приоритетом.
Далее, каждое устройство 100 может направлять информацию, которая была передана в виде отчета из устройства рядом с устройством, расположенным через несколько транзитных участков сети передачи данных от него, используя беспроводный I/F, или может передавать информацию в другое устройство через сеть 5.
Сервер администрирования
Как описано со ссылкой на фиг. 2 и фиг. 5, сервер 3 администрирования администрирует абсолютным положением (текущим положением) каждого пользователя. В качестве альтернативы, сервер 3 администрирования также может представлять собой сервер 3' администрирования, который накапливает параметр акустической информации в третьем пространстве, и т.п., как описано со ссылкой на фиг. 11.
DB регистрации услуги
DB 8 регистрации услуги представляет собой модуль сохранения, в котором содержится содержание услуги, устройство 100, которое способствовало предоставлению услуги, и пользователь, который предоставляет услугу, в ассоциации друг с другом. Таким образом, следующее может быть определено, используя DB 8 регистрации услуги: какое устройство используется для какого типа предоставления услуг, какую услугу предоставляют и какому пользователю, и т.п.
Далее, журнал регистрации услуги, сохраняемый в DB 8 регистрации услуги, может использоваться в дальнейшем, как информация о начислении счетов для пользователя, который использовал услугу, или может использоваться, как информация об оплате за услугу человеку (индивидууму/корпорации), который установил устройство 100, связанное с предоставлением услуг. Здесь информация об оплате представляет собой информацию, используемую, когда предоставление владельцу устройства 100 (человек, который установил) части счета за использование в зависимости от степени (частоты) вклада и т.п. для предоставления услуг устройства 100. Кроме того, журнал регистрации услуги, сохраняемый в DB 8 регистрации услуги, может быть передан в DB 9 индивидуального пользователя, как метаданные действия пользователя.
DB отдельного пользователя
DB 9 отдельного пользователя содержит метаданные действий пользователя, переданные из DB 8 журнала регистрации услуги, как данные, содержащиеся пользователем. Данные, содержащиеся в DB 9 отдельного пользователя, могут использоваться в разных индивидуализированных услугах и т.п.
DB ID пользователя
DB 6 ID пользователя представляет собой модуль сохранения, который содержит зарегистрированный ID пользователя (имя, идентификационный номер или биологическая информация) и услугу, предоставление которой разрешается для пользователя, в ассоциации друг с другом. DB 6 ID пользователя используется, когда устройство 100 выполняет аутентификацию пользователя.
До этого момента системная конфигурация автономной акустической системы, в соответствии с настоящим вариантом осуществления была описана со ссылкой на фиг. 21. Впоследствии, со ссылкой на фиг. 22, будет описана конфигурация устройства 100 (устройство обработки сигналов), в соответствии с настоящим вариантом осуществления.
Конфигурация устройства
На фиг. 22 показана блок-схема, представляющая конфигурацию устройства 100, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 22, устройство 100 включает в себя микрофон 10, модуль 11 усиления/ADC, модуль 200 обработки сигналов, модуль 17 распознавания, модуль 18 идентификации, I/F 19 передачи данных, модуль 25 аутентификации пользователя, модуль 16 оценки положения пользователя, модуль 23 DAC/усиления и громкоговоритель 20. Поскольку описание микрофона 10, модуля 11 усиления/ADC, модуля 17 распознавания, модуля 18 идентификации, I/F 19 передачи данных, модуля 16 оценки положения пользователя, модуля 23 DAC/усиления и громкоговорителей 20 было представлено со ссылкой на фиг. 3, их описание здесь будет исключено.
Модуль обработки сигналов
Модуль 200 обработки сигналов включает в себя модуль 210 обработки с высоким S/N и модуль 220 обработки сигналов воспроизведения звукового поля. Таким же образом, как модуль 133 обработки с высоким S/N показанный на фиг. 3, модуль 210 обработки с высоким S/N имеет функцию обработки аудиосигнала, выводимого из модуля 11 усиления/ADC, для формирования монофонического сигнала, имеющего высокую артикуляцию и высокое отношение S/N. В частности, модуль 210 обработки с высоким S/N выполняет разделение источника звука, и выполняет дереверберацию и снижение уровня шума. Аудиосигнал, обработанный модулем 210 обработки с высоким S/N, выводят в модуль 17 распознавания и подвергают анализу голоса для распознавания команды, и передают во внешнее устройство через I/F 19 передачи данных.
Модуль 220 обработки сигналов воспроизведения звукового поля выполняет обработку сигналов для аудиосигнала, воспроизводимого громкоговорителем 20, и выполняет такое управление, что звуковое поле располагается рядом с положением пользователя. Кроме того, модуль 220 обработки сигналов воспроизведения звукового поля взаимодействует с другим соседним устройством 100, и управляет содержанием (аудиосигналом), выводимым из громкоговорителей 20, для формирования акустически замкнутой поверхности, окружающей пользователя.
Модуль аутентификации пользователя
Модуль 25 аутентификации пользователя выполняет аутентификацию пользователя путем передачи запроса DB 6 ID пользователя по сети 5 через I/F 19 передачи данных на основе ID пользователя, полученного по метке, такой как RFID, обрабатываемой пользователем. Например, в случае, когда полученный ID пользователя соответствует ID, заранее зарегистрированному в DB 6 ID пользователя, модуль 25 аутентификации пользователя аутентифицирует пользователя, как пользователя, которому разрешено предоставление услуги.
До настоящего момента была подробно описана конфигурация устройства 100, в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 23, будет описана обработка операции автономной акустической системы, в соответствии с настоящим вариантом осуществления.
Процесс операции
На фиг. 23 показана блок-схема последовательности операций, представляющая процесс операции автономной акустической системы, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 23, вначале, на этапе S503, устройство 100 выполняет процесс предварительной подготовки. В частности, устройство 100 и другое устройство 100 отчитывается об упомянутой выше информации характеристики друг с другом, и устройство 100 подтверждают устройство, которое может взаимодействовать с устройством 100 (которое заслуживает доверия).
Например, устройство 100-1 может подтвердить, заслуживает ли соседнее устройство 100-2 доверия на основе ГО владельца, предоставление атрибута и т.п., включенного в информацию о характеристике, принятую из соседнего устройства 100-2. Устройства, которые подтвердили, что они заслуживают доверия друг с другом, включают свои исполнительные элементы и захватывают результаты вывода, например, с помощью датчиков соседних устройств. Таким образом, устройства могут определять, какого рода взаимодействие может быть выполнено, путем комбинирования характеристик устройств. Такая процедура подтверждения может выполняться регулярно. Далее, в ходе процедуры подтверждения, каждое устройство 100 выполнено с возможностью свободного определения, какой сорт услуги может быть предоставлен в пространстве, в котором размещено множество соседних устройств 100 (100-1 - 100-4).
Далее, на этапе S506, в случае, когда пользователь входит в пространство, в котором размещено множество устройств 100 (100-1 - 100-4), устройства 100 выполняют аутентификацию пользователя. Например, как показано на фиг. 21, в случае, когда пользователь обрабатывает метку 60, такую как RFTD, устройства 100-1 - 100-4, размещенные рядом, могут принимать информацию характеристики, передаваемую из метки 60 и, могут детектировать вход пользователя. Затем, при детектировании входа пользователя, каждое устройство 100 аутентифицирует, является ли пользователь пользователем, которому может быть предоставлена услуга, путем передачи запроса в DB 6 ID пользователя в сети 5, на основе ID пользователя, включенного в информацию характеристики, переданную из метки 60.
Следует отметить, что, в случае, когда пользователь не содержит метку 60, устройства 100-1 - 100-4 могут детектировать вход пользователя, используя датчики (микрофон, камера, датчик человека, тепловой датчик и т.п.). Кроме того, устройства 100-1 - 100-4 могут выделять ID (биологическую информацию и т.п.) пользователя, путем анализа результатов детектирования датчиков.
Далее, в примере, показанном на фиг. 21, устройство 100-1 среди устройств 100-1 - 100-4 содержит маршрут доступа в DB 6 ID пользователя. В этом случае, аутентификация пользователя может быть выполнена следующим образом: устройство 100-2, 100-3, или 100-4, которое получило ID пользователя, передает ID пользователя в устройство 100-1, и устройство 100-1 передает запрос в DB 6 ID пользователя. Таким образом, нет необходимости, чтобы каждое из всего множества устройств 100-1 - 100-4 содержало доступ к DB 6 ID пользователя.
Далее, результат аутентификации пользователя, выполняемой одним устройством 100 среди устройств 100-1 - 100-4, делают доступным между другими устройствами 100, расположенными поблизости, и устройства 100-1 - 100-4 могут усвоить, что услуга может быть предоставлена пользователю.
Далее, на этапе S509, устройство 100 распознает команду (запрос на услугу) от пользователя. Здесь устройство 100 может уведомлять метку 60, представляя информацию об услугах, которые могут быть предоставлены аутентифицированному пользователю. Метка 60 может уведомлять пользователя о том, какой род услуги может быть принят в данном месте, используя средство вывода (не показано), такое как громкоговоритель или модуль дисплея. Далее метка 60 также устанавливает услугу, которую пользователь в настоящее время желает получить из ввода команд пользователя (через микрофон, гироскоп, прикосновение к ключу и т.п.), и уведомляет устройства 100-1 - 100-4, расположенные рядом с услугой.
Следует отметить, что, в случае, когда пользователь не содержит метку 60, устройства 100-1 - 100-4 могут анализировать голос или жест пользователя, использующего датчики (микрофон, камеру, датчик человека, тепловой датчик и т.п.), и могут распознавать услугу, которая требуется пользователю.
Команда, распознаваемая устройством 100 здесь, может представлять собой, в дополнение к упомянутому выше запросу на происхождение вызова (запроса вызова), команду, которая запрашивает реконструкцию места, здания, программы, музыкальной пьесы и т.п., которая была обозначена, как заданная цель.
Затем, на этапе S512, в случае, когда запрашиваемая услуга представляет собой услугу, разрешенную для пользователя, устройства 100-1 - 100-4 начинают предоставлять услугу. В частности, например, устройства 100-1 - 100-4 начинают работу датчика (например, микрофона 10) и исполнительного устройства (например, громкоговорителей 20), и обеспечивают рабочее состояние каналов передачи данных между устройствами. Кроме того, устройства 100-1 - 100-4 могут взаимодействовать друг с другом и определять свои собственные операции на основе типа услуги, которая должна быть предоставлена, и количества доступных ресурсов передачи данных.
Далее, в случае, когда устройство 100 имеет множество типов I/F передачи данных, I/F передачи данных, используемый для передачи трафика, может работать в соответствии с необходимостью на основе количества информации, которая должна быть предоставлена. Кроме того, устройство 100 может увеличивать рабочий цикл операции, в соответствии с необходимостью, и режим экономии электроэнергии может быть частично отменен. Кроме того, устройство 100 может устанавливать каждый второй период времени приема/передачи, используемый для передачи данных, с тем, чтобы, таким образом, перейти в состояние, в котором полоса может стабильно представляться (начало доступа резервирования в IEEE802.11s).
Затем, на этапе S515, в случае, когда окончание услуги обозначается пользователем, устройство 100 заканчивает предоставление услуги. В частности, например, устройство 100 заканчивает операции датчика (например, микрофона 10) и элемента привода (например, громкоговорителей 20), и переводит каналы передачи данных между устройствами в состояния остановки.
Затем, на этапе S518, устройство 100 уведомляет DB 8 регистрации услуги о содержание, получению которого способствовало устройство 100 при последнем предоставлении услуги. Затем устройство 100 может также уведомлять DB 8 регистрации услуги, предоставляя информацию о пользователе (аутентифицированном пользователе), для которого была предоставлена услуга.
До настоящего момента процесс операции автономной акустической системы, в соответствии с настоящим вариантом осуществления, был описан, в частности, со ссылкой на фиг. 23. Ниже будет представлено дополнительное описание автономной акустической системы, в соответствии с настоящим вариантом осуществления.
Продолжение услуги
Автономная акустическая система, в соответствии с настоящим вариантом осуществления, может непрерывно предоставлять для пользователя услугу, даже в случае, когда аутентифицированный пользователь переходит и перемещается в другое место, путем изменения устройства 100, которое предусматривает для пользователя услугу (работающее устройство 100). Такой процесс изменения выполняется на основе интенсивности радиоволны из метки 60, которая принадлежит пользователю, и по входным сигналам от датчиков (микрофон, камера, датчик человека и т.п.), которые принадлежат, например, каждому устройству. Ниже будет представлено описание со ссылкой на фиг. 24.
На фиг. 24 показана схема, иллюстрирующая изменение рабочих устройств, в соответствии с движением пользователя, в автономной акустической системе, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 24, здесь предположим случай, когда пользователь перемещается от устройства 100-1 и устройства 100-2, которые работают, для предоставления услуги для пользователя, и приближается близко к устройствам 100-5 и 100-6, которые не выполняют операцию по предоставлению услуги.
В этом случае, устройства 100-5 и 100-6 детектируют, что пользователь приблизился, на основе интенсивности радиоволны от метки 60, принадлежащей пользователю, или по входным сигналам от датчиков, включенных в устройства 100-5 и 100-6. Затем устройства 100-5 и 100-6 принимают ID пользователя и информацию об услуге, которая может быть предоставлена пользователю, из устройства 100-2 и т.п., которое размещено рядом.
Затем устройства 100-5 и 100-6 начинают предоставление услуги пользователю на основе принятой информации. С другой стороны, устройства 100-1 и 100-2, которые выполняли предоставление услуги, заканчивают предоставление услуги, при определении, что пользователь выходит за пределы области, в которой датчики и исполнительные элементы устройств 100-1 и 100-2 могут предоставлять услугу, и заканчивают операцию устройств и канала передачи данных.
Таким образом, если пользователь движется при приеме предоставляемой услуги, устройство 100, расположенное рядом с местом назначения, может перенимать на себя ID пользователя и содержание услуги, и может непрерывно предоставлять для пользователя эту услугу.
Маршрут доступа к сети 5
В автономной акустической системе, в соответствии с настоящим вариантом осуществления, описанной со ссылкой на фиг. 21, по меньшей мере, одно устройство 100 (здесь устройство 100-1) среди устройств 100-1 - 100-4 имеет маршрут доступа к сети 5. Однако конфигурация автономной акустической системы, в соответствии с настоящим раскрытием, не ограничена примером, показанным на фиг. 21, и в ней может возникать случай, когда устройства 100-1 - 100-4 находятся в замкнутой сети и не имеют маршрута доступа наружу (сеть 5).
В таком случае устройства 100-1 - 100-4 могут использовать метку 60, принадлежащую пользователю, например, в качестве шлюза доступа наружу. Таким образом, в состоянии, в котором устройства 100-1 - 100-4 предоставляют в виде отчетов друг другу определенную информацию, в момент времени, в который возникает метка 60, устройства 100-1 - 100-4 передают запрос в DB 6 ID пользователя по сети 5 через метку 60 и выполняют аутентификацию пользователя.
Предоставление услуги для множества пользователей
Далее, со ссылкой на фиг. 25, будет описано предоставление услуги в случае, когда множество пользователей входит в пространство, в котором размещены устройства 100-1 - 100-4.
На фиг. 25 представлена схема, иллюстрирующая случай, в котором услуга предоставляется для множества пользователей в автономной акустической системе, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 25, в случае, когда множество пользователей попадает в пространство, в котором размещены устройства 100-1 - 100-4, и каждый выполняет запрос на обслуживание, каждое из устройств 100-1 - 100-4 предоставляет множество услуг.
В этом случае, хотя операции устройств 100-1 - 100-4 в отношении каждого пользователя являются такими, как описано со ссылкой на фиг. 21-24, метка 65 принадлежащая пользователю 2, рассматривается, как одно из устройств, размещенных рядом с меткой 60, принадлежащей пользователю 1. Кроме того, метка 60, принадлежащая пользователю 1, также рассматривается, как одно из устройств, расположенных рядом с меткой 65, принадлежащей пользователю 2.
В соответствии с этим, устройства 100-1 - 100-4 выполняют передачу отчетов о характеристической информации также с меткой 60 или меткой 65, и подтверждают, заслуживает ли устройство доверия. Таким образом, характеристики метки 60 или метки 65 могут использоваться для предоставления услуги.
Например, в случае, когда устройства 100-1 - 100-4 находятся в замкнутой сети, устройства 100-1 - 100-4 определяют, что метка 65 содержит маршрут доступа к внешней сети 5, из отчетности, содержащей характеристическую информацию с меткой 65. Затем, при предоставлении услуги для пользователя 1, которому принадлежит метка 60, устройства 100-1 - 100-4 используют метку 65, принадлежащую пользователю 2, как одно из устройств, и, таким образом, иметь возможность соединять с внешней сетью 5.
Таким образом, без ограничений устройствами 100-1 - 100-4, расположенными вокруг пользователя 1, но также метка 65, принадлежащая пользователю 2, расположенная рядом, можно обеспечить для пользователя 1, которому принадлежит метка 60, доступ к внешней сети.
Следует отметить, что, в таком случае, содержание услуги, предоставляемой меткой 65, может быть записано в DB 8 регистрации услуги, и может использоваться при последующем выполнении для пользователя 2, которому принадлежит метка 65, расчета за услугу на основе того факта, что она подтверждается предоставлением услуги для пользователя 1.
6. Заключение
Как описано выше, в акустической системе, в соответствии с настоящим вариантом осуществления, становится возможным предоставить ощущение поглощения в третьем пространстве во время обеспечения взаимодействия пространства, окружающего пользователя, с другим пространством. В частности, акустическая система, в соответствии с настоящим вариантом осуществления, может воспроизводить голос и изображение, в соответствии первой заданной целью (человек, место, здание и т.п.), используя множество громкоговорителей и дисплеев, расположенных вокруг пользователя. Кроме того, в этом случае, акустическая система, в соответствии с настоящим вариантом осуществления, может воспроизводить пространство второй заданной цели (место и т.п.), и может предоставить ощущение поглощения второй заданной целью и окружающей средой. Таким образом, используя микрофоны 10, громкоговорители 20, датчики изображения и т.п., расположенные повсеместно, в местах внутри помещения и в местах снаружи помещения, становится возможным, по существу, увеличить на большую область тело, такое как рот, глаза, уши пользователя, и получить новый способ передачи данных.
Кроме того, поскольку микрофоны и датчики изображения размещены повсеместно в акустической системе, в соответствии с настоящим вариантом осуществления, пользователю не требуется носить с собой смартфон или терминал мобильного телефона. Пользователь устанавливает заданную цель, используя голос или жест, и может устанавливать соединение с пространством, окружающим заданную цель.
Далее может быть получена конфигурация, акустической системы, для достижения такого нового способа передачи данных с помощью устройства обработки сигналов, которое управляет множеством микрофонов и множеством громкоговорителей. Кроме того, акустическая система, в соответствии с настоящим вариантом осуществления, может быть получена следующим образом: устройства, такие как каждый автономный микрофон и каждый автономный громкоговоритель, взаимодействуют с другим соседним устройством.
Предпочтительные варианты воплощения настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время, как настоящее изобретение, конечно, не ограничено представленными выше примерами. Специалист в данной области техники может найти различные изменения и модификации в пределах объема приложенной формулы изобретения, и следует понимать, что они, естественно, попадают в пределы технического объема настоящего изобретения.
Например, конфигурация устройства 1 обработки сигналов не ограничена конфигурацией, показанной на фиг. 3, и может использоваться конфигурация, в соответствии с которой модуль 17 распознавания и модуль 18 идентификации, показанные на фиг. 3, не представлены в устройстве 1 обработки сигналов, но были предоставлены на стороне сервера, который соединен с нею через сеть. В этом случае, устройство 1 обработки сигналов передает аудиосигнал, выводимый из модуля 13 обработки сигналов, в сервер через I/F 19 передачи данных. Далее сервер выполняет распознавание команды и обработку по идентификации заданной цели (человек, место, здание, программа, музыкальная пьеса и т.п.) на основе принятого аудиосигнала, и передает результаты распознавания и информацию о месте назначения доступа, соответствующую идентифицированной заданной цели, в устройство 1 обработки сигналов.
Кроме того, настоящая технология также может быть выполнена, как представлено ниже.
(1) Система обработки информации, включающая в себя:
модуль распознавания, выполненный с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых множеством датчиков, размещенных вокруг конкретного пользователя;
модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания;
модуль оценки, выполненный с возможностью оценивать положение конкретного пользователя в соответствии с сигналом, детектируемым любым одним из множества датчиков; и
модуль обработки сигналов, выполненный с возможностью обработки каждого из сигналов, полученных из датчиков вокруг первой цели и второй цели, идентифицированной модулем идентификации таким образом, что при его выводе из множества исполнительных элементов, расположенных вокруг конкретного пользователя, сигналы локализуются рядом с положением конкретного пользователя, в соответствии с оценкой, полученной модулем оценки.
(2) Система обработки информации по (1),
в которой первая цель представляет собой заданного человека, и вторая цель представляет собой заданное место, и
в которой модуль обработки сигналов обрабатывает сигналы, полученные датчиками вокруг заданного человека, и сигналы, полученные датчиками вокруг заданного места.
(3) Система обработки информации по (1),
в которой первая цель представляет собой заданного человека, и вторая цель представляет собой заданное место, и
в которой модуль обработки сигналов обрабатывает сигналы, полученные в режиме реального времени с помощью датчиков вокруг данного человека, и сигналы, которые были получены заранее датчиками вокруг заданного места и которые были сохранены.
(4) Система обработки информации по любому одному из (1)-(3),
в которой датчики вокруг первой цели и датчики вокруг второй цели расположены распределенно в удаленных местах.
(5) Система обработки информации по любому одному из (1)-(4),
в которой множество датчиков, расположенных вокруг конкретного пользователя, представляют собой микрофоны, и
в которой модуль распознавания распознает первую цель и вторую цель на основе аудиосигналов, детектированных микрофонами.
(6) Система обработки информации по любому одному из (1)-(4),
в которой множество датчиков, расположенных вокруг конкретного пользователя, представляют собой датчики изображения, и
в которой модуль распознавания распознает первую цель и вторую цель на основе снятых изображений, полученных датчиками изображения.
(7) Система обработки информации по любому одному из (1)-(6),
в которой датчики вокруг первой цели отличаются от датчиков вокруг второй цели.
(8) Система обработки информации по любому одному из (1)-(7),
в которой модуль обработки сигналов выполняет обработку модификации сигналов, получаемых датчиками вокруг первой цели на основе характеристики параметра, соответствующего второй цели, и выполняют добавление к сигналам, полученным датчиками вокруг второй цели.
(9) Система обработки информации по любому одному из (1)-(8),
в которой модуль обработки сигналов обрабатывает каждый из сигналов, полученных из датчиков вокруг первой цели и второй цели таким образом, что каждый из сигналов локализуется рядом с органом чувств конкретного пользователя.
(10) Система обработки информации по любому одному из (1)-(9),
в которой датчики вокруг первой цели и второй цели представляют собой микрофоны,
в которой множество исполнительных элементов, расположенных вокруг конкретного пользователя, представляют собой множество громкоговорителей, и
в котором модуль обработки сигналов обрабатывает соответствующие аудиосигналы, полученные с помощью микрофонов вокруг первой цели и второй цели таким образом, что звуковое поле формируется рядом с положением конкретного пользователя при выводе из множества громкоговорителей, на основе соответствующих положений множества громкоговорителей и оценки положения пользователя.
(11) Система обработки информации по (10),
в которой модуль оценки постоянно выполняет оценку положения конкретного пользователя, и
в которой модуль обработки сигналов обрабатывает соответствующие аудиосигналы таким образом, что звуковое поле формируется рядом с положением конкретного пользователя в соответствии с изменением положения конкретного пользователя.
(12) Система обработки информации, включающая в себя:
модуль распознавания, выполненный с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых датчиками вокруг конкретного пользователя;
модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания; и
модуль обработки сигналов, выполненный с возможностью генерирования сигналов, которые должны быть выведены из исполнительных элементов вокруг конкретного пользователя на основе сигналов, полученных множеством датчиков, расположенных вокруг первой цели и второй цели, идентифицированной модулем идентификации.
(13) Система обработки информации по (12),
в которой первая цель представляет заданного человека, и вторая цель представляет собой заданное место, и
в которой модуль обработки сигналов обрабатывает сигналы, полученные множеством датчиков, расположенных вокруг заданного человека, и сигналы, полученные множеством датчиков, расположенных вокруг заданного места.
(14) Система обработки информации по (12),
в которой первая цель представляет собой заданного человека, и вторая цель представляет собой заданное место,
в которой модуль обработки сигналов выполняет обработку сигналов, полученных в режиме реального времени множеством датчиков, расположенных вокруг заданного человека, и сигналов, которые были получены заранее датчиками вокруг заданного места и были сохранены.
(15) Носитель информации, на котором сохранена программа, программа, предназначенная для обеспечения выполнения компьютером функции:
модуля распознавания, выполненного с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых множеством датчиков, расположенных вокруг конкретного пользователя;
модуль идентификации, выполненный с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания;
модуля оценки, выполненного с возможностью оценки положения конкретного пользователя в соответствии с сигналом, детектируемым любым одним из множества датчиков; и
модуля обработки сигналов, выполненного с возможностью обработки каждого из сигналов, полученных из датчиков вокруг первой цели и второй цели, идентифицированной модулем идентификации таким образом, что при выводе из множества исполнительных элементов, расположенных вокруг конкретного пользователя, сигналы локализуются рядом с положением конкретного пользователя, оценка которого выполняется модулем оценки.
(16) Носитель информации, на котором сохранена программа, программа, предназначенная для обеспечения выполнения компьютером функции:
модуля распознавания, выполненной с возможностью распознавания первой цели и второй цели на основе сигналов, детектируемых датчиками вокруг определенного пользователя;
модуля идентификации, выполненного с возможностью идентификации первой цели и второй цели, распознанной модулем распознавания; и
модуля обработки сигналов, выполненного с возможностью генерирования сигналов для вывода из исполнительных элементов вокруг конкретного пользователя на основе сигналов, полученных множеством датчиков, расположенных вокруг первой цели и второй цели, идентифицированной модулем идентификации.
Список номеров ссылочных позиций
1, 1А, 1В устройство обработки сигналов
3, 3' сервер администрирования
5 сеть
6 DB ID пользователя
7 терминал передачи данных
8 DB регистрации услуги
9 DB индивидуального пользователя
10, 10А, 10В, 10C микрофон
11 модуль усиления/аналого-цифрового преобразователя (ADC)
13, 200 модуль обработки сигналов
15 база данных (DB) информации положения микрофона
16 модуль оценки положения пользователя
17 модуль распознавания
18 модуль идентификации
19 интерфейс (I/F) передачи данных
20, 20А, 20В, 20С громкоговоритель
23 модуль цифро-аналогового преобразователя (DAC) / усиления
25 модуль аутентификации пользователя
32 модуль администрирования
33, 34 модуль поиска
35 DB информации о положении пользователя
36 DB параметра акустической информации
37 DB акустического содержания
40, 40-1, 40-2, 40-3 акустически замкнутая поверхность
42 звуковое поле
43, 43-1, 43-2, 43-3 замкнутая поверхность
60, 65 метка
100, 100-1 - 100-4 устройство
131 модуль обработки массива микрофонов
133, 210 модуль обработки с высоким S/N
135, 220 модуль обработки сигналов воспроизведения звукового поля
136 модуль свертки
137, 139 модуль уменьшения нелинейных искажений
138 модуль свертки матрицы.