УМНАЯ КОЛОНКА С ВОЗМОЖНОСТЬЮ ЗВУКОВОГО ВОСПРОИЗВЕДЕНИЯ АУДИОКОНТЕНТА И ФУНКЦИЕЙ УПРАВЛЕНИЯ ВОСПРОИЗВОДИМЫМ АУДИОКОНТЕНТОМ
SMART SPEAKER WITH AUDIO REPLAYING AUDIO CONTENT AND CONTROL FUNCTION OF REPLAYING AUDIO CONTENT

Область техники
Настоящее изобретение относится к мультимедийному оборудованию, а более точно – к умной колонке с возможностью звукового воспроизведения аудиоконтента и функцией управления воспроизводимым аудиоконтентом, одной из функций которой является возможность звукового воспроизведения аудиоконтента пользователем.
Умная колонка также может быть использована для выполнения команд пользователя, например, самостоятельно создавать или проигрывать музыкальные произведения, включить музыку, подключаться к телевизору, отвечать на вопросы и ставить напоминания, играть в игры, управлять умным домом и другими умными устройствами звукового воспроизведения аудиоконтента.
Описание предшествующего уровня техники
В настоящее время активно ведется разработка мультимедиа–платформ, таких как умные колонки. Такие устройства относятся к классу интеллектуальной техники и представляют собой колонку со встроенными центральным процессором, подключенным к сети Интернет, микрофоном, видеокамерой и другими электронными элементами, представляющими собой устройства, выполняющие отдельные определенные функции, посредством подачи голосовых команд пользователем. В умной колонке используется виртуальный голосовой помощник с элементами искусственного интеллекта. Одним из представителей таких устройств является аппаратный продукт «Яндекс.Станция» компании «Яндекс». «Яндекс.Станция» (умная колонка) стала очень популярной среди потребителей, и поэтому постоянно ведется разработка улучшенных новых версий этого продукта для расширения функциональных возможностей, которыми может пользоваться потребитель. Известная умная колонка со встроенным голосовым помощником может проигрывать любимую музыку, но используя умную колонку, пользователь не имеет возможности самостоятельно создавать или проигрывать музыкальные произведения.
Из уровня техники (см., например, US 9123316 B2, дата публикации 01.09.2015) известна аудио/видео система, которая позволяет пользователю создавать музыку с помощью движений, без специальных знаний о том, как писать музыку. Указанная известная аудио/видео система воспроизводит базовую звуковую дорожку, такую как часть предварительно записанной песни или ноты для одного или нескольких инструментов. Когда, система автоматически обнаруживает, что пользователь попадает в один из множества заранее заданных объемов пространства, система автоматически воспроизводит звуковой файл, соответствующий этому объему пространства. Недостатками известной системы является то, что используемые объемы пространства не могут быть ассоциированы с музыкальными интервалами, которые можно разбить на более мелкие интервалы, соответствующие тонам/полутонам, поскольку эти объемы пространства не расположены строго последовательно и не являются смежными друг с другом; кроме того, известная система является громоздкой и ее невозможно использовать или встроить в такое компактное и многофункциональное устройство, как умная колонка.
Сущность изобретения
В основу настоящего изобретения поставлена задача создания умной колонки с возможностью звукового воспроизведения аудиоконтента и функцией управления воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта, которая является компактной так, что ее можно разместить на полке в жилом помещении, а также расширении функциональных возможностей умной колонки.
В основу настоящего изобретения поставлена также задача создания способа работы умной колонки с возможностью звукового воспроизведения аудиоконтента и управления воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта.
Поставленная задача решена путем создания умной колонки с возможностью звукового воспроизведения аудиоконтента и функцией управления воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта, содержащей установленные в корпусе умной колонки: TOF–сенсор, сконфигурированный для определения и выдачи расстояния до объекта, находящегося в зоне обнаружения TOF–сенсора, причем зона обнаружения TOF–сенсора виртуально разделена на множество последовательно расположенных вдоль оси излучения TOF–сенсора и смежных друг с другом областей, причем каждая область соответствует диапазону расстояний от TOF–сенсора, блок памяти, содержащий аудиоконтент, процессор, сконфигурированный для обработки сигналов от TOF–сенсора, причем обработка включает в себя: определение, на основании расстояния до объекта, области в зоне обнаружения TOF–сенсора, в которой находится объект; извлечение из блока памяти аудиоконтента, соответствующего области, в которой обнаружен объект; и блок воспроизведения аудиоконтента, сконфигурированный для воспроизведения, по сигналу управления от процессора, аудиоконтента, соответствующего области, которая определена в зоне обнаружения.
Предпочтительно TOF–сенсор содержит излучатель и приемник, причем излучатель выполнен с возможностью обеспечения излучения в зоне обнаружения TOF–сенсора, а приемник выполнен с возможностью приема излучения, отраженного от объекта в зоне обнаружения TOF–сенсора.
Предпочтительно в качестве излучателя использован импульсный инфракрасный лазер. Причем с импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 10–100 импульсов в секунду или импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 30 импульсов в секунду.
Предпочтительно излучатель сконфигурирован с возможностью генерирования излучения конической формы, причем значение угла при вершине конуса составляет 20–30 град. угловых.
Причем TOF–сенсор установлен под верхней крышкой корпуса умной колонки под одним или несколькими отверстиями, выполненными в верхней крышке. Или TOF–сенсор установлен за одним или несколькими отверстиями, выполненными в боковой стенке умной колонки.
Предпочтительно умная колонка дополнительно содержит линзу, установленную в одном или нескольких отверстиях в крышке корпуса между TOF–сенсором и крышкой. Указанная линза обеспечивает дополнительное рассеивание излучения в 1–5 град. угловых. Причем в качестве объекта служит часть тела пользователя, включая руку, ногу, голову или предмет в руке пользователя.
Предпочтительно в качестве блока памяти использовано постоянное запоминающее устройство. Или в качестве блока памяти может быть использовано оперативное запоминающее устройство. Причем аудиоконтент может быть выбран из по меньшей мере одной ноты, МР3 файлов, аудиофайлов иных форматов или набора звуков. Причем аудиоконтент содержит звук, выбранный из пентатонического звукоряда или гексатонического звукоряда. Причем аудиоконтент содержит звук, синтезированный по заранее заданным параметрам.
Предпочтительно рабочее расстояние TOF–сенсора, определяющее зону обнаружения TOF–сенсора и измеряемое от TOF–сенсора до границы зоны обнаружения TOF–сенсора, задается в зависимости от мощности источника излучения и величины помех в отраженном излучении и составляет, предпочтительно от 60 до 150 см. Причем между корпусом и TOF–сенсором размещена линза для защиты от внешней среды.
Предпочтительно процессор дополнительно сконфигурирован с возможностью: во время входа объекта в зону обнаружения TOF–сенсора выполнения ряда измерений расстояния от TOF–сенсора до объекта с получением ряда значений расстояний, и для каждого значения расстояния из ряда значений расстояния определение соответствующей этому значению области из упомянутого множества областей с получением ряда определенных областей–кандидатов, определение наиболее часто встречающейся области (статистической моды) в ряде областей–кандидатов, принятие наиболее часто встречающейся области в качестве той области из упомянутого множества областей, в которую вошел объект во время входа в зону обнаружения TOF–сенсора.
Предпочтительно процессор дополнительно сконфигурирован с возможностью управления громкостью умной колонки. Причем умная колонка связана посредством проводной или беспроводной связи с устройством изменения параметров воспроизведения аудиоконтента. Причем параметром воспроизведения аудиоконтента является громкость воспроизведения аудиоконтента, и устройством изменения параметров воспроизведения является вторая умная колонка.
Предпочтительно умная колонка может быть выполнена с возможностью принимать сигнал от устройства изменения параметров воспроизведения аудиоконтента и изменять параметры воспроизведения аудиоконтента упомянутым блоком воспроизведения умной колонки. Причем предварительно аудиоконтент может быть загружен из сети интернет и сохранен в блоке памяти или аудиоконтент может быть синтезирован умной колонкой по заранее заданным параметрам и сохранен в блоке памяти. Дополнительно умная колонка содержит микрофон, причем аудиоконтент получен посредством микрофона и сохранен в блоке памяти.
Поставленная задача решена также путем создания способа работы умной колонки с возможностью звукового воспроизведения аудиоконтента и функцией управления воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта, указанный способ содержит этапы, на которых: излучают посредством TOF–сенсора умной колонки излучение, причем испускаемое излучение проходит через предварительно заданную зону обнаружения TOF–сенсора; причем зона обнаружения TOF–сенсора вдоль оси излучения виртуально разделена на множество последовательно расположенных и смежных друг с другом областей, причем каждая область соответствует диапазону расстояний от TOF–сенсора, причем каждой из указанных областей соответствует свой аудиоконтент; и при введении объекта в зону обнаружения TOF–сенсора формируется сигнал, регистрируемый TOF–сенсором, соответствующий расстоянию до указанного объекта в зоне обнаружения TOF–сенсора, осуществляют обработку полученного сигнала в процессоре, при которой определяют, в какой из упомянутых областей расположен введенный объект, извлекают из блока памяти аудиоконтент, соответствующий области, в которой обнаружен объект, осуществляют воспроизведение аудиоконтента, соответствующего области, определенной процессором.
Предпочтительно осуществляют излучение посредством излучателя, который содержится в TOF–сенсоре, а сигнал регистрируют посредством приемника, который содержится в TOF–сенсоре и выполнен с возможностью приема излучения, отраженного от объекта в зоне обнаружения TOF–сенсора. В качестве излучателя используют импульсный инфракрасный лазер.
Предпочтительно посредством инфракрасного лазера генерирует импульсы с частотой 10–100 импульсов в секунду или посредством инфракрасного лазера генерирует импульсы с частотой 30 импульсов в секунду.
Предпочтительно посредством излучателя испускают излучение конической формы, причем значение угла при вершине конуса составляет 20–30 град. угловых. Причем TOF–сенсор размещают под верхней крышкой корпуса умной колонки под одним или несколькими отверстиями, выполненными в верхней крышке или TOF–сенсор размещают за одним или несколькими отверстиями, выполненными в боковой стенке умной колонки. Причем используют линзу, установленную в одно или несколько отверстий в крышке корпуса между TOF–сенсором и крышкой умной колонки, при этом испускаемое излучение и регистрируемый сигнал проходят через линзу. Причем линза обеспечивает дополнительное рассеивание излучения в 1–5 град. угловых. В качестве объекта служит часть тела пользователя, включая руку, ногу, голову или предмет в руке пользователя.
Предпочтительно в качестве блока памяти используют постоянное запоминающее устройство (ПЗУ)или в качестве блока памяти используют оперативное запоминающее устройство (ОЗУ). Аудиоконтент выбирают из по меньшей мере одной ноты, МР3–файлов, аудиофайлов иных форматов, или набора звуков. Причем аудиоконтент содержит звук, который выбирают из пентатонического звукоряда или гексатонического звукоряда. Причем аудиоконтент содержит звук, который предварительно синтезируют по заранее заданным параметрам.
Предпочтительно предварительно задают рабочее расстояние TOF–сенсора, определяющее зону обнаружения TOF–сенсора и измеряемое от TOF–сенсора до границы зоны обнаружения TOF–сенсора, в зависимости от мощности источника излучения и величины помех в отраженном излучении равным, предпочтительно, от 60 до 150 см. Причем испускаемое излучение и регистрируемый сигнал пропускают через линзу, размещенную между корпусом и TOF–сенсором для защиты от внешней среды.
Предпочтительно дополнительно выполняют следующие шаги: во время входа объекта в зону обнаружения TOF–сенсора выполняют ряд измерений расстояния от TOF–сенсора до объекта с получением ряда значений расстояний, и для каждого значения расстояния из ряда значений расстояния определяют соответствующую этому значению область из упомянутого множества областей с получением ряда определенных областей–кандидатов, определяют наиболее часто встречающуюся область (статистическую моду) в ряде областей–кандидатов, принимают наиболее часто встречающуюся область в качестве той области из упомянутого множества областей, в которую вошел объект во время входа в зону обнаружения TOF–сенсора. Причем с помощью процессора могут осуществлять управление громкостью умной колонки.
Предпочтительно умную колонку предварительно связывают посредством проводной или беспроводной связи с устройством изменения параметров воспроизведения аудиоконтента. Причем параметром воспроизведения аудиоконтента является громкость воспроизведения аудиоконтента. Причем используют дополнительную умную колонку, служащую устройством изменения параметров воспроизведения. Причем с помощью процессора умной колонки дополнительно принимают сигнал от устройства изменения параметров воспроизведения аудиоконтента и изменяют параметры воспроизведения аудиоконтента при воспроизведении аудиоконтента блоком воспроизведения умной колонки. Причем аудиоконтент загружают из сети интернет и сохраняют в блоке памяти. Причем аудиоконтент синтезируют с помощью процессора по заранее заданным параметрам и сохраняют в блоке памяти. Причем аудиоконтент получают посредством микрофона, содержащегося в умной колонке, и сохраняют в блоке памяти.
Достигаемый технический результат заключается в том, что указанная умная колонка позволяет обеспечить возможность звукового воспроизведения аудиоконтента и управлять воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта, причем указанная умная колонка является компактной так, что ее можно разместить на полке в жилом помещении.
Кроме того, предлагаемая группа изобретений направлена на обеспечение возможности ввода команд управления умной колонкой при движении руки пользователя или управляющего объекта в пространстве над ней.
Краткое описание чертежей
Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:
Фиг. 1 иллюстрирует TOF–сенсор, расположенный на корпусе умной колонки со снятой крышкой;
Фиг. 2а иллюстрирует общий вид умной колонки, корпус которой содержит крышку с отверстиями;
Фиг. 2b иллюстрирует общий вид умной колонки с удаленной частью корпуса;
Фиг. 3 иллюстрирует схему конусообразного излучения от TOF– сенсора, где показана зона обнаружения TOF–сенсора вдоль оси излучения, виртуально разделенная на множество последовательно расположенных и смежных друг с другом областей;
Фиг. 4 иллюстрирует систему из двух умных колонок.
Подробное описание предпочтительных вариантов воплощения изобретения
Предлагаемое изобретение может быть использовано в умной колонке, такой как, например, Яндекс.Станция с голосовым помощником Алиса. Такая Яндекс.Станция может выполнять действия, называемые пользователем, например, включить музыку, подключаться к телевизору, отвечать на вопросы и ставить напоминания, играть в игры, управлять умным домом – чайниками, пылесосами и другими умными устройствами и т.п.
Предлагаемое изобретение обеспечивает новую функцию умной колонке, а именно возможности извлечения пользователем звуков, в том числе музыки, причем пользователь для извлечения желаемого аудиоконтента использует взмахи руки или управляющего объекта над умной колонкой, что напоминает игру на таком музыкальном инструменте, как терменвокс.
В настоящее время для определения расстояния разработан эффективный датчик расстояния, представляющий собой TOF–сенсор (времяпролетный сенсор), который замеряет время пролета фотонов и таким образом позволяет рассчитать расстояние до преграды, которая расположена на пути излучения. На фиг. 1 показан TOF–сенсор 1, содержащий источник 2 излучения и приемник 3 излучения. Источник 2 излучения в одном из вариантов осуществления представляет собой импульсный инфракрасный лазер, сконфигурированный с возможностью генерирования импульсов с частотой 10–100 импульсов в секунду. Однако в качестве источника 2 излучения может использоваться любой источник излучения, позволяющий вычислить расстояние до объекта на основе излучения/приема сигнала.
Умная колонка 4 с функцией звукового воспроизведения аудиоконтента в сборе изображена на фиг. 2a. На фиг. 2b показана умная колонка 4 с функцией звукового воспроизведения аудиоконтента, которая размещена в корпусе 5 (показан частичный вырыв корпуса. На фиг. 2a и 2b показано, что TOF–сенсор 1 расположен в корпусе 5 умной колонки 1, причем TOF–сенсор 1 установлен таким образом, что излучатель 2 и приемник 3 TOF–сенсора 1 располагаются напротив отверстий 6 корпуса 5 умной колонки. Излучатель 2 выполнен с возможностью обеспечения излучения в зоне обнаружения TOF–сенсора, а приемник 3 выполнен с возможностью приема излучения, отраженного от объекта в зоне обнаружения TOF–сенсора. В одном из вариантов воплощения изобретения TOF–сенсор 1 может быть установлен под верхней крышкой 7 корпуса 5 умной колонки под одним или несколькими отверстиями 6, выполненными в верхней крышке 7. В одном из вариантов воплощения изобретения TOF–сенсор 1 может быть установлен за одним или несколькими отверстиями, выполненными в боковой стенке умной колонки (не показано).
TOF–сенсор 1 соединен с процессором 8 умной колонки 4. Для защиты от пыли TOF–сенсор закрыт линзой 9, причем линза 9 расположена в одном или нескольких отверстиях 6 в крышке 7 корпуса между TOF–сенсором 1 и крышкой 7. Линза 9 может обеспечивать дополнительное рассеивание излучения в 1–5 град. угловых.
Излучение TOF–сенсора 1 имеет конусообразную форму (фиг. 3), то есть устройство обладает рабочей шириной луча 10, охватывающего достаточно большое пространство. Значение угла α при вершине конуса составляет 20–30 град. угловых. Таким образом, пользователь, располагая руку или управляющий предмет над умной колонкой 4, будет попадать в зону обнаружения TOF–сенсора 1 с большей вероятностью, чем в случае, если излучение сенсора представляет собой узкий луч.
На фиг. 3 показано схематично конусообразное излучение от TOF– сенсора. Рабочее расстояние OC TOF–сенсора 1, определяющее длину зоны обнаружения TOF–сенсора 1 и измеряемое от TOF–сенсора до границы зоны обнаружения TOF–сенсора, задается в зависимости от мощности источника 2 излучения и величины помех в отраженном излучении и составляет, предпочтительно, от 60 до 150 см. Зона OC обнаружения TOF–сенсора виртуально делиться на области N1, N2, N3, N4, N5 (показано пять областей), причем каждая область соответствует диапазону расстояний от TOF–сенсора 1. Например, области N3 соответствует диапазон расстояний, расположенный в промежутке (OD – OA).
Каждой области N1, N2, N3, N4, N5 ассоциирован аудиоконтент, который воспроизводится при попадании объекта (препятствия) в соответствующую область. Аудиоконтент может представлять собой по меньшей мере одну ноту, МР3 файл, аудиофайл любого формата или набор любых звуков. При использовании в качестве аудиоконтента звуков музыкального ряда каждая область может соответствовать октаве, причем каждая область делится на участки, соответствующие тонам и/или полутонам, например, нотам или гитарным аккордам определенной высоты и т.п. (не показано).
В одном из вариантов воплощения изобретения для упрощения управлением умной колонкой 4 предлагается использовать пентатонику, то есть из двенадцати нот октавы использовать для воспроизведения в устройстве только пять нот, то есть аудиоконтент будет содержать звук, выбранный из пентатонического звукоряда. Поэтому при использовании пентатонического ряда пользователю необязательно попадать в конкретную ноту для того, чтобы получить заданную звуковую последовательность. Таким же образом можно использовать и гексатонику, то есть аудиоконтент будет содержать звук, выбранный из гексатонического звукоряда. Аудиоконтент также может содержать звук, синтезированный по заранее заданным параметрам.
Пользователь может извлекать звуки, перемещая руку или управляющий объект 11, например, линейку, вдоль зоны обнаружения, либо просто помещая управляющий объект на определенном расстоянии от TOF–сенсора 1 в зоне 10 обнаружения в пределах конуса. Когда пользователь убирает руку или управляющий объект за пределы зоны 10 обнаружения TOF–сенсора 1, звуки пропадают. Управляющим объектом может служить любая часть тела пользователя, включая руку, ногу, голову или предмет в руке пользователя, например, линейка.
Если областям зоны 10 обнаружения TOF–сенсора 1 ассоциированы аудиоконтенты, представляющие собой ноты, то, чем дальше рука пользователя находится от TOF–сенсора 1, тем выше или ниже можно извлечь ноту, то есть частоту звука можно напрямую связать с положением руки. При перемещении руки из одной области в другую область возможно либо не прерывать звучание предыдущего аудиоконтента, тогда звуки из разных областей будут накладываться друг на друга, либо возможно прерывать звучание предыдущего аудиоконтента, тогда звуки из разных областей не будут накладываться друг на друга.
Аудиоконтенту каждой области можно ассоциировать определенную громкость, в этом случае при попадании объекта в одну из областей происходит уменьшение или увеличение громкости воспроизведения аудиоконтента умной колонкой. Вообще каждой области можно ассоциировать любую другую командупользователя, которую может выполнить умная колонка, например, управление жалюзи.
Таким образом, зона 10 обнаружения TOF–сенсора 1 виртуально разделяется на множество последовательно расположенных вдоль оси инфракрасного излучения TOF–сенсора и смежных друг с другом областей N1, N2, N3, N4, и т.д. Каждая область соответствует заданному диапазону расстояний от TOF–сенсора. Нижняя граница каждой из областей расположена на заранее заданном расстоянии от источника инфракрасного излучения TOF–сенсора, причем каждой из указанных областей N1, N2, N3, N4, N5 соответствует свой аудиоконтент.
Аудиоконтент, который используется при включении пользователем функции звукового воспроизведения, хранится в блоке 12 (фиг. 2b) памяти умной колонки. В качестве блока 12 памяти может быть использовано, например, постоянное запоминающее устройство (ПЗУ) или оперативное запоминающее устройство (ОЗУ).
Функция звукового воспроизведения может работать в следующих режимах, которые пользователь может переключать между собой:
– режим блока памяти, содержащего заранее предопределенный аудиоконтент, когда из блока памяти извлекается аудиоконтент, соответствующий области, в которой находится объект;
– режим блока памяти, не содержащего заранее предопределенный аудиоконтент, при этом аудиоконтент загружается в блок памяти через Интернет (например, через облако);
– режим синтеза, когда аудиоконтент не извлекается из блока памяти, в этом режиме центральный процессор формирует (синтезирует) аудиоконтент во время использования пользователем функции звукового воспроизведения и сохраняется в блоке памяти.
В качестве примера, но не ограничения, в некоторых реализациях настоящего изобретения, для синтеза звука определенной ноты длиной T секунд могут быть выполнены следующие этапы:
1. Выбрать необходимую частоту. Для каждой ноты она известна, например, для ноты До 5й октавы она равна 523,25Гц. Для того, чтобы получить другую следующую ноту (До диез 5й октавы) необходимо домножить частоту на 2^(1/12) (корень 12й степени из двух). Таким образом частота До 6й октавы в 2 раза больше частоты До 5й октавы, а частота До 4й октавы в 2 раза меньше.
2. Вычислить необходимое число буферов, которые надо воспроизвести. Оно равно T * <частота воспроизведения> / <размер буфера>.
3. Изначально проинициализировать значение угла (angle) нулем.
4. Итерироваться по номерам буферов.
5. Проинициализировать пустой буфер, размер которого равен частоте воспроизведения.
6. Итерироваться по ячейкам буфера.
7. На каждой итерации добавлять к значению угла 2 * Pi * <частота ноты> / <частота воспроизведения>.
8. Посчитать сумму всех обертонов для указанного значения угла (напр. 16 * cos(angle/2) – cos(angle * 2)) / 17).
9. Рассчитать текущий момент времени <количество буферов> * <размер буфера> / <частота воспроизведения> + <номер ячейки буфера> / <частота воспроизведения>.
10. Рассчитать значение огибающей в текущий момент времени (t_seconds). В качестве огибающей, например, можно взять функцию (pow(t_seconds, 1,5) * exp(–1 * t_seconds/0,1/T)).
11. Разделить значение огибающий на ее значение в точке максимума (для указанной функции – это точка 0,15 * T).
12. Домножить значение звука на значение огибающей.
13. Домножить значение звука на громкость (от 0 до 1).
14. Подать все сформированные буферы на вход воспроизводящему компоненту.
При этом: Буфер – набор последовательно расположенных запоминающих ячеек в блоке памяти умной колонки. Ячейка буфера – набор последовательно расположенных байт блока памяти (2 или более); отвечает за хранение 1 числа с плавающей запятой. Угол – это название переменной, которая используется для хранения промежуточных вычислений. T – общее время воспроизведения.
Функция звукового воспроизведения позволяет микшировать звуки. Например, умная колонка 4 по желанию пользователя может проигрывать музыкальную композицию, а пользователь в это же самое время, используя функцию звукового воспроизведения, может подыгрывать проигрываемой музыкальной композиции.
Опционно умная колонка 4 может содержать микрофон 13. Аудиоконтент может быть получен посредством микрофона и сохранен в блоке 12 памяти.
Процессор 8 умной колонки при включении пользователем функции звукового воспроизведения, обрабатывает сигналы, полученные от TOF–сенсора 1. С помощью процессора 8 на основании полученного TOF–сенсором 1 расстояния до объекта, определяется область N в зоне 10 обнаружения TOF–сенсора, в которой находится объект. В соответствии с областью N, в которой находится объект, из блока 12 памяти извлекается аудиоконтент, который соответствует этой области. Процессор 8 также может управлять громкостью умной колонки 4, как одним из параметров воспроизведения аудиоконтента. Аудиоконтент воспроизводится блоком воспроизведения.
TOF–сенсор 1 (времяпролетный сенсор) замеряет время между моментом обеспечения излучателем TOF–сенсора излучения в зону 10 обнаружения TOF–сенсора и приема приемником TOF–сенсора отраженного от руки или управляющего объекта 11 в зоне обнаружения TOF–сенсора излучения, и таким образом позволяет вычислить расстояние до упомянутого объекта на основе скорости света.
TOF–сенсор 1 выполняет измерения расстояния с заданной частотой N. После каждого измерения измеренное расстояние подается в процессор 8. То есть процессор 8, с заданной частотой N, получает от TOF–сенсора 1 числа, которые являются измеренными расстояниями. Однако не все измеренные расстояния используются в качестве управляющего сигнала для выбора аудиоконтента. Процессор 8 обрабатывает измеренные расстояния, чтобы получить значение, которое будет рассматриваться в качестве того расстояния, которое будет использоваться в качестве управляющего сигнала. Такую обработку можно назвать фильтрацией, поскольку при такой обработке также происходит исключение помех, которые могут быть вызваны различными ложными срабатываниями или артефактами, то есть такими измерениями, которые нужно отфильтровывать для корректной работы. Например, кошка пробежала и махнула хвостом в зоне 10, чайник закипел, и пар попал в зону 10 видимости TOF–сенсора и т.д. Кроме того, иногда возникают неверные считывания в момент ввода руки пользователя в зону обнаружения TOF–сенсора или при выходе из нее.
Одна из техник, которая позволяет снизить количество артефактов и повысить качество определения расстояния, на котором находится рука пользователя – это медианный фильтр (не показано), один из видов цифровых фильтров, который используется при регулировке громкости звука. Медианные фильтры известны и широко применяются в электронике. Идея медианного фильтра состоит в том, что медианный фильтр, который «проходит» по измеренным значениям скользящим «окном» заданного размера (то есть рассматривает определенное количество измерений как группу и анализирует значения в этой группе, выбирая одно из них) и выбирает из значений, попавших в «окно», медианное значение, которое затем уже используется в качестве управляющего сигнала.
Другой техникой для выбора значения расстояния для управляющего сигнала является техника модового фильтра, который также можно отнести к цифровым фильтрам.
Остановимся на этой технике подробнее. Если пользователь желает пересечь зону 10 обнаружения TOF–сенсора в определенном месте и извлечь определенную одну ноту (определенный один аудиоконтент) необходимо учитывать следующую возникающую проблему. Как показано на фиг. 3 и упоминалось ранее, излучение от TOF–сенсора 1 представляет собой конус. Производится измерение расстояния до объекта 11, например, руки пользователя. В момент, когда пользователь вносит руку в зону 10 обнаружения и пересекает образующую 13 конуса, TOF–сенсор 1 выдает сигнал в виде значения, на основе которого измеряется расстояние до объекта 11 вдоль образующей конуса (расстояние OA). Это расстояние попадает в диапазон расстояний, который соответствует области N3.
В следующий момент рука или объект 11 перемещается ближе к оси ОС конуса, при этом TOF–сенсор 1 измеряет расстояние до объекта 11, например, вдоль высоты ОС конуса. Очевидно, что расстояние OВ меньше расстояния OA (для простоты понимания рассмотрим только два измерения из множества измерений, которые TOF–сенсор производит за аудиоконтент, соответствующий этой области N3. То есть, вместо извлечения одного аудиоконтента извлекается сначала аудиоконтент, соответствующий области N4, и только затем извлекается желаемый аудиоконтент, соответствующий области N3.
Для устранения этой проблемы используется модовый фильтр. Как известно, мода – это значение в множестве значений, которое встречается наиболее часто. Идея метода «моды» применительно к обработке значений состоит в следующем. TOF–сенсор делает множество измерений в секунду, в каждом временном интервале используются текущие последние, например, три измерения (количество задается разработчиком). Для каждого из измерений выбирается соответствующая этому измерению область. Наиболее часто встречающаяся область (статистическая мода) принимается в качестве той области, в которой расположена рука пользователя или объект 11, и выдается аудиоконтент, соответствующий этой области.
Возможно задать длину зоны обнаружения TOF–сенсора 1, которая будет меньше расстояния, на которое распространяется излучение от TOF–сенсора.
Умную колонку 4, содержащую устройство извлечения звука, можно расположить вертикально, как показано на фиг. 2a, можно расположить горизонтально, например, положив на боковую поверхность (не показано), тогда поверхность корпуса с отверстиями будет направлена в сторону (например, горизонтально или под углом к горизонтали).
При расположении умной колонки 4 так, что излучение направлено вертикально, для извлечения звуков пользователь должен располагать и перемещать руку над умной колонкой 4. При расположении умной колонки 4, содержащей устройство извлечения звука, так, что излучение направлено в горизонтальном направлении, для извлечения звуков пользователь может располагать и перемещать руку предпочтительно перпендикулярно испускаемому излучению. В этом случае, если аудиоконтент содержит ноты, то на поверхность, над которой будет перемещаться рука пользователя, можно разместить, например, разметку клавиатуры пианино. Необходимо заметить, что при расположении умной колонки в горизонтальном положении TOF–сенсор 1 нельзя располагать возле поверхности, на которой расположена умная колонка, для того, чтобы конус излучения не пересекался с поверхностью, на которой расположена умная колонка, для предотвращения отражения излучения от этой поверхности.
Громкость умной колонки, а также другие параметры умной колонки могут регулироваться устройством изменения параметров воспроизведения аудиоконтента, с которым умная колонка может быть связана посредством проводной или беспроводной связи. Причем умная колонка может принимать сигнал от устройства изменения параметров воспроизведения аудиоконтента и изменять параметры воспроизведения аудиоконтента блоком воспроизведения умной колонки. Таким устройством изменения параметров воспроизведения аудиоконтента является вторая умная колонка 14.
Для того, чтобы пользователь имел возможность использовать функцию звукового воспроизведения совместно с функцией регулировки громкости или иных параметров аудиоконтента возможно совместное использование двух умных колонок 4 и 14, как показано на фиг. 4. При этом одна умная колонка 4, имеющая функцию звукового воспроизведения является ведущей, а вторая умная колонка 14, имеющая функцию регулировки громкости или иных параметров аудиоконтента, выбранного умной колонкой 4, является ведомой. Умные колонки 4 и 14 синхронизируются между собой посредством проводной или беспроводной связи 15. При этом воспроизведение аудиоконтента пользователь производит одной рукой или управляющим объектом 11 на ведущей умной колонке 4, а на ведомой умной колонке 14 второй рукой или управляющим объектом 16 пользователь может регулировать громкость звука. На фиг. 4 показана зона 10 обнаружения TOF–сенсора умной колонки 4 и зона 17 обнаружения TOF–сенсора умной колонки 14.
При использовании TOF–сенсора 1 в умной колонке 4 возникают ситуации, когда умная колонка установлена вблизи некоторого физического объекта, в который упирается излучение TOF–сенсора. В реализациях, когда TOF–сенсор 1 расположен в корпусе и при этом луч направлен вверх, таким объектом может быть, например, полка, если колонка установлена под полкой. В реализациях, когда TOF–сенсор 1 направлен горизонтально или под каким–то острым углом к горизонтальной плоскости, таким объектом может быть любой объект, от стоящего рядом человека до предмета мебели. В таких случаях TOF–сенсор 1 начинает в течение некоторого продолжительного времени выдавать одинаковые или похожие звуки.
Для корректной работы устройства звукового воспроизведения в таких случаях нужно «отфильтровывать» такие показания и учитывать только те, которые действительно являются командами. Если в течение определенного заданного промежутка времени измерения TOF–сенсора 1 стабильно показывают, что излучение TOF–сенсора во что–то упирается, то принимается решение, что над умной колонкой 4 расположено статическое препятствие и это значение при распознавании положения руки пользователя не учитывается. В этом случае фильтрация осуществляется процессором.
Также процессор может быть выполнен с возможностью установления, остается ли определенное расстояние по существу неизменным в течение заданного периода времени, на основе среднеквадратического отклонения. Процессор может быть дополнительно выполнен с возможностью игнорирования расстояния, определенного по существу неизменным в течение заданного периода времени, при упомянутом управлении функцией умной колонки.
Управляемой функцией умной колонки может быть функция изменения интенсивности света одного или нескольких светильников, подключенных к умной колонке по проводному или беспроводному интерфейсу.
Управляемой функцией умной колонки может быть функция изменения цвета света одного или нескольких светильников, подключенных к умной колонке по проводному или беспроводному интерфейсу.
Управляемой функцией умной колонки может быть функция управления элементом умного дома, подключенным к умной колонке по проводному или беспроводному интерфейсу. Элементом умного дома может быть одно из жалюзи, кондиционера, одного или более светильников, включателя/выключателя, переключателя, диммера, бытового электроприбора. Управляемой функцией умной колонки может быть функция навигации по контенту, отображаемому на устройстве отображения, подключенном к умной колонке по проводному или беспроводному интерфейсу.
Причем процессор может быть дополнительно выполнен с возможностью выключения умной колонки в случае обнаружения сокращения определяемого TOF–сенсором расстояния до объекта в зоне обнаружения до порогового значения расстояния или ниже.
Или процессор дополнительно выполнен с возможностью выключения управляемой в настоящий момент функции умной колонки в случае обнаружения сокращения определяемого TOF–сенсором расстояния до объекта в зоне обнаружения до порогового значения расстояния или ниже.
Процессор может быть дополнительно выполнен с возможностью включения умной колонки в случае обнаружения увеличения определяемого TOF–сенсором расстояния до объекта в зоне обнаружения до порогового значения или выше. Процессор дополнительно может быть выполнен с возможностью включения последней управляемой функции умной колонки до выключения в случае обнаружения увеличения определяемого TOF–сенсором расстояния до объекта в зоне обнаружения до порогового значения или выше. Функцией навигации по контенту является одна из вертикальной прокрутки, горизонтальной прокрутки, перехода на элемент контента вверх, перехода на элемент контента вниз, перехода на элемент контента влево, перехода на элемент контента вправо или выбора элемента. Заданный период времени может составлять n секунд, где n представляет собой целое число больше 1 (единицы). Причем заданный период времени определен количеством и частотой замеров расстояния TOF–сенсором.
TOF–сенсор 1 может быть выполнен с возможностью определения расстояния до объекта в зоне обнаружения с частотой, составляющей 30 замеров в секунду. TOF–сенсор может быть выполнен с возможностью определения расстояния до объекта в зоне обнаружения с частотой, находящейся в диапазоне 10–100 замеров в секунду. Умная колонка 4 может быть выполнена с возможностью работы в режиме электронного музыкального инструмента для извлечения звуков в зависимости от определяемого расстояния до объекта в зоне обнаружения TOF–сенсора, в отношении которого установлено, что определенное расстояние от данного объекта до TOF–сенсора не остается по существу неизменным в течение заданного периода времени.
Умная колонка 4 может дополнительно содержать один или несколько динамиков (не показаны), функционально соединенных с процессором 8 и выполненных с возможностью воспроизведения выбираемых звуков, при этом при работе умной колонки в режиме электронного музыкального инструмента процессор дополнительно выполнен с возможностью: выбора звука из множества звуков в зависимости от определяемого расстояния до объекта в зоне 10 обнаружения TOF–сенсор, в отношении которого установлено, что определенное расстояние от данного объекта до TOF–сенсора не остается по существу неизменным в течение заданного периода времени, при этом каждому диапазону соответствует свой собственный звук, и воспроизведения выбранного звука через один или несколько динамиков.
При перемещении объекта 11 из одного диапазона в другой диапазон процессор может быть дополнительно выполнен с возможностью сведения воспроизводимого звука упомянутого одного диапазона со звуком упомянутого другого диапазона. При этом сведение может содержать плавный переход. Также сведение может содержать резкое переключение. При выборе звука процессор дополнительно выполнен с возможностью: извлечения аудио файла из запоминающего устройства, дополнительно содержащегося в умной колонке. Причем при выборе звука процессор дополнительно выполнен с возможностью: извлечения аудио файла из облака, с которым умная колонка соединена по Интернету.
При выборе звука процессор дополнительно выполнен с возможностью синтеза звука по заранее определенным параметрам. Каждый аудиофайл содержит аудио семпл, содержащий звук из множества звуков, состоящего из звуков музыкальных инструментов, звуков природы, звуков животных, звуков предметов, звуков человеческой речи и звуков из пентатонического звукоряда или гексатонического звукоряда.
Процессор дополнительно выполнен с возможностью воспроизведения музыкальной композиции в качестве фоновой музыки при воспроизведении выбираемого звука(ов). Причем воспроизводимая музыкальная композиция может хранится в запоминающем устройстве. Воспроизводимая музыкальная композиция может загружаться по Интернету из облака и воспроизводится в режиме реального времени. При работе в режиме электронного музыкального инструмента процессор дополнительно выполнен с возможностью осуществления фильтрации определяемых значений расстояния по моде для исключения из обработки кратковременного выброса определяемых значений расстояния.
Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.
Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменяются в процессе рассмотрения.