УМНАЯ КОЛОНКА С МЕДИАННОЙ ФИЛЬТРАЦИЕЙ ЗНАЧЕНИЙ TOF-СЕНСОРА

Область техники
[0001] Настоящая полезная модель относится к умной колонке и, более конкретно, к умной колонке с медианной фильтрацией значений TOF–сенсора (времяпролетного сенсора).
Уровень техники
[0002] В настоящее время активно ведется разработка мультимедиа–платформ, таких как умные колонки. Такие устройства относятся к классу интеллектуальной техники и представляют собой колонки со встроенными центральным процессором, микрофоном, видеокамерой и другими электронными элементами, представляющими собой устройства, выполняющие отдельные функции. Такие умные колонки могут быть подключены к интернету или облаку для обработки пользовательских запросов, загрузки контента и т.д. Управление умными колонками зачастую осуществляется посредством подачи пользователем голосовых команд. Для этой цели умные колонки имеют возможность распознавания голоса или речи и оснащены виртуальным голосовым помощником с элементами искусственного интеллекта.
[0003] Одним из представителей таких устройств является «Яндекс.Станция» от компании «Яндекс». «Яндекс.Станция» (умная колонка) стала очень популярной среди пользователей, и поэтому постоянно ведется разработка улучшенных новых версий этого устройства для расширения функциональных возможностей, которыми пользователи могут пользоваться. Умная колонка со встроенным голосовым помощником может помогать пользователю в повседневных делах, выполняя некоторые просьбы. В качестве примера, умная колонка может управлять отдельными компонентами и функциями «умного дома», показывать кино на телевизоре, подключенном к умной колонке, а также может проигрывать любимую музыкальную композицию в случае обнаружения команды пользователя на выполнение соответствующего действия. Другим примером умной колонки является умная колонка Amazon Echo от компании Amazon. Известные в настоящее время умные колонки не включают в себя TOF–сенсор, и не обеспечивают возможность точного распознавания жестовых команд пользователя с помощью TOF–сенсора, что позволило бы пользователю эффективно управлять различными функциями умной колонки руками или иными частями тела бесконтактным образом и/или использовать в умную колонку в режиме электронного музыкального инструмента.
Техническая проблема
[0004] Обычно пользователь может управлять умной колонкой посредством подачи голосовых команд. Кроме того, умная колонка может содержать кнопки или иные средства регулирования, с помощью которых пользователь может включать и выключать умную колонку, регулировать громкость и т. п. При этом управление голосом может быть не всегда удобным или возможным, например, когда пользователь разговаривает по телефону, либо когда рядом кто–то спит, и подача голосовой команды может разбудить спящего человека. Управление с помощью физических регуляторов, например кнопок, тоже имеет свои ограничения. Например, для поддержки достаточного количества разнообразных команд с помощью физических регуляторов в корпусе умной колонки необходимо расположить много различных регуляторов, каждый из которых будет ассоциирован с определенной командой. Это может быть невозможно в силу ограниченного места на корпусе умной колонки. Поэтому было бы желательно иметь в умной колонке дополнительный способ ввода команд пользователя. Таким способом может быть управление жестами. Одним из способов реализации такого жестового управления может быть использование времяпролетного сенсора (TOF–сенсора). При этом для корректной работы умной колонки с TOF–сенсором необходимо обеспечивать достаточную точность распознавания жестовых команд пользователя. Сделать это можно с помощью применения медианного фильтра для фильтрации шумов, выбросов и иных ложных сигналов, которые не должны рассматриваться умной колонкой в качестве команды управления пользователя.
[0005] Таким образом, необходимо обеспечить такую оснащенную TOF–сенсором умную колонку, которая способна различать и отфильтровывать обнаруживаемый TOF–сенсором сигнал, который не будет рассматриваться умной колонкой в качестве команды управления пользователя.
[0006] При создании полезной модели решалась техническая задача, состоящая в создании средства определенного назначения впервые, а именно умной колонки с TOF–сенсором и с возможностью точного распознавания жестовых команд пользователя. Технический результат состоит в реализации этого назначения.
СУЩНОСТЬ ПОЛЕЗНОЙ МОДЕЛИ
[0007] Обеспечена умная колонка с медианной фильтрацией значений, TOF–сенсора (времяпролетного сенсора), содержащая процессор, характеризующаяся тем, что содержит TOF–сенсор, функционально соединенный с процессором и сконфигурирован с возможностью определения по меньшей мере одного значения расстояния до объекта в зоне обнаружения и передачи по меньшей мере одного значения расстояния в процессор; при этом процессор выполнен с возможностью фильтрации упомянутого по меньшей мере одного значения расстояния с помощью медианного фильтра; управления функцией умной колонки на основе отфильтрованного по меньшей мере одного значения расстояния.
Краткое описание чертежей
Другие особенности раскрытой умной колонки станут понятны специалистам в данной области после прочтения нижеследующего подробного описания с обращением к чертежам, на которых:
фиг. 1 иллюстрирует внешний вид умной колонки согласно настоящей полезной модели;
фиг. 2 иллюстрирует внешний вид умной колонки согласно настоящей полезной модели без верхней крышки;
фиг. 3 иллюстрирует основные компоненты TOF–сенсора, используемого в умной колонке, согласно настоящей полезной модели;
фиг. 4 иллюстрирует поперечное сечение умной колонки, согласно настоящей полезной модели;
фиг. 5 иллюстрирует один возможный пример виртуального разделения зоны обнаружения TOF–сенсора на поддиапазоны расстояний/подобласти;
фиг. 6 иллюстрирует систему, состоящую из нескольких умных колонок, согласно настоящей полезной модели.
Подробное описание вариантов воплощения полезной модели
[0008] Умная колонка 100, вариант осуществления которой проиллюстрирован на фиг. 1, содержит процессор 20 (не показан на чертеже). Процессор 20 может быть любым доступным процессором, в том числе, но без ограничения центральным процессором (CPU), интегральной схемой специального назначения (ASIC), программируемой пользователем вентильная матрицей (FPGA), системой на кристалле (SoC) и любой другой микросхемой, выполненной с возможностью исполнения программного обеспечения, микропрограммного обеспечения (firmware) в форме считываемый и исполняемых компьютером инструкций для реализации функциональности раскрытой умной колонки.
[0009] Умная колонка 100 дополнительно содержит TOF–сенсор 30 (от англ. Time–Of–Flight, также известный как времяпролетный сенсор), функционально соединенный с процессором 20 и сконфигурирован с возможностью определения по меньшей мере одного значения расстояния до объекта в зоне обнаружения и передачи определенного по меньшей мере одного значения расстояния в процессор 20. TOF–сенсор 30 замеряет время между моментом обеспечения излучателем TOF–сенсора 30 излучения в зону обнаружения TOF–сенсора 30 и моментом приема приемником TOF–сенсора 30 отраженного от какого–либо объекта в зоне обнаружения TOF–сенсора 30 излучения и таким образом позволяет вычислить расстояние до упомянутого объекта на основе скорости света. В альтернативном варианте осуществления настоящей полезной модели TOF–сенсор 30 может быть заменен TOF–камерой (не показана на фиг. 1). В частности в некоторых не имеющих ограничительного характера примерах реализации настоящего решения в качестве TOF–сенсора могут быть использованы TOF–сенсоры моделей VL53L0X, VL53L1X от производителя STMicroelectronics или TMF8701 1D от производителя ams. Как будет ясно специалисту в данной области техники, и другие модели TOF–сенсоров могут быть использованы в различных реализациях настоящего решения. Обмен данными между TOF–сенсором 30 и процессором 20 может происходить в любой форме, например, в форме сигналов со стороны процессора 20, инициирующих выполнение TOF–сенсором 30 одного или более замеров расстояния до объекта в зоне обнаружения TOF–сенсора 30, или в форме сигналов со стороны TOF–сенсора 30, предоставляющих результаты этого одного или более замеров, т.е. одно или несколько значений расстояния процессору 20.
В другом варианте осуществления TOF–сенсор 30 может постоянно выполнять один или несколько замеров с некоторой частотой без инициирования со стороны процессора и вне зависимости от того, имеется ли в зоне обнаружения TOF–сенсора 30 какой–либо объект или нет. TOF–сенсор 30 может быть выполнен с возможностью определения одного или более значений расстояния до объекта в зоне обнаружения с частотой, предпочтительно составляющей 30 замеров или, в качестве альтернативы, с частотой, находящейся в диапазоне 10–100 замеров в секунду, но без ограничения упомянутыми конкретными значениями.
[0010] В варианте осуществления настоящей полезной модели процессор 20 выполнен с возможностью: фильтрации по меньшей мере одного значения расстояния от TOF–сенсора с помощью медианного фильтра, управления функцией умной колонки 100 на основе отфильтрованного по меньшей мере одного значения расстояния.
[0011] В варианте осуществления настоящей полезной модели процессор 20 дополнительно выполнен с возможностью установления, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, и управления функцией умной колонки 100 дополнительно на основе установленного изменения расстояния до объекта. Процессор также может быть выполнен с возможностью установления, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, на основе среднеквадратического отклонения значений расстояния до объекта, определенных в течение заданного периода времени. В этом варианте осуществления полезной модели процессор 20 также может быть выполнен с возможностью установления, что расстояние до объекта является по существу неизменным в течение заданного периода времени, в случае если среднеквадратическое отклонение значений расстояния до объекта, определенных в течение заданного периода времени, находится ниже предварительно заданного порогового значения среднеквадратического отклонения.
[0012] В альтернативном варианте осуществления настоящей полезной модели процессор 20 может быть выполнен с возможностью установления, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, на основе дисперсии значений расстояния до объекта, определенных в течение заданного периода времени. При этом процессор 20 может быть выполнен с дополнительной возможностью установления, что расстояние до объекта является по существу неизменным в течение заданного периода времени, в случае если дисперсия значений расстояния до объекта, определенных в течение заданного периода времени, находится ниже предварительно заданного порогового значения дисперсии.
[0013] В еще одном альтернативном варианте осуществления настоящей полезной модели процессор 20 может быть выполнен с возможностью установления, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, на основе разности максимального и минимального значений расстояния до объекта, определенных в течение заданного периода времени. При этом процессор 20 может быть выполнен с дополнительной возможностью установления, что расстояние до объекта является по существу неизменным в течение заданного периода времени, в случае если разность максимального и минимального значений расстояния до объекта, определенных в течение заданного периода времени, находится ниже предварительно заданного порогового значения разности. При этом процессор 20 выполнен с возможностью определения значения расстояния до неподвижного объекта на основе среднего значения от значений расстояния до объекта, определенных в течение заданного периода времени. Причем процессор 20 может быть выполнен с возможностью определения значения расстояния до неподвижного объекта на основе медианы значений расстояний до объекта, определенных в течение заданного периода времени.
[0014] Вышеуказанные пороговые значения среднеквадратического отклонения, дисперсии и разности могут быть заданы, например, разработчиком в зависимости от таких параметров работы TОF–сенсора, как частота измерений TOF–сенсора, дальность действия TOF–сенсора, выбранного периода времени, во время которого проводится проверка, параметров среды в которой будет использоваться умная колонка и/или иных параметров.
[0015] Так, в одном из неограничивающих примеров реализации настоящей полезной модели, в умной колонке, предназначенной для домашней эксплуатации, может быть использован TOF–сенсор с заявленной производителем дальностью действия в 2 метра и частотой замеров 30 в секунду. При этом период времени может быть задан в 10 секунд. Таким образом, в этот период времени попадут 300 значений расстояния до объекта, измеренных TOF–сенсором за 10 последних секунд. При этом, в указанном примере для обнаружения неподвижных объектов в зоне обнаружения TOF–сенсора (т.е. для определения, что расстояние до объекта является по существу неизменным) может быть использовано среднеквадратическое отклонение. При указанных выше параметрах, пороговым значением среднеквадратического отклонения может быть выбрано значение в 30 мм. Таким образом, в приведенном не имеющем ограничительного характера примере, расстояние до объекта в зоне обнаружения TOF–сенсора, будет установлено процессором 20 умной колонки 100 по существу неизменным, а сам объект будет соответственно считаться неподвижным, если вычисленное по 300 последним значениям расстояния до объекта, определенным TOF–сенсором за последние 10 секунд, среднеквадратическое отклонение будет меньше 30 мм.
[0016] В приведенном выше примере использовано среднеквадратическое отклонение, однако, как будет понятно специалисту в данной области, для упомянутого установления процессор 20 может использовать другую математическую величину, характеризующую разброс значений в некоторой совокупности чисел, известную из области математики. В частности, в качестве неограничивающих примеров величин, которые могут быть использованы для определения того, что определенное расстояние остается по существу неизменным в течение заданного периода времени, можно использовать вышеупомянутые дисперсию и разницу максимального и минимального значений в числовом ряде измеренных расстояний. Использование величин, характеризующих разброс значений, может помочь, в частности, снизить влияние артефактов и неточностей, которые могут возникать в работе TOF–сенсора. Так, даже если TOF–сенсор на протяжении нескольких измерений обнаруживает один и тот же неподвижный объект, значения расстояния, полученные в результате нескольких последовательных измерений, могут быть не идентичными, и отличаться друг от друга.
[0017] В варианте осуществления настоящей полезной модели, процессор 20 может быть выполнен с возможностью, в случае установления, что расстояние до объекта является по существу неизменным в течение заданного периода времени, определения значения расстояния до неподвижного объекта и сохранения этого значения расстояния в блоке памяти умной колонки.
[0018] В варианте осуществления настоящей полезной модели процессор 20 может быть выполнен с возможностью определения значения расстояния до неподвижного объекта на основе среднего значений расстояния до объекта, определенных в течение заданного периода времени.
[0019] В альтернативном варианте осуществления настоящего решения процессор 20 может быть выполнен с возможностью определения значения расстояния до неподвижного объекта на основе медианы значений расстояния до объекта, определенных в течение заданного периода времени.
[0020] В еще одном альтернативном варианте осуществления настоящего решения процессор 20 может быть выполнен с возможностью определения значения расстояния до неподвижного объекта на основе моды значений расстояния до объекта, определенных в течение заданного периода времени.
[0021] В неограничивающем примере реализации настоящего решения, если в ходе проверки того, является ли расстояние до объекта по существу неизменным, процессор 20 устанавливает, что расстояние до объекта оставалось по существу неизменным, то процессор 20 начинает ”считать” такой объект неподвижным и не учитывает сигнал этого объекта в качестве команды управления пользователя. Такое может случиться, например, если умная колонка 100 была установлена под мебельной полкой, так что излучение TOF–сенсора попадает в основание этой неподвижной полки, в результате чего TOF–сенсор может произвести ряд близких, но не идентичных значений. Например, упрощая для простоты, рассмотрим неограничивающий пример, в котором TOF–сенсор 30 умной колонки 100 делает 5 измерений за период времени, превышающий заданный период времени, и получает следующие значения расстояния – 500 мм, 502 мм, 498 мм, 499 мм, 501 мм. Таким образом, процессор 20, может определить, что объект является неподвижным, и вычислить расстояние до этого неподвижного объекта на основании ряда измеренных значений расстояния, сделанных за период времени. Упомянутое расстояние может быть определено процессором 20 как среднее от значений, полученных за период времени. В приведенном примере, таким средним значением будет 500мм. Таким образом, процессор определил, что расстояние до неподвижного объекта (полки) составляет 500 мм. Процессор 20 затем опционально может сохранить определенную величину расстояния до неподвижного объекта в блок памяти. Помимо среднего значения, в различных вариантах реализации настоящего решения могут использоваться и иные математические величины, такие как медиана, мода и иные. Данная особенность процессора позволяет осуществить докалибровку умной колонки, чтобы исключить какое–либо влияние неподвижных объектов, находящихся в зоне обнаружения TOF–сенсора, на управление умной колонкой.
[0022] В варианте осуществления настоящего решения процессор 20 может быть выполнен с возможностью, в случае, если в блоке памяти уже содержится предыдущее значение расстояния до неподвижного объекта, отличающееся от определенного значения расстояния до неподвижного объекта, удаления из блока памяти предыдущего значения расстояния до неподвижного объекта и сохранения в блоке памяти определенного значения расстояния до неподвижного объекта, т.е. выполнения обновления значений расстояния.
[0023] В варианте осуществления настоящего решения, процессор 20 может быть выполнен с возможностью игнорирования значений расстояния до объекта, полученных от TOF–сенсора, при упомянутом управлении функцией умной колонки в случае, если упомянутые значения расстояния по существу равны значению расстояния до неподвижного объекта, сохраненному в блоке памяти умной колонки 100.
[0024] После сохранения значения расстояния до неподвижного объекта в блоке памяти, процессор 20 может игнорировать, или, иными словами, отфильтровывать показания TOF–сенсора, вызванные этим неподвижным объектом, например, полкой, и учитывать те показания, которые представляют управляющие команды, например, движения руки пользователя. Процессор 20 может быть выполнен с возможностью осуществления этого путем сравнения каждого нового измерения расстояния до объекта, полученного от TOF–сенсора 30 со значением расстояния до неподвижного объекта, сохраненным в блоке памяти умной колонки 100.
[0025] В варианте осуществления настоящего решения процессор 20 может быть выполнен с возможностью устанавливать, что значения расстояния до объекта, полученные от TOF–сенсора, по существу равны значению расстояния до неподвижного объекта, сохраненному в блоке памяти умной колонки 100, в случае если эти значения до объекта отличаются от значения расстояния до неподвижного объекта, сохраненного в блоке памяти не более, чем на предварительно заданную величину допустимого отклонения.
[0026] В варианте осуществления настоящего решения процессор 20 выполнен с возможностью устанавливать, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, регулярно, по получении от TOF–сенсора очередного значения расстояния до объекта.
[0027] В варианте осуществления настоящего решения процессор 20 выполнен с возможностью установления, является ли расстояние до объекта по существу неизменным в течение заданного периода времени, по получении от TOF–сенсора очередного значения расстояния до объекта на основе значений расстояния до объекта, определенных в течение заданного периода времени, включая упомянутое очередное значение расстояния до объекта.
[0028] Таким образом, с учетом вышесказанного, процессор 20 умной колонки 100 может быть выполнен с возможностью выполнять две проверки.
[0029] В рамках первой проверки процессор 20 выполнен с возможностью выявлять, есть ли в зоне обнаружения TOF–сенсора объект, который является по существу неподвижным, и если такой объект обнаружен, определять и сохранять информацию о расстоянии до этого неподвижного объекта. В некоторых вариантах осуществления настоящего решения процессор 20 может быть выполнен с возможностью проводить эту первую проверку регулярно, например, каждый раз, когда процессор 20 получает от TOF–сенсора 30 новое значение расстояние до объекта. В других вариантах осуществление настоящего решения, эта первая проверка может проводиться с иной периодичностью, например, через заданные промежутки времени, либо через заданное количество измерений расстояния. Регулярность проведения первой проверки позволяет учитывать изменения в положении умной колонки 100. Например, в случае, если станцию вынесли из–под полки, поставили под другую полку, под стол и т.д.
[0030] В рамках второй проверки процессор 100 выполнен с возможностью выявлять, является ли полученное им от TOF–сенсора 30 значение расстояния значением, вызванным ранее обнаруженным неподвижным объектом, находящимся в зоне обнаружения TOF–сенсора. Для этого, в вариантах осуществления настоящего решения, процессор 20 может быть выполнен с возможностью сравнивать каждое полученное им от TOF–сенсора 30 новое значение расстояния до объекта с ранее определенным и сохраненным в блоке памяти значением расстояния до неподвижного объекта. Если новое значение расстояния равно расстоянию до неподвижного объекта, либо отличается от него незначительно, процессор выполнен с возможностью игнорировать такое новое значение расстояния, то есть не учитывать его в качестве управляющего сигнала при управлении функцией умной колонки 100.
n
n
[0031] Кроме того, при упомянутом управлении функцией умной колонки процессор 20 может быть дополнительно выполнен с возможностью игнорирования расстояния, определенного по существу неизменным в течение упомянутого заданного периода времени. Заданный период времени может составлять  секунд, где  представляет собой целое число больше 1, например, но без ограничения упомянутыми конкретными значениями, 5 сек, 10 сек, 15 сек, 20 сек и т.д. В другом варианте осуществления заданный период времени может быть определен количеством и частотой замеров расстояния TOF–сенсором 30 (описано выше), например, но без ограничения упомянутым, 10 сек для 300 замеров при частоте замеров TOF–сенсора 30 замеров/сек. Опционально умная колонка 100 может содержать микрофон (не показан на чертежах) для распознавания голосовых команд пользователя. Например, пользователь может вводить голосовые команды на включение/выключение умной колонки, включения/выключения различных управляемых функций умной колонки, переключение режима работы умной колонки, в том числе переключения режима работы умной колонки в режим электронного музыкального инструмента. Примеры голосовых команд могут включать в себя, но без ограничения упомянутым, “<Имя голосового помощника>, включи функцию регулировки громкости”, “<Имя голосового помощника>, включи режим электронного музыкального инструмента” и т.д. В каждом из вышеупомянутых аспектов работы процессора 20 умной колонки 100 достигается такая докалибровка умной колонки 100, которая позволяет осуществить докалибровку умной колонки, чтобы исключить какое–либо влияние неподвижных объектов, находящихся в зоне обнаружения TOF–сенсора, на управление умной колонкой.
[0032] Фиг. 2 иллюстрирует внешний вид умной колонки 100 согласно настоящей полезной модели без верхней крышки 40.1, и фиг. 3 иллюстрирует основные компоненты TOF–сенсора 30, используемого в умной колонке 100 согласно настоящей полезной модели. Как проиллюстрировано на фиг. 3 TOF–сенсор 30 содержит излучатель 30.1 и приемник 30.2. Излучатель 30.1 может быть выполнен с возможностью обеспечения излучения в зоне обнаружения TOF–сенсора, а приемник 30.2 может быть выполнен с возможностью приема излучения, отраженного от объекта в зоне обнаружения TOF–сенсора 30. При этом обеспечиваемое излучателем 30.1 излучение может определять, но без ограничения упомянутым, расширяющуюся конусную форму зоны обнаружения TOF–сенсора 30 и может быть, но без ограничения упомянутым, инфракрасным излучением. В варианте осуществления настоящей полезной модели излучатель 30.1 может представлять собой импульсный инфракрасный лазер, сконфигурирован с возможностью генерирования импульсов с частотой 10–100 импульсов в секунду или любой другой источник излучения, позволяющий вычислить расстояние до объекта на основе времени пролета излучения. Благодаря расширяющейся конусной форме (фиг. 5) зоны обнаружения TOF–сенсора, вероятность попадания части тела пользователя или предмета, удерживаемого частью тела пользователя, может быть увеличена, что в свою очередь сделает использование умной колонки 100 более удобным. Тем не менее, не следует ограничивать раскрытую полезную модель расширяющейся конусной формой зоны обнаружения TOF–сенсора, поскольку также могут быть использованы такие излучатели, которые обеспечивают узкий луч. Длина зоны обнаружения TOF–сенсора 30 может быть переопределена разработчиком как произвольное значение, которое меньше максимального расстояния, на которое излучение от TOF–сенсора способно распространяться.
[0033] TOF–сенсор 30 может быть установлен за верхней крышкой 40.1 корпуса 40 умной колонки 100 напротив одного или более отверстий 40.2 в верхней крышке 40.1 так, чтобы обеспечиваемое излучателем 30.1 излучение и принимаемое приемником 30.2 отраженное излучение проходило через упомянутое одно или несколько отверстий 40.2. Данный вариант осуществления проиллюстрирован на фиг. 4. В других вариантах осуществления (на чертежах не показано) TOF–сенсор 30 может быть установлен за нижней крышкой 40.2 корпуса 40 умной колонки 100 напротив одного или более отверстий 40.2 в нижней крышке 40.3 так, чтобы обеспечиваемое излучателем 30.1 излучение и принимаемое приемником 30.2 отраженное излучение проходило через упомянутое одно или несколько отверстий 40.2 или может быть установлен напротив одного или более отверстий 40.2 в боковой стенке 40.4 или боковой крышке (на чертежах не показано) умной колонки 100 так, чтобы обеспечиваемое излучателем 30.1 излучение и принимаемое приемником 30.2 отраженное излучение проходило через упомянутое одно или несколько отверстий 40.2.
[0034] Умная колонка 100, согласно настоящей полезной модели, может дополнительно содержать одну или более линз 50, установленных посаженных в одно или более отверстий 40.2 напротив TOF–сенсора 30, при этом одна или более линза 50 выполнены с возможностью дополнительного рассеивания, обеспечиваемого излучателем 30.1 излучения в 1–5 град. угловых, но без ограничения упомянутым диапазоном, и защиты излучателя 30.1 и приемника 30.2 TOF–сенсора 30 от пыли и других загрязнителей. Может использоваться любой способ посадки и крепления линзы 50 в одном или более отверстиях 40.2 напротив TOF–сенсора 30.
[0035] Понятно, что объектом в зоне обнаружения TOF–сенсора 30 в разные моменты времени может быть любой объект, например, элемент интерьера или какая–либо часть тела пользователя. Когда TOF–сенсор 30 обнаруживает объект, расстояние до которого остается по существу неизменным в течение заданного периода времени, процессор 20 может выполнить определение, что объектом является препятствие и поэтому не использовать замеренное расстояние до этого объекта при формировании команды управления функцией умной колонки. Когда TOF–сенсор 30 обнаруживает объект, расстояние до которого изменяется в течение заданного периода времени, процессор 20 может выполнить определение, что объектом является часть тела пользователя, и поэтому использовать замеренное расстояние до этого объекта при формировании команды управления функцией умной колонки. Таким образом, объект, в отношении которого установлено, что определенное расстояние от данного объекта до TOF–сенсора 30 остается по существу неизменным в течение заданного периода времени, определяется процессором 20 в качестве препятствия, а объект в зоне обнаружения TOF–сенсора 30, в отношении которого установлено, что определенное расстояние от данного объекта до TOF–сенсора изменяется в течение заданного периода времени, определяется процессором 20 в качестве части тела пользователя умной колонки, которой может быть, но без ограничения упомянутым, рука, нога, один или несколько пальцев, ладонь, голова или другая часть тела пользователя, или определяется процессором 20 в качестве предмета, удерживаемого частью тела пользователя или служащего этой частью тела пользователя. Благодаря этому достигается докалибровка умной колонки 100, которая позволяет исключить какое–либо влияние неподвижных объектов, находящихся в зоне обнаружения TOF–сенсора, на управление умной колонкой.
[0036] Управляемой функцией умной колонки 100 может быть функция регулировки громкости мультимедийного контента, воспроизводимого умной колонкой, или функция регулировки громкости мультимедийного контента, воспроизводимого устройством, подключенным к умной колонке 100 по проводному или беспроводному интерфейсу. В этом варианте осуществления настоящей полезной модели процессор 20 может быть дополнительно выполнен с возможностью: изменения громкости в зависимости от определяемого расстояния до объекта в зоне обнаружения TOF–сенсора 30, в отношении которого установлено, что определенное расстояние от данного объекта до TOF–сенсора изменяется в течение заданного периода времени. Например, при перемещении руки пользователя из одного поддиапазона расстояний в другой поддиапазон расстояний процессор 20 может изменять громкость с уровня громкости упомянутого одного поддиапазона расстояний до уровня громкости упомянутого другого поддиапазона расстояний. Каждому поддиапазону, в который попадает определяемое расстояние, может соответствовать свой собственный уровень громкости, а регулировка громкости с уровня громкости упомянутого одного поддиапазона расстояний до уровня громкости упомянутого другого поддиапазона расстояний может осуществляться плавно или посредством резкого переключения, но без ограничения упомянутыми вариантами. Поддиапазоны расстояний могут быть последовательно расположены в зоне обнаружения TOF–сенсора 30 смежно друг с другом и могут охватывать по существу всю зону обнаружения TOF–сенсора 30 или ее часть. Таким образом, зона обнаружения TOF–сенсора может быть виртуально разделена на подобласти N1, N2, N3, N4, N5 (фиг. 5), где каждой подобласти соответствует свой собственный уровень громкости. Один возможный пример виртуального разделения зоны обнаружения TOF–сенсора 30 на поддиапазоны расстояний/подобласти проиллюстрирован на фиг. 5. Значение угла α может составлять, но без ограничения, от 20 до 30 град. угловых. Рабочее расстояние TOF–сенсора, определяющее зону обнаружения TOF–сенсора и измеряемое от TOF–сенсора до границы зоны обнаружения TOF–сенсора, задается в зависимости от мощности источника излучения и величины помех в отраженном излучении и составляет, предпочтительно от 60 до 150 см, но без ограничения упомянутым диапазоном. Соответствия между различными поддиапазонами расстояний/подобластями и соответствующими уровнями громкости могут быть заранее определены производителем и обеспечены в форме, например, таблицы соответствия, в каждой строке которой указан поддиапазон расстояний/подобласть и соответствующий этому поддиапазону расстояний/подобласти уровень громкости. Эта таблица соответствия может быть сохранена в блоке памяти 70 (не показан) умной колонки 100, к которому может быть осуществлен доступ процессором 20. В другом варианте осуществления таблица соответствия может быть сохранена в облаке 200 (не показано), с которым умная колонка 100 соединена по Интернету. В последнем случае, обновление таблицы соответствия со стороны производителя может быть централизовано. При увеличении определяемого расстояния громкость может увеличиваться, а при уменьшении – уменьшаться, но без ограничения упомянутым. Крайнему диапазону N1 (фиг. 5) расстояний/подобласти, т.е. диапазону с наименьшими расстояниями или ближайшему к TOF–сенсору 30, может быть назначена функция выключения управляемой в текущий момент функции или функция выключения всей умной колонки 100 или перевода ее в спящий режим. Данное назначение также может быть реализовано посредством вышеописанной таблицы соответствия, но без ограничения такой таблицей. Одним возможным примером таблицы соответствия (соответствия между конкретными подобластями и конкретными значениями, показанные в таблице 1, являются лишь примерными) является нижеследующая таблица 1 соответствия:
Таблица 1 соответствия (пример) между поддиапазонами расстояний/подобластями и различными уровнями громкости:
Подобласть N5 (Расстояние 75–60 см)
Громкость 100%
Подобласть N4 (Расстояние 60–45 см)
Громкость 75%
Подобласть N3 (Расстояние 45–30 см)
Громкость 50%
Подобласть N2 (Расстояние 30–15 см)
Громкость 25%
Подобласть N1 (Расстояние 15–0 см)
Выключение функции управления громкостью, выключение умной колонки 100 или перевод умной колонки 100 в спящий режим
[0037] Другими управляемыми функциями умной колонки 100 могут быть функция изменения интенсивности света одного или более светильников, подключенных к умной колонке 100 по проводному или беспроводному интерфейсу, функция изменения цвета света одного или нескольких светильников, подключенных к умной колонке 100по проводному или беспроводному интерфейсу, функция управления элементом умного дома, подключенным к умной колонке (100 по проводному или беспроводному интерфейсу, но без ограничения упомянутыми функциями. Элементом умного дома может быть, но без ограничения упомянутыми элементами, жалюзи, кондиционер, один или несколько светильников, один или несколько включателей/выключателей, один или несколько переключателей, один или несколько диммеров, один или несколько бытовых электроприборов. Другой управляемой функцией умной колонки 100 может быть функция навигации по контенту или пользовательскому интерфейсу, отображаемому на устройстве отображения, подключенном к умной колонке 100 по проводному или беспроводному интерфейсу. Функцией навигации по контенту может быть одна из вертикальной прокрутки, горизонтальной прокрутки, перехода на элемент контента вверх, перехода на элемент контента вниз, перехода на элемент контента влево, перехода на элемент контента вправо или выбора элемента, но без ограничения упомянутыми функциями. Для каждой из возможных управляемых функций может быть обеспечена своя таблица соответствия согласно вышеописанным принципам. Например, когда управляемой функцией является функция изменения интенсивности света одного или более светильников, подключенных к умной колонке 100 по проводному или беспроводному интерфейсу, соответствия между различными поддиапазонами расстояний/подобластями и соответствующими интенсивностями света могут быть заранее определены производителем и обеспечены в форме, например, таблицы соответствия, в каждой строке которой указан поддиапазон расстояний/подобласть и соответствующая этому поддиапазону интенсивность света и т.д.
[0038] В другом варианте осуществления процессор 20 умной колонки 100 может быть дополнительно выполнен с возможностью выключения управляемой в текущий момент функции умной колонки 100, полного выключения умной колонки 100 или перевода ее в спящий режим в случае обнаружения уменьшения определяемого TOF–сенсором 30 расстояния до объекта в зоне обнаружения до предопределенного порогового значения или ниже. В этом варианте осуществления процессор 20 умной колонки 100 может быть дополнительно выполнен с возможностью включения последней управляемой функции умной колонки 100, включения умной колонки 100 или вывода ее из спящего режима в случае обнаружения увеличения определяемого TOF–сенсором 30 расстояния до объекта в зоне обнаружения до предопределенного порогового значения или выше. Таким образом, TOF–сенсор может быть выполнен с возможностью обнаружения объекта и замера расстояния до этого объекта в зоне обнаружения TOF–сенсора, а процессор 20 выполнен с возможностью обработки определяемых расстояний даже при выключенном состоянии или состоянии сна умной колонки 100. В альтернативном варианте осуществления для включения/выключения умной колонки или ее функции может быть использована предопределенная величина изменения расстояния до объекта, например, при одномоментном сокращении расстояния до объекта на 30 см или более умная колонка 100 может выключаться или переводится в режим сна. И, напротив, при увеличении расстояния до объекта на 30 см или более умная колонка 100 может включаться или выводится из режима сна. Приведенная предопределенная величина в 30 см или более является лишь примером. Понятно, что любое другое значение может быть предопределено производителем при условии, что это значение не превышает максимальную дальность обнаружения TOF–сенсора 30.
[0039] При работе процессора 20 умной колонки 100 не все значения, переданные в него TOF–сенсором, могут быть использованы в качестве управляющих сигналов ввиду того, что могут содержать помехи и артефакты. По сути такие значения являются необработанным набором значений и требуют дополнительной фильтрации.
[0040] Рассмотрим техники фильтрации сигналов TOF–сенсора процессором подробнее. Фильтрация определяемых значений расстояния может быть выполнена по моде (с помощью модового фильтра) или по медиане (с помощью медианного фильтра) для исключения из обработки кратковременных выбросов определяемых значений расстояния.
[0041] Модовый фильтр можно отнести к цифровым фильтрам. Если пользователь желает пересечь зону обнаружения TOF–сенсора в определенном месте и извлечь определенную одну ноту (определенный звук) или выдать команду на определенный уровень громкости необходимо учитывать следующую проблему. Как показано на фиг. 5 и упоминалось ранее, излучение от TOF–сенсора, производящего измерение расстояния до объекта, например, руки пользователя, может представлять собой конус. Может иметь место ситуация, когда расстояние до руки пользователя вносящего руку в подобласть N3 зоны обнаружения TOF–сенсора ближе к верхней границе подобласти N3 (например в месте ввода руки пользователя, указанном уровнем 11 на фиг. 5), некорректно обнаруживается TOF–сенсором и процессором как внос руки в подобласть N4. Данное некорректное обнаружение обычно является кратковременным и связано с тем, что зона обнаружения TOF–сенсора является конусом, а расстояние OA до руки пользователя в момент вхождения в зону обнаружения превышает расстояние OB, что приводит к некорректному определению подобласти N4 вместо корректной подобласти N3 (в данном примере). Для устранения этой проблемы может использоваться модовый фильтр. Как известно, мода – это значение из множества значений, которое встречается наиболее часто. Идея метода «моды» применительно к обработке значений состоит в следующем. TOF–сенсор делает множество измерений в секунду, в каждом временном интервале используются текущие последние, например, три измерения (количество задается разработчиком), из которых выбирается наиболее часто встречающееся значение измерения и принимается в качестве значения, по которому определяется область, в которой расположена рука пользователя и выдается аудиоконтент, соответствующий этой области.
[0042] Предпочтительно в качестве излучателя использован импульсный инфракрасный лазер, при этом импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 10–100 импульсов в секунду. В одном из вариантов осуществления импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 30 импульсов в секунду. При этом следует понимать, что тип и частота источника излучения может быть выбрана подходящим образом очевидным для специалиста образом.
[0043] Другим методом фильтрации сигналов TOF–сенсора для исключения артефактов в измерениях является использование медианного фильтра.
[0044] Медианный фильтр также является одним из видов цифровых фильтров, который может быть использован при регулировке громкости звука, при работе умной колонки в режиме электронного музыкального инструмента или в иных режимах. Идея медианного фильтра состоит в том, что медианный фильтр «проходит» по измеренным значениям расстояния скользящим «окном» заданного размера, то есть рассматривает определенное количество измерений как группу и анализирует значения в этой группе, и выбирает из значений, попавших в это окно, медианное значение, которое затем уже используется в качестве команды управления или управляющего сигнала.
[0045] Рассмотрим использование медианного фильтра для фильтрации сигналов TOF–сенсора умной колонки подробнее. Как было упомянуто выше, умная колонка содержит процессор 20, TOF–сенсор 30, функционально соединенный с процессором 20, и блок памяти. TOF–сенсор 30 умной колонки 100 выполнен с возможностью выполнения измерений расстояния от TOF–сенсора 30 до объекта в зоне обнаружения TOF–сенсора 30. Результатом этих измерений являются одно или несколько значений расстояния до объекта, которые напрямую или опосредованно передаются в процессор 20. При этом, как уже было упомянуто, эти значения расстояния могут содержать различные артефакты, кратковременные выбросы, помехи и тому подобные неверные значения расстояния, которые могут затруднять корректное распознаванию команд пользователя умной колонкой 100.
[0046] Для фильтрации таких ошибочных значений расстояния может применяться техника медианной фильтрации, также известная как медианный фильтр. Процессор 20 может быть сконфигурирован так, чтобы применять медианный фильтр к одному или нескольким значениям расстояния, полученным от TOF–сенсора 30, с получением одного или нескольких управляющих значений расстояния. Управляющие значения расстояния, в свою очередь, могут использоваться для управления одной или несколькими функциями умной колонки 100.
[0047] Процессор 20 может быть сконфигурирован таким образом, чтобы при исполнении медианной фильтрации выбирать из множества полученных значений расстояния медианное значение и принимать это медианное значение в качестве управляющего значения. Для этого процессор 20 может упорядочивать значения из множества полученных значений по возрастанию и выбирать из них медиану. Процессор 20 может сохранять указанное медианное значение расстояния в качестве управляющего значения расстояния в блоке памяти умной колонки, который может представлять собой постоянное запоминающее устройство (ПЗУ) или оперативное запоминающее устройство (ОЗУ).
[0048] При этом выбор медианного значения может производиться процессором из множества значений, попавших в предварительно заданное окно.
[0049] В одних вариантах реализации настоящего решения это окно может быть определено временным интервалом, измеряемым в секундах, миллисекундах и т.д. Например, окно может быть определено временным интервалом, находящимся в диапазоне 0,05–0,5 секунды. Как будет ясно специалисту в этой области техники, длина временного интервала может быть различной, и может быть задана в зависимости от различных факторов, таких как требуемое качество распознавания сигнала, характер наблюдаемых помех, частота измерений расстояния TOF–сенсором 3). Например, для TOF–сенсора 30, делающего 30 измерений расстояния в секунду, длина окна может составлять 0,1 секунды. В случае определения окна с помощью временного интервала выбор медианного значения может производиться из множества значений расстояния, попавших в это окно.
[0050] В альтернативных вариантах реализации настоящего решения окно может быть определено количеством значений расстояния, заданным с помощью целого положительного числа, например 3, 5, 10 и т.д. Так, например, окно может быть определено количеством значений, находящимся в диапазоне 3–20 значений. Как будет ясно специалисту в этой области техники, размер такого окна может быть различным, и, аналогично реализации с временным интервалом, может быть задан в зависимости от различных факторов, таких как требуемое качество распознавания сигнала, характер наблюдаемых помех, частота измерений расстояния TOF–сенсором 30. Так, например, для TOF–сенсора 30, делающего 30 измерений расстояния в секунду, размер окна может составлять 3 значения расстояния.
[0051] В вариантах реализации настоящего решения предварительно заданное окно может быть скользящим окном, т.е. таким окном, в которое будут попадать только самые последние значения расстояния, сделанные TOF–сенсором 30 умной колонки 100. Из множества попавших в это скользящее окно значений расстояния выбирается медиана. В качестве неограничивающего примера рассмотрим следующую ситуацию. Допустим, от TOF–сенсора 30 было получено последовательно пять значений расстояния: 7, 10, 80, 6, 20 (ед). При этом размер скользящего окна задан в количестве трех измерений расстояния. Тогда, без учета значений, которые могли быть получены до или после вышеуказанных пяти значений, начиная с первого значения [7] из этого ряда, в скользящее окно попадут следующие значения: [7, 10, 80], [10, 80, 6], [80, 6, 20]. После упорядочивания по возрастанию значения в окнах примут следующий вид: [7, 10, 80], [6, 10, 80], [6, 20, 80]. Медианы для этих трех окон будут равны соответственно 10, 10 и 20. Эти значения будут использованы в качестве управляющих значений расстояния. В этом примере выброс, т.е. значение 80, был отфильтрован и соответственно не будет использован в качестве управляющего значения расстояния.
[0052] Применение медианного фильтра позволяет повысить качество распознавания команд пользователя умной колонки, снижая количество артефактов, и повысить точность определения подобласти зоны обнаружения TOF–сенсора, в которой находится рука пользователя.
[0053] В другом варианте осуществления может быть обеспечен способ, реализующий действие или совокупность действий, описанных в данном документе и выполняемых умной колонкой 100 или ее компонентами, например, процессором 20. В другом варианте осуществления может быть обеспечена система 300, состоящая из множества умных колонок 110, 130, описанных в данном документе, в которой, например, одна умная колонка 130) из множества используется для регулировки громкости, а другая умная колонка 110 используется в качестве электронного музыкального инструмента. В этом варианте осуществления умные колонки из упомянутого множества связаны между собой по проводному или беспроводному интерфейсу 105, например, по Bluetooth. Пользователь 150 управляет умной колонкой 130 левой рукой 140 и управляет умной колонкой 110 правой рукой 120. Левая рука 140 пользователя находится в зоне 135 обнаружения TOF–сенсора 130, а правая рука 120 пользователя находится в зоне 115 обнаружения TOF–сенсора 110. Данный вариант осуществления обеспечивает возможность использования пользователем режима электронного музыкального устройства умной колонки, например, 110 с функцией регулировки громкости или иных параметров звуков, извлекаемых на умной колонке 110, на другой умной колонке, например, 130, как проиллюстрировано на фиг. 6. При этом одна умная колонка, например, 110, работающая в режиме электронного музыкального инструмента, может быть ведущей, а другая умная колонка 130, ответственная, например, за регулировку громкости или высоты звуков, извлекаемых пользователем с помощью умной колонки 110, может быть ведомой. Умные колонки 110, 130 могут быть синхронизированы между собой посредством проводной или беспроводной связи 105.
[0054] Умную колонку 100 можно расположить вертикально, как показано на фиг. 1, можно расположить горизонтально, например, положив на боковую поверхность, тогда поверхность корпуса с отверстиями будет направлена в сторону.
[0055] В другом аспекте настоящего раскрытия обеспечена умная колонка с возможностью звукового воспроизведения аудиоконтента и функцией управления воспроизводимым аудиоконтентом с помощью изменения расстояния от умной колонки до управляющего объекта, содержащая установленные в корпусе умной колонки: TOF–сенсор, сконфигурированный для определения и выдачи расстояния до объекта, находящегося в зоне обнаружения TOF–сенсора, причем зона обнаружения TOF–сенсора виртуально разделена на множество последовательно расположенных вдоль оси излучения TOF–сенсора и смежных друг с другом областей, причем каждая область соответствует диапазону расстояний от TOF–сенсора, блок памяти, содержащий аудиоконтент, процессор, сконфигурированный для обработки сигналов от TOF–сенсора, причем обработка включает в себя: определение, на основании расстояния до объекта, области в зоне обнаружения TOF–сенсора, в которой находится объект, извлечение из блока памяти аудиоконтента, соответствующего области, в которой обнаружен объект, блок воспроизведения аудиоконтента, сконфигурированный для воспроизведения, по сигналу управления от процессора, аудиоконтента, соответствующего области, которая определена в зоне обнаружения.
[0056] В предлагаемой умной колонке TOF–сенсор содержит излучатель и приемник, причем излучатель выполнен с возможностью обеспечения излучения в зоне обнаружения TOF–сенсора, а приемник выполнен с возможностью приема излучения, отраженного от объекта в зоне обнаружения TOF–сенсора.
[0057] В предлагаемой умной колонке в качестве излучателя использован импульсный инфракрасный лазер.
[0058] В предлагаемой умной колонке импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 10–100 импульсов в секунду.
[0059] В предлагаемой умной колонке импульсный инфракрасный лазер сконфигурирован с возможностью генерирования импульсов с частотой 30 импульсов в секунду.
[0060] В предлагаемой умной колонке излучатель сконфигурирован с возможностью генерирования излучения конической формы, причем значение угла при вершине конуса составляет 20–30 град. угловых.
[0061] В предлагаемой умной колонке TOF–сенсор установлен под верхней крышкой корпуса умной колонки под одним или несколькими отверстиями, выполненными в верхней крышке.
[0062] В предлагаемой умной колонке TOF–сенсор установлен за одним или несколькими отверстиями, выполненными в боковой стенке умной колонки.
[0063] Эта умная колонка дополнительно содержит линзу, установленную в одном или более отверстиях в крышке корпуса между TOF–сенсором и крышкой.
[0064] В предлагаемой умной колонке линза обеспечивает дополнительное рассеивание излучения в 1–5 град. угловых.
[0065] В предлагаемой умной колонке в качестве объекта служит часть тела пользователя, включая руку, ногу, голову или предмет в руке пользователя.
[0066] В предлагаемой умной колонке в качестве блока памяти использовано постоянное запоминающее устройство.
[0067] В предлагаемой умной колонке в качестве блока памяти использовано оперативное запоминающее устройство.
[0068] В предлагаемой умной колонке рабочее расстояние TOF–сенсора, определяющее зону обнаружения TOF–сенсора и измеряемое от TOF–сенсора до границы зоны обнаружения TOF–сенсора, задается в зависимости от мощности источника излучения и величины помех в отраженном излучении и составляет, предпочтительно от 60 до 150 см.
[0069] В предлагаемой умной колонке между корпусом и TOF–сенсором размещена линза для защиты от внешней среды.
[0070] В этой умной колонке процессор дополнительно сконфигурирован с возможностью: во время входа объекта в зону обнаружения TOF–сенсора выполнения ряда измерений расстояния от TOF–сенсора до объекта с получением ряда значений расстояний, и для каждого значения расстояния из ряда значений расстояния определение соответствующей этому значению области из упомянутого множества областей с получением ряда определенных областей–кандидатов, определение наиболее часто встречающейся области (статистической моды) в ряде областей–кандидатов, принятие наиболее часто встречающейся области в качестве той области из упомянутого множества областей, в которую вошел объект во время входа в зону обнаружения TOF–сенсора.
[0071] В предлагаемой умной колонке процессор дополнительно сконфигурирован с возможностью управления громкостью умной колонки.
[0072] Другие варианты осуществления и возможные модификации станут очевидны специалистам в данной области после прочтения данного описания. Обращение в данной заявке к некоторому элементу в единственном числе не исключает варианта осуществления с множеством таких элементов. Обращение в данной заявке к некоторому элементу во множественном числе не исключает варианта осуществления с единственным таким элементом. Термины “содержит”, “включает в себя” указывают на открытый список, т.е. заявленный объект может содержать не только элементы, перечисленные с помощь таких терминов, но также и другие дополнительные элементы, которые явно не перечисляются. Исполняемые компьютером инструкции для реализации любого действия, реализуемого умной колонкой 100 согласно настоящему раскрытию, могут быть записаны на считываемый компьютером носитель, и при загрузке этого носителя и исполнении этих инструкций компьютером или другим вычислительным устройством, компьютер или другое вычислительное устройство могут быть выполнены с возможностью реализации функциональности, раскрытой в данном документе умной колонки 100.