УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ЗВУКОВЫХ СИГНАЛОВ
AUDIO SIGNAL PROCESSING DEVICE

Настоящее изобретение относится к устройству для обработки звуковых сигналов. Настоящее изобретение относится также к устройству для обработки звуковых и речевых сигналов в звуковых устройствах, но не ограничивается этим.
В устройстве связи микрофон или микрофонную решетку обычно используют для захвата акустических волн и их вывода в виде электрических сигналов, представляющих звук или речь, которые затем могут быть обработаны и переданы в другие устройства или сохранены для последующего воспроизведения. Современные технологии обеспечивают возможность использования более одного микрофона в микрофонной решетке для захвата акустических волн, при этом результирующий звуковой сигнал от каждого из микрофонов может быть передан в звуковой процессор для помощи в выделении требуемой акустической волны. Звуковой процессор может, например, выделять из звуковых сигналов общий шум или нежелательный звуковой компонент. Этот общий шумовой компонент затем может быть вычтен из указанных звуковых сигналов с получением звукового сигнала с ослаблением шума окружающей среды. В частности, это применимо в приложениях связи, в которых такое устройство может уменьшать шумовой эффект окружающей среды, в частности, при работе в громкоговорящем режиме, благодаря наличию по меньшей мере двух микрофонов, первый из которых расположен рядом со ртом пользователя, а второй микрофон расположен в отдалении ото рта пользователя. Звуковой сигнал от упомянутого второго микрофона вычитают из звукового сигнала от упомянутого первого микрофона при условии, что и первый, и второй микрофоны принимают компоненты шума окружающей среды, но только первый микрофон принимает требуемые речевые акустические сигналы ото рта пользователя. Этот сценарий представляет собой простой способ использования двух микрофонов, но необходимо отметить, что на практике второй микрофон будет принимать не только шум.
При применении усовершенствованных возможностей обработки два или более микрофонов могут быть использованы с адаптивной фильтрацией в виде переменных коэффициентов усиления и задержки, применяемых к звуковым сигналам от каждого из микрофонов для формирования диаграммы направленности приема микрофонной решетки. Другими словами, формирование диаграммы направленности формирует настраиваемый профиль звуковой чувствительности.
Хотя формирование диаграммы направленности принятых звуковых сигналов может приводить к улучшению отношения сигнал/шум для голосовых сигналов и фонового шума, оно весьма чувствительно к относительному положению микрофонной решетки и источника сигналов. Поэтому устройство разрабатывают с широкой диаграммой направленности (то есть, как описано выше и показано на фиг.3а, где пользователь 251 управляет устройством 10 с лепестком диаграммы направленности первого микрофона, направленным в одном направлении для захвата голосовых акустических волн, с широким профилем 201 усиления, и лепестком диаграммы направленности второго микрофона, направленным в противоположном направлении, со вторым противоположно направленным широким профилем 20 усиления для захвата шума). Поскольку пользователи часто изменяют положение телефона, особенно при длительных разговорах, любая попытка использовать обработку с формированием узкого лепестка диаграммы направленности с высоким усилением может привести к тому, что лепесток диаграммы направленности не будет направлен ко рту, и к формированию более низкого отношения сигнал/шум, чем в конфигурации с низким усилением или конфигурации со стандартным ненаправленным микрофоном.
Настоящее изобретение основано на том, что использование датчиков, таких как датчики движения, ориентации и направления, может помогать при управлении формированием диаграммы направленности / подавлением шума и формировании профиля диаграммы направленности, который должен быть использован в микрофонах, и, таким образом, поддерживать алгоритмы устранения шума или снижения шума и улучшать отношение сигнал/шум захваченных звуковых сигналов.
Варианты осуществления настоящего изобретение направлены на решение вышеупомянутой проблемы.
В соответствии с первым аспектом настоящего изобретения предложен способ, включающий определение изменения положения устройства и обработку по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения.
Указанное изменение положения предпочтительно представляет собой по меньшей мере одно из следующего: относительное изменение положения относительно другого объекта и абсолютное изменение положения.
Указанное изменения положения может включать по меньшей мере одно из следующего: поступательное изменение положения и изменение углового положения.
Способ может также включать: обнаружение первого положения устройства; прием по меньшей мере одного звукового сигнала; и формирование для каждого звукового сигнала по меньшей мере одного параметра обработки сигнала в зависимости от указанного первого положения устройства.
Формирование для каждого звукового сигнала по меньшей мере одного параметра обработки сигнала в зависимости от указанного первого положения устройства может включать формирование по меньшей мере одного из следующего: коэффициента усиления и задержки.
Способ может также включать: формирование для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки сигнала в зависимости от указанного обнаруженного изменения положения устройства.
Указанное формирование для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки сигнала может включать: определение того, превышает ли указанное изменение положения устройства по меньшей мере одно заранее заданное значение; и формирование указанного по меньшей мере одного дополнительного параметра обработки сигнала для каждого звукового сигнала в зависимости от указанного по меньшей мере одного заранее заданного значения.
Обработка указанного по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения может включать выбор по меньшей мере одного указанного звукового сигнала для вывода в зависимости от указанного изменения положения.
Обработка по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения может включать формирование диаграммы направленности для указанного по меньшей мере одного звукового сигнала так, чтобы удержать фокусировку диаграммы направленности на объекте.
Указанный по меньшей мере один звуковой сигнал может включать по меньшей мере один звуковой сигнал, полученный от по меньшей мере одного микрофона.
В соответствии со вторым аспектом настоящего изобретения предложено устройство, включающее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанная по меньшей мере одна память и указанный компьютерный программный код конфигурированы так, чтобы, совместно с указанным по меньшей мере одним процессором, обеспечивать выполнение указанным устройством по меньшей мере следующего: определения изменения положения указанного устройства; и обработку по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения.
Указанное изменение положения предпочтительно представляет собой одно из следующего: относительное изменение положения относительно другого объекта и абсолютное изменение положения.
Указанное изменение положения предпочтительно включает по меньшей мере одного из следующего: поступательное изменение положения и изменение углового положения.
Указанная по меньшей мере одна память и указанный компьютерный программный код конфигурированы так, чтобы, совместно с указанным по меньшей мере одним процессором, предпочтительно также обеспечивать выполнение указанным устройством следующего: обнаружения первого положения указанного устройства; приема по меньшей мере одного звукового сигнала; и формирования для каждого звукового сигнала по меньшей мере одного параметра обработки сигнала в зависимости от указанного первого положения устройства.
Указанный по меньшей мере один параметр обработки сигнала может включать: коэффициент усиления и задержку.
Указанная по меньшей мере одна память и указанный компьютерный программный код конфигурированы так, чтобы, совместно с указанным по меньшей мере одним процессором, предпочтительно также обеспечивать выполнение указанным устройством следующего: формирование для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки сигнала в зависимости от указанного обнаруженного изменения положения устройства.
Формирование для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки предпочтительно обеспечивает выполнение указанным устройством по меньшей мере следующего: определение того, превышает ли указанное изменение положения устройства по меньшей мере одно заранее заданное значение; и формирование указанного по меньшей мере одного дополнительного параметра обработки сигнала для каждого звукового сигнала в зависимости от указанного по меньшей мере одного заранее заданного значения.
Обработка указанного по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения предпочтительно обеспечивает выполнение указанным устройство по меньшей мере выбора по меньшей мере одного указанного звукового сигнала для вывода сигнала в зависимости от указанного изменения положения.
Обработка указанного по меньшей одного звукового сигнала в зависимости от указанного изменения положения может обеспечивать выполнение указанным устройством по меньшей мере формирования диаграммы направленности указанного по меньшей мере одного звукового сигнала так, чтобы удерживать фокусировку диаграммы направленности на объекте.
Указанный по меньшей мере один звуковой сигнал может включать по меньшей мере один звуковой сигнал, полученный от по меньшей мере одного микрофона.
В соответствии с третьим аспектом настоящего изобретения предложено устройство, включающее датчик, конфигурированный для определения изменения положения указанного устройства; и процессор, конфигурированный для обработки по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения.
Указанный датчик предпочтительно конфигурирован для определения изменения положения, представляющего собой по меньшей мере одно из следующего: относительное изменение положения относительно другого объекта и абсолютное изменение положения.
Указанный датчик предпочтительно конфигурирован для определения изменения положения, представляющего собой по меньшей мере одно из следующего: поступательное изменение положения указанного устройства и изменение углового положения указанного устройства.
Указанный датчик предпочтительно также конфигурирован для определения первого положения указанного устройства; и указанный процессор предпочтительно также конфигурирован для приема по меньшей мере одного звукового сигнала и формирования для каждого звукового сигнала по меньшей мере одного параметра обработки сигнала в зависимости от указанного первого положения устройства, определенного датчиками.
Указанный по меньшей мере один параметр обработки сигнала может включать: коэффициент усиления и задержку.
По меньшей мере одно из указанного коэффициента усиления и указанной задержки предпочтительно зависит от частоты указанного по меньшей мере одного звукового сигнала.
Указанный датчик предпочтительно также конфигурирован для определения второго положения указанного устройства, а указанный процессор предпочтительно также конфигурирован для формирования для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки сигнала в зависимости от указанного обнаруженного изменения положения устройства.
Указанный процессор, конфигурированный для формирования для каждого звукового сигнала по меньшей мере одного дополнительного параметра обработки сигнала, предпочтительно конфигурирован для определения того, превышает ли указанное изменение положения устройства по меньшей мере одно заранее заданное значение; и формирования указанного по меньшей мере одного дополнительного параметра обработки сигнала для каждого звукового сигнала в зависимости от указанного по меньшей мере одного заранее заданного значения.
Указанный процессор предпочтительно конфигурирован для выбора по меньшей мере одного указанного звукового сигнала для вывода сигнала в зависимости от указанного изменения положения.
Указанный процессор, конфигурированный для обработки указанного по меньшей одного звукового сигнала в зависимости от указанного изменения положения предпочтительно конфигурирован для формирования диаграммы направленности указанного по меньшей мере одного звукового сигнала так, чтобы удерживать фокусировку диаграммы направленности на объекте.
Указанный по меньшей мере один звуковой сигнал может включать по меньшей мере один звуковой сигнал, полученный от по меньшей мере одного микрофона.
В соответствии с четвертым аспектом настоящего изобретения предложено устройство, включающее: средства для определения изменения положения указанного устройства; и средства для обработки по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения.
В соответствии с пятым аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий инструкции, которые, при исполнении их компьютером, обеспечивают: определение изменения положения указанного устройства и обработку по меньшей мере одного звукового сигнала в зависимости от указанного изменения положения.
Электронное устройство может включать вышеописанное устройство.
Чипсет может включать вышеописанное устройство.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для лучшего понимания настоящего изобретения в качестве примера будет сделана ссылка на сопровождающие чертежи, на которых:
на фиг.1 схематически показано электронное устройство, в котором использованы варианты осуществления настоящего изобретения;
на фиг.2 более подробно схематически показано электронное устройство, проиллюстрированное на фиг.1;
на фиг.3а-3е схематически показаны типичные изменения положения/перемещения телефонной трубки, которые могут быть обнаружены; и
на фиг.4а и 4b схематически показаны блок-схемы, иллюстрирующие ряд вариантов осуществления настоящего изобретения.
Далее описаны устройство и способы обеспечения улучшения характеристик отношения сигнал/шум в микрофонной решетке (другими словами, улучшения ослабления шума в микрофонной решетке). В этой связи сначала обратимся к фиг.1, где показана схематическая блок-схема примера электронного устройства 10 или устройства, которое может включать компоненты и способы с улучшенными характеристиками сигнал/шум.
Электронное устройство 10 может представлять собой, например, мобильный терминал или пользовательское оборудование для беспроводной системы связи. В других вариантах осуществления электронное устройство может быть любым аудиоплеером, таким как mp3-плеер, оборудованный соответствующей микрофонной решеткой и датчиками, как описано далее.
Электронное устройство 10 в некоторых вариантах осуществления включает процессор 21. Процессор 21 может быть конфигурирован для выполнения различных программных кодов. Выполняемые программные коды могут включать код для увеличения отношения сигнал/шум.
Выполняемые программные коды 23 могут быть сохранены, например, в памяти 22 для извлечения при необходимости процессором 21. Память 22 также может обеспечивать секцию 24 для хранения данных, например, данных, которые были обработаны в соответствии с вариантами осуществления настоящего изобретения.
Код для увеличения отношения сигнал/шум в некоторых вариантах осуществления настоящего изобретения может быть реализован по меньшей мере частично с использованием аппаратных или программно-аппаратных средств.
Процессор 21 в некоторых вариантах осуществления настоящего изобретения может быть связан с динамиком 33 посредством цифро-аналогового преобразователя 32 (digital-to-analogue converter, DAC).
Цифро-аналоговый преобразователь (DAC) 32 может быть любым подходящим преобразователем.
Динамик 33 может представлять собой, например, любой звуковой преобразователь, подходящий для формирования акустических волн, поступающих в уши пользователя и генерируемых из электрического звукового сигнала, выходящего из цифроаналогового преобразователя 32 DAC. Динамик 33 в некоторых вариантах осуществления настоящего изобретения может представлять собой наушники или динамик для воспроизведения звука и может быть соединен с электронным устройством 10 с использованием гнезда для подключения наушников. В некоторых вариантах осуществления динамик 33 может включать цифро-аналоговый преобразователь 32 DAC. Кроме того, в некоторых вариантах осуществления динамик 33 может быть подключен к электронному устройству 10 с использованием беспроводного соединения 10, например, с использованием маломощного радиочастотного соединения, такого как соединение согласно профилю Bluetooth A2DP.
Процессор 21 также соединен с приемопередатчиком 13 (TX/RX), пользовательским интерфейсом 15 (user interface, UI) и памятью 22.
Пользовательский интерфейс 15 может предоставлять пользователю возможность вводить команды в электронное устройство 10, например, посредством клавиатуры, и/или получать информацию от электронного устройства 10, например, посредством дисплея (не показан). Необходимо понимать, что пользовательский интерфейс в некоторых вариантах осуществления может также быть любой подходящей комбинацией технологий ввода и отображения, например сенсорным дисплеем, подходящим как для приема входных данных от пользователя, так и для отображения информации для пользователя.
Приемопередатчик 13 может использовать любую подходящую технологию связи и может быть конфигурирован для обеспечения связи с другими электронными устройствами, например, посредством беспроводной сети связи.
Устройство 10 в некоторых вариантах осуществления настоящего изобретения может дополнительно включать по меньшей мере два микрофона в микрофонной решетке 11 для ввода или захвата акустических волн и вывода звуковых или речевых сигналов, которые необходимо обработать, в соответствии с вариантами осуществления настоящего изобретения. Указанные звуковые или речевые сигналы в соответствии с некоторыми вариантами осуществления изобретения могут быть переданы в другие электронные устройства с использованием приемопередатчика 13 или могут быть сохранены в секции 24 данных в памяти 22 для дальнейшей обработки.
Соответствующий программный код или аппаратные средства для управления захватом звуковых сигналов с использованием по меньшей мере двух микрофонов могут быть для этого активированы пользователем посредством пользовательского интерфейса 15. Устройство 10 в таких вариантах осуществления может также включать аналого-цифровой преобразователь 14 (analogue-to-digital converter, ADC), конфигурированный для преобразования входных аналоговых звуковых сигналов от микрофонной решетки 11 в цифровые звуковые сигналы, и подачи цифровых звуковых сигналов в процессор 21.
Устройство 10 в некоторых вариантах осуществления изобретения может принимать звуковые сигналы от микрофонной решетки 11, которая физически не реализована в электронном устройстве. Например, динамик 33 устройства в ряде вариантов осуществления может включать микрофонную решетку. Динамик 33 устройства может затем передавать звуковые сигналы от микрофонной решетки 11, и, таким образом, устройство 10 может принимать поток битов звукового сигнала с кодированными соответствующим образом звуковыми данными от другого электронного устройства посредством приемопередатчика 13.
В ряде вариантов осуществления настоящего изобретения процессор 21 может выполнять программный код для увеличения отношения сигнал/шум, который хранится в памяти 22. В этих вариантах осуществления процессор 21 может обрабатывать данные принятого звукового сигнала и выводить обработанные звуковые данные.
Принятые звуковые данные в ряде вариантов осуществления вместо немедленной обработки также сохраняют в секции 24 данных в памяти 22, например, для дальнейшей обработки и представления или передачи в еще одно электронное устройство.
Кроме того, электронное устройство может включать датчики или группу 16 датчиков. Группа 16 датчиков принимает информацию об окружающей среде, в которой работает электронное устройство 10, и передает эту информацию в процессор 21 для запуска обработки звукового сигнала и, в частности, для управления процессором 21 в приложениях для ослабления шума. Группа 16 датчиков может включать по меньшей мере один из следующего набора датчиков.
В ряде вариантов осуществления группа 16 датчиков может включать модуль камеры. Модуль камеры в ряде вариантов осуществления может содержать по меньшей мере одну камеру, включающую объектив для фокусирования изображения на средстве захвата цифрового изображения, таком как прибор с зарядовой связью (charged coupled device, CCD). В других вариантах осуществления настоящего изобретения средство захвата цифрового изображения может представлять собой любое подходящее устройство для захвата изображения, например датчик изображения на основе комплементарного металлооксидного полупроводника (complementary metal oxide semiconductor, CMOS). Модуль камеры в ряде вариантов осуществления также включает лампу-вспышку для освещения объекта перед захватом изображения объекта. Лампа-вспышка в таких вариантах осуществления изобретения связана с процессором камеры для управления работой лампы-вспышки. В других вариантах осуществления камера может быть конфигурирована для выполнения обнаружения слабого общего света в инфракрасной и ближней инфракрасной области. Указанная по меньшей мере одна камера также может быть соединена с процессором камеры для обработки сигналов, принятых от указанной по меньшей мере одной камеры перед передачей обработанного изображения в процессор. Процессор камеры может быть соединен с локальной памятью камеры, в которой могут храниться программные коды для их выполнения процессором камеры при захвате изображения. Кроме того, локальная память камеры может быть использована в ряде вариантов осуществления изобретения в качестве буфера для хранения захваченного изображения перед локальной обработкой и во время нее. В ряде вариантов осуществления процессор камеры и память камеры реализованы в процессоре 21 и памяти 22 соответственно.
Кроме того, в ряде вариантов осуществления изобретения модуль камеры может быть физически реализован в акустическом устройстве воспроизведения.
В ряде вариантов осуществления настоящего изобретения модуль 101 камеры может быть конфигурирован для определения положения электронного устройства 10 относительно пользователя путем получения изображений пользователя от устройства и определения приблизительного положения или ориентации относительно пользователя. В ряде вариантов осуществления модуль 101 камеры, например, может включать более одной камеры, захватывающей изображения в одно и то же время при незначительно отличающихся положениях или ориентациях.
Модуль 101 камеры в ряде вариантов осуществления может также быть конфигурирован для выполнения распознавания лиц на захваченных изображениях и, следовательно, может оценивать положения рта для обнаруженного лица. Оценка направления или ориентации между электронным устройством и ртом пользователя может быть применена при использовании телефона в громкоговорящем режиме, в режиме перемещения или в режиме аудио-видео-конференции, когда информация изображений, полученная от камеры, может быть использована и в качестве изображений, которые необходимо передать, и также для определения местоположения говорящего пользователя, чтобы обеспечить увеличение отношения сигнал/шум для речи пользователя.
В ряде вариантов осуществления настоящего изобретения группа 16 датчиков включает датчик положения/ориентации. Датчик ориентации в некоторых вариантах осуществления изобретения может быть реализован как цифровой компас или твердотельный компас, конфигурированный для определения ориентации электронного устройства относительно горизонтальной оси. В ряде вариантов осуществления датчик положения/ориентации может представлять собой гравитационный датчик, конфигурированный для определения ориентации электронного устройства относительно вертикальной оси. Гравитационный датчик может быть выполнен, например, в виде матрицы ртутных выключателей, установленных под различными углами к вертикали, при этом выходные сигналы выключателей указывают угол между электронным устройством и вертикальной осью.
В ряде вариантов осуществления настоящего изобретения датчик положения/ориентации включает спутниковую систему определения местоположения, например глобальную систему позиционирования (global positioning system, GPS), посредством которой приемник имеет возможность оценивать положение пользователя на основе временных данных, принятых от орбитальных спутников. Кроме того, в некоторых вариантах осуществления информация GPS может быть использована для извлечения данных об ориентации и перемещении путем сравнения оцениваемого положения приемника в два момента времени.
В ряде вариантов осуществления настоящего изобретения группа 16 датчиков также включает датчик движения в виде счетчика шагов. Счетчик шагов в некоторых вариантах осуществления может обнаруживать движение пользователя при его ритмичном перемещении вверх и вниз при ходьбе. Сама периодичность шагов в ряде вариантов осуществления может быть использована для получения оценки скорости движения пользователя. В некоторых вариантах осуществления изобретения счетчик шагов может быть выполнен в виде гравитационного датчика. Кроме того, в ряде вариантов осуществления изобретения группа 16 датчиков может включать по меньшей мере один акселерометр, конфигурированный для определения любого изменения при движении устройства.
Изменение движения/положения/ориентации может представлять собой абсолютное изменение, когда изменяется движение / положение/ориентация устройства, или относительное изменение, когда изменяется движение/положение/ориентация устройства 10 относительно локализованного объекта, например относительно пользователя устройства или, более конкретно, относительно рта пользователя устройства.
В некоторых вариантах осуществления изобретения датчик положения/ориентации 105 может включать емкостный датчик, который может определять приблизительное расстояние от электронного устройства до головы пользователя, когда пользователь работает с электронным устройством. Необходимо понимать, что датчик положения/ориентации в других вариантах осуществления настоящего изобретения может быть выполнен с использованием конфигурации с резистивным датчиком, оптическим датчиком или любым другим подходящим датчиком, конфигурированным для определения близости пользователя к устройству.
Необходимо также понимать, что конструкция устройства 10 может быть дополнена и изменена различными способами.
Следует понимать, что схематические структуры, показанные на фиг.2, и шаги способа на фиг.4а и 4b представляют собой только часть функционирования полной последовательности операций обработки звука для улучшения отношения сигнал/шум, включающей ряд приведенных для примера вариантов осуществления изобретения, реализованных в электронном устройстве, показанном на фиг.1.
Далее рассмотрены более подробно некоторые реализованные и функционирующие варианты осуществления настоящего изобретения, показанные на фиг.2, 4а и 4b.
Группа 16 датчиков, как показано на фиг.2, включает модуль 101 камеры, датчик 103 движения и датчик 105 положения/ориентации. Как было описано выше, в некоторых вариантах осуществления настоящего изобретения может быть использовано большее или меньшее количество датчиков, которые входят в группу 16 датчиков.
Группа 16 датчиков в ряде вариантов осуществления конфигурирована для вывода данных датчиков в генератор 109 весовых коэффициентов микрофонов. Генератор 109 весовых коэффициентов микрофонов в ряде вариантов осуществления может быть реализован в виде программ или части процессора 21. Генератор 109 весовых коэффициентов микрофонов в некоторых вариантах осуществления может также быть конфигурирован для вывода параметров фильтрации и усиления для управления приложением в процессоре 111 обработки звуковых сигналов. Процессор обработки звуковых сигналов в ряде вариантов осуществления настоящего изобретения представляет собой процессор для формирования диаграммы направленности/шумоподавления. Генератор 109 весовых коэффициентов микрофонов в некоторых вариантах осуществления также конфигурирован для вывода весовых параметров, зависящих от частоты, другими словами, параметры усиления и фазы в некоторых вариантах осуществления настоящего изобретения являются зависящими от частоты функциями.
Микрофонная решетка 11 также конфигурирована для вывода звуковых сигналов, захваченных каждым микрофоном микрофонной решетки. Звуковые сигналы затем могут быть переданы в аналого-цифровой преобразователь 14. Аналого-цифровой преобразователь 14 также соединен с процессором 111 формирования диаграммы направленности / шумоподавления. В некоторых вариантах осуществления настоящего изобретения каждый из микрофонов соединен с аналого-цифровым преобразователем, и вывод данных от каждого из соответствующих аналого-цифровых преобразователей может представлять собой вывод данных в процессор 111 формирования диаграммы направленности/шумоподавления. Процессор 111 формирования диаграммы направленности/шумоподавления также конфигурирован для соединения с процессором 107 передачи/хранения данных. Указанный процессор передачи/хранения данных также конфигурирован для соединения с передатчиком приемопередатчика 13.
В следующих примерах рассматривается обработка звуковых сигналов для передачи по восходящей линии связи. Однако необходимо понимать, что в некоторых вариантах осуществления настоящего изобретения процессор 111 формирования диаграммы направленности/шумоподавления или процессор 107 передачи/хранения данных может выводить звуковые данные для сохранения их в памяти 22 и, в частности, в секции сохраненных данных 24 в памяти 22.
Следует понимать, что в ряде вариантов осуществления настоящего изобретения процессор 111 формирования диаграммы направленности/шумоподавления и/или процессор 107 передачи/хранения данных может быть реализован в виде программ или части процессора 21. В других вариантах осуществления изобретения генератор 109 весовых коэффициентов микрофонов процессор 111 формирования диаграммы направленности/шумоподавления и/или процессор 107 передачи/хранения данных могут быть реализованы как аппаратные средства.
На фиг.4а и 4b более подробно показано функционирование ряда вариантов осуществления настоящего изобретения.
Микрофонная решетка 11 конфигурирована для вывода звуковых сигналов от каждого микрофона в микрофонной решетке 11. Микрофонная решетка захватывает входной звуковой сигнал из окружающей среды и формирует звуковые сигналы, которые передают в аналого-цифровой преобразователь 14. Микрофонная решетка 11 может иметь конфигурацию с любым количеством или распределением микрофонов, как было рассмотрено ранее. Например, микрофоны в микрофонной решетке могут быть расположены в заранее заданной конфигурации или, если положение микрофонов в решетке может изменяться, они могут также сигнализировать генератору 109 весовых коэффициентов микрофонов о конфигурации своего относительного положения в терминах направленности и акустического профиля по отношению друг к другу. Эта информация о направленности и акустическом профиле микрофонов в микрофонной решетке в ряде вариантов осуществления изобретения может также быть передана в процессор 111 формирования диаграммы направленности/шумоподавления.
В ряде вариантов осуществления настоящего изобретения микрофонная решетка 11 включает несколько микрофонов и микшер. Микшер в этих вариантах осуществления конфигурирован для получения смеси сигналов от двух или более микрофонов микрофонной решетки для подачи в аналого-цифровой преобразователь 14, чтобы уменьшить количество звуковых сигналов или каналов от микрофонной решетки, которые должны быть обработаны. В таких вариантах осуществления смешанный звуковой сигнал или сигналы могут быть переданы в аналого-цифровой преобразователь 14.
Захват звукового сигнала показан на фиг.4а на шаге 351.
Кроме того, аналого-цифровой преобразователь (ADC) 14 при приеме сигналов от микрофона может преобразовывать аналоговые сигналы в цифровые звуковые сигналы для обработки процессором 111 формирования диаграммы направленности / шумоподавления. Аналого-цифровой преобразователь 14 может выполнять любую подходящую операцию аналого-цифрового преобразования.
Преобразование звуковых сигналов из аналоговой области в цифровую показано на фиг.4а на шаге 353.
Кроме того, в ряде вариантов осуществления настоящего изобретения датчики или группа 16 датчиков могут подавать данные датчика в генератор 109 весовых коэффициентов микрофонов.
В варианте осуществления настоящего изобретения, показанном на фиг.2, группа датчиков также включает модуль 101 камеры, датчик 103 движения и датчик 105 положения/ориентации. Группа 16 датчиков может также быть конфигурирована для определения положения/ориентации устройства и передачи этой информации в генератор 109 весовых коэффициентов микрофонов.
Формирование/захват данных датчика показаны на фиг.4а на шаге 352.
Группа 16 датчиков подает данные датчиков в генератор 109 весовых коэффициентов микрофонов.
Генератор 109 весовых коэффициентов микрофонов описан более подробно в отношении фиг.2 и 4b.
Генератор 109 весовых коэффициентов микрофонов в генераторе 155 весовых коэффициентов решетки может принимать данные датчиков от группы 16 датчиков, указывающие положение устройства и/или относительное положение устройства относительно рта пользователя. Кроме того, генератор 109 весовых коэффициентов микрофонов в некоторых вариантах осуществления может принимать информацию о расположении микрофонов в микрофонной решетке и профили микрофонов.
Генератор 109 весовых коэффициентов микрофонов в ряде вариантов осуществления может использовать упомянутую исходную информацию для формирования исходной матрицы весовых коэффициентов в зависимости от информации о конфигурации микрофонной решетки и исходного положения/ориентации. В других вариантах осуществления настоящего изобретения исходная матрица весовых коэффициентов может быть сформирована генератором 109 весовых коэффициентов микрофонов в зависимости от акустического анализа принятых звуковых сигналов.
Для формирования исходных значений весовых коэффициентов может быть использована любая подходящая операция формирования диаграммы направленности. В ряде вариантов осуществления настоящего изобретения значения весовых коэффициентов могут представлять собой по меньшей мере одно из значения усиления и значения задержки, которые могут быть переданы в процессор 111 формирования диаграммы направленности/шумоподавления для применения к звуковому сигналу от соответствующего микрофона так, чтобы в сочетании характеристики отношения сигнал/шум устройства были улучшены. В некоторых вариантах осуществления генератор весовых коэффициентов решетки конфигурирован для вывода непрерывной или почти непрерывной матрицы диаграммы направленности, в других вариантах осуществления генератор 155 весовых коэффициентов решетки конфигурирован для вывода дискретных взвешивающих функций матрицы диаграммы направленности.
Пример дискретных взвешивающих функций матрицы диаграммы направленности показан на фиг.3b. Генератор 155 весовых коэффициентов решетки конфигурирован для вывода одной из семи взвешивающих функций в процессор 111 формирования диаграммы направленности, который при применении к звуковым сигналам микрофонной решетки эффективно генерирует узкую диаграмму направленности с высоким усилением. Генератор 155 весовых коэффициентов решетки, принимающий информацию об ориентации устройства, может сформировать весовые параметры решетки, которые формируют лепесток 265 «0» диаграммы направленности, как показано на фиг.3b, направленный ко рту пользователя. Однако, при перемещении устройства или изменении его ориентировании вниз относительно рта пользователя, генератор 114 весовых коэффициентов решетки может сформировать «более высокие» лепестки, например, лепесток 263 «+1» или лепесток 261 «+2», направленный выше лепестка «+1». Аналогично, при перемещении устройства или его ориентировании вверх, могут быть выбраны «нижние» лепестки, такие как последовательно ориентированные лепестки 267 «-1», 269 «-2», 271 «-3» и 273 «-4».
Хотя в приведенном выше примере взвешивающая функция управляет позиционированием или ориентированием диаграммы направленности, необходимо понимать, что взвешивающий формирователь диаграммы направленности решетки может формировать более широкие или более узкие лепестки диаграммы направленности или более высокие или более низкие коэффициенты усиления главного лепестка диаграммы направленности в зависимости от информации датчиков. Таким образом, например, если предполагается, что предоставляемая информация датчиков ошибочна, диаграмма направленности может быть расширена, чтобы покрыть достаточно широкий диапазон направлений, или, если предполагается, что информация датчиков точна, может быть использован более узкий лепесток диаграммы направленности.
Кроме того, в ряде вариантов осуществления может присутствовать акустическая обратная связь или управление отслеживанием, если в зависимости от информации датчиков и информации о звуковом сигнале формирователь диаграммы направленности предпринимает попытки первоначального «отслеживания» любого движения с использованием более широкой диаграммы направленности, а затем «отслеживает» звуковой источник с использованием более узкой диаграммы направленности.
Формирование исходной матрицы весовых коэффициентов показано на фиг.4b на шаге 300.
Генератор 109 весовых коэффициентов микрофонов также может принимать данные датчиков. В частности, блок 151 отслеживания перемещений может принимать данные датчиков и отслеживать или сравнивать информацию, предоставляемую датчиками.
На фиг.3с-3е показан пример отслеживания ориентации/положения устройства относительно пользователя.
На фиг.3с пользователь 251 держит устройство 10, которое ориентировано по направлению от пользователя под первым углом 281 к вертикали. Спустя некоторое время электронное устройство 10 перемещается пользователем, по существу, в вертикальное положение 283. Кроме того, в более поздний период устройство 10, показанное на фиг.3е, держат с ориентацией по направлению к пользователю под другим углом 285.
Блок 151 отслеживания перемещений генератора 109 весовых коэффициентов микрофонов может также определять вектор движения на основе информации датчиков. Определенный в результате вектор движения может быть передан в пороговый детектор 153. В ряде вариантов осуществления, если группа 16 датчиков включает датчик перемещения, пороговый детектор 153 может принимать информацию о перемещении непосредственно от группы 16 датчиков.
Операция формирования информации о движении показана на фиг.4b на шаге 301.
Пороговый детектор 153 отслеживает информацию о движении для определения того, было ли перемещено устройство 10. В ряде вариантов осуществления пороговый детектор также определяет, переместилось ли устройство относительно пользователя. Пороговый детектор 153 может в течение конкретного периода времени определять, превышает ли перемещение, обнаруженное группой датчиков, заранее заданное пороговое значение.
Операция проверки того, превышает ли перемещение заранее заданное пороговое значение, показана на фиг.4b на шаге 305.
Если пороговый детектор 153 определяет, что перемещение устройства (или перемещение пользователя относительно устройства) превышает заранее заданное пороговое значение, пороговый детектор 153 генерирует сигнал повторной калибровки и передает его в генератор 155 весовых коэффициентов решетки.
Генератор 155 весовых коэффициентов решетки после приема сигнала повторной калибровки может затем выполнить повторную калибровку/регулировку микрофонной решетки, в соответствии с чем генератор весовых коэффициентов решетки в ряде вариантов осуществления использует оценку предыдущего положения и перемещение для формирования оценки нового положения и на основе этой оценки положения генерирует или выбирает новые параметры формирования диаграммы направленности, которые должны быть переданы в формирователь 111 диаграммы направленности.
В соответствии с примером, показанным на фиг.3b, если датчики обнаруживают, что перемещение устройства превышает заранее заданное пороговое значение, которое может представлять собой угол ориентации диаграммы направленности, генератор 155 весовых коэффициентов решетки, в зависимости от первоначальной ориентации (и первоначального выбора лепестка 265 «0») и направления движения (которое, например, может быть относительным перемещением вниз), может генерировать параметры для формирователя 111 диаграммы направленности для выбора лепестка 263 «+1» или лепестка 261 «+2». В других вариантах осуществления настоящего изобретения генератор 109 весовых коэффициентов может генерировать сигнал, передаваемый в процессор 111 звуковых сигналов для прекращения формирования диаграммы направленности и выбора вместо этого по меньшей мере одного из выходных звуковых сигналов микрофона без какой-либо обработки. В таких вариантах осуществления, таким образом, имеется возможность формирования выходного звукового сигнала при таких условиях, когда пользователь либо находится вне возможного диапазона формирования диаграммы направленности и когда более приемлемы выходные сигналы ненаправленного микрофона или когда пользователь или устройство перемещается слишком быстро для поддержания точного «наведения» при формировании диаграммы направленности.
Операция повторной калибровки весовых параметров микрофонной решетки показана на фиг.4b на шаге 307.
Блок отслеживания перемещений/пороговый детектор затем может ожидать дополнительной информации отдатчиков.
Если обнаруженное перемещение меньше заранее заданного порогового значения, пороговый детектор в ряде вариантов осуществления не осуществляет никаких действий. В других вариантах осуществления пороговый детектор при обнаружении перемещения, не превышающего заранее заданное пороговое значение, может передать сигнал небольшой повторной регулировки/калибровки в генератор 155 весовых коэффициентов решетки. Генератор 109 весовых коэффициентов может выполнить либо незначительную регулировку на основе упомянутого перемещения в вариантах осуществления настоящего изобретения, в которых формирователь 111 диаграммы направленности может выполнять небольшие регулировки, либо может вообще не выполнять регулировку в отношении матрицы весовых коэффициентов микрофонов. Отрегулированная матрица весовых коэффициентов микрофонов затем может быть передана в формирователь 111 диаграммы направленности.
Операция выполнения незначительной регулировки или отсутствие регулировки в отношении весовых параметров микрофонной решетки показана на фиг.4b на шаге 306.
Блок отслеживания перемещений/пороговый детектор затем может ожидать дополнительной информации отдатчиков.
Операция формирования/контроля и регулировки матрицы весовых коэффициентов показана на фиг, 4а на шаге 354.
Формирователь 111 диаграммы направленности после приема цифровых звуковых сигналов, а также параметров матрицы весовых коэффициентов формирователя диаграммы направленности применяет к звуковому сигналу матрицу весовых коэффициентов формирования диаграммы направленности для формирования последовательности обработанных звуковых сигналов в попытке улучшения отношения сигнал/шум для этих сигналов. Может быть использован любой подходящий алгоритм формирования диаграммы направленности. Например, каждый из цифровых звуковых сигналов может быть подан в фильтр с регулируемым усилением и задержкой, который формируется на основе параметров матрицы весовых коэффициентов.
В ряде вариантов осуществления изобретения выходные цифровые кодированные сигналы могут затем быть переданы в процессор 107 передачи/хранения данных.
Применение весовых коэффициентов для формирования диаграммы направленности к цифровым звуковым сигналам показано на фиг.4а на шаге 355.
Процессор 107 передачи/хранения данных затем может выполнить также кодирование для уменьшения размера обработанных звуковых сигналов, чтобы сигналы на выходе процессора 107 передачи/хранения данных подходили для передачи и/или хранения.
Упомянутое кодирование может представлять собой любой подходящий процесс кодирования звуковых сигналов, например, процессор 107 передачи/хранения данных может кодировать обработанные звуковые сигналы с использованием кодека G.729 ITU (International Telecommunications Union, Международный союз электросвязи), который представляет собой алгоритм сжатия звуковых данных, оптимизированный для кодирования голоса, который сжимает цифровой голосовой сигнал в пакет длительностью 10 мс с использованием кода с линейным предсказанием и возбуждением алгебраическим кодом с сопряженной структурой (conjugate structure algebraic code excited linear prediction code, CS-ACELP). Однако в других вариантах осуществления настоящего изобретения может быть применена любая подходящая процедура сжатия звука для формирования цифрового звукового сигнала, подходящего для хранения и/или передачи.
Выходные кодированные сигналы затем могут быть переданы в приемопередатчик 13 (для передачи) или, в других вариантах осуществления, в память (для хранения).
Применение кодирования для хранения/передачи показано на фиг.4а на шаге 357.
В ряде вариантов осуществления настоящего изобретения, в которых осуществляют передачу звуковых сигналов, приемопередатчик 13 может применять к кодированным звуковым сигналам обработку с использованием модуляции, чтобы сделать их подходящими для передачи по восходящей линии связи. Может быть применена любая подходящая схема модуляции, например, в ряде вариантов осуществления, работающих в сети связи UMTS, кодированные звуковые сигналы могут быть модулированы с использованием схемы модуляции с широкополосным множественным доступом с кодовым разделением каналов (wideband code division multiple access, W-CDMA).
Применение модуляции для передачи данных показано на фиг.4а на шаге 359. Окончательно звуковые сигналы подают либо в память, либо с помощью приемопередатчика в другое электронное устройство.
Хотя вышеуказанные примеры описывают варианты осуществления настоящего изобретения, функционирующие в устройстве или в электронном устройстве 10, необходимо понимать, что настоящее изобретение, как описано далее, может быть реализовано как часть любого звукового процессора. Таким образом, например, варианты осуществления настоящего изобретения могут быть реализованы в звуковом процессоре, который может осуществлять обработку звуковых сигналов в фиксированных или проводных линиях связи.
Пользовательское оборудование может включать звуковой процессор, аналогичный процессору, описанному выше в вариантах осуществления настоящего изобретения.
Необходимо понимать, что термины "электронное устройство" и "пользовательское оборудование" охватывают беспроводное пользовательское оборудование любого подходящего типа, например мобильные телефоны, портативные устройства для обработки данных или портативные веб-браузеры.
В целом, различные варианты осуществления настоящего изобретения могут быть реализованы с использованием аппаратных средств или схем специального назначения, программного обеспечения, логики или их комбинации. Например, некоторые аспекты могут быть реализованы с использованием аппаратных средств, в то время как другие аспекты могут быть реализованы с использованием программно-аппаратных средств или программного обеспечения, которое может быть выполнено контроллером, микропроцессором или другим вычислительным устройством, хотя настоящее изобретение этим не ограничивается. Хотя различные аспекты настоящего изобретения могут быть проиллюстрированы и описаны с использованием структурных схем, блок-схем или других графических представлений, необходимо понимать, что описанные в настоящем изобретении блоки, устройства, системы, технологии или способы могут быть реализованы с использованием, в качестве примеров, не ограничивающих настоящее изобретение, аппаратных средств, программного обеспечения, программно-аппаратных средств, схем специального назначения или логики, аппаратных средств специального назначения или контроллера или других вычислительных устройств, или их комбинации.
Таким образом, по меньшей мере в одном варианте осуществления настоящего изобретения раскрывается устройство, включающее: датчик, конфигурированный для определения изменения положения указанного устройства, и процессор, конфигурированный для обработки по меньшей мере одного звукового сигнала в зависимости от изменения положения.
Варианты осуществления настоящего изобретения могут быть реализованы с использованием компьютерного программного обеспечения, выполняемого процессором для обработки данных мобильного устройства, таким как в процессорном объекте, или с использованием аппаратных средств, или посредством комбинации программного обеспечения и аппаратных средств. Также в этой связи необходимо отметить, что любые блоки логических блок-схем, показанные на чертежах, могут представлять шаги программы или взаимосвязанные логические схемы, блоки и функции или комбинацию шагов программы и логических схем, блоков и функций. Программное обеспечение может храниться на таких физических носителях, как микросхемы памяти или блоки памяти, реализованные в процессоре, магнитные носители, например, жесткий диск или гибкие магнитные диски, и оптические носители, такие как, например, DVD-диски и их варианты для хранения данных, компакт-диски CD.
Таким образом, по меньшей мере один вариант осуществления включает машиночитаемый носитель, содержащий инструкции, которые, при их исполнении компьютером, обеспечивают выполнение: определения изменения положения устройства и обработки по меньшей мере одного звукового сигнала в зависимости от изменения положения.
Память может быть любого типа, подходящего для локальной технической среды, и может быть реализована с использованием любой подходящей технологии хранения данных, например, полупроводниковых запоминающих устройств, магнитных запоминающих устройств и систем, оптических запоминающих устройств и систем, постоянной памяти и съемной памяти. Процессоры для обработки данных могут быть любого типа, подходящего для локальной технической среды, и могут включать один или более компьютеров общего назначения, компьютеров специального назначения, микропроцессоров, цифровых сигнальных процессоров (digital signal processor, DSP), специализированных интегральных микросхем (application-specific integrated circuit, ASIC), логических вентилей и процессоров на основе многоядерной процессорной архитектуры в качестве примеров, не ограничивающих настоящее изобретение.
Варианты осуществления настоящего изобретения могут быть реализованы на практике с использованием различных компонентов, например, модулей интегральных микросхем. Разработка интегральных микросхем в общем и целом представляет собой высокоавтоматизированный процесс. Сложные и мощные инструментальные программные средства доступны для преобразования конструкции логического уровня в конструкцию полупроводниковой микросхемы, готовую для вытравливания и формирования на полупроводниковой подложке.
Программы, например, предоставленные фирмами Synopsys, Inc., Маунтин Вью (Mountain View), Калифорния, и Cadence Design, Сан-Хосе (San Jose), Калифорния, автоматически маршрутизируют проводники и размещают компоненты на полупроводником кристалле с использованием установленных правил проектирования, а также библиотек ранее сохраненных модулей проектирования. После завершения разработки полупроводниковой микросхемы полученная в результате конструкция в стандартизированном электронном формате (например, Opus, GDSII и т.п.) может быть передана для изготовления на предприятие полупроводниковой промышленности.
Используемый в настоящем описании термин «схема» относится к следующему:
a) к реализациям схем только с использованием аппаратных средств (например, реализации только с аналоговыми и/или цифровыми схемами) и
b) к комбинациям схем и программного обеспечения (и/или программно-аппаратных средств), например, i) к комбинации процессора (процессоров) или ii) к части процессора (процессоров)/программного обеспечения (включая цифровой сигнальный процессор (процессоры)), программному обеспечению и памяти, которые работают совместно для обеспечения выполнения устройством, таким как мобильный телефон или сервер, различных функций и
c) к схемам, например, микропроцессору (микропроцессорам) или части микропроцессора (микропроцессоров), которым требуется для работы программное обеспечение или программно-аппаратные средства, даже если программное обеспечение или программно-аппаратные средства физически не представлены.
Это определение «схемы» применимо ко всем случаям использования данного термина в настоящем описании, включая формулу изобретения. В качестве дополнительного примера, используемого в настоящем описании, термин «схема» также охватывает реализацию только процессора (или множества процессоров) или части процессора и его (или их) соответствующего программного обеспечения и/или программно-аппаратных средств. Термин «схема» также охватывает, например, если это применимо к конкретному элементу, интегральную микросхему для основной полосы частот или интегральную микросхему процессора приложений для мобильного телефона или аналогичную интегральную микросхему в сервере, устройстве сотовой сети или другом сетевом устройстве.
В предшествующем описании в качестве примеров, не ограничивающих настоящее изобретение, приведено полное и информативное описание вариантов осуществления настоящего изобретения. Однако специалистам в данной области техники могут быть очевидны различные модификации и адаптации настоящего изобретения на основе предшествующего описания, при его прочтении совместно с сопровождающими чертежами и приложенной формулой изобретения. Однако все подобные модификации идей настоящего изобретения не выходят за рамки объема настоящего изобретения, заданного приложенной формулой изобретения.