СПОСОБ И УСТРОЙСТВО ДЛЯ ОБЕСПЕЧЕНИЯ ЗВУКОВОГО, ВИЗУАЛЬНОГО ИЛИ ТАКТИЛЬНОГО УВЕДОМЛЕНИЯ ОБРАТНОЙ СВЯЗИ В ФОРМЕ МЕСТНОГО ЭФФЕКТА ПОЛЬЗОВАТЕЛЮ УСТРОЙСТВА СВЯЗИ С МНОЖЕСТВОМ МИКРОФОНОВ
METHOD AND APPARATUS FOR PROVIDING AUDIBLE, VISUAL OR TACTILE SIDETONE FEEDBACK NOTIFICATION TO USER OF COMMUNICATION DEVICE WITH MULTIPLE MICROPHONES

По настоящей заявке на патент испрашивается приоритет заявки US 12/503788 и приоритет предварительной заявки на патент 61/081309, поданных 16 июля 2008 года.
Область техники, к которой относится изобретение
Настоящее изобретение относится, в общем, к системам связи. Более конкретно, настоящее изобретение относится к способам и устройствам для предоставления обратной связи в форме местного эффекта пользователю устройства связи с множеством микрофонов.
Предшествующий уровень техники
Системы беспроводной связи широко развернуты с тем, чтобы обеспечивать различные типы содержимого связи, например, речь, видео, данные, музыка и т.п. Сеть беспроводной связи может обеспечивать связь для ряда устройств связи.
Многие устройства связи с одним микрофонным входом имеют возможность обеспечивать звуковой сигнал местного эффекта пользователю. Местный эффект - это термин, используемый в телефонной связи для обратной связи сигнала микрофона с сигналом динамика в телефонной трубке или гарнитуре. Когда пользователь слышит собственный ослабленный голос, он знает, что его речь передается. Возвращение ослабленного сигнала к уху, которое покрыто раковиной телефонной трубки, дает возможность пользователю слышать обычную громкость голоса как при разговоре без раковины телефонной трубки около уха. Это дает пользователю определенное чувство комфорта.
Устройства связи, имеющие один микрофон, могут, в конечном счете, заменяться устройствами связи, которые имеют множество микрофонов. Алгоритмы разделения источников из множества микрофонов предоставляют возможность лучшего дифференцирования между речевым сигналом и неречевым (нестационарным шумом) сигналом. С увеличением количества работающих микрофонов в устройстве связи в ходе телефонного разговора, больше аудиосигналов захватывается из множества местоположений посредством дополнительных микрофонов. Обеспечение сигнала местного эффекта, выполняемое в устройстве связи с одним микрофоном, может быть нежелательным в определенных случаях.
Краткое описание чертежей
На чертежах:
Фиг. 1 изображает систему 01 связи с двумя устройствами связи;
Фиг. 2 изображает блок-схему, иллюстрирующую устройство 20A связи с одним микрофоном;
Фиг. 3 изображает блок-схему, иллюстрирующую процессор 80A цифровых сигналов, который может быть включен в устройство 20B связи, реализующее способы и содержащее устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 5A, 5B, 6 и 7 изображают блок-схемы, иллюстрирующие одну конфигурацию комбинатора сигналов, включенного в модуль уведомления обратной связи местного эффекта, реализующий способы и содержащий устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 9 изображает блок-схему, иллюстрирующую одну конфигурацию дисплея, который может использоваться пользователем, чтобы конфигурировать устройство связи, которое включает в себя модуль уведомления обратной связи местного эффекта, реализующий способы и содержащий устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 4, 8, 10, 11 и 12 изображают блок-схемы, иллюстрирующие одну конфигурацию средства уведомления с обратной связью местного эффекта, включенного в устройство связи, реализующее способы и содержащее устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 13 и 14 изображают примерную блок-схему последовательности операций способа управляющей логики, используемой для того, чтобы управлять компонентами, ассоциированными с модулем уведомления с обратной связью местного эффекта, реализующим способы и содержащим устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 15A, 16A и 17A изображают виды спереди устройств связи, которые могут реализовывать способы и содержать устройства и схемы, раскрытые и предусмотренные в данном документе;
Фиг. 15B, 16B и 17B изображают виды сзади устройств связи, которые могут реализовывать способы и содержать устройства и схемы, раскрытые и предусмотренные в данном документе.
Сущность изобретения
В одном аспекте изобретения предусмотрено устройство связи, включающее в себя множество микрофонов. Устройство связи включает в себя, по меньшей мере, два микрофона. Устройство связи дополнительно включает в себя модуль уведомления обратной связи местного эффекта для обеспечения сигнала уведомления. Модуль уведомления обратной связи местного эффекта соединяется с микрофонами. Сигнал уведомления основан на комбинации первого входного аудиосигнала, обеспечиваемого посредством первого микрофона, и второго входного аудиосигнала, обеспечиваемого посредством второго микрофона. Модуль уведомления обратной связи местного эффекта соединяется с устройством уведомления для предоставления сигнала обратной связи пользователю на основе сигнала уведомления.
В другом аспекте изобретения предусмотрен способ формирования сигнала обратной связи пользователю устройства связи. Способ включает в себя как получение первого аудиосигнала, связанного с выходом из первого микрофона, так и получение второго аудиосигнала, связанного с выходом из второго микрофона. Способ дополнительно включает в себя формирование сигнала уведомления на основе комбинации первого аудиосигнала и второго аудиосигнала. Помимо этого, способ включает в себя предоставление сигнала обратной связи пользователю на основе сигнала уведомления, отправляемого в устройство уведомления.
В еще дополнительном аспекте изобретения предусмотрено устройство связи, включающее в себя множество микрофонов. Устройство связи содержит как средство для получения первого аудиосигнала, связанного с выходом из первого микрофона, так и средство для получения второго аудиосигнала, связанного с выходом из второго микрофона. Устройство связи дополнительно включает в себя средство для формирования сигнала уведомления на основе комбинации первого аудиосигнала и второго аудиосигнала. Помимо этого, устройство связи включает в себя средство для предоставления сигнала обратной связи пользователю на основе сигнала уведомления, отправляемого в устройство уведомления.
В еще дополнительном аспекте изобретения предусмотрен машиночитаемый носитель, содержащий набор инструкций, выполняемых посредством одного или более процессоров, содержащих как код для получения первого аудиосигнала, связанного с выходом из первого микрофона, так и код для получения второго аудиосигнала, связанного с выходом из второго микрофона. Набор инструкций включает в себя код формирования сигнала уведомления на основе комбинации первого аудиосигнала и второго аудиосигнала. Помимо этого, набор инструкций включает в себя код для предоставления сигнала обратной связи пользователю на основе сигнала уведомления, отправляемого в устройство уведомления.
Подробное описание
Принципы, описанные в данном документе, могут применяться, например, к телефонной гарнитуре, телефонной трубке или другому устройству связи, которое выполнено с возможностью осуществлять уведомление на основе обратной связи местного эффекта. Если явно не ограничен посредством контекста, термин "сигнал" используется в данном документе, чтобы указывать любое из своих обычных значений, в том числе состояние ячейки запоминающего устройства (или набора ячеек запоминающего устройства), выражаемое на проводе, в шине или в другой среде передачи. Если явно не ограничен посредством контекста, термин "формирование" используется в данном документе, чтобы указывать любое из своих обычных значений, например, расчет или иное образование. Если не ограничен в явной форме посредством контекста, термин "вычисление" используется в данном документе, чтобы обозначать любое из своих обычных значений, например, расчет, оценку, сглаживание и/или выбор из множества значений. Если явно не ограничен посредством контекста, термин "регулирование усиления" используется для того, чтобы указывать, что регулирование усиления может быть повышением или понижением (т.е. потери). Если явно не ограничен посредством контекста, термин "получение" используется для того, чтобы указывать любое из своих обычных значений, например, вычисление, извлечение, прием (к примеру, от другого компонента, блока или устройства) и/или выборка (к примеру, из регистра запоминающего устройства или матрицы запоминающих элементов). Если явно не ограничен посредством контекста, термин "образование" используется для того, чтобы указывать любое из своих обычных значений, например, вычисление, формирование и/или предоставление. Если явно не ограничен посредством контекста, термин "предоставление" используется для того, чтобы указывать любое из своих обычных значений, например, вычисление, формирование и/или образование. Если явно не ограничен посредством контекста, термин "соединенный" используется для того, чтобы указывать прямое или косвенное электрическое или физическое подключение. Если соединение является косвенным, специалисты данной области техники должны хорошо понимать то, что могут быть предусмотрены другие блоки или компоненты между "соединенными" структурами. Термин "конфигурация" может быть использован в ссылке на способ, устройство и/или систему, как указано посредством конкретного контекста. Если термин "содержащий" используется в настоящем описании и формуле изобретения, он не исключает других элементов или операций. Термин "на основе" (как в "A основан на B") используется для того, чтобы указывать любое из своих обычных значений, в том числе случаи (i) "на основе, по меньшей мере" (к примеру, "A основан, по меньшей мере, на B") и, если применимо в конкретном контексте, (ii) "равный" (к примеру, "A равен B"). В случае (i) если "A основан на B" включает в себя "на основе, по меньшей мере", это может включать в себя конфигурацию, в которой A соединяется с B. Аналогично, термин "в ответ на" используется для того, чтобы указывать любое из своих обычных значений, в том числе "в ответ на, по меньшей мере, ". Термин "по меньшей мере, один" используется для того, чтобы указывать любое из своих обычных значений, в том числе "один или более". Термин "по меньшей мере, два" используется для того, чтобы указывать любое из своих обычных значений, в том числе "два или более".
Термины "прибор" и "устройство" используются в общем смысле и взаимозаменяемы, если не указано иное посредством конкретного контекста. Если не указано иное, любое раскрытие работы устройства, имеющего конкретный признак, также явно предназначено раскрывать способ, имеющий аналогичный признак (и наоборот), и любое раскрытие работы устройства согласно конкретной конфигурации также явно имеет намерение раскрывать способ согласно аналогичной конфигурации (и наоборот). Термины "способ", "процесс", "процедура" и "технология" используются в общем смысле и взаимозаменяемы, если не указано иное посредством конкретного контекста. Термины "элемент" и "модуль" типично используются для того, чтобы указывать часть большей конфигурации. Любое включение по ссылке части документа также должно пониматься как включающее в себя определения терминов или переменных, на которые ссылаются в рамках части, причем такие определения фигурируют в любом месте документа, а также на любых чертежах, указываемых ссылкой во включенной части.
В данном документе, термин "устройство связи" указывает на электронное устройство, которое может использоваться для обмена данными и/или речью по беспроводной сети связи. Примеры устройств связи включают в себя сотовые телефоны, персональные цифровые устройства (PDA), карманные устройства, телефонные гарнитуры, беспроводные модемы, портативные компьютеры, персональные компьютеры и т.д.
Фиг. 1 изображает систему 1 связи с двумя устройствами связи. Устройства связи могут быть беспроводными устройствами, как проиллюстрировано на фиг. 1. Система 1 связи показана с двумя составными устройствами связи, беспроводным устройством 4 на дальнем конце и беспроводным устройством 2 на ближнем конце. Беспроводное устройство 4 на дальнем конце и беспроводное устройство 2 на ближнем конце могут обмениваться данными друг с другом посредством сети 6. Например, беспроводное устройство 4 на дальнем конце и беспроводное устройство 2 на ближнем конце могут упрощать речевую связь между пользователем беспроводного устройства 4 на дальнем конце и пользователем беспроводного устройства 2 на ближнем конце. Беспроводное устройство 4 на дальнем конце может упрощать связь посредством передачи аудиовывода 12 на дальнем конце пользователю беспроводного устройства 4 на дальнем конце и приема аудиоввода 14 на дальнем конце от пользователя беспроводного устройства 4 на дальнем конце. Беспроводное устройство 4 на дальнем конце может передавать аудиовывод 12 на дальнем конце через динамик 16a. Беспроводное устройство 4 на дальнем конце может принимать аудиоввод 14 на дальнем конце через микрофон 18a. Аудиоввод 14 на дальнем конце может упоминаться как сигнал на дальнем конце.
Аналогично, беспроводное устройство 2 на ближнем конце может передавать аудиовывод 08 на ближнем конце пользователю беспроводного устройства 2 на ближнем конце через динамик 16b. Беспроводное устройство 2 на ближнем конце также может принимать аудиоввод 10 на ближнем конце через микрофон 18b. Аудиоввод 10 на ближнем конце также может упоминаться как сигнал на ближнем конце. При речевой связи, сигнал на дальнем конце может быть передан посредством беспроводного устройства 4 на дальнем конце в беспроводное устройство 2 на ближнем конце посредством сети 6. После приема сигнала на дальнем конце беспроводное устройство 2 на ближнем конце может преобразовывать сигнал на дальнем конце в акустический сигнал. Беспроводное устройство 2 на ближнем конце затем может передавать в широковещательном режиме сигнал на дальнем конце с использованием громкоговорителя 16b. Акустическая передача сигнала на дальнем конце (т.е. аудиовывод 8 на ближнем конце) может захватываться посредством микрофона 18b беспроводного устройства 102 на ближнем конце как часть аудиоввода 10 на ближнем конце.
Фиг. 2 изображает блок-схему, иллюстрирующую устройство 20A связи с одним микрофоном 24, которое может использоваться либо как беспроводное устройство 2 на ближнем конце, либо как беспроводное устройство 4 на дальнем конце, либо как то, так и другое. Устройство 20A связи может быть мобильным телефоном. Микрофон захватывает аудиосигнал, и аналого-цифровой преобразователь (ADC) 28 преобразует захватываемый аудиосигнал из аналоговой формы сигнала в цифровую форму сигнала, состоящую из цифровых аудиовыборок. Цифровые аудиовыборки могут обрабатываться посредством процессора 30 цифровых сигналов, как проиллюстрировано на фиг. 2. Модуль регулирования усиления может регулировать усиление посредством повышения или понижения уровня амплитуды аудиосигнала. Модули регулирования усиления (GA) могут работать в аналоговой или цифровой области. Модуль 32 регулирования усиления (GA1), проиллюстрированный на фиг. 2, работает в цифровой области и регулирует цифровые аудиовыборки, сформированные посредством ADC 28. После модуля 32 регулирования усиления (GA1), модуль 36 эхоподавления уменьшает все эхо-сигналы, которые могут создаваться посредством выхода динамика 38, поступающие в микрофон 24. Для осуществления эффективной передачи речевой связи, цифровые аудиовыборки могут "сжиматься" посредством вокодера (речевого кодер-декодера). Выход модуля эхоподавления может соединяться с блоками 40 предварительной обработки вокодера, к примеру, фильтрами, процессорами шума, преобразователями скорости и т.д. Цифровые аудиовыборки сжимаются посредством кодера 40 вокодера и формируют передаваемый пакет (представление сжатых битов цифровых аудиовыборок). Передаваемый пакет сохраняется в запоминающем устройстве 48, которое может совместно использоваться с процессором 52. Процессором может быть ARM 9 или ARM 11 или некоторый другой тип управляющего процессора, который поддерживает связь с процессором 30 цифровых сигналов. Процессор 52 также соединяется с дисплеем 54 и трансивером 56. Трансивер модулирует некоторую форму (другая информация может добавляться к передаваемому пакету) передаваемого пакета и отправляет по радиоинтерфейсу по антенне 58. Антенна 58 также принимает некоторую форму входящих пакетов, которая содержит принимаемый пакет. Принимаемый пакет отправляется посредством другого устройства связи, например, беспроводного устройства 04 на дальнем конце. Принимаемый пакет "распаковывается" посредством декодера 60 вокодера. Несжатая форма сигнала иногда упоминается как восстановленные аудиовыборки. Восстановленные аудиовыборки затем постобрабатываются посредством блоков 64 постобработки вокодера и используются посредством модуля 36 эхоподавления для того, чтобы удалять эхо-сигнал. Для понятности декодер 60 вокодера и блоки 64 постобработки вокодера упоминаются как модуль 66 декодера вокодера. В некоторых конфигурациях вывод 68 модуля 36 эхоподавления затем суммируется со звуковым слышимым сигналом местного эффекта посредством сумматора 70. Альтернативно, в других конфигурациях, вывод 68 модуля 66 декодера вокодера затем суммируется с сигналом местного эффекта посредством сумматора 70. Сигнал местного эффекта может усиливаться или подавляться посредством модуля 74 регулирования усиления (GA2). Вывод сумматора 70 затем преобразуется из цифрового сигнала в аналоговый сигнал посредством цифроаналогового преобразователя 78 и воспроизводится в динамике 38.
Фиг. 3 изображает блок-схему, иллюстрирующую процессор 80A цифровых сигналов, который может быть включен в устройство 20B связи, реализующее способы и содержащее устройства и схемы, раскрытые в данном документе. Как упомянуто ранее, многие устройства связи с одним микрофоном могут, в конечном счете, заменяться устройствами связи, которые включают в себя несколько микрофонов. В устройствах связи с множеством микрофонов, для пользователя желательно принимать сигнал обратной связи, чтобы уведомлять пользователя относительно эффекта, который этот дополнительный микрофон(ы) оказывает на восприятие собственной речи относительно этих дополнительных аудиосигналов. В ходе речевой связи качество звучания может влиять на ощущения как пользователя на ближнем конце, так и на восприятие у пользователя на дальнем конце. Пользователю требуется слушать то, какой аудиосигнал(ы) передается. Пользователь может воспринимать ухудшенное качество звучания, или другой пользователь может указывать, что имеется ухудшенное качество звучания. В одном варианте осуществления, в ходе речевой связи пользователь может иметь возможность отдельно регулировать уровень амплитуды входных аудиосигналов, захватываемых множеством микрофонов в его устройстве 20B связи. В другом варианте осуществления, в ходе речевой связи устройство 20B связи может регулировать уровень амплитуды входных аудиосигналов, захватываемых множеством микрофонов без ввода пользователя. Независимо от того, осуществляется регулирование уровня амплитуды входных аудиосигналов, сформированных множеством микрофонов, с или без ввода пользователя, в ходе речевой связи устройство 20B связи предоставляет сигнал обратной связи пользователю на основе сигнала уведомления, который, в свою очередь, основан на комбинации входных аудиосигналов.
Устройство 20B связи также может использоваться как устройство 02 на ближнем конце, беспроводное устройство 04 на дальнем конце либо как то, так и другое. Устройство 20B связи может содержать компоненты, аналогичные устройству 20A связи на фиг. 2. Например, антенна 58, приемо-передающее устройство 56, дисплей 54, процессор 52, модуль 66 декодера вокодера и кодер 44 вокодера могут функционировать аналогичным образом, как описано выше. Устройство 20B связи на фиг. 3, тем не менее, может содержать, по меньшей мере, два микрофона. При работе, первый микрофон 82A формирует первый входной аудиосигнал 84A. При работе, второй микрофон 82B формирует второй входной аудиосигнал 84B. Первый входной аудиосигнал 84A является аналоговым сигналом и может быть преобразован в первый цифровой входной аудиосигнал 88A посредством первого ADC 86A. Второй входной аудиосигнал 84B является аналоговым сигналом и может быть преобразован во второй цифровой входной аудиосигнал 88B посредством второго ADC 86B. В других конфигурациях первый входной аудиосигнал 84A и второй входной аудиосигнал 84B могут быть преобразованы посредством ADC. При работе, модуль 90 уведомления с обратной связью местного эффекта формирует сигнал 94 уведомления. Сигнал уведомления может соединяться прямо или косвенно с устройством 96 уведомления. При работе, устройство 96 уведомления предоставляет сигнал обратной связи (звуковой сигнал) 75A пользователю на основе сигнала 94 уведомления, соединенного прямо или косвенно с модулем 90 уведомления с обратной связью местного эффекта.
В конфигурации, проиллюстрированной на фиг. 3, сигнал уведомления соединяется косвенно (по меньшей мере, сумматор 70 и цифроаналоговый преобразователь (DAC) 78 разделяют сигнал 94 уведомления и устройство 96 уведомления) с устройством 96 уведомления. В конфигурации, проиллюстрированной на фиг. 3, сигнал уведомления представляет звуковой сигнал местного эффекта. Звуковой сигнал местного эффекта является частью сигнала обратной связи, обрабатываемого посредством устройства 96 уведомления, которое может быть динамиком, аналогичным динамику, проиллюстрированному на фиг. 2. Два дополнительных вывода 97A, 97B модуля уведомления обратной связи местного эффекта могут быть основаны на первом и втором входных аудиосигналах 84A, 84B. В одном случае выводы 97A, 97B могут быть первым и/или вторым цифровыми входными аудиосигналами 88A, 88B. В другом случае выводы 97A, 97B могут быть масштабированными версиями первого и/или второго цифровых входных аудиосигналов 88A, 88B. В одной конфигурации выводы 97A, 97B соединяются с модулем 98 разделения источников. Модуль 98 блока разделения источников может содержать: модуль (99A, 99B) эхоподавления для каждого входа модуля разделения источников; блок 100 разделения источников для отделения речевого сигнала от неречевого сигнала и постпроцессор 101 для приведения к требуемым параметрам сигналов разделенных источников.
Блок 100 разделения источников может реализовывать алгоритмы разделения источников. Термин "алгоритмы разделения источников" включает в себя алгоритмы формирования диаграммы направленности, а также включает в себя алгоритмы разделения источников вслепую, такие как, независимый компонентный анализ (ICA), и связанные способы, к примеру, независимый векторный анализ (IVA). Алгоритмы разделения источников вслепую (BSS) - это способы разделения отдельных исходных сигналов (которые могут включать в себя сигналы от одного или более источников информации и одного или более источников помех) только на основе смешений исходных сигналов. Термин "вслепую" упоминается как факт, что опорный сигнал или интересующий сигнал является недоступным, и такие способы обычно включают в себя допущения, касающиеся статистики одного или более из информационных сигналов и/или сигналов помех. В речевых вариантах применения, например, обычно предполагается, что интересующий речевой сигнал имеет супергауссовское распределение (к примеру, высокий эксцесс).
Класс BSS-алгоритмов включает в себя многомерные алгоритмы обращенной свертки вслепую. Алгоритмы разделения источников также включают в себя разновидности алгоритмов разделения источников вслепую, таких как ICA и IVA, которые ограничены согласно другой априорной информации, такой как известное направление каждого из одних или более исходных сигналов относительно, к примеру, оси матрицы записывающих преобразователей. Такие алгоритмы могут отличаться от модулей формирования диаграммы направленности, которые применяют фиксированные, неадаптивные решения только на основе направленной информации, а не на основе наблюдаемых сигналов. Хотя для технологий, раскрытых и предусмотренных в данном документе, модули формирования диаграммы направленности также могут использовать блок 100 разделения источников.
Специалисты данной области техники должны хорошо понимать то, что отделение речевого сигнала от неречевого сигнала включает в себя то, что каждый вывод 77A, 77B блока разделения источников имеет остаточный компонент сигнала другого вывода. Например, первый вывод 77A блока разделения источников может быть главным образом речевым сигналом. Тем не менее, остаток (меньшая величина) неречевого сигнала может присутствовать в первом выводе 77A блока разделения источников. Аналогично, второй вывод 77B блока разделения источников может быть главным образом неречевым сигналом (к примеру, фоновым шумом), тем не менее, может быть остаточная величина речевого сигнала, присутствующего во втором выводе 77B блока разделения. Таким образом, блок 98 разделения источников зачастую описывается как подавляющий или уменьшающий неречевой сигнал. Неречевой сигнал может быть стационарным (к примеру, шипение, белый шум, тоны, постоянный шум двигателя) или нестационарным (речь, щелчки, шум дорожного движения). Постпроцессор 101 может преобразовывать выводы 77A, 77B блока разделения источников в частотную область и приводить их к требуемым параметрам. Например, в частотных позициях, где присутствует речь, постпроцессор 101 может выделять частотные компоненты речевого сигнала. Аналогично, в частотных позициях, где не присутствует речь, неречевой сигнал дополнительно может подавляться.
Фиг. 4 изображает блок-схему, иллюстрирующую одну конфигурацию модуля 90 уведомления обратной связи местного эффекта, реализующего способы и содержащего устройства и схемы, раскрытые и предусмотренные в данном документе. Как проиллюстрировано на фиг. 4, модуль 90 уведомления обратной связи местного эффекта формирует сигнал 94 уведомления на основе комбинации первого входного аудиосигнала 84A и второго входного аудиосигнала 84B. Устройство 96 уведомления служит для предоставления сигнала обратной связи 75Z пользователю на основе сигнала уведомления, соединенного прямо или косвенно с модулем уведомления обратной связи местного эффекта. При работе, устройство 96 уведомления предоставляет сигнал обратной связи (звуковой сигнал) 75A пользователю на основе сигнала 94 уведомления, соединенного прямо или косвенно с модулем 90 уведомления с обратной связью местного эффекта. Как проиллюстрировано на фиг. 4, сигнал уведомления соединяется косвенно (по меньшей мере, сумматор 70 и цифроаналоговый преобразователь (DAC) 78 разделяют сигнал 94 уведомления и устройство 96 уведомления) с устройством 96 уведомления. В конфигурации, проиллюстрированной на фиг. 3, сигнал уведомления представляет звуковой сигнал местного эффекта.
В конфигурации, проиллюстрированной на фиг. 3, модуль 90 уведомления с обратной связью местного эффекта содержит модуль 102 комбинирования сигналов и модули 104A, 104B регулирования усиления, чтобы регулировать первый и второй цифровые входные аудиосигналы 88A, 88B, сформированные посредством первого ADC 86A и второго ADC 86B, соответственно. Регулирование усиления посредством модуля 104A регулирования усиления, помеченного "104A", может повышать или понижать значение амплитуды первого цифрового входного аудиосигнала 88A. Регулирование усиления посредством модуля 104B регулирования усиления, помеченного "104B", может повышать или понижать значение амплитуды второго цифрового входного аудиосигнала 88B. Модули регулирования усиления также могут передавать первый и второй цифровые входные аудиосигналы 88A, 88B без фактического их регулирования. Это может быть выполнено посредством обеспечения того, что уровень амплитуды на входе каждого модуля регулирования усиления является идентичным уровню амплитуды на выходе каждого модуля регулирования усиления. Например, регулирование ввода на коэффициент, равный 1, позволяет достигать этого. Одним примером модуля регулирования усиления служит усилитель. Многие усилители могут быть предварительно настроены так, чтобы усиливать или подавлять свои входные сигналы. В конфигурации, проиллюстрированной на фиг. 4, модули 104A, 104B регулирования усиления являются цифровыми. Модули 104A, 104B регулирования усиления могут содержать цифровые умножители и/или цифровые делители, в зависимости от того, должен ввод регулироваться или уменьшаться. В некоторых случаях, модули 104A, 104B регулирования усиления могут содержать цифровые умножители, и ввод понижается посредством умножения на дробное значение. В других случаях, цифровое входное значение сохраняется во временном регистре запоминающего устройства (не показан явно), расположенном в некоторой части модуля уведомления с обратной связью местного эффекта или в запоминающем устройстве, которое доступно посредством модуля уведомления обратной связи в форме местного эффекта, и цифровое входное значение "сдвигается в сторону старших битов" для умножения, или "сдвигается в сторону младших битов" для деления. В альтернативном варианте осуществления, первый и второй входные аудиосигналы 84A, 84B могут соединяться с модулями 105A, 105B регулирования усиления (показаны на фиг. 5B). В этом варианте осуществления, модули 105A, 105B регулирования усиления могут быть аналоговыми усилителями или аналоговыми умножителями. Специалисты в данной области техники должны понимать, что до или после любого из модулей 104A, 104B, 105A, 105B регулирования усиления может быть предусмотрен фильтр, соединенный с модулем регулирования усиления. Фильтр может быть цифровым фильтром, если соединен с модулем 104A, 104B регулирования усиления в цифровой области (т.е. ниже ADC 86A или ADC 86B, но перед всеми DAC). Аналогично, фильтр может быть аналоговым фильтром, если соединен с модулем 105A, 105B регулирования усиления в аналоговой области (т.е. до ADC 86A или ADC 86B). Выводы 97A, 97B модуля 90 уведомления с обратной связью местного эффекта могут соединяться с модулем 98 разделения источников сигнала, как проиллюстрировано на фиг. 3. Специалисты в данной области техники должны понимать, что любой модуль 104A, 104B, 105A, 105B регулирования усиления, а также любой из возможных фильтров (не показаны), соединенный с ним, может находиться в модуле комбинирования сигналов.
Модуль 102 комбинирования сигналов выполнен с возможностью комбинирования первого сигнала модуля комбинирования и второго сигнала модуля комбинирования на основе первого входного аудиосигнала 84A и второго входного аудиосигнала 84B. В одном варианте осуществления, первый сигнал модуля комбинирования - это первый входной аудиосигнал 84A, а второй сигнал модуля комбинирования - это второй входной аудиосигнал 84B. В другом варианте осуществления, первый сигнал модуля комбинирования - это отрегулированная версия первого входного аудиосигнала 84A, а второй сигнал модуля комбинирования - это отрегулированная версия второго входного аудиосигнала 84B. Отрегулированная версия может быть цифровым сигналом или аналоговым сигналом. Первый сигнал модуля комбинирования и второй сигнал модуля комбинирования формируют выходной сигнал модуля комбинирования. Выводом модуля 102 комбинирования сигналов может быть сигнал 94 уведомления. В конфигурации, проиллюстрированной на фиг. 3, сигнал 94 уведомления суммируется с выводом модуля 66 декодера вокодера посредством сумматора 70.
1
2
3
1
2
3
3
Фиг. 5A изображает блок-схему, иллюстрирующую одну конфигурацию модуля 102 комбинирования сигналов, включенного в модуль 90 уведомления с обратной связью местного эффекта, реализующий способы и содержащий устройства и схемы, раскрытые и предусмотренные в данном документе. Модуль 102 комбинирования сигналов может содержать первый модуль 106A регулирования усиления (SCGA), второй модуль 106B регулирования усиления (SCGA), сумматор 110 и третий модуль 114 регулирования усиления (SCGA). Модуль 102 комбинирования сигналов выполнен с возможностью комбинирования первого сигнала модуля комбинирования (в конфигурации, проиллюстрированной на фиг. 5A, это вывод первого модуля 106A регулирования усиления) и второго сигнала модуля комбинирования (в конфигурации, проиллюстрированной на фиг. 5A, это вывод второго модуля 106B регулирования усиления). Модули SCGA 106A и SCGA 106B регулирования усиления являются необязательными. Как упомянуто ранее, первый сигнал модуля комбинирования может быть первым цифровым входным аудиосигналом, а второй сигнал модуля комбинирования может быть вторым цифровым входным аудиосигналом. Произведения первого сигнала модуля комбинирования и второго сигнала модуля комбинирования комбинируются, чтобы формировать комбинированный сигнал. В конфигурации, проиллюстрированной на фиг. 5A, комбинированный сигнал регулируется посредством модуля 114 регулирования усиления SCGA, чтобы формировать сигнал 94 уведомления. Модуль 114 регулирования усиления SCGA является необязательным. Как упомянуто ранее, выводом модуля 102 комбинирования сигналов может быть сигнал 94 уведомления. В таком случае, сигнал 94 уведомления может быть комбинированным сигналом. В конфигурации, проиллюстрированной на фиг. 5A, сигнал 94 уведомления суммируется с выводом модуля 66 декодера вокодера посредством сумматора 70. Вывод сумматора 70 преобразуется в аналоговый сигнал посредством DAC 78 и воспроизводится в устройстве уведомления. В этом случае, устройством уведомления является динамик 116.
1
2
3
3
Фиг. 5B изображает блок-схему, иллюстрирующую одну конфигурацию модуля 102 комбинирования сигналов, включенного в модуль 90 уведомления с обратной связи местного эффекта, реализующий способы и содержащий устройства и схемы, раскрытые и предусмотренные в данном документе. Как проиллюстрировано на фиг. 5B, модуль 102 комбинирования сигналов содержит первый модуль 106A регулирования усиления (SCGA), который формирует аналоговый сигнал, первый сигнал модуля комбинирования и второй модуль 106B регулирования усиления (SCGA), который формирует аналоговый сигнал, второй сигнал модуля комбинирования. Как указано выше и в данный момент проиллюстрировано на фиг. 5B, первый сигнал модуля комбинирования - это отрегулированная версия первого входного аудиосигнала 84A, а второй сигнал модуля комбинирования - это отрегулированная версия второго входного аудиосигнала 84B. Как указано ранее, первый сигнал модуля комбинирования и второй сигнал модуля комбинирования формируют выходной сигнал модуля комбинирования. В конфигурации, проиллюстрированной на фиг. 5B, выходной сигнал модуля комбинирования регулируется посредством модуля 115 регулирования усиления SCGA, чтобы формировать сигнал 95 уведомления. Модуль 115 регулирования усиления SCGA является необязательным. Как упомянуто ранее, выводом модуля 102 комбинирования сигналов может быть сигнал 94 уведомления. В конфигурации, проиллюстрированной на фиг. 5B, сигнал 95 уведомления является аналоговым сигналом и преобразуется в цифровой сигнал посредством ADC 112C. Вывод ADC 112C суммируется с выводом модуля 66 декодера вокодера посредством сумматора 70. Вывод сумматора 70 преобразуется в аналоговый сигнал посредством DAC 78 и воспроизводится в устройстве уведомления. В этом случае, устройством уведомления является динамик 116. В альтернативной конфигурации (не показана), сигнал 95 уведомления может суммироваться с выводом DAC 78 посредством аналогового сумматора (не показан) вместо этого, и результирующая форма сигнала воспроизводится в динамике 116. В этой альтернативной конфигурации может не быть необходимости для ADC 112C преобразовывать сигнал 95 уведомления в аналоговый сигнал.
1
2
Как упомянуто ранее, первый и второй входные аудиосигналы 84A, 84B могут соединяться с модулями 105A, 105B регулирования усиления. Модули 105A и 105B регулирования усиления SFNGA и SFNGA соединяются с ADC 112A, 112B и являются необязательными. Если включены, они также могут необязательно находиться в модуле 91 уведомления с обратной связью местного эффекта. Модуль 105A регулирования усиления, помеченный "105A", может регулировать первый входной аудиосигнал 84A, а модуль 105B регулирования усиления, помеченный "105B", может регулировать второй входной аудиосигнал 84B. В конфигурации, отличной от конфигурации, явно проиллюстрированной на фиг. 5B, каждый из этих модулей 105A, 105B регулирования усиления может регулировать сигналы, на основе первого входного аудиосигнала 84A и второго входного аудиосигнала 84B. Выводы 117A, 117B модулей 105A, 105B регулирования усиления преобразуются из аналогового сигнала в цифровой сигнал посредством ADC 112A, 112B. Цифровые выводы 119A, 119B ADC 112A затем могут обрабатываться посредством модуля 98 разделения источников. Вывод модуля 98 разделения источников затем может отправляться в кодер 44 вокодера.
Фиг. 6 изображает блок-схему, иллюстрирующую одну конфигурацию модуля 102 комбинирования сигналов, включенного в модуль 90 уведомления с обратной связью местного эффекта для реализации способов и содержащего устройства и схемы, раскрытые и предусмотренные в данном документе. Модуль 102 комбинирования сигналов для формирования сигнала 129 уведомления, который отправляется в DAC 130, может содержать первый пороговый детектор 120A, второй пороговый детектор 120B и логический вентиль 128. Логический вентиль 128 может содержать логический вентиль "AND" или логический вентиль "OR". Могут быть предусмотрены триггеры, чтобы защелкивать первый сигнал модуля комбинирования и второй сигнал модуля комбинирования. В другом варианте осуществления, логический вентиль 128 может содержать множество логических вентилей "AND" и/или логических вентилей "OR" вместо одного логического вентиля "AND" или "OR". Первый пороговый детектор 120A может содержать буфер 124A запоминающего устройства, чтобы сохранять аудиовыборки. В одном варианте осуществления, аудиовыборки могут быть суммированы, и результирующая сумма может сравниваться с первым пороговым значением суммы. Если результирующая сумма превышает первое пороговое значение суммы, ограниченный пороговым значением сигнал (первый сигнал модуля комбинирования) может отправляться в логический вентиль 128. В другом варианте осуществления, аудиовыборки в первом сегменте буфера 124A запоминающего устройства могут быть коррелированы с аудиовыборками во втором сегменте буфера 124A запоминающего устройства. Например, первый сегмент буфера 124A запоминающего устройства может сохранять последние M аудиовыборок. Продолжительность, которую может охватывать первый сегмент буфера 124A запоминающего устройства, составляет вплоть до 20 миллисекунд (мс). По мере того как новые аудиовыборки формируются посредством ADC 86A, новые аудиовыборки могут быть коррелированы с последними M аудиовыборок в первом сегменте буфера 124A запоминающего устройства. Результирующая корреляция может сравниваться с первым пороговым значением корреляции. Если результирующая корреляция превышает первое пороговое значение корреляции, ограниченный пороговым значением сигнал (первый сигнал модуля комбинирования) может отправляться в логический вентиль 128. Буфер 124A запоминающего устройства может сохранять аудиовыборки, охватывающие несколько сегментов вне рамок двух сегментов. В одном варианте осуществления, первое пороговое значение суммы и/или первое пороговое значение корреляции может быть определено эмпирически. Первое пороговое значение суммы и/или первое пороговое значение корреляции может быть конфигурируемым. Аналогично, второй пороговый детектор 120B может содержать буфер 124B запоминающего устройства, чтобы сохранять аудиовыборки способом, аналогичным способу, описанному для первого порогового детектора 120A. В одном варианте осуществления второго порогового детектора 120B, если результирующее суммирование аудиовыборок, сохраненных в буфере 124B запоминающего устройства, превышает второе пороговое значение суммирования, ограниченный пороговым значением сигнал (второй сигнал модуля комбинирования) может отправляться в логический вентиль 128. В другом варианте осуществления второго порогового детектора 120B, если результирующая корреляция новых аудиовыборок, коррелированных с аудиовыборками, сохраненными в первом сегменте буфера 124B запоминающего устройства, превышает второе пороговое значение корреляции, ограниченный пороговым значением сигнал (второй сигнал модуля комбинирования) может отправляться в логический вентиль 128. Могут быть отдельные пороговые значения, которые также могут быть конфигурируемыми между первым пороговым детектором 120A и вторым пороговым детектором 120B. Таким образом, второе пороговое значение суммы и второе пороговое значение корреляции могут иметь значения, отличные от первого порогового значения суммы и первого порогового значения корреляции. Одна причина для различных пороговых значений состоит в том, что местоположение второго микрофона 82B может находиться далеко (см. фиг. 15A, 15B, 16A, 16B, 17A, 17B для примеров) от местоположения первого микрофона 82A. В другом варианте осуществления пороговые детекторы 120A, 120B могут быть аналоговыми и могут не включать в себя буферы запоминающего устройства, чтобы сохранять аудиовыборки. В этом варианте осуществления, где пороговые детекторы являются аналоговыми, модуль 102 уведомления с обратной связью местного эффекта не включает в себя логический вентиль 128. Могут быть другие аналоговые компоненты, включенные в модуль уведомления с обратной связью местного эффекта, чтобы учитывать внезапные колебания в аналоговой форме сигнала, т.е. аналоговые компоненты могут реализовывать функцию гистерезиса. Помимо этого, специалисты данной области техники должны хорошо понимать то, что аналоговые пороговые детекторы могут содержать управляемые кремниевые выпрямители (SCR) или диоды, которые оба включаются (повышение электрического тока), только если определенное пороговое напряжение превышается. На основе используемого диода или SCR, пороговое напряжение может уже быть заранее определенным. Диод или SCR также может быть смещен, чтобы конфигурировать пороговое напряжение.
Устройство 136 уведомления для предоставления сигнала обратной связи пользователю основано на сигнале 129 уведомления, который отправляется в DAC 130. Устройство 136 уведомления может быть динамиком, дисплеем, светоизлучающим диодом, вибратором или любыми устройствами аналогичного типа. В зависимости от того, какое из этих устройств используется для устройства 136 уведомления, сигнал обратной связи пользователю может быть одним из звукового сигнала (например, если устройство 136 уведомления является динамиком), визуального сигнала (например, если устройство 136 уведомления является дисплеем, или светоизлучающий диод (LED)) и тактильного сигнала (сигнал, который считывается посредством касания пользователя, например, если устройство 136 уведомления является вибратором). Устройство связи может иметь драйвер устройства, который может включать в себя таблицу или карту, чтобы переносить различные значения сигнала 129 уведомления в устройство 136 уведомления. В одном варианте осуществления, если сигнал 129 уведомления является низким, устройство 136 уведомления может формировать более слабый сигнал обратной связи. По мере того как сигнал 129 уведомления повышается, устройство 136 уведомления может формировать более сильный сигнал обратной связи. В качестве примера, LED может быть тусклым (более слабый сигнал обратной связи), когда сигнал 129 уведомления является низким; и может повышать (более сильный сигнал обратной связи) яркость, когда значение сигнала 129 уведомления повышается. В качестве другого примера, динамик может воспроизводить низкий (более слабый сигнал обратной связи) звук (к примеру, гудок, сигнал зуммера, тон или фраза, указывающая, что сигнал уведомления является низким), когда сигнал 129 уведомления является низким; и может повышать (более сильный сигнал обратной связи) звук. В другом примере, дисплей может показывать на экране дисплея фразу, указывающую то, что сигнал 129 уведомления является низким, или указывать, что сигнал 129 уведомления повышается (или является высоким). В еще одном другом примере экран дисплея может указывать относительное значение сигнала 129 уведомления пользователю. Таким образом, пользователь может считывать сигнал обратной связи, который основан на значении, которое является пропорциональным сигналу 129 уведомления.
Фиг. 7 изображает блок-схему, иллюстрирующую одну конфигурацию модуля 102 комбинирования сигналов, включенного в модуль 90 уведомления с обратной связью местного эффекта, который комбинирует функциональность и различные варианты осуществления, поясненные для фиг. 5A, 5B и 6, и который может реализовывать способы, и содержащего устройства и схемы, раскрытые и предусмотренные в данном документе. Как проиллюстрировано на фиг. 7, в устройстве связи может быть более одного устройства уведомления. Например, устройство 137 уведомления, помеченное "137" (устройство 1 уведомления), может формировать сигнал обратной связи пользователю на основе сигнала 94 уведомления, который суммируется с выводом модуля 66 декодера вокодера посредством сумматора 70. Устройство 138 уведомления (устройство 2 уведомления), помеченное "138", может формировать сигнал обратной связи пользователю на основе сигнала 129 уведомления, выводимого посредством логического вентиля 128.
Как проиллюстрировано посредством пояснения различных вариантов осуществления, конфигураций и функциональности для фиг. 3, 4, 5A, 5B, 6 и 7, специалисты в данной области техники должны признавать, что модуль уведомления с обратной связью местного эффекта для формирования сигнала уведомления может соединяться прямо или косвенно с первым микрофоном и соединяться прямо или косвенно со вторым микрофоном, при этом сигнал уведомления, основанный на комбинации первого входного аудиосигнала и второго входного аудиосигнала, раскрывается. Устройство уведомления для предоставления сигнала обратной связи пользователю на основе сигнала уведомления может соединяться прямо или косвенно с модулем уведомления с обратной связью местного эффекта. Комбинирование первого сигнала модуля комбинирования и второго сигнала модуля комбинирования может выполняться в цифровой области или в аналоговой области. Первый сигнал модуля комбинирования и второй сигнал модуля комбинирования могут регулироваться посредством модулей регулирования усиления. Фраза "на основе первого входного аудиосигнала и второго входного аудиосигнала" содержит варианты осуществления и конфигурации, в которых входные сигналы модуля уведомления с обратной связью местного эффекта являются цифровыми или аналоговыми сигналами. Устройство связи, содержащее модуль комбинирования сигналов, выполненный с возможностью комбинирования первого сигнала модуля комбинирования и второго сигнала модуля комбинирования на основе первого входного аудиосигнала и второго входного аудиосигнала, включает в себя варианты осуществления и конфигурации, в которых первый сигнал модуля комбинирования и второй сигнал модуля комбинирования являются цифровым сигналом или аналоговым сигналом. Независимо от того, являются первый сигнал модуля комбинирования и второй сигнал модуля комбинирования цифровыми или аналоговыми сигналами, раскрывается устройство связи, в котором, по меньшей мере, один из этих сигналов (первый сигнал модуля комбинирования и второй сигнал модуля комбинирования) превышает пороговое значение.
Кроме того, модули 104A, 104B, 105A, 105B, 107A, 107B, 115, 106A, 106B регулирования усиления и сумматоры 110, 111, описанные или предусмотренные выше, могут находиться в модуле 90 уведомления с обратной связью местного эффекта, за пределами иллюстративной границы нарисованного модуля 102 комбинирования сигналов.
Фиг. 8 изображает блок-схему, иллюстрирующую одну конфигурацию устройства связи, которое включает в себя модуль 90 уведомления с обратной связью местного эффекта для реализации способов, и содержащего устройства и схемы, раскрытые и предусмотренные в данном документе. Пользователь может конфигурировать усиления модуля 90 уведомления с обратной связью местного эффекта, например, посредством взаимодействия с дисплеем 140A. Как проиллюстрировано на фиг. 8, запоминающее устройство 48 соединяется с процессором 52, а также соединяется с дисплеем 140A. В одном варианте осуществления, пользователь может просматривать снимок экрана значков, представляющих конфигурацию модуля уведомления с обратной связью местного эффекта. Например, значок первого микрофона 142A, соединенный со значком первого модуля 146A регулирования усиления, и значок второго микрофона 142B, соединенный со значком второго модуля 146B регулирования усиления, может соединяться со значком, иллюстрирующим функцию "комбинирование", которая может выполняться посредством модуля 90 уведомления с обратной связью местного эффекта. Значок "комбинирование" может соединяться с третьим значком 150 модуля регулирования усиления. Значок 156 сумматора соединяет вывод значка четвертого модуля 154 регулирования усиления и вывод значка 150 третьего модуля регулирования усиления. Вывод значка 156 сумматора соединяется со значком 160 динамика. Дисплей 140A может включать в себя тактильный экран. После касания значка модуля регулирования усиления на тактильном экране пользователь может переходить к требуемому значению усиления. Требуемые значения усиления затем сохраняются в конфигурационной таблице 164 в запоминающем устройстве 48. Эти требуемые значения усиления обозначаются как "выбранное пользователем усиление" 166A, 166B, 166C, 166D. Выбранное пользователем усиление 1 166A, выбранное пользователем усиление 2 166B и выбранное пользователем усиление 3 166C затем могут использоваться для того, чтобы конфигурировать усиления для модулей регулирования усиления, расположенных в модуле 90 уведомления с обратной связью местного эффекта. В случае если сигналом уведомления является звуковой речевой сигнал местного эффекта, вывод модуля 66 декодера вокодера может соединяться с конфигурируемым модулем 118 регулирования усиления. Выбранное пользователем усиление 4 166D может использоваться для того, чтобы конфигурировать модуль 118 регулирования усиления за пределами модуля 90 уведомления с обратной связью местного эффекта. Фиг. 8 также иллюстрирует устройство связи с, по меньшей мере, двумя устройствами уведомления. Динамик 116 и дисплей 140A являются устройствами уведомления, которые в ходе работы предоставляют сигнал обратной связи пользователю на основе сигнала уведомления, соединенными прямо или косвенно с модулем уведомления с обратной связью местного эффекта.
Фиг. 9 изображает блок-схему, иллюстрирующую одну конфигурацию дисплея 140B, который может использоваться пользователем, чтобы конфигурировать устройство связи, которое включает в себя модуль 90 уведомления с обратной связью местного эффекта для реализации способов, и содержащее устройства и схемы, раскрытые и предусмотренные в данном документе. Дисплей 140B может иметь текст, чтобы указывать пользователю выбирать тип 170 устройства уведомления с обратной связью местного эффекта. Текст 170 выступает в качестве визуальной метки для пользователя, чтобы выбирать тип устройства уведомления посредством касания значка выбора. Значок выбора может быть четырехугольным значком 174A, 176A, 178A, 180A, как проиллюстрировано на фиг. 9. Значок выбора также может быть переключателем (не показан) и т.п. Значки типов 174B, 176B, 178B, 180B устройства уведомления также могут отображаться, чтобы иллюстрировать, например, вибратор 174B, LED 176B, дисплей 178B или динамик 180B. Кроме того, значки имени типов устройства уведомления могут отображаться как вибратор 174C, LED 176C, дисплей 178C и динамик 180C. Таким образом, через значок выбора пользователь может конфигурировать способ, посредством которого он принимает сигнал обратной связи, на основе сигнала уведомления, сформированного посредством модуля 90 уведомления с обратной связью местного эффекта.
Фиг. 10 изображает блок-схему, иллюстрирующую одну конфигурацию устройства 20C связи, которое включает в себя модуль 90 уведомления с обратной связью местного эффекта для реализации способов, и содержащего устройства и схемы, раскрытые и предусмотренные в данном документе. В одном варианте осуществления конфигурации, проиллюстрированной на фиг. 10, детектор 184 шума ветра соединяется с модулем 90 уведомления с обратной связью местного эффекта. Детектор 184 шума ветра может быть выполнен с возможностью предоставлять сигнал 200 обнаружения (WND) шума ветра, который указывает, обнаружен ли шум ветра или нет, и/или который включает в себя информацию обнаружения шума ветра (т.е. он может включать в себя больше информации, чем просто булево значение) согласно технологии, раскрытой, например, в заявке на патент США номер 12/323,186, адвокатская выписка номер 080326, озаглавленной "Systems and methods for detecting wind noise using multiple audio sources" (Ramakrishnan и др.). В одном варианте осуществления, первый цифровой входной аудиосигнал 88A и второй цифровой входной аудиосигнал 88B могут проходить немодифицированными через детектор 184 шума ветра. В другом варианте осуществления, первый цифровой входной аудиосигнал 88A и второй цифровой входной аудиосигнал 88B могут быть отфильтрованы посредством, по меньшей мере, одного фильтра в детекторе 184 шума ветра. WND-сигнал 200 необязательно может предоставляться в модуль 90 уведомления с обратной связью местного эффекта.
Два выхода 97A, 97B модуля уведомления с обратной связью местного эффекта (которые могут быть основаны на первом и втором входных аудиосигналах 84A, 84B) могут отправляться в модуль 98 разделения источников. В одном варианте осуществления, модуль 188 разделения источников может соединяться с модулем 188 автоматической регулировки громкости (AVC). AVC 188 работает посредством автоматического регулирования уровня громкости звука ввода аудиосигнала в AVC 188. Во многих случаях, AVC 188 регулирует уровень громкости звука, чтобы предотвращать насыщение аудиосигнала, кодируемого посредством кодера 44 вокодера. AVC 188 может предоставлять сигнал уровня громкости звука (AVL) 198 в модуль 90 уведомления с обратной связью местного эффекта.
В одном варианте осуществления, модуль разделения источников может включать в себя модуль выбора и/или комбинирования сигналов (не показан), который реализует алгоритм, который динамически (a) выбирает между двумя или более оцифрованных звуковых сигналов, и/или (b) комбинирует два или более оцифрованных звуковых сигнала согласно динамически полученным весовым коэффициентам на основе одного или более коэффициентов, чтобы достигать наилучшего качества звука или звучания для выходного звукового сигнала. Такой алгоритм раскрывается, например, в заявке на патент США, номер 12/022,052, адвокатская выписка номер 071472, озаглавленной "Improving sound quality by intelligently selecting between signals from the plurality of microphones" (Wang и др.). Алгоритм предоставляет возможность выбора между сигналами от множества микрофонов и тем самым может предоставлять сигнал "первичного микрофона (PM)" 196 в модуль 90 уведомления с обратной связью местного эффекта. PM-сигнал 196 может указывать, например, какой микрофон (микрофон #1, микрофон #2,..., микрофон #N) является основным микрофоном.
В другом варианте осуществления, один из модулей 99A, 99B эхоподавления может предоставлять сигнал 194 улучшения затухания эха (ERLE). ERLE-сигнал 194 может предоставляться в модуль 90 уведомления с обратной связью местного эффекта посредством идентичного модуля эхоподавления (EC1 99A или EC2 99B). В альтернативном варианте осуществления, ERLE-сигнал 194 может предоставляться в модуль 90 уведомления с обратной связью местного эффекта на основе того, какой микрофон является основным микрофоном. Как описано выше в пояснении других чертежей, вывод модуля 66 декодера вокодера может суммироваться с сигналом 94 уведомления посредством сумматора 70. Вывод сумматора 70 затем преобразуется из цифрового сигнала в аналоговый сигнал посредством цифроаналогового преобразователя 78 и воспроизводится в устройстве 96 уведомления.
Фиг. 11 изображает блок-схему, иллюстрирующую одну конфигурацию модуля 90 уведомления с обратной связью местного эффекта, включенного в устройство 20C связи, проиллюстрированное на фиг. 10, и который может реализовывать способы, и содержащее устройства и схемы, раскрытые и предусмотренные в данном документе. В конфигурации, проиллюстрированной на фиг. 11, контроллер 204 режима может получать в качестве ввода любой из следующих сигналов: ERLE-сигнал 194, PM-сигнал 196, AVL-сигнал 198 и WND-сигнал 200. Следовательно, вывод контроллера режима основан на любом из значения обнаружения шума ветра, значения улучшения затухания эха и значения уровня автоматической регулировки громкости. Выводом контроллера режима может быть сигнал контроллера режима (MC). Вывод контроллера режима может быть основан на том, переключает или нет микрофон на устройстве связи назначение с второстепенного микрофона на основной микрофон в ходе работы. Переключенное назначение может обеспечиваться посредством PM-сигнала 196.
В конфигурации, проиллюстрированной на фиг. 11, контроллер 204 режима соединяется с модулем 102 комбинирования сигналов. Контроллер 204 режима может реализовывать управляющую логику (как проиллюстрировано на фиг. 13 или фиг. 14, или на обеих), которая может использоваться для того, чтобы управлять другими компонентами, ассоциированными с модулем 90 уведомления с обратной связью местного эффекта. В конфигурациях, проиллюстрированных на чертежах, компоненты находятся в модуле 90 уведомления обратной связи в форме местного эффекта. Тем не менее, специалисты в данной области техники должны понимать, что некоторые из компонентов, которые могут управляться посредством контроллера 204 режима, могут находиться вне модуля 90 уведомления с обратной связью местного эффекта. По меньшей мере, один сигнал управления режимом (MC) 206 может предоставляться в модуль 102 комбинирования сигналов, чтобы управлять компонентом в модуле 102 комбинирования сигналов. Сигнал управления режимом (MC) может проходить через модуль 102 комбинирования сигналов. В качестве примера, два сигнала 208A, 208B управления режимом (MC1, MC2), помеченные "208A" (MC1) и "208B" (MC2), могут через модуль 102 комбинирования сигналов предоставляться в модули 104A, 104B регулирования усиления, помеченные "104A" и "104B". Модули 104A, 104B регулирования усиления могут динамически регулировать усиление, применяемое к первому сигналу модуля комбинирования и второму сигналу модуля комбинирования как результат логики управления режимом, реализованной в контроллере 204 режима. В альтернативном варианте осуществления, два сигнала управления режимом MC1 и MC2 могут предоставляться непосредственно в модули "104A" и "104B" регулирования усиления, тем самым модули "104A" и "104B" регулирования усиления могут динамически регулировать усиление, применяемое к первому сигналу модуля комбинирования и второму сигналу модуля комбинирования.
Фиг. 12 изображает блок-схему, иллюстрирующую одну конфигурацию модуля 90 уведомления с обратной связью местного эффекта, включенного в устройство 20C связи, проиллюстрированное на фиг. 10, и который может реализовывать способы и содержать устройства и схемы, раскрытые и предусмотренные в данном документе. В конфигурации, проиллюстрированной на фиг. 12, модуль 102 комбинирования сигналов включает в себя компоненты, проиллюстрированные на фиг. 7. Тем не менее, специалисты в данной области техники должны понимать, что модуль 102 комбинирования сигналов, проиллюстрированный на фиг. 12, может включать в себя любой из компонентов в модуле комбинирования сигналов, описанных или предусмотренных в этом изобретении. В конфигурации, проиллюстрированной на фиг. 12, контроллер 204 режима может обеспечивать два сигнала 208C, 208D управления режимом (MC3, MC4), помеченные "208C" (MC3) и "208D" (MC4), в модули 106A, 106B регулирования усиления, помеченные "106A", "106B". MC1 и MC2 управляют тем, как модули "106A" и "106B" регулирования усиления динамически регулируют усиление, применяемое к первому сигналу модуля комбинирования и второму сигналу модуля комбинирования. Модуль 114 регулирования усиления может динамически регулировать свое усиление, применяемое к комбинированному сигналу, сформированному посредством комбинации первого сигнала модуля комбинирования и второго сигнала модуля комбинирования. Специалисты в данной области техники должны понимать, что ("конфигурируемое") усиление модуля регулирования усиления, расположенного в модуле 90 уведомления с обратной связью местного эффекта, может конфигурироваться пользователем (как пояснено на фиг. 8 и 9). В некоторых конфигурациях ("конфигурируемое") усиление модуля регулирования усиления, конфигурируемое пользователем, может находиться за пределами модуля 90 уведомления с обратной связью местного эффекта. Конфигурируемое усиление модуля регулирования усиления также может конфигурироваться динамически посредством вывода контроллера режима, как описано на фиг. 11 и/или фиг. 12. Независимо от того, конфигурируется конфигурируемое усиление пользователем или динамически посредством контроллера режима, можно видеть, что конфигурируемое усиление может быть функцией от времени. Помимо этого, как упомянуто ранее, конфигурируемое усиление модуля регулирования усиления может независимо конфигурироваться. Следует отметить, что усиление модуля регулирования усиления (любого из модулей регулирования усиления, раскрытых или предусмотренных) может быть конфигурируемым в ходе калибровки, в ходе речевой связи или в ходе и того, и другого.
1
2
3
1
2
3
1
2
3
Фиг. 13 изображает примерную блок-схему последовательности операций способа управляющей логики, используемой для того, чтобы управлять компонентами, ассоциированными с модулем 90 уведомления с обратной связью местного эффекта, реализующим способы и содержащим устройства и схемы, раскрытые и предусмотренные в данном документе. Примерная блок-схема последовательности операций способа иллюстрирует то, что контроллер 204 режима может проверять, указывает или нет сигнал 200 шума ветра, что шум ветра присутствует 220. Если шум ветра не обнаружен ("НЕТ"), усиление модулей 106A (SCGA), 106B (SCGA) и 114 (SCGA) регулирования усиления, которое влияет на уровень амплитуды комбинированного сигнала, может сохраняться идентичным ранее заданному усилению 228. Если шум ветра обнаружен ("ДА"), AVC-уровень может проверяться 232. Если AVC-уровень (AVL) превышает пороговое значение (Th2), усиление комбинированного сигнала должно понижаться 236. Усиление может понижаться 236, например, посредством понижения усиления любого из модулей 106A (SCGA), 106B (SCGA) и/или 114 (SCGA) регулирования усиления. Если AVC-уровень не превышает пороговое значение, усиление комбинированного сигнала может повышаться 238. Усиление может повышаться 238, например, посредством повышения усиления любого из модулей 106A (SCGA), 106B (SCGA) и/или 114 (SCGA) регулирования усиления. Контроллер 204 режима также может проверять то, превышает или нет ERLE пороговое значение (Th1) 224. Если пороговое значение превышается ("ДА"), настройки усиления модулей регулирования усиления, которые влияют на уровень амплитуды комбинированного сигнала, могут сохраняться идентичными ранее заданному усилению 228. Если пороговое значение не превышается ("НЕТ"), усиление комбинированного сигнала может повышаться 28. Без повышения 238 усиления или понижения 236 усиления пользователь не может осознавать то, как его речевой сигнал искажается из-за ветра в одном из микрофонов.
Фиг. 14 изображает примерную блок-схему последовательности операций способа управляющей логики, используемой для того, чтобы управлять компонентами, ассоциированными с модулем 90 уведомления с обратной связью местного эффекта, реализующим способы и содержащим устройства и схемы, раскрытые и предусмотренные в данном документе. Примерная блок-схема последовательности операций способа иллюстрирует то, что контроллер 204 режима может проверять, переключено или нет назначение первичного микрофона 240. Если "НЕТ", то значение усиления, используемое посредством модулей регулирования усиления, не переключается 246. Если "ДА", то значение усиления, используемое посредством модулей регулирования усиления, переключается 242. В одном варианте осуществления, "прямоугольник 248" также может быть реализован. Энергия комбинированного сигнала может быть практически эквивалентной сумме энергии основного аудиосигнала и энергии второстепенного аудиосигнала 248. Например, если микрофон 1 (микрофон1) обозначается как основной микрофон, а микрофон 2 (микрофон2) обозначается как второстепенный микрофон, энергия основного аудиосигнала может быть энергией любого из цифровых или аналоговых сигналов, ассоциированных с микрофоном1 или микрофоном 2 перед модулем 98 разделения источников. Например, энергия аналоговых сигналов, помеченных 84A или 117A, может быть энергией основного аудиосигнала. В другом примере, энергия цифровых сигналов, помеченных 88A, или первого сигнала модуля комбинирования (к примеру, на фиг. 5A), может быть энергией основного аудиосигнала. Аналогично, энергия второстепенного аудиосигнала может быть энергией сигналов, помеченных 84B, 117B, 88B, или второго сигнала модуля комбинирования (к примеру, на фиг. 5A). Наоборот, если микрофон 2 обозначается как основной микрофон, энергия основного аудиосигнала может быть энергией сигналов, помеченных 84B, 117B, 88B, или второго сигнала модуля комбинирования (к примеру, на фиг. 5A); и если середина обозначается как второстепенный микрофон, энергия второстепенного аудиосигнала может быть энергией сигналов, помеченных 84A, 117A, 88A, или первого сигнала модуля комбинирования (к примеру, на фиг. 5A). Энергия комбинированного сигнала может регулироваться посредством регулирования любого из модулей регулирования усиления, помеченных 106A, 106B или 114. Таким образом, комбинация усилений может задаваться так, что энергия комбинированного сигнала является практически эквивалентной сумме энергии основного аудиосигнала и энергии второстепенного аудиосигнала. Также следует отметить, что контроллер 204 режима может реализовывать управляющую логику (как проиллюстрировано на фиг. 13 или фиг. 14, или на обеих).
Устройства связи, проиллюстрированные на фиг. 15A, 15B, 16A, 16B, 17A и 17B, могут реализовывать способы и содержать устройства и схемы, раскрытые и предусмотренные в данном документе. Устройства связи могут иметь модуль уведомления с сигналом обратной связи для формирования сигнала уведомления, соединенного прямо или косвенно с первым микрофоном и соединенного прямо или косвенно со вторым микрофоном, при этом сигнал уведомления основан на комбинации первого входного аудиосигнала и второго входного аудиосигнала. Эти устройства связи могут иметь устройство уведомления для предоставления сигнала обратной связи пользователю на основе сигнала уведомления, соединенного прямо или косвенно с модулем уведомления с обратной связью местного эффекта. Эти устройства связи могут иметь первый микрофон для формирования первого входного аудиосигнала и второй микрофон для формирования второго входного аудиосигнала. Местоположение микрофонов в этих устройствах связи может располагаться в ряде мест.
Фиг. 15A изображает вид 250A спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Фиг. 15B изображает вид 250B спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Фиг. 16A изображает вид 260A спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Фиг. 16B изображает вид 260B спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Фиг. 17A изображает вид 270A спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Фиг. 17B изображает вид 270B спереди устройства связи. Символы с кругом ("o") и меткой ("x") представляют потенциальное местоположение микрофонов. Может быть предусмотрено множество потенциальных местоположений и может быть более двух микрофонов.
Устройством связи, реализующим способы и технологии, раскрытые и предусмотренные в данном документе, может быть телефонная гарнитура или телефонная трубка. Телефонная трубка включает в себя сотовый телефон, PDA и смартфон. Предусмотрено, что такие устройства связи, как нетбук или портативный компьютер, также могут включать в себя "вокодеры". Специалисты в данной области техники могут упоминать аудиокодеки для сжатия речи в телефонных трубках как "вокодеры", а аудиокодеки, обнаруженные в гарнитурах, как "кодеки". "Кодеки" имеют "кодер кодека" и "декодер кодека". Термины "кодер кодека" и "декодер кодека" могут быть использованы вместо "кодера вокодера" и "декодера вокодера", когда устройством связи является гарнитура, вместо телефонной трубки. Примером кодека гарнитуры может быть подполосный кодек (SBC).
Также следует отметить, что первый цифровой входной аудиосигнал 88A, второй цифровой входной аудиосигнал 88B, первый входной аудиосигнал 84A, второй входной аудиосигнал 84B являются аудиосигналами. Следовательно, в зависимости от контекста (т.е. конфигурации или варианта осуществления) первый входной аудиосигнал может быть первым цифровым входным аудиосигналом 88A или первым входным аудиосигналом 84A. Аналогично, в зависимости от контекста (т.е. конфигурации или варианта осуществления) второй входной аудиосигнал может быть вторым цифровым входным аудиосигналом 88B или вторым входным аудиосигналом 84B.
В вышеприведенном описании номера ссылок иногда используются в связи с различными терминами. Если термин используется вместе с номером ссылки, это означает конкретный элемент, который показан на одном или более чертежах. Если термин используется без номера ссылки, это, в общем, означает термин без ограничения каким-либо конкретным чертежом.
Термин "процессор" должен быть интерпретирован широко, чтобы охватывать процессор общего назначения, центральный процессор (CPU), микропроцессор, процессор цифровых сигналов (DSP), контроллер, микроконтроллер, конечный автомат и т.д. В некоторых случаях, "процессор" может упоминаться как специализированная интегральная схема (ASIC), программируемое логическое устройство (PLD), программируемая пользователем вентильная матрица (FPGA) и т.д. Термин "процессор" может упоминаться как комбинация устройств обработки, к примеру, комбинация DSP и микропроцессора, множества микропроцессоров, одного или более микропроцессоров вместе с ядром DSP или любой другой такой конфигурации.
Термин "запоминающее устройство" должен быть интерпретирован широко, чтобы охватывать любой электронный компонент, допускающий хранение электронной информации. Термин "запоминающее устройство" может упоминаться как различные типы процессорно-читаемых носителей, таких как оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), энергонезависимое оперативное запоминающее устройство (NVRAM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электрически стираемое PROM (EEPROM), флэш-память, магнитные или оптические устройства хранения данных, регистры и т.д. Запоминающее устройство, как считается, поддерживает электронную связь с процессором, если процессор может считывать информацию и/или записывать информацию в запоминающее устройство. Запоминающее устройство, которое является неотъемлемой частью процессора, поддерживает электронную связь с процессором.
Термины "инструкции" и "код" должны быть интерпретированы широко, чтобы включать в себя любой тип машиночитаемого оператора(ов). Например, термины "инструкции" и "код" могут упоминаться как одна или более программ, процедур, подпрограмм, функций, процедур и т.д. "Инструкции" и "код" могут содержать один машиночитаемый оператор или множество машиночитаемых операторов.
Описанные в данном документе функции могут быть реализованы в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или в любой комбинации вышеозначенного. Если реализованы в программном обеспечении, функции могут сохраняться как одна или более инструкций на машиночитаемом носителе. Термин "машиночитаемый носитель" упоминается как любой доступный носитель, к которому может осуществлять доступ компьютер. В качестве примера, но не ограничения, машиночитаемый носитель может содержать RAM, ROM, EEPROM, CD-ROM или другое устройство хранения на оптических дисках, устройство хранения на магнитных дисках или другие магнитные устройства хранения, либо любой другой носитель, который может быть использован для того, чтобы переносить или сохранять требуемый программный код в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера. Диск (disk) и диск (disc) при использовании в данном документе включают в себя компакт-диск (CD), лазерный диск, оптический диск, универсальный цифровой диск (DVD), гибкий диск и диск Blu-Ray, при этом диски (disk) обычно воспроизводят данные магнитно, тогда как диски (disc) обычно воспроизводят данные оптически с помощью лазеров.
Программное обеспечение или инструкции также могут передаваться по среде передачи. Например, если программное обеспечение передается из веб-узла, сервера или другого удаленного источника с помощью коаксиального кабеля, оптоволоконного кабеля, "витой пары", цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасные, радиопередающие и микроволновые среды, то коаксиальный кабель, оптоволоконный кабель, "витая пара", DSL или беспроводные технологии, такие как инфракрасные, радиопередающие и микроволновые среды, включены в определение среды передачи.
Способы, раскрытые в данном документе, содержат один или более этапов или действий для осуществления описанного способа. Этапы и/или действия способа могут меняться друг с другом без отступления от объема формулы изобретения. Другими словами, если конкретный порядок этапов или действий не требуется для надлежащей работы способа, который описывается, порядок и/или применение конкретных этапов и/или действий может модифицироваться без отступления от объема формулы изобретения.
Как упомянуто выше, следует понимать, что формула изобретения не ограничена точной конфигурацией и компонентами, проиллюстрированными выше. Различные модификации, изменения и варьирования могут осуществляться в компоновке, работе и подробностях систем, способов и устройств, описанных в данном документе, без отступления от объема формулы изобретения.
Вышеприведенное описание раскрытых вариантов осуществления предусмотрено для того, чтобы предоставлять возможность специалистам в данной области техники создавать или использовать то, что задается посредством прилагаемой формулы изобретения. Прилагаемая формула изобретения не имеет намерением быть ограниченной раскрытыми вариантами осуществления. Другие варианты осуществления и модификации должны быть очевидными для специалистов в данной области техники с учетом этих идей. Следовательно, прилагаемая формула изобретения имеет намерение покрывать все такие варианты осуществления и модификации при рассмотрении вместе с вышеуказанным подробным описанием и прилагаемыми чертежами.