ЗВУКОЗАПИСЬ С ИСПОЛЬЗОВАНИЕМ ФОРМИРОВАНИЯ ДИАГРАММЫ НАПРАВЛЕННОСТИ
SOUND RECORDING USING FORMATION OF DIRECTIONAL DIAGRAM

Область техники, к которой относится изобретение
Изобретение относится к звукозаписи с использованием формирования диаграммы направленности и, в частности, но не исключительно, к записи речи с использованием формирования диаграммы направленности.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Звукозапись и, в частности запись речи, становилась все более и более важной в последние десятилетия. Действительно, звукозапись стала в большей степени важной применительно к многообразию применений, в том числе, дистанционной связи, телеконференцсвязи, играм, речевым интерфейсам пользователя, и т. д. Однако, проблема в многих сценариях и применениях состоит в том, что желательный источник речи типично не является единственным источником звука в окружающей среде. Скорее, в типичных акустических средах, есть много других источников звука/шума, которые захватываются микрофоном. Одна из критических проблем, стоящих перед многими применениями звукозаписи, состоит в том, каким образом лучше всего выделять речь из шумной окружающей среды. Для того чтобы принять меры в ответ на эту проблему, было предложено некоторое количество разных подходов для подавления шумов.
Действительно, исследования в области систем громкой телефонной связи являются предметом обсуждения, который десятилетиями привлекал большой интерес. Первые имеющиеся в распоряжении коммерческие системы сосредотачивались на профессиональных системах (видео) конференцсвязи в средах с низким фоновым шумом и низким временем реверберации. Было обнаружено, что особенно полезным подходом для идентификации и выделения желательных источников звука, например, таких как желательный докладчик, является использование формирования диаграммы направленности на основании сигналов с микрофонной решетки. Изначально часто использовалась микрофонная решетка с фокусированной неподвижной диаграммой направленности, но позже более популярным стало использование адаптивных диаграмм направленности.
Во второй половине 1990-ых, начали выпускаться системы громкой связи для мобильных телефонов. Подразумевалось, что они должны использоваться в многих разных средах, в том числе, реверберирующих помещениях и при (более) высоких уровнях фонового шума. Такие акустические среды предусматривают существенно более трудные задачи и, в частности, могут осложнять или ухудшать адаптацию сформированной диаграммы направленности.
Сначала исследования в области записи применительно к таким средам сосредотачивались на ослаблении эхо, а позже на подавлении шумов. Пример системы звукозаписи, основанной на формировании диаграммы направленности, проиллюстрирован на фиг. 1. В примере, направленная решетка из множества микрофонов 101 присоединена к формирователю 103 диаграммы направленности, который вырабатывает сигнал z(n) источника звука и один или более шумовых опорных сигналов x(n).
Микрофонная решетка 101 в некоторых вариантах осуществления может содержать только два микрофона, но типично будет содержать большее количество.
Формирователь 103 диаграммы направленности, более точно, может быть адаптивным формирователем диаграммы направленности, в котором одна диаграмма направленности может быть направлена на источник речи с использованием пригодного алгоритма адаптации.
Например, US 7 146 012 и US 7 602 926 раскрывает примеры адаптивных формирователей диаграммы направленности, которые фокусируются на речи, но также выдает опорный сигнал, который (почти) не содержит в себе речь.
Формирователь диаграммы направленности создает улучшенный выходной сигнал, z(n), когерентно добавляя желательную часть сигналов с микрофонов посредством фильтрации принятых сигналов в прямых согласующих фильтрах и добавления отфильтрованных выходных сигналов. К тому же, выходной сигнал фильтруется в обратных адаптивных фильтрах, имеющих характеристики фильтра, сопряженные с прямыми фильтрами (в частотной области, соответствующей обращенным по времени импульсным характеристикам во временной области). Сигналы ошибки вырабатываются в качестве разности между входными сигналами и выходными сигналами обратных адаптивных фильтров, и коэффициенты фильтров адаптируются, чтобы минимизировать сигналы ошибки, тем самым давая в результате звуковую диаграмму направленности, управляемую в направлении преобладающего сигнала. Сформированные сигналы x(n) ошибки могут рассматриваться в качестве шумовых опорных сигналов, которые особенно пригодны для выполнения дополнительного ослабления шума над улучшенным выходным сигналом z(n).
Первичный сигнал z(n) и опорный сигнал x(n) типично оба загрязнены шумом. В том случае, если шум в двух сигналах когерентен (например, когда есть создающий помехи точечный источник шума), адаптивный фильтр 105 может использоваться для ослабления когерентного шума.
С этой целью, шумовой опорный сигнал x(n) привязан ко входу адаптивного фильтра 105 с выходом, вычитаемым из сигнала z(n) источника звука для формирования компенсированного сигнала r(n). Адаптивный фильтр 105 приспособлен минимизировать мощность компенсированного сигнала r(n), типично, когда желательный источник звука не активен (например, когда нет речи), и это дает в результате подавление когерентного шума.
Компенсированный сигнал подается в постпроцессор 107, который выполняет ослабление шума над компенсированным сигналом r(n) на основании шумового опорного сигнала x(n). Более точно, постпроцессор 107 преобразует компенсированный сигнал r(n) и шумовой опорный сигнал x(n) в частотную область с использованием оконного преобразования Фурье. Затем, он, применительно к каждому элементу разрешения по частоте, модифицирует амплитуду R(ω), вычитая масштабированный вариант амплитудного спектра X(ω). Получающийся в результате комплексный спектр преобразуется обратно во временную область, чтобы давать выходной сигнал q(n), в котором был подавлен шум. Эта технология спектрального вычитания впервые была описана в S.F. Boll, «Suppression of Acoustic Noise in Speech using Spectral Subtraction» («Подавление акустического шума в речи с использованием спектрального вычитания»), IEEE Trans. Acoustics, Speech and Signal Processing, vol. 27, pp. 113-120, Apr. 1979.
Во многих системах звукозаписи, может использоваться множество формирователей диаграммы направленности, причем, они способны независимо адаптироваться к источнику звука. Например, для того чтобы отслеживать двух разных докладчиков в акустической среде, устройство звукозаписи может включать в себя два независимо адаптивных формирователя диаграммы направленности.
В системах, использующих множество независимо адаптируемых формирователей диаграммы направленности, часто может быть полезно определять, насколько близко диаграммы направленности разных формирователей диаграммы направленности расположены друг к другу. Например, при использовании двух формирователей диаграммы направленности для отслеживания двух отдельных докладчиков, может быть важным гарантировать, что они оба не адаптируются оба, чтобы отслеживать одного и того же докладчика. Это, например, может достигаться посредством определения показателя несовпадения, который служит признаком различия между диаграммами направленности. Если показатель несовпадения указывает, что разность находится ниже порогового значения, это может повторно устанавливать в исходное состояние один из формирователей диаграммы направленности в направлении другого источника звука.
В других системах, устройство звукозаписи может использовать взаимодействующие формирователи диаграммы направленности для обеспечения улучшенной звукозаписи, и в таких системах может быть полезно определять, насколько близко друг к другу находятся разные диаграммы направленности.
Например, хотя система по фиг. 1 обеспечивает очень эффективную работу и полезное действие в многих сценариях, она оптимальна не во всех сценариях. Действительно, тогда как многие традиционные системы, в том числе, пример по фиг. 1, обеспечивают очень хорошие рабочие характеристики, когда желательный источник звука/докладчик находится в пределах радиуса реверберации микрофонной решетки, то есть, для применений, где энергия прямой волны желательного источника звука (предпочтительно значительно) мощнее энергии отражений желательного источника звука, они имеют тенденцию давать менее оптимальные результаты, когда это не так. В типичных средах, было обнаружено, что докладчик типично должен находиться в пределах 1-1,5 метра от микрофонной решетки.
Однако, есть сильное стремление к основанным на звукозаписи решениям, приложениям и системам громкой связи, где пользователь может находиться на больших расстояниях от микрофонной решетки. Это, например, желательно как для многих систем и приложений связи, так и для многих систем и приложений речевого управления. Системы, обеспечивающие улучшение речи, в том числе, подавление реверберации и подавление шума для таких ситуаций, находятся в области техники, упоминаемой как суперсистемы громкой связи.
Подробнее, когда дело касается дополнительного рассеянного шума и желательного докладчика вне радиуса реверберации, могут возникать следующие проблемы:
• Формирователь диаграммы направленности часто может иметь проблемы с проведением различия между эхом желательной речи и рассеянным фоновым шумом, давая в результате искажение речи.
• Адаптивный формирователь диаграммы направленности может медленнее сходиться по направлению к желательному докладчику. В течение времени, когда адаптивная диаграмма направленности еще не сошлась, будет потеря речи в опорном сигнале, давая в результате искажение речи в том случае, если этот опорный сигнал используется для нестационарного подавления и нейтрализации шума. Проблема возрастает, когда есть большее количество желательных источников, которые говорят один за другим.
Решение для обращения с более медленно сходящимися адаптивными фильтрами (вследствие фонового шума) состоит в том, чтобы дополнять их некоторым количеством неподвижных диаграмм направленности, нацеливаемых в разных направлениях, как проиллюстрировано на фиг. 2. Однако, этот подход особенно развит применительно к сценариям, в которых желательный источник звука присутствует в пределах радиуса реверберации. Он может быть менее эффективным для источников звука за пределами радиуса реверберации и часто может приводить к ненадежным решениям в таких случаях, особенно если также есть акустический рассеянный фоновый шум.
В частности, для того чтобы управлять и эксплуатировать такую систему, типично важно быть способным измерять, насколько близко друг к другу находятся разные диаграммы направленности/формирователи диаграммы направленности. Например, может быть важно сравнивать сфокусированные и несфокусированные формирователи диаграммы направленности друг с другом для выбора, какую диаграмму направленности использовать для формирования выходного звукового сигнала.
Однако, формирование достоверных показателей несовпадения может быть очень трудным в многих сценариях, особенно таких как когда желательный источник звука находится вне радиуса реверберации. Типичные показатели несовпадения имеют тенденцию быть основанными на сравнении выходных сигналов, вырабатываемых формирователями диаграммы направленности, например, таком как посредством сравнения уровней сигнала или посредством соотнесения выходных сигналов. Еще один подход состоит в том, чтобы определять направление прихода (DoA) сигнала и сравнения таковых друг с другом.
Однако, тогда как такие показатели несовпадения могут обеспечивать приемлемые рабочие характеристики в многих вариантах осуществления, они склонны быть субоптимальными в многих практических сценариях. В частности, они склонны не быть оптимальными в сценариях с высокими уровнями шума и отражений, и, особенно в реверберирующих средах, в которых желательный источник звука находится за пределами радиуса реверберации.
Это может пониматься, как изложено ниже: в случае если желательный источник звука находится вне радиуса реверберации, энергия прямого звукового поля мала по сравнению с энергией рассеянного звукового поля, создаваемого из отражений. Отношение прямого звукового поля к рассеянному звуковому полю будет дополнительно ухудшаться, если также есть рассеянный фоновый шум. Энергии разных диаграмм направленности будут приблизительно одинаковы и, соответственно, это не дает пригодного указания подобия диаграмм направленности. По той же причине, система, основанная на измерении DoA, не будет устойчивой: вследствие низкой энергии прямого поля, взаимная корреляция сигналов не будет давать острого отдельного пика и будет давать в результате большие ошибки. По той же причине, прямые корреляции сигналов маловероятно должны давать ясное указание. Становление детекторов более устойчивыми часто будет давать в результате неудачные выявления желательного источника звука, приводя к несфокусированным диаграммам направленности. Типичным результатом является рассеяние речи в шумовом опорном сигнале, и серьезное искажение будет происходить, если делается попытка ослабить шум в первичном сигнале на основании шумового опорного сигнала.
Отсюда, был бы полезен улучшенный подход звукозаписи и, в частности, был бы полезен подход, обеспечивающий улучшенный показатель несовпадения между разными диаграммами направленности. Более точно, был бы полезен подход, предоставляющий возможность пониженной сложности, повышенной гибкости, облегченной реализации, уменьшенной стоимости, улучшенной звукозаписи, улучшенной пригодности для звукозаписи за пределами радиуса реверберации, пониженной чувствительности к шуму, улучшенной записи речи, улучшенной точности показателя несовпадения, улучшенного управления и/или улучшенных рабочих характеристик.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Соответственно, изобретение стремится предпочтительно смягчить, облегчить или устранить один или более из вышеупомянутых недостатков поодиночке или в любом сочетании.
Согласно аспекту изобретения, предоставлено формирующее диаграмму направленности устройство звукозаписи, содержащее: микрофонную решетку; первый формирователь диаграммы направленности, присоединенный к микрофонной решетке и выполненный с возможностью вырабатывать первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал, первый формирователь диаграммы направленности является фильтрующим и комбинирующим формирователем диаграммы направленности, содержащим первое множество фильтров формы диаграммы направленности, каждый из которых имеет первую адаптивную импульсную характеристику; второй формирователь диаграммы направленности, присоединенный к микрофонной решетке и выполненный с возможностью вырабатывать второй подвергнутый формированию диаграммы направленности звуковой выходной сигнал, второй формирователь диаграммы направленности является фильтрующим и комбинирующим формирователем диаграммы направленности, содержащим второе множество фильтров формы диаграммы направленности, каждый из которых имеет вторую адаптивную импульсную характеристику; и процессор несовпадения для определения показателя несовпадения между диаграммами направленности первого формирователя диаграммы направленности и второго формирователя диаграммы направленности в ответ на сравнение первых адаптивных импульсных характеристик со вторыми адаптивными импульсными характеристиками.
Изобретение в многих сценариях и применениях может обеспечивать улучшенное указание различия/подобия между диаграммами направленности, сформированными двумя формирователями диаграммы направленности. В частности, улучшенный показатель несовпадения зачастую может быть предусмотрен в сценариях, в которых прямой тракт от источников звука, под который адаптируются формирователи диаграммы направленности, не является преобладающим. Часто могут достигаться улучшенные рабочие характеристики для сценариев, содержащих высокую степень рассеянного шума, отражающих сигналов и/или поздних отражений.
Устройство звукозаписи во многих вариантах осуществления может содержать блок вывода для выработки звукового выходного сигнала в ответ на первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал, второй подвергнутый формированию диаграммы направленности звуковой выходной сигнал и показатель несовпадения. Например, блок вывода может содержать комбинатор для комбинирования первого и второго подвергнутых формированию диаграммы направленности звуковых выходных сигналов в ответ на показатель несовпадения. Однако будет принято во внимание, что показатель несовпадения может использоваться для многих других целей в других применениях, например, таких как для выбора между разными диаграммами направленности, для управления адаптацией формирователей диаграммы направленности, и т. д.
Подход может уменьшать чувствительность свойств звуковых сигналов (подвергнутых ли формированию диаграммы направленности звуковых выходных сигналов или сигналов с микрофона) и соответственно может быть менее чувствительным, например, к шуму. В многих сценариях, показатель несовпадения может формироваться быстрее и, например, в некоторых сценариях, мгновенно. В частности, показатель несовпадения может формироваться на основании текущих параметров фильтра без какого бы то ни было усреднения.
Фильтрующие и комбинирующие формирователи диаграммы направленности могут содержать фильтр формы диаграммы направленности для каждого микрофона и комбинатор для комбинирования выходных сигналов фильтров формы диаграммы направленности для выработки подвергнутых формированию диаграммы направленности звукового выходного сигнала. Комбинатор, более точно, может быть блоком суммирования, а фильтрующие и комбинирующие формирователи диаграммы направленности могут быть фильтрующими и суммирующими формирователями диаграммы направленности.
Формирователи диаграммы направленности являются адаптивными формирователями диаграммы направленности и могут содержать функциональные возможности адаптации для адаптации адаптивных импульсных характеристик (тем самым, адаптации действующей направленности микрофонной решетки).
Показатель несовпадения эквивалентен показателю подобия.
Фильтрующие и комбинирующие формирователи диаграммы направленности, более точно, могут содержать фильтры формы диаграммы направленности в виде фильтров с конечной импульсной характеристикой (КИХ, FIR), имеющих множество коэффициентов.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью, применительно к каждому микрофону микрофонной решетки, определять корреляцию между первыми и вторыми адаптивными импульсными характеристиками для микрофона и определять показатель несовпадения в ответ на комбинацию корреляций для каждого микрофона из микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, не требуя избыточной сложности.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять представления в частотной области первых адаптивных импульсных характеристик и вторых адаптивных импульсных характеристик; и определять показатель несовпадения в ответ на представления в частотной области первых адаптивных импульсных характеристик и вторых адаптивных импульсных характеристик.
Это может дополнительно улучшать рабочие характеристики и/или облегчать работу. Это в многих вариантах осуществления может облегчать определение показателя несовпадения. В некоторых вариантах осуществления, адаптивные импульсные характеристики могут выдаваться в частотной области, и представления в частотной области могут быть доступны без задержки. Однако, в большинстве вариантов осуществления, адаптивные импульсные характеристики могут выдаваться во временной области, например, посредством коэффициентов КИХ-фильтра, и процессор несовпадения, например, может быть выполнен с возможностью применять дискретное преобразование Фурье (ДПФ, DFT) к импульсным характеристикам во временной области для формирования частотных представлений.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотные показатели несовпадения для частот представлений в частотной области; и определять показатель несовпадения в ответ на частотные показатели несовпадения применительно к частотам представлений в частотной области; процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты и первого микрофона из микрофонной решетки в ответ на первый коэффициент частотной области и второй коэффициент частотной области, первый коэффициент частотной области является коэффициентом частотной области для первой частоты применительно к первой адаптивной импульсной характеристике для первого микрофона, а второй коэффициент частотной области является коэффициентом частотной области для первой частоты применительно ко второй адаптивной импульсной характеристике для первого микрофона; и процессор несовпадения дополнительно выполнен с возможностью определять частотный показатель несовпадения для первой частоты в ответ на комбинацию частотных показателей несовпадения для множества микрофонов микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности.
При обозначении первой и второй частотных составляющих для частоты ω и микрофона m в качестве  и , соответственно, частотный показатель несовпадения для частоты ω и микрофона m может быть определен как:
(Комбинированный) частотный показатель несовпадения для частоты ω для множества микрофонов микрофонной решетки может определяться посредством комбинирования значений для разносных микрофонов. Например, что касается простого суммирования на M микрофонах:
Общий показатель несовпадения затем может определяться посредством комбинирования отдельных частотных показателей несовпадения. Например, может применяться зависимая от частоты комбинация:
где  - пригодная частотная весовая функция.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты и первого микрофона в ответ на умножение первого коэффициента частотной области и сопряженной величины второго коэффициента частотной области.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности. В некоторых вариантах осуществления, частотный показатель несовпадения для частоты ω и микрофона m может быть определен как:
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты в ответ на реальную часть комбинации частотных показателей несовпадения для первой частоты для множества микрофонов микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты в ответ на норму комбинации частотных показателей несовпадения для первой частоты для множества микрофонов микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности. Норма, в особенности, может быть нормой L1.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты в ответ на по меньшей мере одну из реальной части и нормы комбинации частотных показателей несовпадения для первой частоты для множества микрофонов микрофонной решетки относительно суммы функции нормы L2 для суммы первых коэффициентов частотной области и функции нормы L2 для суммы вторых коэффициентов частотной области для множества микрофонов микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности. Монотонные функции, более точно, могут быть квадратичными функциями.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять частотный показатель несовпадения для первой частоты в ответ на норму комбинации частотных показателей несовпадения для первой частоты для множества микрофонов микрофонной решетки относительно произведения функции нормы L2 для суммы первых коэффициентов частотной области и функции нормы L2 для суммы вторых коэффициентов частотной области для множества микрофонов микрофонной решетки.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности. Монотонные функции, более точно, могут быть функциями абсолютного значения.
В соответствии с необязательным признаком изобретения, процессор несовпадения выполнен с возможностью определять показатель несовпадения в виде избирательной по частоте взвешенной суммы частотных показателей несовпадения.
Это может давать особенно полезный показатель несовпадения, который, в частности, может обеспечивать точное указание различия между диаграммами направленности. В частности, это может обеспечивать выразительность особенно значимых с точки зрения восприятия частот, такую как выразительность речевых частот.
В соответствии с необязательным признаком изобретения, первое множество фильтров формы диаграммы направленности и второе множество фильтров формы диаграммы направленности являются фильтрами с конечной импульсной характеристикой, имеющими множество коэффициентов.
Это может обеспечивать эффективную работу и реализацию во многих вариантах осуществления.
В соответствии с необязательным признаком изобретения, формирующее диаграмму направленности устройство звукозаписи дополнительно содержит: множество ограниченных формирователей диаграммы направленности, присоединенных к микрофонной решетке, и каждый из которых выполнен с возможностью вырабатывать подвергнутый ограниченному формированию диаграммы направленности звуковой выходной сигнал, каждый ограниченный формирователь диаграммы направленности ограничен формировать диаграммы направленности в области, отличной от областей других ограниченных формирователей диаграммы направленности, второй формирователь диаграммы направленности является ограниченным формирователем диаграммы направленности из множества ограниченных формирователей диаграммы направленности; первый адаптер для адаптации параметров формы диаграммы направленности первого формирователя диаграммы направленности; второй адаптер для адаптации параметров ограниченной формы диаграммы направленности для множества ограниченных формирователей диаграммы направленности; при этом, второй адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей диаграммы направленности из множества ограниченных формирователей диаграммы направленности, для которых был определен показатель несовпадения, который удовлетворяет критерию подобия.
Изобретение может обеспечивать улучшенную звукозапись в многих вариантах осуществления. В частности, часто могут достигаться улучшенные рабочие характеристики в реверберирующих средах и/или для источников звука на больших расстояниях. Подход, в частности, может обеспечивать улучшенную запись речи в многих представляющих дополнительную сложность акустических средах. В многих вариантах осуществления, подход может давать надежное и точное формирование диаграммы направленности, тем временем одновременно обеспечивая быструю адаптацию под новые желательные источники звука. Подход может предусматривать устройство звукозаписи, имеющее пониженную чувствительность, например, к шуму, реверберации и отражениям. В частности, часто может достигаться улучшенная запись источников звука за пределами радиуса реверберации.
В некоторых вариантах осуществления, выходной звуковой сигнал из устройства звукозаписи может формироваться в ответ на первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал и/или подвергнутый ограниченному формированию диаграммы направленности звуковой выходной сигнал. В некоторых вариантах осуществления, выходной звуковой сигнал может формироваться в виде комбинации подвергнутых ограниченному формированию диаграммы направленности звуковых выходных сигналов, а более точно, может использоваться выборочное комбинирование, например, выбор одиночного подвергнутого ограниченному формированию диаграммы направленности звукового выходного сигнала.
Показатель несовпадения может отражать различие между сформированными диаграммами направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности, для которых формируется показатель несовпадения, например, измеряемый в качестве разности между направлениями диаграмм направленности. В некоторых вариантах осуществления, показатель несовпадения может быть указывающим различие между фильтрами формы диаграммы направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности. Показатель несовпадения может быть показателем расстояния, например, таким как показатель, определяемый в виде расстояния между векторами коэффициентов фильтров формы диаграммы направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности.
Будет принято во внимание, что показатель подобия может быть эквивалентным показателю несовпадения по той причине, что показатель подобия, предоставляющий информацию, относящуюся к подобию между двумя признаками, по сути также дает информацию, относящуюся к различию между ними, и наоборот.
Критерий подобия, например, может содержать требование, чтобы показатель несовпадения был указывающим различие, находящееся ниже заданного показателя, например, может требоваться, чтобы показатель несовпадения, имеющий возрастающие значения для возрастающего различия, был ниже порогового значения.
Области могут быть зависящими от формирования диаграммы направленности для множества путей и типично не ограничены угловым направлением областей прихода. Например, области могут различаться на основании расстояния до микрофонной решетки. Ограничение ограниченных формирователей диаграммы направленности, чтобы формировали диаграммы направленности в разных областях, может происходить посредством ограничения параметров фильтра у фильтров формы диаграммы направленности ограниченных формирователей диаграммы направленности, так чтобы ограниченный диапазон параметров фильтра (например, диапазоны для коэффициентов фильтра) был разным для разных ограниченных формирователей диаграммы направленности.
Адаптация формирователей диаграммы направленности может происходить посредством адаптации параметров фильтра у фильтров формы диаграммы направленности формирователей диаграммы направленности, к примеру, более точно, посредством адаптации коэффициентов фильтра. Адаптация может стремиться оптимизировать (довести до максимума или минимизировать) заданный параметр адаптации, например, такая как доведение до максимума уровня выходного сигнала, когда выявлен источник звука, или минимизация его, когда выявляется только шум. Адаптация может стремиться модифицировать фильтры формы диаграммы направленности, чтобы оптимизировать измеренный параметр.
Второй адаптер может быть выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности вторых формирователей диаграммы направленности, только если показатель несовпадения удовлетворяет критерию подобия.
В соответствии с необязательным признаком изобретения, формирующее диаграмму направленности устройство звукозаписи дополнительно содержит детектор источника звука для выявления точечных источников звука во вторых подвергнутых формированию диаграммы направленности звуковых выходных сигналах; и при этом, второй адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей диаграммы направленности, для которого наличие точечного источника звука выявлено в подвергнутом ограниченному формированию диаграммы направленности звуковом выходном сигнале.
Это может дополнительно улучшать рабочие характеристики и, например, может обеспечивать более надежные рабочие характеристики, дающие в результате улучшенную звукозапись. Разные критерии могут использоваться для выявления точечного источника звука в разных вариантах осуществления. Точечный источник звука, более точно, может быть коррелированным источником звука для микрофонов микрофонной решетки. Точечный источник звука, например, может считаться выявленным, если корреляция между сигналами с микрофонов из микрофонной решетки (например, после фильтрации фильтрами формы диаграммы направленности ограниченного формирователя диаграммы направленности) превышает заданное пороговое значение.
Согласно аспекту изобретения, предоставлен способ работы для формирующего диаграмму направленности устройства звукозаписи, содержащего:
микрофонную решетку;
первый формирователь диаграммы направленности, присоединенный к микрофонной решетке, первый формирователь диаграммы направленности является фильтрующим и комбинирующим формирователем диаграммы направленности, содержащим первое множество фильтров формы диаграммы направленности, каждый из которых имеет первую адаптивную импульсную характеристику; второй формирователь диаграммы направленности, присоединенный к микрофонной решетке, второй формирователь диаграммы направленности является фильтрующим и комбинирующим формирователем диаграммы направленности, содержащим второе множество фильтров формы диаграммы направленности, каждый из которых имеет адаптивную импульсную характеристику; способ состоит в том, что: первый формирователь вырабатывает первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал; второй формирователь вырабатывает второй подвергнутый формированию диаграммы направленности звуковой выходной сигнал; и определяют показатель несовпадения между диаграммами направленности первого формирователя диаграммы направленности и второго формирователя диаграммы направленности в ответ на сравнение первых адаптивных импульсных характеристик со вторыми адаптивными импульсными характеристиками.
Эти и другие аспекты, признаки и преимущества изобретения будут очевидны из и разъяснены со ссылкой на вариант(ы) осуществления, описанный ниже.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, из которых
фиг. 1 иллюстрирует пример элементов формирующей диаграмму направленности системы звукозаписи;
фиг. 2 иллюстрирует пример множества диаграмм направленности, сформированных системой звукозаписи;
фиг. 3 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;
фиг. 4 иллюстрирует пример элементов фильтрующего и суммирующего формирователя диаграммы направленности;
фиг. 5 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;
фиг. 6 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;
фиг. 7 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;
фиг. 8 иллюстрирует пример блок-схемы последовательности операций способа для подхода адаптации ограниченных формирователей диаграммы направленности устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения.
ПРОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Нижеследующее описание ставит в центре внимания варианты осуществления изобретения, применимые к системе звукозаписи речи, основанной на формировании диаграммы направленности, но будет принято во внимание, что подход применим к многим другим системам с сценариям для звукозаписи.
Фиг. 3 иллюстрирует пример некоторых элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения.
Устройство звукозаписи содержит микрофонную решетку 301, которая содержит множество микрофонов, выполненных с возможностью захватывать звук в окружающей среде.
Микрофонная решетка 301 присоединена к первому формирователю 303 диаграммы направленности (типично непосредственно или через эхокомпенсатор, усилители, цифро-аналоговые преобразователи, и т. д., как будет хорошо известно специалисту в данной области техники).
Первый формирователь 303 диаграммы направленности выполнен с возможностью комбинировать сигналы с микрофонной решетки 301, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 301. Первый формирователь 303 диаграммы направленности, таким образом, вырабатывает выходной сигнал, указываемый ссылкой как первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал, который соответствует избирательной записи звука в окружающей среде. Первый формирователь 303 диаграммы направленности является адаптивным формирователем диаграммы направленности, и направленность может управляться посредством установления параметров, упоминаемых как первые параметры формы диаграммы направленности, действия формы диаграммы направленности первого формирователя 303 диаграммы направленности, а более точно, посредством установления параметров (типично, коэффициентов) фильтров формы диаграммы направленности.
Микрофонная решетка 301 дополнительно присоединена ко второму формирователю 305 диаграммы направленности (типично непосредственно или через эхокомпенсатор, усилители, цифро-аналоговые преобразователи, и т. д., как будет хорошо известно специалисту в данной области техники).
Второй формирователь 305 диаграммы направленности аналогично выполнен с возможностью комбинировать сигналы с микрофонной решетки 301, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 301. Второй формирователь 305 диаграммы направленности, таким образом, вырабатывает выходной сигнал, указываемый ссылкой как второй подвергнутый формированию диаграммы направленности звуковой выходной сигнал, который соответствует избирательной записи звука в окружающей среде. Второй формирователь 305 диаграммы направленности также является адаптивным формирователем диаграммы направленности, и направленность может управляться посредством установления параметров, упоминаемых как вторые параметры формы диаграммы направленности, действия по формированию диаграммы направленности второго формирователя 305 диаграммы направленности, а более точно, посредством установления параметров (типично, коэффициентов) фильтров формы диаграммы направленности.
Первый и второй формирователи 303, 305 диаграммы направленности соответственно являются адаптивными формирователями диаграммы направленности, где направленность может управляться посредством адаптации параметров действия формы диаграммы направленности.
Более точно, формирователи 303, 305 диаграммы направленности являются фильтрующими и комбинирующими (или, более точно, в большинстве вариантов осуществления фильтрующими и суммирующими) формирователями диаграммы направленности. Фильтр формы диаграммы направленности может применяться к каждому из сигналов с микрофона, и фильтрованные выходные сигналы могут комбинироваться, типично посредством простого сложения друг с другом.
В большинстве вариантов осуществления, каждый из фильтров формы диаграммы направленности имеет импульсную характеристику во временной области, которая не является простым импульсом Дирака (соответствующим простой задержке, и таким образом, коэффициенту передачи и сдвигу фазы в частотной области), но скорее имеет импульсную характеристику, которая типично продолжается в течение временного интервала, не меньшего чем 2, 5, 10 или даже 30 миллисекунд.
Импульсные характеристики часто могут быть реализованы фильтрами формы диаграммы направленности, являющимися КИХ (с конечной импульсной характеристикой) фильтрами с множеством коэффициентов. Формирователи 303, 305 диаграммы направленности в таком варианте осуществления могут адаптировать формирование диаграммы направленности, адаптируя коэффициенты фильтра. В многих вариантах осуществления, КИХ-фильтры могут иметь коэффициенты, соответствующие постоянным сдвигам по времени (типично сдвигам по времени выборки отсчетов), причем, адаптация достигается посредством адаптации значений коэффициентов. В других вариантах осуществления, фильтры формы диаграммы направленности типично могут иметь существенно меньшее количество коэффициентов (например, только два или три), но с временными характеристиками таковых, (также) являющимися адаптируемыми.
Конкретное преимущество фильтров формы диаграммы направленности, имеющих расширенные импульсные характеристики вместо простой переменной задержки (или простой настройки коэффициента передачи/фазы в частотной области), состоит в том, что они предоставляют формирователям 303, 305 диаграммы направленности возможность адаптироваться не просто под самую сильную, типично направленную составляющую сигнала. Скорее, они предоставляют формирователям 303, 305 диаграммы направленности возможность адаптироваться, чтобы учитывать дополнительные пути прохождения сигнала, типично соответствующие отражениям. Соответственно, подход предоставляет возможность для улучшенных рабочих характеристик в большинстве реальных сред, а более точно, предоставляет возможность улучшенных рабочих характеристик в отражающих и/или реверберирующих средах, и/или применительно к источникам звука, находящихся дальше от микрофонной решетки 301.
Будет принято внимание, что разные алгоритмы адаптации могут использоваться в разных вариантах осуществления, и что различные параметры оптимизации будут известны специалистам. Например, формирователи 303, 305 диаграммы направленности могут адаптировать параметры формы диаграммы направленности для доведения до максимума значения выходного сигнала формирователей 303, 305 диаграммы направленности. В качестве конкретного примера, рассмотрим формирователь диаграммы направленности, где принимаемые сигналы с микрофона фильтруются прямыми согласующими фильтрами, и где фильтрованные выходные сигналы суммируются. Выходной сигнал фильтруется обратными адаптивными фильтрами, имеющими характеристики фильтра, сопряженные с прямыми фильтрами (в частотной области, соответствующей обращенным по времени импульсным характеристикам во временной области). Сигналы ошибки вырабатываются в качестве разности между входными сигналами и выходными сигналами обратных адаптивных фильтров, и коэффициенты фильтров адаптируются, чтобы минимизировать сигналы ошибки, тем самым давая в результате максимальную выходную мощность. Дополнительные подробности такого подхода могут быть найдены в US 7 146 012 и US 7 602 926.
Отмечено, что, подходы, такие как в US 7 146 012 и US 7 602 926 основаны на адаптации, основанной как на сигнале z(n) источника звука, так и на шумовом опорном сигнале(ах) x(n) с формирователей диаграммы направленности, и будет принято во внимание, что тот же самый подход может использоваться для системы по фиг. 3.
Формирователи 303, 305 диаграммы направленности, более точно, в действительности могут быть формирователями диаграммы направленности, соответствующими проиллюстрированному на фиг. 1 и раскрытому в US 7 146 012 и US 7 602 926.
Формирователи 303, 305 диаграммы направленности в примере присоединены к (необязательному) процессору 307 вывода, который принимает подвергнутые формированию диаграммы направленности звуковые выходные сигналы из формирователей 303, 305 диаграммы направленности. Точный выходной сигнал, сформированный из устройства звукозаписи, будет зависеть от конкретных предпочтений и требований отдельного варианта осуществления. Действительно, в некоторых вариантах осуществления, выходной сигнал из устройства звукозаписи может просто состоять из звуковых выходных сигналов из формирователей 303, 305 диаграммы направленности.
В многих вариантах осуществления, выходной сигнал из процессора 307 вывода формируется в виде комбинации звуковых выходных сигналов из формирователей 303, 305 диаграммы направленности. Действительно, в некоторых вариантах осуществления, может выполняться простое выборочное комбинирование, например, выбор звуковых выходных сигналов, для которых является наивысшим отношение сигнал/шум или просто уровень сигнала.
Таким образом, выбор и последующая обработка выходного сигнала процессора 307 вывода может быть специализированной и/или разной в разных реализациях/вариантах осуществления. Например, могут выдаваться все возможные выходные сигналы сфокусированной диаграммы направленности, выбор может делаться на основании критерия, определенного пользователем (например, выбирается наиболее мощный докладчик), и т. д.
Что касается применения речевого управления, например, все выходные сигналы могут пересылаться в распознаватель речевых пусковых сигналов, который выполнен с возможностью выявлять конкретное слово или фразу для инициализации речевого управления. В таком примере, звуковой выходной сигнал, в котором выявлено пусковое слово или фраза, может сопровождать пусковую фразу, подлежащую использованию распознавателем речи для выявления специальных команд.
Что касается применений связи, например, может быть полезно выбирать звуковой выходной сигнал, который имеет наибольшую мощность, например, применительно к которому было обнаружено наличие конкретного точечного источника звука.
В некоторых вариантах осуществления, последующая обработка, такая как подавление шума по фиг. 1, может применяться к выходному сигналу устройства звукозаписи (например, процессором 307 вывода). Это может улучшать рабочие характеристики, например, применительно к речевой связи. В такую последующую обработку могут быть включены нелинейные операции, хотя, например, что касается некоторых распознавателей речи, может быть полезно ограничивать обработку включением в состав только линейной обработки.
В многих системах, использующих множество формирователей диаграммы направленности, может быть полезно быть способным определять, сформировали ли формирователи диаграммы направленности диаграммы направленности, которые близки друг к другу. В системах по фиг. 3, устройство звукозаписи содержит процессор 309 несовпадения, который выполнен с возможностью определять показатель несовпадения, который является признаком различия между диаграммами направленности, сформированными первым формирователем 303 диаграммы направленности и вторым формирователем 305 диаграммы направленности.
Будет принято во внимание, что использование такого показателя несовпадения может быть разным для разных применений и реализаций, и что принципы не ограничены конкретным применением. В конкретном примере по фиг. 3, процессор 309 несовпадения присоединен к процессору 307 вывода и используется при формировании звукового выходного сигнала из процессора 307 вывода. Например, если показатель несовпадения указывает, что две диаграммы направленности очень близки друг к другу, выходной звуковой сигнал может формироваться посредством суммирования или усреднения выходных сигналов (например, в частотной области). Если показатель несовпадения является признаком большого различия (и, таким образом, указывая, что две диаграммы направленности адаптированы под разные источники звука), процессор 307 вывода может формировать выходной звуковой сигнал, выбирая подвергнутый формированию диаграммы направленности звуковой выходной сигнал, который имеет наивысший уровень энергии.
В традиционных подходах для сравнения формирователей диаграммы направленности и диаграмм направленности, подобие между диаграммами направленности оценивается посредством сравнения сформированных звуковых выходных сигналов. Например, может формироваться взаимная корреляция между звуковыми выходными сигналами, причем, подобие указывается величиной корреляции. В некоторых системах, DoA может определяться посредством осуществления взаимной корреляции звуковых сигналов для пары микрофонов и определения DoA в ответ на временные характеристики пика.
В системе по фиг. 3, показатель несовпадения не определяется только на основании свойства или сравнения звуковых сигналов, подвергнутых ли формированию диаграммы направленности звуковых выходных сигналов из формирователей диаграммы направленности, или входных сигналов с микрофона, но скорее процессор 309 несовпадения устройства звукозаписи по фиг. 3 выполнен с возможность определять показатель несовпадения в ответ на сравнение импульсных характеристик фильтров формы диаграммы направленности первого и второго формирователей 303, 305 диаграммы направленности.
Фиг. 4 иллюстрирует упрощенный пример фильтрующего и суммирующего формирователя диаграммы направленности, основанного на микрофонной решетке, содержащей всего лишь два микрофона 401. В примере, каждый микрофон 401 присоединен к фильтру 403, 405 формы диаграммы направленности, выходные сигналы которых суммируются в сумматоре 407 для формирования подвергнутого формированию диаграммы направленности звукового выходного сигнала. Фильтры 403, 405 формы диаграммы направленности имеют импульсные характеристики f1 и f2, которые адаптированы для формирования диаграммы направленности в заданном направлении. Будет принято во внимание, что, типично, микрофонная решетка будет содержать более чем два микрофона, и что принцип по фиг. 4 легко распространяется на большее количество микрофонов посредством дополнительного включения в состав фильтра формы диаграммы направленности для каждого микрофона.
Первый и второй формирователи 303, 305 диаграммы направленности могут включать в себя такую фильтрующую и суммирующую архитектуру для формирования диаграммы направленности (например, как у формирователей диаграммы направленности из US 7 146 012 и US 7 602 926). Будет принято во внимание, что, во многих вариантах осуществления, микрофонная решетка 301, однако, может содержать более чем два микрофона. Кроме того, будет принято во внимание, что формирователи 303, 305 диаграммы направленности включают в себя функциональные возможности для адаптации фильтров формы диаграммы направленности, как описано ранее. К тому же, в конкретном примере, формирователи 303, 305 диаграммы направленности формируют не только подвергнутый формированию диаграммы направленности звуковой выходной сигнал, но также шумовой опорный сигнал.
В системе по фиг. 3, параметры фильтров формы диаграммы направленности для первого формирователя 303 диаграммы направленности сравниваются с параметрами фильтров формы диаграммы направленности второго формирователя 305 диаграммы направленности. Показатель несовпадения затем может определяться для отражения того, насколько близки эти параметры друг к другу. Более точно, применительно к каждому микрофону, соответствующие фильтры формы диаграммы направленности первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности сравниваются друг с другом для формирования промежуточного показателя несовпадения. Промежуточные показатели несовпадения затем комбинируются в единый показатель несовпадения, выдаваемый из процессора 309 несовпадения.
Сравниваемыми параметрами формы диаграммы направленности типично являются коэффициенты фильтра. Более точно, фильтры формы диаграммы направленности могут быть КИХ-фильтрами, имеющими импульсную характеристику во временной области, определенную набором коэффициентов КИХ-фильтра. Процессор 309 несовпадения может быть выполнен с возможностью сравнивать соответствующие фильтры первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности, определяя корреляцию между фильтрами. Значение корреляции может определяться в качестве максимальной корреляции (то есть, значения корреляции для сдвига по времени, доводящего до максимума корреляцию).
Процессор 309 несовпадения затем может комбинировать все эти отдельные значения корреляции в единый показатель несовпадения, например, просто суммированием их друг с другом. В других вариантах осуществления, может выполняться взвешенная комбинация, например, посредством определения весов больших коэффициентов более высокими, чем более низких коэффициентов.
Будет принято во внимание, что такой показатель несовпадения будет иметь возрастающее значение для возрастающей корреляции фильтров и, таким образом, что более высокое значение будет указывать скорее повышенное сходство диаграмм направленности нежели повышенное различие. Однако, в вариантах осуществления, в которых желательно, чтобы показатель несовпадения возрастал для возрастающего различия, монотонно убывающая функция может быть просто применена к комбинированной корреляции.
Определение показателя несовпадения, основанного на сравнении импульсных характеристик фильтров формы диаграммы направленности вместо основанного на звуковых сигналах (подвергнутых формированию диаграммы направленности звуковых сигналах или сигналах с микрофона), дает значительные преимущества в многих системах и применениях. В частности, подход типично обеспечивает значительно улучшенные рабочие характеристики и, в действительности, пригоден для применения в реверберирующих звуковых средах и для источников звука на больших расстояниях, в том числе, в конкретных источниках звука за пределами радиуса реверберации. Действительно, он дает значительно улучшенные рабочие характеристики в сценариях, в которых прямой тракт от источника звука не является преобладающим, но предпочтительнее там, где прямой тракт и возможно ранние отражения, например, находятся под преобладанием рассеянного звукового поля. В частности, в таких сценариях, оценка несовпадения на основании звукового сигала будет сильно обусловлена пространственными и временными характеристиками звукового поля, тогда как основанный на фильтре подход предоставляет возможность для в большей степени непосредственной оценки диаграмм направленности на основании параметров фильтра, которые не только отражают прямые звуковое поле/путь, но адаптируются, чтобы отражать прямые звуковое поле/путь и ранние отражения (вследствие импульсных характеристик, имеющих расширенную длительность, чтобы принимать во внимание эти отражения).
Действительно, тогда как традиционные метрики DoA и корреляции звуковых сигналов для оценки подобия двух формирователей диаграммы направленности основаны на безэховых средах и, соответственно, хорошо работают в средах, где желательные пользователи находятся близко к микрофонам (в пределах радиуса реверберации), так что преобладает энергия рассеянного звукового поля, подход по фиг. 3 не основан на таких допущениях и дает превосходную оценку, даже в присутствии многих отражений и/или по существу рассеянного акустического шума.
Другие преимущества включают в себя то, что показатель несовпадения может определяться мгновенно на основании текущих параметров формы диаграммы направленности, а более точно, на основании текущих коэффициентов фильтра. В большинстве вариантов осуществления нет необходимости ни в каком усреднении параметров, скорее, скорость адаптации адаптивных формирователей диаграммы направленности определяет режим работы отслеживания.
Особенно полезный аспект состоит в том, что сравнение и показатель несовпадения могут быть основаны на импульсных характеристиках, которые имеют расширенную длительность. Это предоставляет возможность, чтобы показатель несовпадения не только отражал задержку прямого тракта или углового направления диаграммы направленности, но скорее предоставлял возможность, чтобы принималась во внимание импульсная характеристика значимой части, или, даже более того, всего оцениваемого акустического помещения. Таким образом, показатель несовпадения не основан только на подпространстве, возбужденном сигналами с микрофонов, как в традиционных подходах.
В некоторых вариантах осуществления, показатель несовпадения, более точно, может быть выполнен с возможностью сравнивать импульсные характеристики скорее в частотной области, нежели во временной области. Более точно, процессор 309 несовпадения может быть выполнен с возможностью преобразовывать адаптивные импульсные характеристики фильтров первого формирователя 303 диаграммы направленности в частотную область. Подобным образом, процессор 309 несовпадения может быть выполнен с возможностью преобразовывать адаптивные импульсные характеристики фильтров второго формирователя 305 диаграммы направленности в частотную область. Преобразование, более точно, может выполняться посредством применения, например, быстрого преобразования Фурье (БПФ) к импульсным характеристикам фильтров формы диаграммы направленности обоих, первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности.
Процессор 309 несовпадения может соответственно для каждого фильтра первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности формировать набор коэффициентов частотной области. Она затем может переходить к определению показателя несовпадения на основании частотного представления. Например, что касается каждого микрофона из микрофонной решетки 301, процессор 309 несовпадения может сравнивать коэффициенты частотной области двух фильтров формы диаграммы направленности. В качестве простого примера, он может просто определять величину вектора несовпадения, рассчитанного в виде разности между векторами коэффициентов частотной области для двух фильтров. Показатель несовпадения затем может определяться посредством комбинирования промежуточных показателей несовпадения, сформированных для отдельных частот.
В нижеследующем, будут описаны специфичные и крайне полезные подходы для определения показателя несовпадения. Подходы основаны на сравнении адаптивных импульсных характеристик в частотной области. В подходе, процессор 309 несовпадения выполнен с возможностью определять частотные показатели несовпадения для частот представлений в частотной области. Более точно, частотный показатель несовпадения может определяться для каждой частоты в частотном представлении. Выходной показатель несовпадения затем формируется из этих отдельных частотных показателях несовпадения.
Частотный показатель несовпадения, более точно, может формироваться для каждого коэффициента частотного фильтра каждой пары фильтров из фильтров формы диаграммы направленности, где пара фильтров представляет собой фильтры соответственно первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности для одного и того же микрофона. Частотный показатель несовпадения для этой пары частотных коэффициентов формируется в виде функции двух коэффициентов. Действительно, в некоторых вариантах осуществления, частотный показатель несовпадения для пары коэффициентов может определяться в виде абсолютной разности между коэффициентами.
Однако, что касается вещественнозначных коэффициентов во временной области (то есть, вещественнозначной импульсной характеристики), частотные коэффициенты как правило будут комплексными значениями и, в многих применениях особенно полезный частотный показатель несовпадения для пары коэффициентов определяется в ответ на умножение первого коэффициента частотной области и сопряженной величины второго коэффициента частотной области (то есть, в ответ на умножение комплексного коэффициента одного фильтра и сопряженной величины комплексного коэффициента другого фильтра из пары).
Таким образом, что касается каждого элемента разрешения по частоте представлений в частотной области импульсных характеристик фильтров формы диаграммы направленности, частотный показатель несовпадения может формироваться для каждой пары микрофонов/фильтров. Комбинированный частотный показатель несовпадения для частоты затем может формироваться посредством комбинирования этих специфичных микрофону частотных показателей несовпадения для всех микрофонов, например, просто посредством их суммирования.
Подробнее, формирователи 303, 305 диаграммы направленности могут содержать коэффициенты фильтра частотной области для каждого микрофона и для каждой частоты представления в частотной области.
Что касается первого формирователя 303 диаграммы направленности, эти коэффициенты могут быть обозначены , а для второго формирователя 305 диаграммы направленности они могут быть обозначены , где M - количество микрофонов.
Полный набор коэффициентов фильтра частотной области формы диаграммы направленности для определенной частоты и для всех микрофонов, что касается первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности, соответственно, может быть обозначен как  и .
В этом случае, частотный показатель несовпадения для заданной частоты может быть определен как:
Посредством умножения комплекснозначных коэффициентов фильтра, которые принадлежат одним и тем же микрофонам, получаем, применительно к каждой частоте, первую форму показателя расстояния, таким образом,
где  представляет собой комплексно сопряженную величину. Это может использоваться в качестве показателя несовпадения для частоты ω применительно к микрофону m. Комбинированный частотный показатель несовпадения для всех микрофонов может формироваться в виде суммы таковых, то есть,
Если два фильтра не связаны, то есть, адаптированное состояние фильтров и, таким образом, сформированные диаграммы направленности сильно не совпадают, ожидается, что эта сумма должна быть близкой к нулю и, таким образом, частотный показатель несовпадения близок к нулю. Однако, если коэффициенты фильтра аналогичны, получается большое положительное значение. Если коэффициенты фильтра имеют противоположный знак, то получается большое отрицательное значение. Таким образом, сформированный частотный показатель несовпадения является указывающим подобие фильтров формы диаграммы направленности применительно к этой частоте.
Умножение двух комплексных коэффициентов (в том числе, сопряженной величины) дает в результате комплексное значение и, в многих вариантах осуществления, может быть желательно преобразовывать его в скалярное значение.
В частности, в многих вариантах осуществления, частотный показатель несовпадения для данной частоты определяется в ответ на вещественную часть комбинации частотных показателей несовпадения для разных микрофонов применительно к такой частоте.
Более точно, комбинированный частотный показатель несовпадения может быть определен как:
В этой мере, показатель подобия, основанный на Re(S), дает в результате максимальное значение, достигаемое, когда коэффициенты фильтров идентичны, тогда как минимальное значение достигается, когда коэффициенты фильтров одинаковы, но имеют противоположные знаки.
Еще один подход состоит в том, чтобы определять комбинированный частотный показатель несовпадения для данной частоты в ответ на норму комбинации частотных показателей несовпадения для микрофонов. Норма типично преимущественно может быть нормой L1 или L2.
Например:
В некоторых вариантах осуществления, комбинированный частотный показатель несовпадения для всех микрофонов из микрофонной решетки 301, таким образом, определяется в качестве амплитуды или абсолютного значения суммы комплекснозначных частотных показателей несовпадения для отдельных микрофонов.
В многих вариантах осуществления, может быть полезно нормировать показатель несовпадения. Например, может быть полезно нормировать показатель несовпадения, так чтобы он попадал в интервал [0;1].
В некоторых вариантах осуществления, показатели несовпадения, описанные выше, могут нормироваться, будучи определяемыми в ответ на сумму монотонной функции нормы суммы коэффициентов частотной области применительно к первому формирователю 303 диаграммы направленности и монотонной функции нормы для суммы коэффициентов частотной области применительно ко второму формирователю 305 диаграммы направленности, где суммы выполняются по микрофонам. Норма преимущественно может быть нормой L2, а монотонная функция преимущественно может быть квадратичной функцией.
Таким образом, показатели несовпадения могут нормироваться относительно следующего значения:
В комбинации с первым подходом, описанным выше, это дает в результате комбинированные частотные показатели несовпадения, заданные в виде:
где сдвиг ½ привносится, так чтобы, применительно к , частотный показатель несовпадения имел значение единицы, а применительно к , частотный показатель несовпадения имел значение нуля. Таким образом, формируется показатель несовпадения между 0 и 1, где возрастающее значение является указывающим уменьшающееся различие. Будет принято во внимание, что, если возрастающее значение желательно для возрастающего различия, это может просто достигаться посредством определения:
Подобным образом, что касается второго подхода, может определяться следующий частотный показатель несовпадения:
вновь давая в результате частотный показатель несовпадения, попадающий в интервал [0;1].
В качестве еще одного примера, нормирование в некоторых вариантах осуществления может быть основано на умножении норм, а более точно норм L2, отдельных сумм частотных показателей несовпадения:
Это, в частности, в многих применениях может давать очень полезные рабочие характеристики для последнего примера показателя несовпадения (то есть, основанного на норме L1 для коэффициентов). В частности, может использоваться следующий частотный показатель несовпадения.
Конкретные частотные показатели несовпадения, соответственно, могут быть определены как:
где  - скалярное произведение, а  - норма .
Процессор 309 несовпадения затем может формировать показатель несовпадения из частотных показателей несовпадения, комбинируя их в единый показатель несовпадения, указывающий, насколько подобны диаграммы направленности первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности.
Более точно, показатель несовпадения может определяться в качестве избирательной по частоте взвешенной суммы частотных показателей несовпадения. Избирательный по частоте подход может быть особенно полезен для применения пригодного частотного окна, например, предоставляя возможность, чтобы предыскажение накладывалось на конкретные частотные диапазоны, например, такое как на звуковой диапазон или основные речевые интервалы частот. Например, (взвешенное) усреднение может применяться для формирования устойчивого широкополосного показателя несовпадения.
Более точно, показатель несовпадения может быть определен как:
где  - подходящая весовая функция.
В качестве примера, весовая функция  может быть сконструирована, чтобы учитывать, что речь главным образом активна в определенных полосах частот, и/или что микрофонная решетка имеет тенденцию иметь низкую направленность для относительно низких частот.
Будет принято во внимание, что, тогда как вышеприведенные уравнения представлены в непрерывной частотной области, они без труда могут быть переведены в дискретную частотную область.
Например, дискретные фильтры во временной области сначала могут быть преобразованы в дискретные фильтры частотной области посредством применения дискретного преобразования Фурье, то есть, применительно к , можем рассчитать:
где  представляет собой характеристику фильтра в дискретном времени 'ого формирователя диаграммы направленности для 'ого микрофона,  - длина фильтров во временной области,  представляет собой дискретный фильтр в частотной области 'ого формирователя диаграммы направленности для 'ого микрофона, а  - длина фильтров формы диаграммы направленности в частотной области, типично выбираемая в качестве  (зачастую то же самого числа, что и коэффициентов во временной области, хотя это не обязательно имеет место. Например, что касается количества коэффициентов во временной области, иного чем 2N, вставка нулей может использоваться для облегчения преобразования в частотную область (например, с использованием БПФ)).
Эквивалентами в дискретной частотной области векторов  и  являются векторы  и , которые получаются посредством собирания коэффициентов фильтра частотной области по индексу  частоты для всех микрофонов в вектор.
По существу, например, расчет показателя  подобия затем может выполняться следующим образом:
причем,
где  представляет собой комплексное сопряжение.
В заключение, широкополосный показатель  подобия может, на основании весовой функции  рассчитываться, как изложено ниже:
Выбор весовой функции в качестве  ведет к широкополосному показателю подобия, который ограничен между нулем и единицей, и который ровно взвешивает все частоты.
Альтернативные весовые функции могут сосредотачиваться на конкретном диапазоне частот (например, вследствие того, что он, вероятно должен содержать в себе речь). В таком случае, весовая функция, которая приводит к показателю подобия, ограниченному между нулем и единицей, например, в таком случае, может быть выбрана в качестве:
где  и  - индексы частоты, соответствующие границам требуемого диапазона частот.
Производный показатель несовпадения дает особенно эффективные рабочие характеристики с разными характеристиками, которые могут быть желательны в разных вариантах осуществления. В частности, определенные значения могут быть чувствительны к разным свойствам несовпадения диаграмм направленности и, в зависимости от отдельного варианта осуществления, могут быть предпочтительны разные показатели.
Действительно, показатель  несовпадения/подобия может рассматриваться для измерения несовпадений фазы, затухания и направления между формирователями диаграммы направленности, тем временем,  вновь учитывает только несовпадения коэффициента передачи и направления. В заключение показатель  несовпадения учитывает только несовпадения направления и игнорирует несовпадения фазы и затухания.
Эти несовпадения относятся к структуре формирователей диаграммы направленности. Более точно, предположим, что коэффициенты фильтра формирователя диаграммы направленности совместно используют общий (независимый от частоты) фактор по всем микрофонам, который указываем как . В этом случае, коэффициенты фильтра формирователя диаграммы направленности могут быть разложены, как изложено ниже:
В сокращенном обозначении имеем . Затем, рассмотрим два варианта общего фактора .
В первом случае, допустим, что общий фактор состоит только из (независимого от частоты) сдвига фазы, то есть , также известного как фазовый фильтр. Во втором случае, допустим, что общий фактор имеет произвольный коэффициент передачи и сдвиг фазы для каждой частоты. Три представленных показателя подобия обращаются с этими общими факторами по-разному.
чувствительно к общим расхождениям амплитуды и фазы между формирователями диаграммы направленности.
чувствительно к общим расхождениям амплитуды между формирователями диаграммы направленности.
нечувствительно к общему фактору.
Это может быть видно из следующих примеров:
Пример 1:
В этом примере, рассмотрим сценарий с , причем,  является произвольной фазой для каждой частоты, то есть, фазовым фильтром.
Это дает в результате следующие результаты для показателей подобия:
Пример 2:
В этом примере, рассмотрим сценарий с , причем  - произвольные коэффициент передачи и фаза для каждой частоты. Это дает в результате следующие результаты для показателей подобия:
В многих практических вариантах осуществления, могут быть общие расхождения коэффициента передачи и фазы между формирователями диаграммы направленности и, соответственно, показатель  несовпадения в многих вариантах осуществления может давать особенно привлекательный показатель.
В нижеследующем, будет описано устройство звукозаписи, в котором сформированный показатель несовпадения взаимодействует с другими описанными элементами, чтобы давать особенно полезную систему звукозаписи. В частности, подход крайне пригоден для записи источников звука в зашумленных и реверберирующих средах. Он дает особенно полезные рабочие характеристики для применений, в которых желательный источник звука может находится за пределами радиуса реверберации, и звук, захваченный микрофонами, может находиться под преобладанием рассеянного шума и поздних отражений или ревербераций.
Фиг. 5 иллюстрирует пример элементов такого устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения. Элементы и подход системы по фиг. 3 могут соответствовать системе по фиг. 5, как оговорено в нижеследующем.
Устройство звукозаписи содержит микрофонную решетку 501, которая может прямо соответствовать таковой по фиг. 3. В примере, микрофонная решетка 501 присоединена к необязательному эхокомпенсатору 503, который может нейтрализовать эхо, которое происходит из акустических источников (для которых имеется в распоряжении опорный сигнал), которые линейно связаны с эхо в сигнале(ах) с микрофона. Этим источником, например, может быть громкоговоритель. Адаптивный фильтр может применяться с опорным сигналом в качестве входного сигнала, и с выходным сигналом, вычитаемым из сигнала с микрофона для создания эхокомпенсированного сигнала. Это может быть повторено для каждого отдельного микрофона.
Будет принято во внимание, что эхокомпенсатор 503 необязателен и может быть просто не включен в состав в многих вариантах осуществления.
Микрофонная решетка 501 присоединена к первому формирователю 505 диаграммы направленности, типично непосредственно или через эхокомпенсатор 503 (а также возможно через усилители, цифро-аналоговые преобразователи, и т. д., как будет хорошо известно специалисту в данной области техники). Первый формирователь 505 диаграммы направленности может прямо соответствовать первому формирователю 303 диаграммы направленности по фиг. 3.
Первый формирователь 505 диаграммы направленности выполнен с возможностью комбинировать сигналы с микрофонной решетки 501, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 501. Первый формирователь 505 диаграммы направленности, таким образом, вырабатывает выходной сигнал, указываемый ссылкой как первый подвергнутый формированию диаграммы направленности звуковой выходной сигнал, который соответствует избирательной записи звука в окружающей среде. Первый формирователь 505 диаграммы направленности является адаптивным формирователем диаграммы направленности, и направленность может управляться посредством установления параметров, упоминаемых как первые параметры формы диаграммы направленности, действия формы диаграммы направленности первого формирователя 505 диаграммы направленности.
Первый формирователь 505 диаграммы направленности присоединен к первому адаптеру 507, который выполнен с возможностью адаптировать параметры первой формы диаграммы направленности. Таким образом, первый адаптер 507 выполнен с возможностью адаптировать параметры первого формирователя 505 диаграммы направленности, так чтобы диаграмма направленности могла управляться по направлению.
В дополнение, устройство звукозаписи содержит множество ограниченных формирователей 509, 511 диаграммы направленности, каждый из которых выполнен с возможностью комбинировать сигналы с микрофонной решетки 501, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 501. Каждый из ограниченных формирователей 509, 511 диаграммы направленности, таким образом, выполнен с возможностью формировать звуковой выходной сигнал, указываемый ссылкой как подвергнутый ограниченному формированию диаграммы направленности звуковой выходной сигнал, который соответствует избирательной записи звука в окружающей среде. Аналогично первому формирователю 505 диаграммы направленности, ограниченные формирователи 509, 511 диаграммы направленности являются адаптивными формирователями диаграммы направленности, где направленность каждого ограниченного формирователя 509, 511 диаграммы направленности может управляться параметрами настройки, упоминаемыми как параметры ограниченной формы диаграммы направленности, ограниченных формирователей 509, 511 диаграммы направленности.
Устройство звукозаписи соответственно содержит второй адаптер 513, который выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности множества ограниченных формирователей диаграммы направленности, тем самым, адаптируя диаграммы направленности, сформированные таковыми.
Второй формирователь 305 диаграммы направленности по фиг. 3 может прямо соответствовать первому ограниченному формирователю 509 диаграммы направленности по фиг. 5. Также будет принято во внимание, что остальные ограниченные формирователи 511 диаграммы направленности могут соответствовать первому формирователю 303 диаграммы направленности и могли бы считаться его экземплярами.
Как первый формирователь 505 диаграммы направленности, так и ограниченные формирователи 509, 511 диаграммы направленности соответственно являются адаптивными формирователями диаграммы направленности, для которых действующая сформированная диаграмма направленности может динамически адаптироваться. Более точно, формирователи 505, 509, 511 диаграммы направленности являются фильтрующими и комбинирующими (или, более точно, в большинстве вариантов осуществления фильтрующими и суммирующими) формирователями диаграммы направленности. Фильтр формы диаграммы направленности может применяться к каждому из сигналов с микрофона, и фильтрованные выходные сигналы могут комбинироваться, типично посредством простого сложения друг с другом.
Будет принято во внимание, что комментарии, приведенные в отношении первого формирователя 303 диаграммы направленности и второго формирователя 305 диаграммы направленности (например, в отношении фильтров формы диаграммы направленности) равным образом применяются к формирователям 505, 509, 511 диаграммы направленности по фиг. 5.
В многих вариантах осуществления, конструкция и реализация первого формирователя 505 диаграммы направленности и ограниченных формирователей 509, 511 диаграммы направленности могут быть одинаковыми, например, фильтры формы диаграммы направленности могут иметь идентичные конструкции КИХ-фильтра с одинаковым количеством коэффициентов, и т. д.
Однако, работа и параметры первого формирователя 505 диаграммы направленности и ограниченных формирователей 509, 511 диаграммы направленности будут разными и, в частности, ограниченные формирователи 509, 511 диаграммы направленности в своем роде ограничены, а первый формирователь 505 диаграммы направленности нет. Более точно, адаптация ограниченных формирователей 509, 511 диаграммы направленности будет иной, чем адаптация первого формирователя 505 диаграммы направленности и, более точно, будет подвержена некоторым ограничениям.
Более точно, ограниченные формирователи 509, 511 диаграммы направленности подвергаются ограничению, что адаптация (обновление параметров фильтра формы диаграммы направленности) ограничена ситуациями, когда удовлетворен критерий, тогда как первому формирователю 505 диаграммы направленности будет предоставлена возможность адаптироваться, даже когда такой критерий не удовлетворен. Действительно, в многих вариантах осуществления, первому адаптеру 507 может быть предоставлена возможность всегда адаптировать фильтр формы диаграммы направленности, причем это не ограничивается никакими свойствами звука, захватываемого первым формирователем 505 диаграммы направленности (или каким-нибудь из ограниченных формирователей 509, 511 диаграммы направленности).
Критерий для адаптации ограниченных формирователей 509, 511 диаграммы направленности позже будет описан подробнее.
В многих вариантах осуществления, скорость адаптации для первого формирователя 505 диаграммы направленности выше, чем для ограниченных формирователей 509, 511 диаграммы направленности. Таким образом, в многих вариантах осуществления, первый адаптер 507 может быть выполнен с возможностью адаптироваться к изменениям быстрее, чем второй адаптер 513, и таким образом, первый формирователь 505 диаграммы направленности может обновляться быстрее, чем ограниченные формирователи 509, 511 диаграммы направленности. Это, например, может достигаться посредством фильтрации нижних частот доводимого до максимума или минимизируемого значения (например, уровня сигнала у выходного сигнала или величины сигнала ошибки), имеющей более высокую частоту среза для первого формирователя 505 диаграммы направленности, чем для ограниченных формирователей 509, 511 диаграммы направленности. В качестве еще одного примера, максимальное изменение на обновление параметров формы диаграммы направленности (более точно, коэффициентов фильтра формы диаграммы направленности) может быть большим для первого формирователя 505 диаграммы направленности, чем для ограниченных формирователей 509, 511 диаграммы направленности.
Соответственно, в системе, множество сфокусированных (ограниченных адаптацией) формирователей диаграммы направленности, которые адаптируются медленно, и только когда удовлетворен определенный критерий, дополнены автономно работающим быстрее адаптирующимся формирователем диаграммы направленности, который не подвергается этому ограничению. Более медленные и сфокусированные формирователи диаграммы направленности типично будут давать более медленную, но более точную и надежную адаптацию под конкретную звуковую среду, чем автономно работающий формирователь диаграммы направленности, который, однако, типично будет способен быстро адаптироваться на большем интервале параметров.
В системе по фиг. 5 эти формирователи диаграммы направленности используются синергетически совместно, чтобы давать улучшенные рабочие характеристики, как будет подробнее описано позже.
Первый формирователь 505 диаграммы направленности и ограниченные формирователи 509, 511 диаграммы направленности присоединены к процессору 515 вывода, который принимает подвергнутые формированию диаграммы направленности звуковые выходные сигналы из формирователей 505, 509, 511 диаграммы направленности. Точный выходной сигнал, сформированный из устройства звукозаписи, будет зависеть от конкретных предпочтений и требований отдельного варианта осуществления. Действительно, в некоторых вариантах осуществления, выходной сигнал из устройства звукозаписи может просто состоять из звуковых выходных сигналов из формирователей 505, 509, 511 диаграммы направленности.
В многих вариантах осуществления, выходной сигнал из процессора 515 вывода формируется в виде комбинации звуковых выходных сигналов из формирователей 505, 509, 511 диаграммы направленности. Действительно, в некоторых вариантах осуществления, может выполняться простое выборочное комбинирование, например, выбор звуковых выходных сигналов, для которых является наивысшим отношение сигнал/шум или просто уровень сигнала.
Таким образом, выбор и последующая обработка выходного сигнала процессора 515 вывода может быть специализированной и/или разной в разных реализациях/вариантах осуществления. Например, могут выдаваться все возможные выходные сигналы сфокусированной диаграммы направленности, выбор может делаться на основании критерия, определенного пользователем (например, выбирается наиболее мощный докладчик), и т. д.
Что касается применения речевого управления, например, все выходные сигналы могут пересылаться в распознаватель речевых пусковых сигналов, который выполнен с возможностью выявлять конкретное слово или фразу для инициализации речевого управления. В таком примере, звуковой выходной сигнал, в котором выявлено пусковое слово или фраза, может сопровождать пусковую фразу, подлежащую использованию распознавателем речи для выявления специальных команд.
Что касается применений связи, например, может быть полезно выбирать звуковой выходной сигнал, который имеет наибольшую мощность, например, применительно к которому было обнаружено наличие конкретного точечного источника звука.
В некоторых вариантах осуществления, последующая обработка, такая как подавление шума по фиг. 1, может применяться к выходному сигналу устройства звукозаписи (например, процессором 515 вывода). Это может улучшать рабочие характеристики, например, применительно к речевой связи. В такую последующую обработку могут быть включены нелинейные операции, хотя, например, что касается некоторых распознавателей речи, может быть полезно ограничивать обработку включением в состав только линейной обработки.
В системе по фиг. 5, особенно полезный подход принимается для захвата звукового сигнала на основании синергетического взаимодействия и взаимосвязи между первым формирователем 505 диаграммы направленности и ограниченными формирователями 509, 511 диаграммы направленности.
С этой целью, устройство звукозаписи содержит процессор 517 несовпадения, который выполнен с возможностью определять показатель несовпадения между одним или более ограниченных формирователей 509, 511 диаграммы направленности и первым формирователем 505 диаграммы направленности. Показатель несовпадения является указывающим различие между диаграммами направленности, сформированными соответственно первым формирователем 505 диаграммы направленности и ограниченным формирователем 509, 511 диаграммы направленности. Таким образом, показатель несовпадения для первого ограниченного формирователя 509 диаграммы направленности может указывать различие между диаграммами направленности, которые сформированы первым формирователем 505 диаграммы направленности и первым ограниченным формирователем 509 диаграммы направленности. Таким образом, показатель несовпадения может быть указывающим, насколько близко два формирователя 505, 509 диаграммы направленности адаптированы под один и тот же источник звука.
Процессор 517 несовпадения прямо соответствует процессору 309 несовпадения по фиг. 3, и подход, описанный в отношении этого, прямо применим к процессору 517 несовпадения по фиг. 5. Таким образом, система по фиг. 5 использует описанный подход для определения показателя несовпадения между диаграммами направленности первого формирователя 505 диаграммы направленности и одного из ограниченных формирователей 509, 511 диаграммы направленности в ответ на сравнение адаптивных импульсных характеристик фильтров формы диаграммы направленности первого формирователя 505 диаграммы направленности с адаптивными импульсными характеристиками фильтров формы диаграммы направленности ограниченного формирователя 509, 511 диаграммы направленности. Будет принято во внимание, что, в многих вариантах осуществления, показатель несовпадения может определяться для такого ограниченного формирователя 509, 511 диаграммы направленности.
Таким образом, в системе по фиг. 5, показатель несовпадения формируется, чтобы отражать различие между параметрами формы диаграммы направленности первого формирователя 505 диаграммы направленности и первого ограниченного формирователя 509 диаграммы направленности, и/или различие между подвергнутыми формированию диаграммы направленности звуковыми выходными сигналами таковых.
Будет принято во внимание, что формирование, определение и/или использование показателя несовпадения прямо эквивалентно формированию, определению и/или использованию показателя подобия. Действительно, один типично может считаться монотонно убывающей функцией другого и, таким образом, показатель несовпадения также является показателем подобия (и наоборот), причем, один просто указывает возрастающие различия возрастающими значениями, а другой делает это убывающими значениями.
Процессор 517 несовпадения присоединен к второму адаптеру 513 и выдает показатель несовпадения в него. Второй адаптер 513 выполнен с возможностью адаптировать ограниченные формирователи 509, 511 диаграммы направленности в ответ на показатель несовпадения. Более точно, второй адаптер 513 выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей диаграммы направленности, для которых был определен показатель несовпадения, который удовлетворяет критерию подобия. Таким образом, если показатель несовпадения не был определен для данных ограниченных формирователей 509, 511 диаграммы направленности, или если определенный показатель несовпадения для данного формирователя 509, 511 диаграммы направленности указывает, что диаграммы направленности первого формирователя 505 диаграммы направленности и данного ограниченного формирователя 509, 511 диаграммы направленности не подобны в достаточной мере, то адаптация не выполняется.
Таким образом, в устройстве звукозаписи по фиг. 5, ограниченные формирователи 509, 511 диаграммы направленности ограничены адаптацией диаграмм направленности. Более точно, они ограничены, чтобы адаптироваться, только если текущая диаграмма направленности, сформированная ограниченным формирователем 509, 511 диаграммы направленности находится близко к диаграмме направленности, которую формирует автономно работающий первый формирователь 505 диаграммы направленности, то есть отдельный ограниченный формирователь 509, 511 диаграммы направленности адаптируется, только если первый формирователь 505 диаграммы направленности адаптирован на данный момент, чтобы находиться достаточно близко к отдельному формирователю 509, 511 диаграммы направленности.
Результат этого состоит в том, что адаптация ограниченных формирователей 509, 511 диаграммы направленности управляется функционированием первого формирователя 505 диаграммы направленности, так чтобы, фактически, диаграмма направленности, сформированная первым формирователем 505 диаграммы направленности, управляла тем, какие из ограниченных формирователей 509, 511 диаграммы направленности оптимизируются/адаптируются. Этот подход, более точно, может давать в результате ограниченные формирователи 509, 511 диаграммы направленности, имеющие тенденцию адаптироваться, только когда желательный источник звука близок к текущей адаптации ограниченного формирователя 509, 511 диаграммы направленности.
Подход с требованием подобия между диаграммами направленности, для того чтобы предоставлять адаптации, обнаруживаемой на практике, давать в результате существенно улучшенные рабочие характеристики, когда желательный источник звука, желательный докладчик в данном случае, находится за пределами радиуса реверберации. Действительно, было обнаружено, что это будет давать крайне желательные рабочие характеристики, в частности, для слабых источников звука в реверберирующих средах с непреобладающей звуковой составляющей прямого тракта.
В многих вариантах осуществления, ограничение адаптации может подвергаться дополнительным требованиям.
Например, в многих вариантах осуществления, адаптация может быть требованием, чтобы отношение сигнал/шум для подвергнутого формированию диаграммы направленности звукового выходного сигнала превышало пороговое значение. Таким образом, адаптация для отдельного ограниченного формирователя 509, 511 диаграммы направленности может быть ограничена сценариями, в которых он адаптирован в достаточной мере, и сигнал, на базе которого основана адаптация, отражает желательный звуковой сигнал.
Будет принято во внимание, что разные подходы для определения отношения сигнал/шум могут использоваться в разных вариантах осуществления. Например, уровень собственных шумов сигналов с микрофона может определяться отслеживанием минимума сглаженной оценки мощности и, применительно к каждому кадру или временному интервалу, мгновенная мощность сравнивается с этим минимумом. В качестве еще одного примера, уровень собственных шумов выходного сигнала формирователя диаграммы направленности может определяться и сравниваться с мгновенной выходной мощностью подвергнутого формированию диаграммы направленности выходного сигнала.
В некоторых вариантах осуществления, адаптация ограниченного формирователя 509, 511 диаграммы направленности ограничена тем, когда речевая составляющая была выявлена в выходном сигнале ограниченного формирователя 509, 511 диаграммы направленности. Это будет давать улучшенные рабочие характеристики для применений записи речи. Будет принято во внимание, что может использоваться любой подходящий алгоритм или подход для выявления речи в звуковом сигнале.
Будет принято во внимание, что система по фиг. 3-7 типично действует с использованием обработки кадров или блоков. Таким образом, определены следующие друг за другом временные интервалы или кадры, и описанная обработка может выполняться в пределах каждого временного интервала. Например, сигналы с микрофона могут быть поделены на временные интервалы обработки и, применительно к каждому временному интервалу обработки, формирователи 505, 509, 511 диаграммы направленности могут формировать подвергнутый формированию диаграммы направленности звуковой выходной сигнал для временного интервала, определять показатель несовпадения, выбирать ограниченные формирователи 509, 511 диаграммы направленности и обновлять/адаптировать этот ограниченный формирователь 509, 511 диаграммы направленности, и т. д. Временные интервалы обработки в многих вариантах осуществления могут иметь длительность между 5 мс и 50 мс.
Будет принято во внимание, что, в некоторых вариантах осуществления, разные временные интервалы обработки могут использоваться для разных аспектов и функций устройства звукозаписи. Например, показатель несовпадения и выбор ограниченного формирователя 509, 511 диаграммы направленности для адаптации могут выполняться с более низкой частотой, чем, например, временной интервал обработки для формирования диаграммы направленности.
В многих вариантах осуществления, адаптация может находиться в зависимости от выявления точечных источников звука в подвергнутых формированию диаграммы направленности звуковых выходных сигналов. Соответственно, в многих вариантах осуществления, устройство звукозаписи дополнительно может содержать детектор 601 источника звука, как проиллюстрировано на фиг. 6.
Детектор 601 источника звука, более точно, в многих вариантах осуществления может быть выполнен с возможностью выявлять точечные источники звука во вторых подвергнутых формированию диаграммы направленности звуковых сигналов и, соответственно, детектор 601 источника звука присоединен к ограниченным формирователям 509, 511 диаграммы направленности, и он принимает подвергнутые формированию диаграммы направленности звуковые выходные сигналы из них.
Точечный источник звука по акустике является звуком, который исходит из точки в пространстве. Будет принято во внимание, что детектор 601 источника звука может использовать разные алгоритмы или критерии для оценки (выявления), присутствует ли точечный источник звука в подвергнутом формированию диаграммы направленности звуковом выходном сигнале из данного ограниченного формирователя 509, 511 диаграммы направленности, и что специалист будет отдавать себе отчет о различных таких подходах.
Подход, более точно, может быть основан на идентификации характеристик одиночного или преобладающего точечного источника, захватываемого микрофонами микрофонной решетки 501. Одиночный или преобладающий точечный источник, например, может выявляться посредством рассмотрения корреляции между сигналами на микрофонах. Если есть высокая корреляция, то преобладающий точечный источник считается присутствующим. Если корреляция низка, то считается, что нет преобладающего точечного источника, но что записываемые сигналы исходят из многих некоррелированных источников. Таким образом, в многих вариантах осуществления, точечный источник звука может считаться пространственно коррелированным источником звука, где пространственная корреляция отражается корреляцией сигналов с микрофона.
В данном случае, корреляция определяется после фильтрации фильтрами формы диаграммы направленности. Более точно, может определяться корреляция выходного сигнала фильтров формы диаграммы направленности ограниченных формирователей 509, 511 диаграммы направленности, и если она превышает данное пороговое значение, точечный источник звука может считаться выявленным.
В других вариантах осуществления, точечный источник может выявляться посредством оценки содержания подвергнутых формированию диаграммы направленности звуковых сигналов. Например, детектор 601 источника звука может анализировать подвергнутые формированию диаграммы направленности выходные сигналы и, если речевая составляющая достаточной мощности выявлена в подвергнутом формированию диаграммы направленности звуковом выходном сигнале, это может считаться соответствующим точечному источнику звука и, таким образом, выявление мощной речевой составляющей может считаться выявлением точечного источника звука.
Результат выявления пересылается из детектора 601 источника звука во второй адаптер 513, который выполнен с возможностью применять адаптацию в ответ на это. Более точно, второй адаптер 513 может быть выполнен с возможностью адаптировать только ограниченные формирователи 509, 511 диаграммы направленности, для которых детектор 601 источника звука указывает, что был выявлен точечный источник звука.
Таким образом, устройство звукозаписи выполнено с возможностью ограничивать адаптацию ограниченных формирователей 509, 511 диаграммы направленности, так чтобы адаптировались только формирователи 509, 511 диаграммы направленности, в которых точечный источник звука присутствует в сформированной диаграмме направленности, и сформированная диаграмма направленности близка к таковой, сформированной первым формирователем 505 диаграммы направленности. Таким образом, адаптация типично ограничена ограниченными формирователями 509, 511 диаграммы направленности, которые уже близки к (желательному) точечному источнику звука. Подход предоставляет возможность для очень устойчивого и точного формирования диаграммы направленности, которое исключительно хорошо работает в окружающих средах, где желательный источник звука может находиться вне радиуса реверберации. Кроме того, посредством приведения в действие и избирательного обновления множества ограниченных формирователей 509, 511 диаграммы направленности, эти устойчивость и точность могут быть дополнены относительно быстрым временем реакции, предоставляющим возможность быстрой адаптации системы в целом к быстро движущимся или вновь возникающим источникам звука.
В многих вариантах осуществления, устройство звукозаписи может быть выполнено с возможностью адаптировать только один ограниченный формирователь 509, 511 диаграммы направленности за раз. Таким образом, второй адаптер 513 в каждом временном интервале адаптации может выбирать один и ограниченных формирователей 509, 511 диаграммы направленности и адаптировать только его, обновляя параметры формы диаграммы направленности.
Выбор одиночных ограниченных формирователей 509, 511 диаграммы направленности типично будет происходить автоматически при выборе ограниченного формирователя 509, 511 диаграммы направленности для адаптации, только если текущая формируемая диаграмма направленности находится близко от формируемой первым формирователем 505 диаграммы направленности, и если точечный источник звука выявлен в диаграмме направленности.
Однако, в некоторых вариантах осуществления, может быть возможным, чтобы множество ограниченных формирователей 509, 511 диаграммы направленности одновременно удовлетворяли критериям. Например, если точечный источник звука расположен рядом с областями, охватываемыми двумя разными ограниченными формирователями 509, 511 диаграммы направленности (или, например, он находится в зоне перекрытия областей), точечный источник звука может выявляться в обеих диаграммах направленности, и таковые обе могли быть адаптированы, чтобы находится близко друг к другу, та и другая будучи подгоняемыми под направление на точечный источник звука.
Таким образом, в таких вариантах осуществления, второй адаптер 513 может выбирать один из ограниченных формирователей 509, 511 диаграммы направленности, удовлетворяющих двум критериям, и адаптировать только этот один. Это будет снижать риск, что две диаграммы направленности адаптируются в направлении одного и того же точечного источника звука, и, таким образом, снижать риск операций с таковыми, мешающими друг другу.
В действительности, адаптация ограниченных формирователей 509, 511 диаграммы направленности под ограничением, что соответствующий показатель несовпадения должен быть достаточно низок, и выбор только одного из ограниченных формирователей 509, 511 диаграммы направленности для адаптации (например, в каждом временном интервале/кадре обработки) будет приводить к адаптации, различающейся между разными ограниченными формирователями 509, 511 диаграммы направленности. Это будет иметь тенденцию давать в результате ограниченные формирователи 509, 511 диаграммы направленности, адаптируемые, чтобы охватывать разные области ближайшим ограниченным формирователем 509, 511 диаграммы направленности, автоматически, будучи выбранными для адаптации/следования за источником звука, выявленным первым формирователем 505 диаграммы направленности. Однако, например, в противоположность подходу по фиг. 2, области не стационарны и не предопределены, но скорее формируются динамически и автоматически.
Следует отметить, что области могут быть зависящими от формирования диаграммы направленности для множества путей и типично не ограничены угловым направлением областей прихода. Например, области могут различаться на основании расстояния до микрофонной решетки. Таким образом, термин область может рассматриваться указывающим ссылкой на положения в пространстве, в которых источник звука будет давать в результате адаптацию, которая удовлетворяет требованию подобия применительно к показателю несовпадения. Таким образом, это включает в себя рассмотрение не только прямого тракта, но, например, также отражений, если они рассматриваются в параметрах формы диаграммы направленности, и, в частности, определяются на основании как пространственного, так и временного аспекта (а более точно, зависят от полных импульсных характеристик фильтров формы диаграммы направленности).
Выбор одиночного ограниченного формирователя 509, 511 диаграммы направленности, более точно, может происходить в ответ на зафиксированный уровень звука. Например, детектор 601 источника звука может определять уровень звука каждого из подвергнутых формированию диаграммы направленности звуковых выходных сигналов из ограниченных формирователей 509, 511 диаграммы направленности, которые удовлетворяют критериям, и он может выбирать ограниченный формирователь 509, 511 диаграммы направленности, дающий в результате наивысший уровень. В некоторых вариантах осуществления, детектор 601 источника звука может выбирать ограниченный формирователь 509, 511 диаграммы направленности, для которого точечный источник звука, выявленный в подвергнутом формированию диаграммы направленности звуковом выходном сигнале, имеет наивысшее значение. Например, детектор 601 источника звука может выявлять речевую составляющую в подвергнутых формированию диаграммы направленности звуковых выходных сигналах из двух ограниченных формирователей 509, 511 диаграммы направленности и приступать к выбору имеющего наивысший уровень речевой составляющей.
В подходе, в высшей степени избирательная адаптация ограниченных формирователей 509, 511, таким образом, выполняется, приводя к таковым, адаптирующимся только в определенных обстоятельствах. Это дает очень надежное формирование диаграммы направленности ограниченными формирователями 509, 511 диаграммы направленности, давая в результате улучшенный захват желательного источника звука. Однако, в многих сценариях, ограничения формирования диаграммы направленности также могут давать в результате более медленную адаптируемость и, в действительности, в многих ситуациях, могут давать в результате новые источники звука (например, докладчиков), не выявляемых или всего лишь очень медленно подвергаемых адаптации.
Фиг. 7 иллюстрирует устройство звукозаписи по фиг. 6, но с добавлением контроллера 701 формирователей диаграммы направленности, который присоединен ко второму адаптеру 513 и детектору 601 источника звука. Контроллер 701 формирователей диаграммы направленности выполнен с возможностью инициализировать ограниченный формирователь 509, 511 диаграммы направленности в определенных ситуациях. Более точно, контроллер 701 формирователей диаграммы направленности может инициализировать ограниченный формирователь 509, 511 диаграммы направленности в ответ на первый формирователь 505 диаграммы направленности, а более точно, может инициализировать ограниченные формирователи 509, 511 диаграммы направленности для формирования диаграммы направленности, соответствующей таковой у первого формирователя 505 диаграммы направленности.
Контроллер 701 формирователя диаграммы направленности, более точно, устанавливает параметры формы диаграммы направленности одного из ограниченных формирователей 509, 511 диаграммы направленности в ответ на параметры формы диаграммы направленности первого формирователя 505 диаграммы направленности, впредь упоминаемые как первые параметры формы диаграммы направленности. В некоторых вариантах осуществления, фильтры ограниченных формирователей 509, 511 диаграммы направленности и первого формирователя 505 диаграммы направленности могут быть идентичными, например, они могут иметь одинаковую архитектуру. В качестве конкретного примера, оба фильтра ограниченных формирователей 509, 511 диаграммы направленности и первого формирователя 505 диаграммы направленности могут быть КИХ-фильтрами с одинаковой длиной (то есть, заданным количеством коэффициентов), и текущие адаптированные значения коэффициентов из фильтров первого формирователя 505 диаграммы направленности могут быть просто скопированы в ограниченный формирователь 509, 511 диаграммы направленности, то есть, коэффициенты ограниченного формирователя 509, 511 диаграммы направленности могут быть установлены в значения из первого формирователя 505 диаграммы направленности. Таким образом, ограниченный формирователь 509, 511 диаграммы направленности будет инициализироваться теми же самыми свойствами диаграммы направленности, что и адаптируемые на данный момент первым формирователем 505 диаграммы направленности.
В некоторых вариантах осуществления, настройка фильтров ограниченных формирователей 509, 511 диаграммы направленности может определяться из параметров фильтра первого формирователя 505 диаграммы направленности, но вместо того, чтобы использовать их сразу, они могут адаптироваться до применения. Например, в некоторых вариантах осуществления, коэффициенты КИХ-фильтров могут модифицироваться для инициализации диаграммы направленности ограниченного формирователя 509, 511 диаграммы направленности, чтобы была более широкой, чем диаграмма направленности первого формирователя 505 диаграммы направленности (например, формируемой в том же самом направлении).
Контроллер 701 формирователей диаграммы направленности, в многих вариантах осуществления, в некоторых обстоятельствах, соответственно может инициализировать один из ограниченных формирователей 509, 511 диаграммы направленности начальной диаграммой направленности, соответствующей таковой у первого формирователя 505 диаграммы направленности. Система затем может приступать к обработке ограниченного формирователя 509, 511 диаграммы направленности, как описано ранее, а более точно, может переходить к адаптации ограниченного формирователя 509, 511 диаграммы направленности, когда он удовлетворяет описанным ранее критериям.
Критерии для инициализации ограниченного формирователя 509, 511 диаграммы направленности могут быть разными в разных вариантах осуществления.
В многих вариантах осуществления, контроллер 701 диаграммы направленности может быть выполнен с возможностью инициализировать ограниченный формирователь 509, 511 диаграммы направленности, если наличие точечного источника звука выявлено в первом подвергнутом формированию диаграммы направленности звуковом выходном сигнале, но не в каком-нибудь из подвергнутых ограниченному формированию диаграммы направленности звуковых выходных сигналах.
Таким образом, детектор 601 источника звука может определять, присутствует ли точечный источник звука в каком-нибудь из подвергнутых формированию диаграммы направленности звуковых выходных сигналов из ограниченных формирователей 509, 511 диаграммы направленности или первого формирователя 505 диаграммы направленности. Результаты выявления/оценки для каждого подвергнутого формированию диаграммы направленности звукового выходного сигнала могут пересылаться в контроллер 701 формирователей диаграммы направленности, которые могут их оценивать. Если точечный источник звука выявлен только применительно к первому формирователю 505 диаграммы направленности, но ни для какого из ограниченных формирователей 509, 511 диаграммы направленности, это может отражать ситуацию, в которой точечный источник звука, такой как докладчик, присутствует и выявляется первым формирователем 505 диаграммы направленности, но ни один из ограниченных формирователей 509, 511 диаграммы направленности не был выявлен и не был адаптирован под точечный источник звука. В этом случае, ограниченные формирователи 509, 511 диаграммы направленности могут никогда не (или всего лишь очень медленно) адаптироваться под точечный источник звука. Поэтому, один из ограниченных формирователей 509, 511 диаграммы направленности инициализируется для формирования диаграммы направленности, соответствующей точечному источнику звука. По существу, эта диаграмма направленности вероятно должна быть близка к точечному источнику звука, и она будет (типично медленно но верно) адаптироваться к этому новому точечному источнику звука.
Таким образом, подход может комбинировать и обеспечивать полезные результаты как быстрого первого формирователя 505 диаграммы направленности, так и надежных ограниченных формирователей 509, 511 диаграммы направленности.
В некоторых вариантах осуществления, контроллер 701 формирователей диаграммы направленности может быть выполнен с возможностью инициализировать ограниченный формирователь 509, 511 диаграммы направленности, только если показатель несовпадения для ограниченного формирователя 509, 511 диаграммы направленности превышает пороговое значение. Более точно, если наименьший определенный показатель несовпадения для ограниченных формирователей 509, 511 диаграммы направленности находится ниже порогового значения, инициализация не выполняется. В такой ситуации, может быть возможным, что адаптация ограниченного формирователя 509, 511 диаграммы направленности находится ближе к желательной ситуации, тогда как менее надежная адаптация первого формирователя 505 диаграммы направленности менее точна и может адаптироваться, чтобы находиться ближе к первому формирователю 505 диаграммы направленности. Таким образом, в тех сценариях, где показатель несовпадения достаточно низок, может быть полезно предоставлять системе возможность попытаться адаптироваться автоматически.
В некоторых вариантах осуществления, контроллер 701 формирователей диаграммы направленности, более точно, может быть выполнен с возможностью инициализировать ограниченный формирователь 509, 511 диаграммы направленности, когда точечный источник звука выявлен как для первого формирователя 505 диаграммы направленности, так и для одного из ограниченных формирователей 509, 511 диаграммы направленности, но показателю несовпадения для них не удается удовлетворить критерий подобия. Более точно, контроллер 701 формирователей диаграммы направленности может быть выполнен с возможностью устанавливать параметры формы диаграммы направленности для первого ограниченного формирователя 509, 511 диаграммы направленности в ответ на параметры формы диаграммы направленности первого формирователя 505 диаграммы направленности, если точечный источник звука выявлен как в повергнутом формированию диаграммы направленности звуковом выходном сигнале из первого формирователя 505 диаграммы направленности, так и в подвергнутом формированию диаграммы направленности звуковом выходном сигнале из ограниченного формирователя 509, 511 диаграммы направленности, и показатель несовпадения таковых превышает пороговое значение.
Такой сценарий может отражать ситуацию, в которой ограниченный формирователь 509, 511 диаграммы направленности возможно мог адаптироваться под и захватить точечный источник звука, который, однако, отличен от точечного источника звука, захваченного первым формирователем 505 диаграммы направленности. Таким образом, более точно, он может отражать то, что ограниченный формирователь 509, 511 мог захватить «ошибочный» точечный источник звука. Соответственно, ограниченный формирователь 509, 511 диаграммы направленности может быть повторно инициализирован для формирования диаграммы направленности в направлении желательного точечного источника звука.
В некоторых вариантах осуществления, количество ограниченных формирователей 509, 511 диаграммы направленности, которые являются действующими, может меняться. Например, устройство звукозаписи может содержать функциональные возможности для формирования потенциально относительно высокого количества ограниченных формирователей 509, 511 диаграммы направленности. Например, оно может реализовывать, скажем, до восьми одновременных ограниченных формирователей 509, 511 диаграммы направленности. Однако, например, для того чтобы понизить потребляемую мощность и вычислительную нагрузку, не все из них могут быть действующими одновременно.
Таким образом, в некоторых вариантах осуществления, набор действующих ограниченных формирователей 509, 511 диаграммы направленности выбирается из большей совокупности формирователей диаграммы направленности. Это, более точно может выполняться, когда инициализируется формирователь 509, 511 диаграммы направленности. Таким образом, в примерах, приведенных выше, инициализация ограниченного формирователя 509, 511 диаграммы направленности (например, если точечный источник сигнала не выявлен ни в каком из действующих ограниченных формирователей 509, 511 диаграммы направленности) может достигаться посредством инициализации бездействующего ограниченного формирователя 509, 511 диаграммы направленности из совокупности, тем самым, увеличивая количество действующих ограниченных формирователей 509, 511 диаграммы направленности.
Если все ограниченные формирователи 509, 511 диаграммы направленности в совокупности являются действующими на данный момент, инициализация ограниченного формирователя 509, 511 диаграммы направленности может выполняться посредством инициализации действующего на данный момент формирователя 509, 511 диаграммы направленности. Ограниченный формирователь 509, 511 диаграммы направленности, подлежащий инициализации, может выбираться в соответствии с каким-нибудь подходящим критерием. Например, могут выбираться ограниченные формирователи 509, 511 диаграммы направленности, имеющие наибольший показатель несовпадения или самый низкий уровень сигнала.
В некоторых вариантах осуществления, ограниченный формирователь 509, 511 диаграммы направленности может выводиться из работы в ответ на удовлетворение подходящего критерия. Например, ограниченные формирователи 509, 511 диаграммы направленности могут выводиться из работы, если показатель несовпадения возрастает выше заданного порогового значения.
Конкретный подход для управления адаптацией и настройки ограниченных формирователей 509, 511 диаграммы направленности в соответствии с многими из примеров, описанных выше, проиллюстрирован блок-схемой последовательности операций способа по фиг. 8.
Способ начинается на этапе 801 инициализацией следующего временного интервала обработки (например, ожиданием начала следующего временного интервала обработки, сбором набора параметров для временного интервала обработки, и т. д.).
Этап 801 сопровождается этапом 803, при этом, определяется, есть ли точечный источник звука, выявленный в какой-нибудь из диаграмм направленности ограниченных формирователей 509, 511 диаграммы направленности.
Если так, способ продолжается на этапе 805, на котором определяется, удовлетворяет ли показатель несовпадения критерию подобия, а более точно, находится ли показатель несовпадения ниже порогового значения.
Если так, способ продолжается на этапе 807, на котором ограниченный формирователь 509, 511 диаграммы направленности, в котором был выявлен точечный источник звука (или который имеет наибольший уровень сигнала в случае, если точечный источник звука был выявлен в более чем одном ограниченном формирователе 509, 511 диаграммы направленности), адаптируется, то есть обновляются параметры формы диаграммы направленности (фильтра).
Если нет, способ продолжается на этапе 809, на котором ограниченный формирователь 509, 511 диаграммы направленности инициализируется, параметры формы диаграммы направленности ограниченного формирователя 509, 511 диаграммы направленности устанавливаются независимо от параметров формы диаграммы направленности первого формирователя 505 диаграммы направленности. Ограниченный формирователь 509, 511 диаграммы направленности, являющийся инициализируемым, может быть новым ограниченным формирователем 509, 511 диаграммы направленности (то есть, формирователем диаграммы направленности из совокупности бездействующих формирователей диаграммы направленности) или может быть уже действующим ограниченным формирователем 509, 511 диаграммы направленности, для которого предусмотрены новые параметры формы диаграммы направленности.
Вслед за этапами 807 и 809, способ возвращается на этап 801 и ожидает следующего временного интервала обработки.
Если на этапе 803 выявлено, что точечный источник звука не выявлен в подвергнутом формированию диаграммы направленности звуковом выходном сигнале какого-нибудь из ограниченных формирователей 509, 511 диаграммы направленности, способ переходит на этап 811, на котором определяется, выявлен ли точечный источник звука в первом формирователе 505 диаграммы направленности, то есть, соответствует ли текущий сценария захвату точечного источника звука первым формирователем 505 диаграммы направленности, но ни одним из ограниченных формирователей 509, 511 диаграммы направленности.
Если нет, точечный источник звука вовсе не был выявлен, и способ возвращается на этап 801, чтобы ожидать следующего временного интервала обработки.
Иначе, способ переходит на этап 813, на котором определяется, удовлетворяет ли показатель несовпадения критерию подобия, а более точно, находится ли показатель несовпадения ниже порогового значения (который может быть таким же или может быть отличным пороговым значением/критерием, чем используемый на этапе 805).
Если так, способ переходит на этап 815, на котором адаптируется ограниченный формирователь 509, 511 диаграммы направленности, для которого показатель несовпадения находится ниже порогового значения (или если более чем один ограниченный формирователь 509, 511 диаграммы направленности удовлетворяет критерию, может выбираться один, например, с низшим показателем несовпадения).
Иначе, способ переходит на этап 817, на котором ограниченный формирователь 509, 511 диаграммы направленности инициализируется, параметры формы диаграммы направленности ограниченного формирователя 509, 511 диаграммы направленности устанавливаются независимо от параметров формы диаграммы направленности первого формирователя 505 диаграммы направленности. Ограниченный формирователь 509, 511 диаграммы направленности, являющийся инициализируемым, может быть новым ограниченным формирователем 509, 511 диаграммы направленности (то есть, формирователем диаграммы направленности из совокупности бездействующих формирователей диаграммы направленности) или может быть уже действующим ограниченным формирователем 509, 511 диаграммы направленности, для которого предусмотрены новые параметры формы диаграммы направленности.
Вслед за этапами 815 и 817, способ возвращается на этап 801 и ожидает следующего временного интервала обработки.
Описанный подход устройства звукозаписи по фиг. 5-7 может давать полезные рабочие характеристики в многих сценариях и, в частности, может иметь тенденцию предоставлять устройству звукозаписи возможность динамически формировать сфокусированные, устойчивые и точные диаграммы направленности для захвата источников звука. Диаграммы направленности будут иметь тенденцию адаптироваться, чтобы охватывать разные области, и подход, например, автоматически может выбирать и адаптировать ближайший ограниченный формирователь 509, 511 диаграммы направленности.
Таким образом, в противоположность подходу, например, по фиг. 2, не нужно непосредственно накладывать никакие специальные ограничения на направления диаграммы направленности или на коэффициенты фильтра. Скорее, отдельные области могут автоматически вырабатываться/формироваться, посредством предоставления ограниченным формирователям 509, 511 диаграммы направленности (условно) адаптироваться только тогда, когда есть одиночный преобладающий источник звука, и когда он достаточно близок к диаграмме направленности ограниченного формирователя 509, 511 диаграммы направленности. Это, более точно, определяется посредством рассмотрения коэффициентов фильтра, которые учитывают как прямое поле, так и (первые) отражения.
Следует отметить, что использование фильтров с расширенной импульсной характеристикой (в противоположность использованию простых фильтров с задержкой, то есть, фильтров с одним коэффициентом) также учитывает, что отражения приходят через некоторое (конкретное) время после прямого поля. Соответственно, диаграмма направленности определена не только пространственными характеристиками (с каких направлений приходит поле прямой волны и отражения), но также определена временными характеристиками (в какие моменты времени после поля прямой волны приходят отражения). Таким образом, ссылки на диаграммы направленности не только ограничены пространственными соображениями, но также отражают временную составляющую фильтров формы диаграммы направленности. Подобным образом, ссылки на области включают в себя как чисто пространственные, так и временные эффекты фильтров формы диаграммы направленности.
Подход, таким образом, может рассматриваться формирующим области, которые определены различием показателя несовпадения между автономно работающей диаграммы направленности первого формирователя 505 диаграммы направленности и диаграммой направленности ограниченного формирователя 509, 511 диаграммы направленности. Например, предположим, что ограниченный формирователь 509, 511 диаграммы направленности имеете диаграмму направленности, сфокусированную на источнике (как с пространственными, так и временными характеристиками). Предположим, что источник молчит, и новый источник становится действующим, причем, первый формирователь 505 диаграммы направленности адаптируется, чтобы сфокусироваться на нем. В таком случае, каждый источник с пространственно-временными характеристиками, такими что расстояние между диаграммой направленности первого формирователя 505 диаграммы направленности и диаграммой направленности ограниченного формирователя 509, 511 диаграммы направленности не превышало пороговое значение, может считаться находящимся в области ограниченного формирователя 509, 511 диаграммы направленности. Таким образом, ограничение на первый ограниченный формирователь 509 диаграммы направленности может рассматриваться для перевода в ограничение в пространстве.
Критерий расстояния для адаптации ограниченного формирователя диаграммы направленности вместе с подходом инициализации диаграмм направленности (например, копирования коэффициентов фильтра формы диаграммы направленности) типично предусматривает, чтобы ограниченные формирователи 509, 511 диаграммы направленности формировали диаграммы направленности в разных областях.
Подход типично дает в результате автоматическое формирование областей, отражающих наличие источников звука в окружающей среде вместо предопределенной стационарной системы, как система по фиг. 2. Этот гибкий подход предоставляет системе возможность основываться на пространственно-временных характеристиках, таких как вызванные отражениями, которые было бы очень трудно и сложно учитывать применительно к предопределенной и стационарной системе (так как эти характеристики зависят от многих параметров, таких как характеристики размера, формы и реверберации помещения, и т. д.).
Будет приниматься во внимание, что вышеприведенное описание, для ясности, описывало варианты осуществления изобретения со ссылкой на разные функциональный схемы, блоки и процессоры. Однако, будет очевидно, что может использоваться любое подходящее распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами, не умаляя изобретения. Например, функциональные возможности, проиллюстрированные выполняемыми отдельными процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллерами. Отсюда, ссылки на определенные функциональные блоки или схемы должны рассматриваться скорее только в качестве ссылок на пригодное средство для обеспечения описанных функциональных возможностей, нежели указывающими на строгую логическую или физическую структуру или организацию.
Изобретение может быть реализовано в любом пригодном виде, включая аппаратные средства, программное обеспечение, зашитые программы или комбинацию таковых. Изобретение, по выбору, может быть реализовано, по меньшей мере частично, в качестве компьютерного программного обеспечения, работающего на одном или более процессоров данных и/или цифровых сигнальных процессоров. Элементы и компоненты варианта осуществления изобретения могут быть реализованы физически, функционально и логически любым подходящим образом. Действительно, функциональные возможности могут быть реализованы в одиночном блоке, множестве блоков или в качестве части других функциональных блоков. По существу, изобретение может быть реализовано в одиночном блоке, или может быть физически или функционально распределено между разными схемами, блоками и процессорами.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не подразумевается ограниченным отдельными формами, изложенными в материалах настоящей заявки. Вернее, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. Дополнительно, хотя признак может фигурировать описанным в связи с конкретными вариантами осуществления, специалист в данной области техники будет осознавать, что различные признаки описанных вариантов осуществления могут комбинироваться в соответствии с изобретением. В формуле изобретения, термин содержит не исключают присутствия других элементов или этапов.
Более того, хотя и перечислены по отдельности, множество средств, элементов, схем или этапов способа могут быть реализованы, например, одиночной схемой, блоком или процессором. Дополнительно, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, таковые могут комбинироваться преимущественным образом, как только возможно, а включение в разные пункты формулы изобретения не подразумевает, что комбинация признаков не является выполнимой и/или полезной. К тому же, включение признака в одну категорию формулы изобретения не предполагает ограничения этой категорией, а скорее указывает, что признак равным образом применим к категориям другого пункта формулы изобретения надлежащим образом. Более того, очередность признаков в формуле изобретения не подразумевает никакого определенного порядка, в которой признаки должны обрабатываться, и, в частности, очередность отдельных этапов в пункте формулы изобретения о способе не подразумевает, что этапы должны выполняться в этой очередности. Вернее, этапы могут выполняться в любом подходящем порядке. В дополнение, упоминания в единственном числе не исключают множественности. Выражения единственного числа, «первый», «второй» и т. п., не устраняют множественности. Символы ссылок в пунктах формулы изобретения предусмотрены только в качестве проясняющих примеров, которые не должны трактоваться в качестве ограничивающие объем формулы изобретения каким бы то ни было образом.