СПОСОБ И УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ ПОЗИЦИИ МИКРОФОНА
METHOD AND DEVICE FOR DETERMINING MICROPHONE POSITION

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к способу и устройству для определения позиции микрофона и, в частности, но не исключительно, для определения позиции микрофона в составе операции калибровки динамиков.
УРОВЕНЬ ТЕХНИКИ
В последние десятилетия разнообразие и гибкость аудиоприложений чрезвычайно увеличились, например, с множеством различных существенно варьирующихся приложений воспроизведения и захвата аудио. Установки воспроизведения и захвата аудио используются в различных звуковых средах и для множества различных применений.
Во многих применениях, таким образом, желательно иметь возможность определения позиции микрофона, позиции слушания или одного громкоговорителя по отношению к другим громкоговорителям. Во многих применениях этот недостаток может быть уменьшен до одной и той же базовой проблемы, а именно проблемы определения позиции микрофона.
Действительно, во многих применениях позиция слушания может быть определена путем калибровки системы с использованием микрофона, который располагается в позиции слушания. Подобным образом, позиции динамиков могут быть определены путем помещения микрофона в позицию динамика или, возможно, путем встраивания микрофона в громкоговоритель на постоянной основе. В частности, важной проблемой во многих применениях является трудность определения позиций громкоговорителей для установки воспроизведения, такой как система объемного звучания.
Действительно, существенное неудобство, воспринимаемое пользователями при использовании, например, объемного звука домашнего кинотеатра, состоит в необходимости того, чтобы относительно большое количество динамиков было размещено в конкретные позиции. Обычно практические установки динамиков объемного звука отклоняются от идеальной установки ввиду того, что пользователи находят непрактичным размещение динамиков в оптимальных позициях. Таким образом, реальные установки могут существенно отклоняться от идеальной установки, и, соответственно, процедуры для калибровки систем воспроизведения и компенсации несовершенств были разработаны. Гибкие системы на основе калибровки динамика были разработаны для обеспечения гибких установок, при которых пользователи могут размещать динамики относительно свободно в удобных позициях, где система автоматически регулирует обработку и воспроизведение аудио для конкретной установки.
Такие системы могут основываться на определении относительных позиций динамиков. Например, в WO 2006/131893-A1 раскрывается автоматическая калибровка многоканальной системы на основе системы, где каждый громкоговоритель оборудован микрофоном для обеспечения возможности того, чтобы импульсные отклики определялись от каждой комбинации пар громкоговорителей. Эта информация затем используется для определения относительных местоположений громкоговорителей. Процедура оптимизации затем используется для распределения многоканальных аудиосигналов так, чтобы оптимальное впечатление слушания, как определено в рекомендациях ITU-R BS.775-1, получалось в установленной позиции слушания. В US 5666424-A выполняется процедура калибровки с использованием микрофона в позиции слушания для определения относительного расстояния от каждого громкоговорителя до позиции слушания.
Существующие калибровки воспроизведения в основном основываются на том, что громкоговоритель воспроизводит конкретный испытательный или пробный сигнал, такой как шумовые последовательности или импульсные звуки, и получающиеся сигналы захватываются микрофоном. Калибровка таких систем может занимать несколько секунд. Что более важно, процесс полагается на конкретные испытательные аудиосигналы и, таким образом, не может выполняться в течение обычной операции аудиосистемы, как, например, в течение проигрывания музыки.
Однако желательно иметь возможность определения позиций в течение обычного использования системы воспроизведения, как, например, в течение воспроизведения музыки. Это обычно может обеспечивать улучшенное определение, которое обеспечивает возможность непрерывной подстройки системы. Например, система может автоматически подстраиваться под перемещение динамика пользователем в течение проигрывания. Это может быть, в частности, существенно во многих текущих и будущих системах, использующих портативные и полностью беспроводные питаемые от аккумулятора громкоговорители, которые становятся все более популярными.
Однако обычное аудио имеет тенденцию варьироваться по существу, отчего конкретные мгновенные свойства являются непредсказуемыми. Таким образом, оценка позиции на основе таких сигналов имеет тенденцию часто давать в результате относительно ненадежные оценки. Кроме того, сигналы от различных громкоговорителей имеют тенденцию отличаться друг от друга, причем отличие в любой момент времени неизвестно.
Таким образом, улучшенный подход для определения позиции микрофона обеспечит преимущества, и, в частности, подход, обеспечивающий возможность для увеличенной гибкости, автоматического определения, уменьшенной зависимости от конкретных испытательных сигналов, улучшенную точность оценки и/или улучшенную производительность, обеспечит преимущества.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Соответственно, изобретение призвано для того, чтобы, предпочтительно, уменьшить, облегчить или устранить один или несколько из вышеупомянутых недостатков по отдельности или в любой комбинации.
Согласно одному аспекту изобретения обеспечено устройство для определения позиции микрофона, причем устройство содержит: приемник многоканального сигнала для приема многоканального сигнала, содержащего по меньшей мере первый канал для воспроизведения первым динамиком в первой позиции и второй канал для воспроизведения вторым динамиком во второй позиции; первый генератор сигналов для генерирования первого коррелированного сигнала из многоканального сигнала, причем первый коррелированный сигнал содержит коррелированные компоненты сигнала для первого канала и второго канала; второй генератор сигналов для генерирования первого некоррелированного сигнала из многоканального сигнала, причем первый некоррелированный сигнал содержит компоненты сигнала первого канала, не коррелированные с компонентами сигнала второго канала; приемник сигнала микрофона для приема сигнала микрофона от микрофона; первое средство корреляции для определения первого корреляционного сигнала из корреляции сигнала микрофона и первого коррелированного сигнала; второе средство корреляции для определения второго корреляционного сигнала из корреляции сигнала микрофона и первого некоррелированного сигнала; и средство оценки позиции для оценки позиции микрофона в ответ на первый корреляционный сигнал и второй корреляционный сигнал.
Изобретение может обеспечивать возможность улучшенного и/или облегченного определения позиции микрофона во многих сценариях и приложениях. Подход может обеспечивать возможность определения позиции без необходимости в конкретных испытательных сигналах и может во многих сценариях обеспечивать возможность определения позиции микрофона на основе измерений воспроизведения аудио в течение обычной операции, как, например, в течение воспроизведения аудио, соответствующего музыке или звуковой дорожке.
Позиция микрофона может относиться к позиции слушания или позиции динамика. Конкретным образом, устройство может в некоторых вариантах осуществления быть выполнено с возможностью выполнения калибровки аудиосистемы в ответ на определенную позицию и может, в частности, выполнять такую калибровку на основе предположения о том, что позиция микрофона соответствует позиции слушания или позиции динамика.
Корреляционный сигнал может генерироваться для обеспечения значения корреляции для различных сдвигов по времени между сигналами корреляции. Корреляционный сигнал может быть корреляционной функцией, генерируемой для обеспечения значения корреляции для различных сдвигов по времени между сигналами, используемых для вычисления функции. Таким образом, первый корреляционный сигнал может обеспечивать значение корреляции в виде функции от времени, где значение корреляции для некоторого заданного момента времени соответствует корреляции между сигналом микрофона и первым коррелированным сигналом для сдвига по времени, соответствующего этому моменту времени. Подобным образом, второй корреляционный сигнал может обеспечивать значение корреляции в виде функции от времени, где значение корреляции для некоторого заданного момента времени соответствует корреляции между сигналом микрофона и первым некоррелированным сигналом для сдвига по времени, соответствующего этому моменту времени. Корреляционные сигналы могут конкретным образом быть взаимными корреляциями между парами сигналов.
Первый и второй корреляционные сигналы могут отражать импульсные отклики для звуковых функций переноса от первого динамика и второго динамика к микрофону.
В некоторых вариантах осуществления средство оценки позиции может определять позицию в ответ на амплитуды первого корреляционного сигнала и второго корреляционного сигнала во времена, соответствующие различным задержкам распространения от первого и второго динамика.
В некоторых вариантах осуществления средство оценки позиции может определять позицию в ответ на временные характеристики пиков в первом корреляционном сигнале и во втором корреляционном сигнале. Пик может быть локальным максимумом корреляционного сигнала (обычно с соответствующей фильтрацией или усреднением).
В соответствии с предпочтительным вариантом изобретения, устройство дополнительно содержит: третий генератор сигналов для генерирования второго некоррелированного сигнала из многоканального сигнала, причем второй некоррелированный сигнал содержит компоненты сигнала второго канала, не коррелированные с компонентами сигнала первого канала; третье средство корреляции для определения третьего корреляционного сигнала из корреляции сигнала микрофона и второго некоррелированного сигнала; и причем средство оценки позиции выполнено с возможностью оценивать позицию микрофона дополнительно в ответ на третий корреляционный сигнал.
Это может обеспечивать улучшенную оценку позиции во многих вариантах осуществления и может давать в результате улучшенную точность генерируемой оценки позиции и, таким образом, улучшенную точность ассоциированных операций, таких как калибровка системы воспроизведения аудио.
В соответствии с предпочтительным вариантом изобретения, средство оценки позиции содержит: первое средство оценки для генерирования оценки первого времени поступления и оценки второго времени поступления для звука от первого динамика и второго динамика к микрофону в ответ на первый корреляционный сигнал; второе средство оценки для генерирования оценки третьего времени поступления для звука от первого динамика к микрофону в ответ на первый некоррелированный сигнал; причем средство оценки позиции выполнено с возможностью оценивать позицию микрофона в ответ на оценку первого времени поступления, оценку второго времени поступления и оценку третьего времени поступления.
Это может обеспечивать улучшенную и/или облегченную оценку позиции во многих вариантах осуществления.
Оценки первого и второго времени поступления могут соответствовать задержкам распространения от первого и второго динамика до позиции/микрофона. Однако не может быть известно, первому динамику или второму динамику соответствует оценка первого времени поступления, и аналогично для оценки второго времени поступления. Оценка третьего времени поступления может соответствовать задержке распространения от первого динамика до позиции/микрофона.
Оценка третьего времени поступления может обеспечивать дополнительную оценку для задержки распространения от первого динамика до позиции дополнительно к оценке на основе любой из оценок первого и второго времени поступления. Подход может, таким образом, обеспечивать множество оценок времени поступления/задержки распространения, тем самым обеспечивая возможность улучшенной точности.
В некоторых вариантах осуществления третье средство оценки может генерировать оценку четвертого времени поступления для звука от второго динамика к микрофону в ответ на второй некоррелированный сигнал, и средство оценки позиции может дополнительно определять позицию в ответ на четвертую оценку времени поступления.
В соответствии с предпочтительным вариантом изобретения, средство оценки позиции выполнено с возможностью назначения оценки первого времени поступления одному из первого динамика и второго динамика в ответ на оценку третьего времени поступления.
Это может обеспечивать возможность эффективного и надежного определения позиции. Конкретно может быть неизвестно, какая из оценки первого времени поступления и оценки второго времени поступления соответствует звуку от первого динамика и какая соответствует звуку от второго динамика. Эта неясность и неопределенность может быть разрешена на основе оценки третьего времени поступления, для которой известно, что она принадлежит первому динамику.
В качестве примера, оценка времени поступления оценки первого времени поступления и оценки второго времени поступления, которая является ближайшей к оценке третьего времени поступления, может считаться соответствующей первому динамику, а другая считается соответствующей второму динамику.
В частности, средство оценки позиции может быть выполнено с возможностью назначения оценки второго времени поступления одному из первого динамика и второго динамика, которому оценка первого времени поступления не назначена. Таким образом, оценка первого и второго времени поступления может быть назначена первому и второму динамикам надлежащим образом на основе оценки третьего времени поступления.
В соответствии с предпочтительным вариантом изобретения средство оценки позиции выполнено с возможностью определения оценки комбинированного времени поступления для звука первого динамика из оценки третьего времени поступления и одной из оценки первого времени поступления и оценки второго времени поступления, и определения позиции микрофона как имеющей расстояние от первого динамика, соответствующее комбинированному времени поступления.
Это может обеспечивать облегченную операцию и/или улучшенную производительность во многих сценариях.
Выбранная одна из оценок первого и второго времени поступления может конкретным образом быть оценкой, ближайшей к оценке третьего времени поступления.
В соответствии с предпочтительным вариантом изобретения, относительное взвешивание третьего времени поступления и одной из оценки первого времени поступления и оценки второго времени поступления при генерировании оценки комбинированного времени поступления зависит от по меньшей мере одной из оценки уровня корреляции и оценки шума корреляции для по меньшей мере одной из первой корреляции и второй корреляции.
Это может обеспечивать улучшенную оценку позиции во многих сценариях и может, в частности, обеспечивать улучшенную подстройку для конкретных характеристик воспроизводимого аудио. Это может, в частности, обеспечивать возможность применения оценки позиции в зависимости от того, насколько подобны или различны сигналы двух каналов. Подход может обеспечивать улучшенные отношения сигнала к шуму для определения и может приводить к уменьшенному шуму/неопределенности, получающейся в результате оценки позиции.
В соответствии с опциональным признаком изобретения, первое средство оценки выполнено с возможностью обнаружения первого пика и второго пика в первом корреляционном сигнале, и определения оценки первого времени поступления в ответ на временную характеристику первого пика, и определения оценки второго времени поступления в ответ на временную характеристику второго пика.
Это может обеспечивать облегченную операцию и/или улучшенные оценки. Обнаружение пика может быть обнаружением локального максимума в корреляционном сигнале, например, после подходящей фильтрации.
В соответствии с предпочтительным вариантом изобретения, первое средство оценки выполнено с возможностью выполнения обнаружения пика для обнаружения пика в первом корреляционном сигнале и для определения оценки первого времени поступления в ответ на временную характеристику пика, причем обнаружение пика зависит от второго корреляционного сигнала.
Это может обеспечивать облегченную операцию и/или улучшенные оценки. Обнаружение пика может быть обнаружением локального максимума в корреляционном сигнале, например, после подходящей фильтрации. Обнаружение пика может, например, регулироваться путем выбора интервала времени, в котором следует обнаруживать пик в первом корреляционном сигнале на основе временной характеристики пика в третьем корреляционном сигнале.
В соответствии с предпочтительным вариантом изобретения, средство оценки позиции выполнено с возможностью взвешивания первого корреляционного сигнала по отношению ко второму корреляционному сигналу в ответ на по меньшей мере одну из: меры мощности первого корреляционного сигнала по отношению мере мощности второго корреляционного сигнала; и меры мощности для первого коррелированного сигнала по отношению к уровню меры первого некоррелированного сигнала.
Это может обеспечивать улучшенную оценку позиции во многих сценариях и может, в частности, обеспечивать улучшенную подстройку для конкретных характеристик воспроизводимого аудио. Конкретным образом, это может обеспечивать возможность применения оценки позиции в зависимости от того, насколько подобны или различны сигналы двух каналов. Подход может обеспечивать улучшенные отношения сигнала к шуму для определения, что в результате приводит к уменьшенному шуму/неопределенности, получающейся в результате оценки позиции.
Относительный уровень (уровни) мощности может, например, быть измерен в интервале времени, таком как, например, интервал времени около локального максимума.
В соответствии с предпочтительным вариантом изобретения, средство оценки позиции выполнено с возможностью определения вероятности того, что позиция находится в области, в ответ на по меньшей мере одно из свойства первого корреляционного сигнала в первом интервале времени и свойств второго корреляционного сигнала во втором интервале времени, причем первый и второй интервалы времени соответствуют задержке распространения звука для звука от первого динамика до области.
Это может обеспечивать особенно выгодное определение позиции и, в частности, может обеспечивать дополнительную информацию позиции.
В некоторых вариантах осуществления средство оценки позиции может быть выполнено с возможностью определения вероятностей для множества областей. Позиция микрофона может, например, в некоторых вариантах осуществления быть выбрана как позиция области, имеющей наивысшую вероятность. В некоторых вариантах осуществления вероятностная карта может быть определена для зоны путем разделения ее на множество областей и определения вероятности для каждой области.
В соответствии с предпочтительным вариантом изобретения, свойство является мерой уровня сигнала.
Это может обеспечивать особенно выгодное определение позиции во многих вариантах осуществления.
Мера уровня сигнала может быть абсолютной или относительной мерой уровня сигнала.
В соответствии с предпочтительным вариантом изобретения, устройство дополнительно содержит: средство разделения, которое выполнено с возможностью разделять сигнал первого канала из первого канала на множество временно-частотных интервалов; средство оценки корреляции для генерирования меры корреляции для сигнала первого канала из первого канала и сигнала второго канала из второго канала для каждого временно-частотного интервала из множества временно-частотных интервалов; причем первый генератор сигналов выполнен с возможностью генерирования первого коррелированного сигнала путем, для каждого временно-частотного интервала, взвешивания значения сигнала для сигнала первого канала для временно-частотного интервала посредством веса, который является монотонно возрастающей функцией от меры корреляции для временно-частотного интервала.
Это может обеспечивать особенно выгодный подход для генерирования коррелированного сигнала. В частности, это может обеспечивать эффективное разделение компонентов звука, которые высоко коррелированны между каналами, и компонентов звука, которые не высоко коррелированны.
В соответствии с предпочтительным вариантом изобретения, второй генератор сигналов выполнен с возможностью генерирования первого некоррелированного сигнала путем, для каждого временно-частотного интервала, взвешивания значения сигнала для сигнала первого канала для временно-частотного интервала посредством веса, который является монотонно убывающей функцией от меры корреляции для временно-частотного интервала.
Это может обеспечивать особенно выгодный подход для генерирования первого некоррелированного сигнала. В частности, это может обеспечивать эффективное разделение звуковых компонентов, которые высоко коррелированны между каналами, и звуковых компонентов, которые не высоко коррелированны.
Согласно одному аспекту изобретения, обеспечен способ определения позиции микрофона, причем способ содержит: прием многоканального сигнала, содержащего по меньшей мере первый канал для воспроизведения первым динамиком в первой позиции и второй канал для воспроизведения вторым динамиком во второй позиции; генерирование первого коррелированного сигнала из многоканального сигнала, причем первый коррелированный сигнал содержит коррелированные компоненты сигнала для первого канала и второго канала; генерирование первого некоррелированного сигнала из многоканального сигнала, причем первый некоррелированный сигнал содержит компоненты сигнала первого канала, не коррелированные с компонентами сигнала второго канала; прием сигнала микрофона от микрофона; определение первого корреляционного сигнала из корреляции сигнала микрофона и первого коррелированного сигнала; определение второго корреляционного сигнала из корреляции сигнала микрофона и первого некоррелированного сигнала; и оценку позиции микрофона в ответ на первый корреляционный сигнал и второй корреляционный сигнал.
Эти и другие аспекты, признаки и преимущества изобретения будут очевидны из и освещены со ссылками на вариант(ы) осуществления, описанные далее.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления изобретения будут описаны исключительно в качестве примера со ссылками на чертежи, на которых
фиг.1 изображает иллюстрацию системы воспроизведения звука в соответствии с некоторыми вариантами осуществления изобретения;
фиг.2 изображает иллюстрацию блока оценки позиции для системы воспроизведения звука в соответствии с некоторыми вариантами осуществления изобретения;
фиг.3 изображает пример взаимно-корреляционного сигнала, который может быть вычислен блоком оценки позиции с фиг.2;
фиг.4 изображает примеры взаимно-корреляционных сигналов, которые могут быть вычислены блоком оценки позиции с фиг.2;
фиг.5 изображает пример вероятностной карты позиции; и
фиг.6 изображает пример элементов средства разложения сигнала блока оценки позиции с фиг.2.
ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Следующее описание фокусируется на вариантах осуществления изобретения, применимых к системе для определения позиций микрофона для использования в калибровке системы воспроизведения пространственного аудио. Однако следует понимать, что изобретение не ограничивается этим применением и может применяться к множеству других приложений.
Следующее описание будет фокусироваться на компоновке воспроизведения звука, изображенной на фиг.1. В примере компоновка воспроизведения звука содержит первый и второй громкоговорители 101, 103. В конкретном примере первый и второй динамики 101, 103 являются динамиками стереосистемы воспроизведения и также будут называться левым и правым динамиком соответственно.
В конкретном примере система является двухканальной (стерео) системой воспроизведения. Однако следует понимать, что в других вариантах осуществления система может быть многоканальной системой, содержащей более двух каналов. Конкретным образом, первый и второй динамики 101, 103 могут быть двумя динамиками системы объемного звучания, содержащей, например, 5 или 7 пространственных динамиков, таких как передние правый и левый динамики.
Первый и второй динамики 101, 103 объединены со средством 105 воспроизведения звука, которое выполнено с возможностью генерирования задающих сигналов для динамиков 101, 103. Система воспроизведения может, например, быть использована для проигрывания музыки, обеспечения звуковой дорожки, например, для телевидения, фильма и т.д. В некоторых вариантах осуществления система воспроизведения может быть системой объемного звучания, содержащей больше чем первый и второй динамики 101, 103. Например, система воспроизведения может обеспечивать впечатление полного объемного звука 5.1 или 7.1 с использованием первого и второго динамиков 101, 103 для двух пространственных каналов и, в частности, для переднего левого и правого каналов.
Для того чтобы оптимизировать воспроизведение звука, желательно откалибровать/приспособить систему к конкретным характеристикам воспроизведения. Во многих сценариях желательно определить конкретные позиции, такие как позиции динамиков или позиции зоны слушания. В некоторых системах такие позиции могут быть определены с использованием микрофона. Таким образом, микрофон может быть размещен в позиции, которая желательно должна быть известна. Например, микрофон может быть размещен в типичной позиции слушания или может быть совмещен с динамиком (таким как задний динамик объемного звучания). Позиция микрофона может затем быть определена, например, по отношению к позиции конкретного динамика, и определенная позиция может быть использована в калибровке системы воспроизведения.
В системе с фиг.1 средство 105 воспроизведения звука содержит микрофонный вход, к которому может быть подключен внешний микрофон 107. На основе принятого сигнала микрофона средство 105 воспроизведения звука имеет возможность определения позиции микрофона 107 по отношению к первому и второму динамикам 101, 103. Определенная позиция микрофона затем может быть использована в качестве позиции, например, другого динамика или позиции слушания. Например, пользователь может сначала размещать микрофон 107 в позиции заднего динамика (обозначенного как позиция A на фиг.1). Позиция затем может быть определена и использована в качестве позиции для заднего динамика. Пользователь затем может перемещать микрофон к позиции слушания (обозначенной как позиция B на фиг.2), и позиция может быть определена и использована в качестве позиции слушателя. В других вариантах осуществления множество микрофонов и входов может быть использовано. Например, микрофоны могут быть постоянно размещены в предпочтительной позиции слушания (которая может изменяться) и интегрированы с задними динамиками. Средство 105 воспроизведения звука затем может непрерывно и одновременно определять текущие позиции для задних динамиков и слушателя и может динамически обновлять воспроизведение в ответ.
Большинство систем воспроизведения, которые содержат функциональные возможности для определения позиции микрофона, например для калибровки системы, задействуют конкретные испытательные сигналы, которые воспроизводятся посредством динамиков системы. Микрофон затем обнаруживает эти испытательные сигналы, и соответствующий захваченный сигнал используется для определения позиции. Однако это неоптимальное решение, поскольку оно предотвращает определение, которое должно быть выполнено в течение обычной операции.
Система с фиг.1 выполнена с возможностью определения позиции микрофона 107, но не требует специализированных испытательных сигналов. Вместо этого она обеспечивает возможность определения позиции микрофона в течение обычной операции воспроизведения. Определение позиции выполняется с использованием обычного воспроизводимого звука, такого как, например, музыка или звуковая дорожка фильма. Подход может не только обеспечивать уменьшенное неудобство пользователю, поскольку необходимость конкретных процедур калибровки/испытания может избегаться, но может также обеспечивать возможность улучшенной и непрерывной подстройки системы в течение операции.
Средство 105 воспроизведения звука с фиг.1 конкретным образом содержит блок оценки позиции, который выполнен с возможностью оценивать позицию микрофона 107 (или позиции микрофонов в вариантах осуществления и сценариях, где множество микрофонов используется одновременно). Блок оценки позиции выполнен с возможностью определения позиции на основе захваченных звуковых сигналов от громкоговорителей, и конкретным образом он может определять позицию на основе, например, музыки или звуковых дорожек и без необходимости в каком-либо конкретном предварительном знании конкретных характеристик воспроизводимого звука.
Оценка позиции основана на генерировании коррелированного компонента сигнала и некоррелированного компонента сигнала для сигналов первого и второго динамиков 101, 103. Эти сигналы затем сравниваются с захваченным звуком посредством микрофона, и результат используется для определения позиции микрофона.
Коррелированный компонент сигнала соответствует компонентам сигнала, которые являются общими для двух каналов/динамиков 101, 103, в то время как некоррелированные компоненты сигнала соответствуют компонентам сигнала, которые не являются общими для двух каналов/динамиков 101, 103.
Блок оценки позиции выполнен с возможностью корреляции принятого сигнала микрофона с по меньшей мере одним коррелированным сигналом и по меньшей мере одним некоррелированным сигналом и оценки позиции микрофона 107 на основе этих по меньшей мере двух корреляций. Подход, таким образом, задействует корреляции с по меньшей мере двумя различными сигналами, которые находятся из звуковых сигналов, которые воспроизводятся. Две корреляции обеспечивают различные преимущества, которые могут комбинироваться в определении позиции. Конкретным образом, корреляция на основе общих/коррелированных компонентов сигнала воспроизводимого звука имеет тенденцию часто иметь высокую энергию отношения сигнала к шуму, благодаря чему обеспечивается возможность точной оценки. Однако, поскольку корреляция основана на общих компонентах сигнала, проведение различия и разделение между звуком от двух каналов/первого и второго динамиков 101, 103 не так легко достижимо, т.е. может не быть возможным определение доли от каждого из двух динамиков 101, 103. В отличие от этого, корреляция с некоррелированным сигналом(-ами) обеспечит отдельные характеристики для одного из динамиков 101, 103, но часто может иметь уменьшенное отношение сигнала к шуму, что приводит к уменьшенной точности. Путем комбинирования различных подходов, оценка позиции микрофона часто может обеспечивать преимущества каждой из корреляций и во многих вариантах осуществления может приводить к улучшенной точности и надежности оцененной позиции. Например, корреляция на основе некоррелированного компонента сигнала может быть использована для разрешения неясности между двумя динамиками 101, 103 в корреляции на основе коррелированного сигнала.
Подход может, например, основываться на том принципе, что стерео-аудиосигнал может быть разложен на сигналы, соответствующие компонентам сигнала, которые коррелированны и не коррелированны между входными стереосигналами. Кроме того, коррелированные и некоррелированные компоненты сигнала могут быть использованы в двух различных алгоритмах определения местоположения, и результаты двух способов могут быть объединены для поиска местоположения для микрофона на основе воспроизведения из общего стерео-аудиосигнала.
Фиг.2 изображает пример элементов блока оценки позиции, который в конкретном примере входит в состав средства аудиовоспроизведения с фиг.1.
Блок оценки позиции содержит микрофонный приемник 201 или вход, который выполнен с возможностью приема сигнала микрофона от микрофона 107. В некоторых вариантах осуществления микрофонный приемник 201 может быть выполнен с возможностью приема множества сигналов микрофона одновременно. Следующее описание будет фокусироваться на определении оценки позиции для одного микрофона на основе сигнала микрофона от этого микрофона. Однако следует понимать, что в других вариантах осуществления описанная обработка может, например, выполняться одновременно для множества сигналов микрофона для определения оценок позиции для множества микрофонов.
Блок оценки позиции дополнительно содержит приемник 203 многоканального сигнала, который принимает многоканальный сигнал. Многоканальный сигнал включает в себя первый канал (сигнал), который предназначен для воспроизведения первым динамиком 101, который располагается в первой позиции. Многоканальный сигнал также включает в себя второй канал (сигнал), который предназначен для воспроизведения вторым динамиком 103, который располагается во второй позиции.
Многоканальный сигнал может в некоторых вариантах осуществления включать в себя другие каналы, такие как каналы для задних динамиков объемного звучания и т.д. Следующее описание фокусируется на определении оценки позиции для микрофона 107 на основе первого и второго каналов, соответствующих передним левому и правому (или стандартным стерео-) каналам, но следует понимать, что в других вариантах осуществления большее количество или другие каналы могут рассматриваться. Например, для пятиканальной системы объемного звучания описанный подход может быть использован для некоторых или всех возможных пар каналов/динамиков. Одна оценка позиции может в некоторых таких вариантах осуществления быть определена путем комбинирования отдельных оценок позиции, определенных для различных пар динамиков, например путем процесса усреднения.
В примере средство 105 воспроизведения звука генерирует задающие сигналы для первого и второго динамиков 101, 103 и обеспечивает их приемнику 203 многоканального сигнала. Следует понимать, что сигналы, соответствующие первому и второму каналам и, таким образом, первому и второму динамикам 101, 103, могут быть обеспечены откуда угодно в путях сигнала и могут, например, быть фильтрованными или иным образом модифицированными представлениями воспроизводимого звука от двух динамиков 101, 103. Сигналы первого и второго канала будут для удобности называться входным стереосигналом, где отдельные сигналы называются левым входным сигналом (соответствующим сигналу для первого динамика 101) и правый входным сигналом (соответствующим сигналу для второго динамика 103).
Приемник 203 многоканального сигнала объединяется со средством 205 разложения, которое выполнено с возможностью генерирования по меньшей мере одного сигнала, который содержит коррелированные компоненты сигнала первого канала и второго канала (т. е. он содержит коррелированные компоненты сигнала для левого и правого входных сигналов), и по меньшей мере одного сигнала, который содержит некоррелированные компоненты сигнала первого канала и второго канала (т.е. он содержит некоррелированные компоненты сигнала для левого и правого входных сигналов). Сигнал(ы), содержащий коррелированные компоненты сигнала, называется(-ются) коррелированным сигналом(-ами), и сигнал(ы), содержащий некоррелированные компоненты сигнала, называется(-ются) некоррелированным сигналом(-ами).
В конкретном примере средство 205 разложения содержит первый генератор 207 сигналов, который генерирует коррелированный сигнал, который содержит общие компоненты сигнала для левого и правого входных сигналов. Средство 205 разложения дополнительно содержит второй генератор 209 сигналов, который генерирует первый некоррелированный сигнал, соответствующий компонентам сигнала левого входного сигнала, которые не являются общими с компонентами сигнала правого входного сигнала. Первый некоррелированный сигнал называется левым некоррелированным сигналом. В примере средство 205 разложения также содержит третий генератор 211 сигналов, который генерирует второй некоррелированный сигнал, соответствующий компонентам сигнала правого входного сигнала, которые не являются общими с компонентами сигнала левого входного сигнала. Второй некоррелированный сигнал называется правым некоррелированным сигналом.
l
r
l
r
Входной стереосигнал может быть обозначен как x(n), x(n) и в примере разлагается на коррелированный сигнал c(n) и левый и правый некоррелированные сигналы u(n), u(n), где
и функции взаимной корреляции для достаточно долгого окна наблюдения имеют вид:
В простом варианте осуществления разложение может выполняться путем сегментации сигнала во времени на коррелированные и некоррелированные части. Когда в коротком окне наблюдения два сигнала имеют низкий (нормализованный) коэффициент взаимной корреляции (например, ниже 0,6), сигнал отделяется в качестве некоррелированного сигнала. Когда нормализованная взаимная корреляция между двумя сигналами выше некоторого предварительно определенного порога (например, 0,9), стереосигнал сегментируется в качестве коррелированного сигнала. В этом случае разложение исходного стереосигнала состоит из чередования некоррелированных и коррелированных и умеренно коррелированных сегментов (между 0,6 и 0,9), которые опускаются. Пороговые значения являются лишь примерами.
В некоторых вариантах осуществления разложение может быть таким, чтобы сумма коррелированного сигнала и некоррелированного сигнала для одного канала была идентична входному сигналу для этого канала, т.е.
.
Однако в других вариантах осуществления уравнения могут выполняться только приблизительно. Таким образом, в некоторых вариантах осуществления:
,
r
где e(n), e(n) могут считаться погрешностями или отклонениями разложения, например, в примере выше эти сигналы представляли бы умеренно коррелированные сегменты. Обычно погрешности или отклонения разложения будут относительно малы, скажем, со средней мощностью, не превосходящей 10% от средней мощности соответствующего входного сигнала.
Первый генератор 207 объединяется с первым средством 213 корреляции, которое принимает некоррелированный сигнал. Первое средство 213 корреляции дополнительно объединяется с микрофонным приемником 201, от которого оно принимает сигнал микрофона. Первое средство 213 корреляции выполнено с возможностью генерирования первого корреляционного сигнала в ответ на корреляцию между некоррелированным сигналом и сигналом микрофона. Корреляционный сигнал может конкретным образом быть дан в виде взаимно-корреляционной функции:
,
где T является подходящим расчетным параметром и указывает на интервал времени, в который корреляционный сигнал определяется, и m(t) является сигналом микрофона.
Во многих вариантах осуществления цифровые представления сигналов могут быть использованы, и, соответственно, дискретная по времени взаимная корреляция может быть использована:
,
где M является подходящим расчетным параметром и указывает на интервал времени, в который корреляционный сигнал определяется.
Первый корреляционный сигнал может, таким образом, быть сигналом, который для некоторого заданного значения времени указывает на то, насколько подобны сигнал микрофона и первый коррелированный сигнал, где относительный сдвиг по времени соответствует заданному значению времени.
Первый корреляционный сигнал, таким образом, отражает (взаимную) корреляцию между сигналом микрофона и общим звуком, который воспроизводится из обоих динамиков 101, 103. Первый корреляционный сигнал может рассматриваться как импульсный отклик функции акустического переноса от динамиков 103, 105 к микрофону. Поскольку первый коррелированный сигнал соответствует общим компонентам сигнала, т.е. звуку, воспроизводимому от обоих динамиков 101, 103, первый корреляционный сигнал может конкретным образом считаться соответствующим суммированию функций акустического переноса от, соответственно, первого динамика 101 и второго динамика 103.
Функция акустического переноса, представляющая распространение звука от динамика к микрофону, отражает пути, по которым звук может достичь микрофона. Конкретным образом, функция акустического переноса обычно формируется компонентом прямого пути, компонентом ранних отражений и компонентом реверберации или рассеяния. Компонент прямого пути соответствует звуку, который распространяется непосредственно от громкоговорителя к микрофону без каких-либо отражений. Компонент ранних отражений соответствует изначально отраженным звукам, которые поступают на микрофон через, обычно, не более чем несколько отражений. Часть реверберации или рассеяния соответствует звуку, который достигает микрофона через относительно высокое количество отражений так, что отдельные доли могут уже быть неразличимы.
Функция акустического переноса соответственно содержит информацию, которая относится к геометрической установке и которая конкретным образом зависит от позиции микрофона относительно динамика. Действительно, постоянная составляющая соответствует прямому распространению, и время распространения для постоянной составляющей соответственно определяет время распространения по самому короткому пути между динамиком и микрофоном. Время распространения для постоянной составляющей, таким образом, соответствует расстоянию между микрофоном и динамиком. Поскольку скорость звука известна относительно точно, расстояние может быть определено непосредственно из знания о задержке распространения.
Таким образом, определенный корреляционный сигнал содержит информацию, относящуюся к распространению звука от динамиков 101, 103 до микрофона 107, и, соответственно, информацию, относящуюся к расстоянию от динамиков 101, 103 до микрофона 107.
Однако, поскольку первый коррелированный сигнал содержит компоненты сигнала, которые воспроизводятся из обоих динамиков 101, 103, информация, относящаяся к каждому из двух динамиков 101, 103, комбинируется, и может быть невозможно провести различие между ними. Например, даже если расстояния до обоих динамиков 101, 103 оцениваются из первого корреляционного сигнала, неизвестно, к какому из динамиков какое из расстояний относится. Таким образом, не существует возможности провести различие между позициями, которые симметричны относительно плоскости равного расстояния до громкоговорителей 101, 103.
Фиг.3 изображает пример взаимной корреляции между коррелированным сигналом и сигналом микрофона, генерируемой первым средством 213 корреляции, где микрофон 107 находится в позиции, соответствующей позиции A с фиг.1. Как иллюстрируется, взаимная корреляция содержит два главных интервала активности. Один из них соответствует звуку от первого динамика 101 и другой соответствует звуку от второго динамика 103. Таким образом, одна секция соответствует импульсному отклику функции акустического переноса от первого динамика 101 к микрофону 107, и другая секция соответствует импульсному отклику функции акустического переноса от второго динамика 103 к микрофону 107. Однако невозможно определить из взаимно-корреляционного сигнала, какому динамику какая из секций соответствует. Также следует заметить, что каждая секция обеспечивает указание импульсного отклика, т.е. эффект пути прямого сигнала, ранние отражения и реверберации. Временная характеристика пути прямого сигнала может быть определена из временной характеристики начала обнаруженного импульсного отклика(-ов).
Ввиду неопределенности того, какой из импульсных откликов какой динамик вызывает, существует характерная неясность информации позиции, которая может быть найдена из взаимно-корреляционного сигнала с фиг.3. Кроме того, в примере с фиг.3 доли от различных импульсных откликов разделены по времени и легки для проведения различия. Однако для позиций, более близких к равноудаленным от двух динамиков 101, 103, импульсные отклики будет накладываться друг на друга, и может быть по существу более сложно и, возможно, невозможно разделить отдельные доли. Кроме того, хотя аудио обычно будет иметь сильные коррелированные компоненты для различных пространственных каналов (в особенности для стереосигналов или передних каналов объемной системы), это не всегда может быть именно так. Действительно, для некоторого аудио сигналы могут быть сильно декоррелированы, что в результате приводит к низким уровням коррелированного сигнала и, таким образом, к относительно низкому отношению сигнала к шуму генерируемого взаимно-корреляционного сигнала.
Таким образом, хотя генерируемый взаимно-корреляционный сигнал может иметь свойства, которые зависят от позиции микрофона 107 по отношению к динамикам 101, 103, информацию в некоторых сценариях может быть трудно использовать в определении позиции микрофона 107.
В примере с фиг.2 блок оценки позиции дополнительно содержит второе средство 215 корреляции, объединенное со вторым генератором 209. Второе средство 215 корреляции принимает первый (или левый) некоррелированный сигнал от второго генератора 209, т.е. оно принимает некоррелированный сигнал, содержащий компоненты сигнала левого входного сигнала, которые не являются общими с компонентами сигнала правого входного сигнала. Второе средство 215 корреляции затем переходит к генерированию второго корреляционного сигнала, также называемого левым корреляционным сигналом, в виде взаимной корреляции между сигналом микрофона и левым некоррелированным сигналом. Второе средство 215 корреляции может выполнять ту же самую операцию, что и у первого средства 213 корреляции, за исключением того, что оно использует левый некоррелированный сигнал, а не коррелированный сигнал, для корреляции с сигналом микрофона.
Таким образом, в частности, второе средство 215 корреляции может генерировать сигнал:
или вариант дискретной по времени взаимной корреляции:
.
Таким образом, второе средство 215 корреляции генерирует второй взаимно-корреляционный сигнал. Однако этот взаимно-корреляционный сигнал основан на звуке, который воспроизводится только от левого динамика 101, и, таким образом, отражает только функцию акустического переноса от левого динамика 101 к микрофону 107.
В примере с фиг.2 блок оценки позиции дополнительно содержит третье средство 217 корреляции, объединенное с третьим генератором 211. Третье средство 217 корреляции принимает второй (или правый) некоррелированный сигнал от третьего генератора 211, т.е. оно принимает некоррелированный сигнал, содержащий компоненты сигнала правого входного сигнала, которые не являются общими с компонентами сигнала левого входного сигнала. Третье средство 217 корреляции затем переходит к генерированию третьего корреляционного сигнала, также называемого правым корреляционным сигналом, в виде взаимной корреляции между сигналом микрофона и правым некоррелированным сигналом. Третье средство 217 корреляции может выполнять ту же самую операцию, что и у первого средства 213 корреляции и второго средства 217 корреляции за исключением того, что оно использует правый некоррелированный сигнал, а не коррелированный сигнал или левый некоррелированный сигнал, для корреляции с сигналом микрофона.
Таким образом, в частности, третье средство 217 корреляции может генерировать сигнал:
или в варианте дискретной по времени взаимной корреляции:
.
Таким образом, третье средство 217 корреляции генерирует третий взаимно-корреляционный сигнал. Однако этот взаимно-корреляционный сигнал основан на звуке, который воспроизводится только от правого динамика 103, и, таким образом, отражает только функцию акустического переноса от правого динамика 103 к микрофону 107.
Фиг.4 изображает примеры второго корреляционного сигнала (обозначенного LA) и третьих корреляционных сигналов (обозначенных LB) для примера, где микрофон 107 находится в позиции, соответствующей позиции A с фиг.1.
Как иллюстрируется, каждый корреляционный сигнал содержит только одну область с существенной амплитудой. Это происходит ввиду того, что каждый из этих корреляционных сигналов определяется на основе звука, который преимущественно воспроизводится только от одного из первого и второго динамиков 101, 103. Таким образом, каждый корреляционный сигнал будет соответствовать импульсному отклику только одной из функций акустического переноса, т.е. функции акустического переноса либо от первого динамика 101 к микрофону 107, либо от второго динамика 103 к микрофону 107.
Однако, как также изображено на фиг.4, некоррелированные звуки обычно имеют более низкие уровни мощности, чем коррелированные звуки, и, соответственно, отношения сигнала к шуму соответствующих корреляционных сигналов имеют тенденцию быть ниже, чем для коррелированного сигнала. Таким образом, определение позиции микрофона на основе только второго и третьего корреляционных сигналов будет иметь тенденцию часто быть менее точным и надежным, чем желательно.
В блоке оценки позиции с фиг.2 первое средство 213 корреляции, второе средство 215 корреляции и третье средство 217 корреляции все соединены со средством 219 оценки позиции, которому подается три корреляционных сигнала. Средство 219 оценки позиции выполнено с возможностью оценить позицию микрофона 107 в ответ на первый корреляционный сигнал, второй корреляционный сигнал и, опционально, третий корреляционный сигнал.
В системе с фиг.2 позиция микрофона 107, таким образом, оценивается не просто на основе одной из корреляций, а на основе обеих корреляций сигнала микрофона с коррелированным сигналом и с по меньшей мере одним из некоррелированных сигналов, и часто с обоими.
Корреляционные сигналы содержат информацию о том, когда звук от различных динамиков 101, 103 принимается на микрофоне 107, и, таким образом, обеспечивают информацию о том, насколько далеко находится микрофон от различных динамиков 101, 103. Информация может быть использована различными способами в различных вариантах осуществления для определения оценки позиции.
Например, средство 219 оценки позиции может определять оценки времени поступления (или, что эквивалентно, задержки распространения) для звука от динамиков 101, 103 к микрофону и затем может определять позиции из этих оценок.
В качестве конкретного примера, на основе первого корреляционного сигнала средство 219 оценки позиции может определять оценку первого и второго времени поступления. Например, как изображено на фиг.2, первый корреляционный сигнал может соответствовать комбинированным импульсным откликам для функции акустического переноса от динамиков 101, 103 к микрофону 107. Временная характеристика первого прямого пути и, таким образом, первый компонент сигнала каждого импульсного отклика обеспечивает прямую меру расстояния от подходящего динамика 101, 103 до микрофона 107.
Средство 219 оценки позиции может определять оценки времени поступления в ответ на обнаружение пика, которое применяется к первому корреляционному сигналу. Это обнаружение пика может обнаруживать два локальных максимума в первом корреляционном сигнале. Часто может быть предположен прямой путь для обеспечения сильнейшего компонента сигнала, и может быть предположено, таким образом, что локальный максимум соответствует прямому пути. Таким образом, обнаружение пика может обнаруживать сдвиги по времени τ, для которых корреляция является наивысшей в некотором заданном интервале времени. Этот сдвиг по времени непосредственно обеспечивает меру задержки распространения от динамика 101, 103 к микрофону. С использованием скорости звука расстояние может соответственно быть вычислено. Если расстояния до динамиков 101, 103 известны, позиция для микрофона 107 может быть определена. Действительно, позиция может быть непосредственно дана как расстояние до динамиков 101, 103. Следует понимать, что определение оценки времени поступления, задержка распространения или время пути могут считаться эквивалентными.
На основе только первого корреляционного сигнала два расстояния могут быть определены, но не может быть определено, какое расстояние относится к первому динамику 101 и какое относится ко второму динамику 103. Соответственно, рассмотрение на основе первого корреляционного сигнала может только определить микрофон 107 как одну из позиций, данных этими расстояниями, и, конкретным образом, не может провести различия между двумя позициями, которые симметричны относительно линии/плоскости равного удаления от динамиков 101, 103, поскольку они будут иметь одни и те же два расстояния до динамиков (но до различных динамиков).
Однако эта неясность может быть разрешена путем рассмотрения одного (или обоих) из второго корреляционного сигнала и третьего корреляционного сигнала. Например, обнаружение пика может выполняться на втором (левом) корреляционном сигнале для обнаружения максимума внутри некоторого заданного интервала времени, который включает в себя оба момента времени обнаруженных пиков в первом корреляционном сигнале. Временная характеристика пика затем сравнивается с моментами времени пиков в первом корреляционном сигнале. Средство 219 оценки позиции может затем назначить обнаружения пиков первого корреляционного сигнала левому динамику 101 и правому динамику 103 соответственно на основе временной характеристики пика во втором корреляционном сигнале. Конкретным образом, пик первого корреляционного сигнала, ближайший к пику второго корреляционного сигнала, может быть назначен первому (левому) динамику 101, и другой пик - второму (правому) динамику.
Следует понимать, что в некоторых вариантах осуществления назначение пиков первого корреляционного сигнала соответственным из динамиков 101, 103 может основываться на обоих из второго корреляционного сигнала и третьего корреляционного сигнала. Например, меры расстояния могут быть определены для временных характеристик каждого из пиков первого корреляционного сигнала до каждого из пиков второго корреляционного сигнала и третьего корреляционного сигнала. Оценка комбинированного расстояния для каждого назначения пиков первого корреляционного сигнала до соответствующих пиков второго корреляционного сигнала и третьего корреляционного сигнала может затем быть определена, и назначение, дающее в результате самую низкую общую меру расстояния, может быть выбрано.
Также следует понимать, что оценки времени поступления/задержки распространения/времени пути не обязательно основываются на обнаружениях пика. Например, в некоторых вариантах осуществления временные характеристики могут быть определены для первого компонента сигнала, превосходящего, например, некоторый заданный порог (который может быть зависимым от сигнала). Такой подход может, например, обеспечивать возможность обнаружения компонента прямого пути, даже если он не является сильнейшим компонентом сигнала (например, если отражение сильнее ввиду акустического затухания на прямом пути).
Таким образом, в некоторых вариантах осуществления оценка позиции может основываться на различиях времени поступления для двух звуков от первого динамика 101 и второго динамика 103 или на абсолютных временах времени пути для звука, распространяющегося от динамиков 101, 103 к микрофону 107. Последний вариант может конкретным образом быть использован, если система синхронизирована по времени. Для простоты следующее описание фокусируется на синхронизированном случае, когда относительное время проигрывания и захвата известно.
Конкретный подход оценивает время пути путем определения взаимно-корреляционной функции между сигналом проигрывания от динамиков 101, 103 и сигналом захвата, т.е. сигналом микрофона. Он затем определяет позицию времени, соответствующую наибольшему значению взаимно-корреляционной функции.
Различные алгоритмы для оценки разницы времени между двумя сигналами могут быть использованы. Например, методики на основе вычисления различных типов нормализованных или обобщенных коэффициентов взаимной корреляции на основе того, что представления временной или частотной области сигналов известны. В качестве другого примера описания методик адаптивной фильтрации, таких как адаптивные фильтры нормализованной минимальной среднеквадратичной ошибки или временной области, известны и могут обеспечивать указания времени различий между сигналами.
1
2
1
2
Далее родовой оператор TD[s(n),s(n)] может быть использован для представления временной разницы между любыми двумя сигналами s(n) и s(n). Захваченный сигнал микрофона обозначен как m(n). С учетом того, что микрофон 107 находится в позиции A на фиг.2, длины пути LA и RA могут быть получены посредством левого и правого некоррелированных сигналов так, что
,
s
s
где p=c/f, и c - скорость звука в воздухе, и f - частота сэмплирования цифровых аудиоданных в системе.
В примере акустический импульсный отклик от громкоговорителей 101, 103 к микрофону 107 генерируются конкретной взаимной корреляцией, соответствующей импульсным откликам с фиг.4. Отклики содержат относительно высокую степень шума, поскольку принятый сигнал микрофона содержит сигналы от обоих громкоговорителей, т.е. аудио, воспроизводимое от первого динамика 101, будет вносить шум во взаимную корреляцию для второго динамика 103 и наоборот. Однако пик, соответствующий прямым путям LA и RA, может быть четко идентифицирован в откликах. TD-операция может конкретным образом обеспечивать задержку времени, соответствующую позиции максимального пика в импульсном отклике.
Местоположение микрофона A в плоскости перед громкоговорителями L и R может быть непосредственно определено из двух мер расстояния LA и RA с использованием тригонометрии и со знанием расстояния между двумя громкоговорителями 101, 103 (которое мы предположили известным или оцененным с использованием акустических или других измерений).
Подход использования только двух некоррелированных сигналов может обеспечивать приемлемые результаты для некоторых аудиосигналов, где аудио, воспроизводимое от двух динамиков 101, 103, по существу декоррелировано. Однако, поскольку количество общего и коррелированного аудио увеличивается, определенные импульсные отклики становятся все более зашумленными для заданной энергии сигнала. Соответственно, система может использовать информацию, обеспеченную путем рассмотрения первого корреляционного сигнала, т.е. корреляцию с коррелированными компонентами сигнала для двух динамиков 101, 103. Хотя этот сигнал соответствует комбинации импульсных откликов, он может обеспечивать гораздо менее зашумленный сигнал (как изображено на фиг.3) и может соответственно обеспечивать возможность по существу более точного определения временных характеристик и, таким образом, оценок времени поступления (или, что эквивалентно, времени пути). Таким образом, средство 219 оценки позиции может переходить к определению также двух оценок времени поступления из первого корреляционного сигнала.
Различные оценки времени поступления могут затем быть скомбинированы. Например, объединение в пары между оценками времени поступления первого корреляционного сигнала и оценками времени поступления второго корреляционного сигнала и третьего корреляционного сигнала может выполняться, например простое объединение в пары оценок времени, ближайших друг к другу. Для каждой пары оценок времени комбинированная оценка времени может быть вычислена, например, посредством (возможно, взвешенного) усреднения оценок времени пары. Две получающихся в результате оценки времени тогда соответствуют оценкам времени пути от каждого из динамиков 101, 103 до микрофона 107 и, соответственно, расстояниям, и, таким образом, позиция микрофона 107 может быть определена.
Обнаружение компонентов прямого пути (конкретным образом, обнаружение пика) для одного корреляционного сигнала может основываться на характеристиках одного из других корреляционных сигналов. Конкретным образом, обнаружение пика в первом корреляционном сигнале может зависеть от второго корреляционного сигнала или третьего корреляционного сигнала.
Например, обнаружение пика может сначала выполняться на втором корреляционном сигнале, что приводит к оцененному моменту времени для пика/прямого пути. В идеальном сценарии временная характеристика прямого пути для первого динамика 101 должна происходить в тот же самый момент времени для первого корреляционного сигнала. Однако ввиду шума могут быть некоторые отклонения. Однако оценка времени, определенная из второго корреляционного сигнала, может быть использована в качестве ориентира для обнаружения пика первого корреляционного сигнала. Например, обнаружение пика для первого корреляционного сигнала может выполняться внутри некоторого заданного окна времени с центром на временной характеристике пика во втором корреляционном сигнале.
В других вариантах осуществления более сложные подходы могут, например, быть использованы, и действительно оценка позиции может генерироваться как более сложная оценка, такая как, например, распределение вероятностей или карта, представляющая вероятность того, что микрофон 107 находится в различных позициях.
Конкретным образом, в некоторых вариантах осуществления средство 219 оценки позиции может быть выполнено с возможностью определения вероятности того, что позиция микрофона 107 находится в некоторой заданной области, на основе первого корреляционного сигнала и второго корреляционного сигнала, а также обычно третьего корреляционного сигнала.
Вероятность может быть определена путем рассмотрения корреляционных сигналов в интервалах времени, которые соответствуют области. Например, одна или несколько задержек распространения от первого динамика 101 до области может быть вычислена с предположением прямого пути. Например, минимальное и максимальное расстояние от первого динамика 101 может быть определено, и соответствующая минимальная задержка распространения и максимальная задержка распространения могут быть определены. Интервал для первого корреляционного сигнала и второго корреляционного сигнала, соответствующий возможным задержкам распространения (т.е. интервал может быть от минимальной задержки распространения до максимальной задержки распространения и может быть вычислен), может, таким образом, быть определен.
Свойство первого корреляционного сигнала затем может рассматриваться в этом интервале. Например, свойством может быть временная характеристика пика, и вероятность может быть определена в зависимости от того, оказывается ли обнаруженная позиция пика внутри интервала. В качестве другого примера, рассматриваемым свойством может быть максимальный уровень сигнала первого корреляционного сигнала внутри интервала. Если микрофон 107 находится внутри заданного интервала, вероятно, что максимальный уровень сигнала внутри интервала выше, чем вне интервала времени, т.е. вероятно, что он выше для этой области, чем для других областей. В качестве другого примера, накопленный или средний уровень сигнала в интервале может быть определен (или, что эквивалентно, энергия сигнала в интервале времени может быть определена). Вероятно, что уровень сигнала выше, если микрофон 107 располагается внутри области, чем если наоборот.
Те же самые свойства могут быть оценены для второго корреляционного сигнала и третьего корреляционного сигнала.
Интервалы времени для области могут быть определены для обоих из первого и второго динамиков 101, 103. Для первого корреляционного сигнала сигнал оценивается в обоих интервалах времени, для второго корреляционного сигнала сигнал оценивается в интервале времени для первого динамика 101, и для третьего корреляционного сигнала сигнал оценивается в интервале времени для второго динамика 103.
Получающиеся в результате значения затем могут быть скомбинированы. В качестве примера низкой сложности, указание вероятности для области (т.е. значение, указывающее вероятность того, что микрофон 107 находится внутри области) может быть определено просто для отражения того, сколько из вычисленных оценок времени поступления находится в пределах определенных интервалов времени. Таким образом, если все вычисленные оценки времени поступления находятся в пределах соответствующих интервалов времени для области, существует высокая вероятность того, что микрофон 107 располагается внутри области.
В более улучшенных вариантах осуществления средство 219 оценки позиции может, например, комбинировать значения для каждого из интервалов времени и сигналов. Например, максимальные уровни сигнала первого корреляционного сигнала в двух интервалах времени, а также максимальные уровни сигнала первого корреляционного сигнала и второго корреляционного сигнала в подходящих интервалах времени могут складываться друг с другом для генерирования значения, которое указывает на вероятность того, что позиция микрофона 107 находится внутри области. Следует понимать, что нормализация в отношении, например, энергий сигнала и/или значений, определенных для других областей, может выполняться во многих вариантах осуществления.
Подход может повторяться для других областей. Конкретным образом, зона (или пространство) может быть разделена на области, и подход может выполняться для каждой области, благодаря чему выстраивается карта вероятностей того, что позиция микрофона 107 находится в каждой отдельной области. Оценка позиции может быть обеспечена в форме этой карты, или дополнительная обработка может выполняться для определения единой оценки позиции для микрофона 107, например, путем выбора центральной точки области, которая дает наивысшую вероятность.
В качестве конкретного примера фиг.5 изображает пример карты зоны перед двумя громкоговорителями 101, 103. Зона перед громкоговорителями 101, 103 разбивается на сетку. В конкретном примере выполняется разбиение на сетку 40×40 из ячеек, которые являются позициями в плоскости. Например, каждая сота может быть 20 см × 20 см в реальном мире.
Каждая (x,y)-сота ассоциирована с вероятностью L(x,y), которая представляет вероятность того, что микрофон 107 находится в соте/области. Указания, определенные из различных корреляционных сигналов, накапливаются и используются для модификации переменной вероятности соты L(x,y). Например:
1
2
3
4
где I - максимальное значение сигнала первого корреляционного сигнала в первом интервале времени для соты/области (x,y), I - максимальное значение сигнала первого корреляционного сигнала во втором интервале времени, I - максимальное значение сигнала второго корреляционного сигнала в первом интервале времени, I - максимальное значение сигнала третьего корреляционного сигнала во втором интервале времени, g - расчетный параметр (например, g=0,9), и каждое из значений для I нормализовано в интервале [0; 0,25].
Фиг.5 изображает возможный результат после некоторого времени проигрывания стереозвука (где более темный цвет указывает более высокую вероятность). Максимальная вероятность найдена в и около позиции (13, 14) (темный цвет), что указывает на то, что это позиция микрофона. Также существует некоторая увеличенная вероятность в позиции (31, 14), возникающая ввиду неясностей для первого корреляционного сигнала. Однако комбинация с информацией для второго корреляционного сигнала и третьего корреляционного сигнала явным образом дает в результате наивысшую (самую темную) вероятность для позиции (13, 14). Позиция микрофона 107 может просто быть определена путем поиска ячейки, которая имеет наивысшую вероятность, L(x,y).
Способ на основе карты, описанный выше, может также задействовать дополнительную информацию о среде. В некоторых вариантах осуществления возможно, что план этажа, включающий в себя позиции стен и, возможно, мебель, может быть использован для управления оценкой местоположения. Также возможно использовать историю использования системы для наделения большим весом местоположений, которые были найдены в прошлом.
Как упомянуто выше, различные подходы для генерирования коррелированного сигнала и некоррелированного сигнала(-ов) могут быть использованы в различных вариантах осуществления. Далее конкретный пример будет описан.
В примере средство 205 разложения выполнено с возможностью генерирования коррелированного и некоррелированного сигналов на основе оценки корреляции входных стереоканалов. Конкретным образом, мера корреляции, которая указывает на корреляцию между входными стереоканалами, используется средством 205 разложения для синтезирования коррелированного и некоррелированного сигналов. Пример элементов такого средства 205 разложения изображается на фиг.6. Следующий пример опишет, как коррелированный и некоррелированный сигнал генерируется из первого (левого) входного сигнала.
Средство 205 разложения с фиг.6 содержит приемник 601, который принимает входной стереосигнал. Средство 205 разложения дополнительно содержит средство 603 оценки корреляции, которое выполнено с возможностью генерирования меры корреляции для входного стереосигнала. Приемник 601 и средство 603 оценки корреляции объединены с повышающим микшером 605, которому подается первый (левый) входной сигнал от приемника 601 и который переходит к повышающему микшированию этого сигнала для генерирования двух соответствующих сигналов, а именно коррелированного и некоррелированного сигнала.
В примере с фиг.6 средство 603 оценки корреляции выполнено с возможностью генерирования меры корреляции путем выполнения прямой корреляции. Мера корреляции может содержать конкретное значение корреляции для каждого из множества временно-частотных интервалов, также называемых временно-частотными ячейками. Действительно, повышающее микширование первого входного сигнала может выполняться во временно-частотных ячейках, и мера корреляции может обеспечивать значение корреляции для каждой временно-частотной ячейки.
В некоторых вариантах осуществления разрешение меры корреляции может быть ниже, чем у временно-частотных ячеек повышающего микширования. Например, значение корреляции может быть обеспечено для каждой из некоторого количества полос значимости восприятия, например для каждой из некоторого количества ERB-полос. Каждая полоса значимости восприятия может покрывать множество временно-частотных ячеек.
Мера корреляции может быть подана повышающему микшеру 605, который может переходить к определению коэффициентов усиления для, соответственно, коррелированного и некоррелированного сигнала. Конкретным образом, входной сигнал может быть сегментирован и конвертирован в частотную область. Для каждого значения в частотной области (значение элемента дискретизации FFT) во временном сегменте (т.е. для каждой временно-частотной ячейки) повышающий микшер 605 может генерировать значение коррелированного сигнала путем его умножения на коэффициент усиления, найденный из значения корреляции для соответствующей временно-частотной ячейки. Коэффициент усиления может увеличиваться для увеличения корреляции. В результате генерируется сигнал частотной области, который содержит высокое взвешивание коррелированных компонентов входного сигнала.
Подобным образом, для каждого значения частотной области (значения элемента дискретизации FFT) во временном сегменте (т.е. для каждой временно-частотной ячейки) повышающий микшер 605 может генерировать значение некоррелированного сигнала путем его умножения на коэффициент усиления, найденный из значения корреляции для соответствующей временно-частотной ячейки. Коэффициент усиления может уменьшаться для увеличения корреляции. В результате генерируется сигнал частотной области, который содержит низкое взвешивание коррелированных компонентов входного сигнала и, соответственно, высокое взвешивание некоррелированных компонентов сигнала.
Два генерируемых частотных сигнала могут затем быть преобразованы обратно во временную область для обеспечения коррелированного и некоррелированного сигналов, или могут быть обеспечены в частотной области для дополнительной обработки в частотной области.
Повышающий микшер 605 может конкретным образом определять коэффициенты усиления для точного или приблизительного поддержания общего уровня энергии сигналов (конкретным образом, сумма, или сумма квадратов, коэффициентов усиления может быть установлена равной единице). Повышающий микшер 605 может, кроме того, быть выполнен с возможностью обеспечения сглаживания в частотной области коэффициентов усиления, что может улучшить воспринимаемое качество звука.
Более подробно, первый входной сигнал может быть дан вектором кратковременного входного сигнала
или спектральным вектором, полученным с использованием дискретного преобразования Фурье:
,
где F - матрица базисных функций Фурье, и функция окна w является диагональной матрицей из, например, коэффициентов функции окна Хеннинга на диагонали и нулей в остальных местах.
В конкретном примере оба из левого и правого входных сигналов микшируются с повышением и, таким образом, повышающее микширование применяется к стереосигналу
.
Повышающее микширование такого стереосигнала вектора в M-канальный сигнал вектора:
может выполняться отдельно для каждого компонента преобразования. Для ω-го частотного компонента сигнал вектора дается следующим образом
,
где G(n,ω) - матричная операция.
Матрица фильтра может в конкретном примере быть записана в следующей форме:
Эта матрица не микширует левый и правый каналы (нули в матрице).
Коэффициенты усиления матрицы определяются из меры корреляции.
11
31
Кроме того, веса для коррелированных сигналов (т.е. g и g) определяются как монотонно возрастающие функции от меры корреляции (и конкретным образом от значения корреляции в этой временно-частотной ячейке). Таким образом, выделение энергии сигнала конкретной временно-частотной ячейки в коррелированный сигнал тем сильнее увеличивается, чем более коррелированны два пространственных канала. Следует понимать, что коэффициенты усиления могут также зависеть от других параметров и обстоятельств, но что взаимосвязь со значением корреляции будет монотонно возрастающей.
22
42
Веса для некоррелированных сигналов (т.е. g и g) определяются как монотонно убывающие функции от меры корреляции (и, в частности, от значения корреляции в этой временно-частотной ячейке). Таким образом, выделение энергии сигнала конкретной временно-частотной ячейки в фоновый сигнал тем меньше увеличивается, чем более коррелированны два пространственных канала, т.е. чем больше оно соответствует рассеянному звуку. Следует понимать, что коэффициенты усиления могут также зависеть от других параметров и обстоятельств, но что взаимосвязь со значением корреляции будет монотонно убывающей.
Таким образом, средство 205 разложения раскладывает входные стереосигналы на компоненты сигнала, которые коррелированны, и компоненты сигнала, которые не коррелированны.
Средство 603 оценки корреляции определяет значения корреляции, которые в конкретном примере находятся между двумя входными стереосигналами. Для последовательности данных двух входов коэффициент корреляции может быть определен следующим образом:
где <...> обозначает вычисление ожидаемого значения скалярного произведения двух наборов данных над переменной n. Когда значение коэффициента корреляции C приближается к единице, можно считать, что содержимое когерентно в двух каналах.
Мощность сигнала и произведение двух входных каналов могут быть получены в каждом элементе дискретизации частоты следующим образом:
,
где * обозначает комплексную сопряженность. С учетом этих мгновенных величин фильтрация направления времени может применяться, например, с использованием интегрирующей функции первого порядка с параметром настройки λ1, в результате чего получается оценка подвижного окна, имеющая следующий вид:
.
Значение корреляции для каждой временно-частотной ячейки может затем быть определено следующим образом:
.
Усреднение может применяться к генерируемым мерам корреляции. Например, процесс усреднения в направлении частоты может улучшить качество аудио существенно во многих сценариях.
Действительно, в системе с фиг.6 средство 603 оценки корреляции выполнено с возможностью определения значения корреляции для некоторого заданного временно-частотного интервала в ответ на (взвешенное) частотное усреднение значений корреляции множества временно-частотных интервалов. Таким образом, может выполняться спектральное сглаживание.
Соответственно, значения корреляции могут быть определены следующим образом:
где S[.] указывает подходящую функцию частотного сглаживания. Например, может применяться треугольная или квадратная функция сглаживания. В качестве примера низкой сложности, функция сглаживания S может попросту определять среднюю величину не сглаженного значения корреляции для текущей временно-частотной ячейки и N окружающих (в частотной области) не сглаженных значений корреляции.
Отдельные коэффициенты усиления
могут затем, например, быть определены следующим образом:
.
В некоторых вариантах осуществления другие параметры или характеристики могут приниматься в расчет при определении коэффициентов усиления. Конкретным образом, в системе с фиг.6, средство 603 оценки корреляции может опционально определять коэффициент усиления в ответ на оценку разницы энергии для каналов.
l
r
l
r
l
r
В конкретном примере коррелированный сигнал и некоррелированный сигнал генерируется для каждого из входных стереосигналов. Таким образом, в некоторых вариантах осуществления входной стереосигнал x(n), x(n) может быть разложен на пару новых стереосигналов c(n), c(n) и u(n), u(n). В таких примерах, где функции взаимной корреляции удовлетворяют следующему в течение достаточно долгих интервалов:
.
Больше подробностей в конкретном подходе разложения может быть найдено в PCT/IB2013/050331.
В некоторых вариантах осуществления средство 219 оценки позиции может взвешивать первый корреляционный сигнал по отношению ко второму и третьему корреляционным сигналам при определении позиции. Таким образом, значимость или влияние на определение позиции со стороны соответственных коррелированных компонентов сигнала и некоррелированных компонентов сигнала может динамически регулироваться.
В некоторых вариантах осуществления взвешивание может быть простым взвешиванием выбора. Например, если воспроизводимое аудио имеет высокую концентрацию коррелированных компонентов сигнала и низкую концентрацию некоррелированных компонентов сигнала, средство 219 оценки позиции может попросту выбрать определение позиций на основе первого корреляционного сигнала. Например, в этом случае оценки времени поступления могут быть определены как соответствующие пикам в первом корреляционном сигнале. Эти временные характеристики могут быть использованы непосредственно и не могут быть модифицированы на основе второго корреляционного сигнала или третьего корреляционного сигнала. Однако результаты от второго корреляционного сигнала и/или третьего корреляционного сигнала могут быть использованы для назначения двух оценок соответственным динамикам.
В противном случае, если воспроизводимый звук преимущественно содержит некоррелированные компоненты сигнала, средство 219 оценки позиции может вместо этого определять позицию на основе свойств второго корреляционного сигнала и третьего корреляционного сигнала. Например, оценки времени поступления, определенные из второго корреляционного сигнала и третьего корреляционного сигнала, могут быть использованы непосредственно, и оценка времени поступления, определенная из первого корреляционного сигнала, может игнорироваться.
Во многих вариантах осуществления более постепенное взвешивание применяется. Например, если указание вероятности позиции определяется для области на основе максимального значения сигнала корреляционных сигналов в различных интервалах времени, соответствующих области, определенные значения сигнала могут быть скомбинированы во взвешенном суммировании, где веса регулируются динамически. Например, когда существует высокая концентрация коррелированного звука, максимальные значения первого корреляционного сигнала взвешиваются высоко, в то время как, если существует высокая концентрация некоррелированного звука, максимальные значения второго корреляционного сигнала и третьего корреляционного сигнала взвешиваются высоко.
В качестве другого примера оценка времени поступления от первого динамика 101 к микрофону 107 в некоторых вариантах осуществления определяется как из обнаружения пика первого корреляционного сигнала, так и из обнаружения пика второго корреляционного сигнала. Получающиеся в результате две оценки времени поступления могут усредняться во взвешенном суммировании, где вес для каждой оценки времени поступления может применяться.
Применение взвешивания может во многих вариантах осуществления быть определено на основе уровня мощности первого корреляционного сигнала по отношению к уровню мощности второго корреляционного сигнала. Действительно, если большая часть воспроизводимого звука коррелированна, уровень мощности первого корреляционного сигнала будет выше, чем у второго корреляционного сигнала, в то время как если большая часть воспроизводимого звука не коррелированна, сигнал мощности второго корреляционного сигнала или третьего корреляционного сигнала будет выше, чем у первого корреляционного сигнала.
В качестве альтернативы или дополнения приспособление взвешивания может основываться на уровне мощности коррелированного сигнала по отношению к уровню мощности некоррелированного сигнала. Таким образом, взвешивание может непосредственно зависеть от относительных уровней мощности сигналов, генерируемых средством 205 разложения из входных сигналов. Эти сигналы непосредственно обеспечивают оценку звука, который воспроизводится как коррелированный и некоррелированный звук соответственно. Кроме того, они не зависят от акустического или измерительного шума, что может в некоторых сценариях обеспечивать возможность улучшенного взвешивания.
Следует понимать, что в других вариантах осуществления другие свойства могут быть использованы для приспособления взвешивания. Например, отношение сигнала к шуму корреляционных сигналов может быть определено и использовано для приспособления относительного взвешивания различных корреляционных сигналов в определении позиции.
Следует понимать, что в вышеприведенном описании для ясности описаны варианты осуществления изобретения со ссылками на различные функциональные цепи, блоки и процессоры. Однако будет очевидно, что любое подходящее распределение функциональных возможностей между различными функциональными цепями, блоками или процессорами может быть использовано без приуменьшения изобретения. Например, иллюстрируемые функциональные возможности, которые должны выполняться отдельными процессорами или средствами управления, могут выполняться одним и тем же процессором или средством управления. Таким образом, ссылки на конкретные функциональные блоки или цепи должны рассматриваться только как ссылки на подходящее средство для обеспечения описанных функциональных возможностей, а не указание на строгую логическую или физическую структуру или организацию.
Изобретение может осуществляться в любой подходящей форме, включающей в себя аппаратные средства, программные средства, программно-аппаратные средства или любую их комбинацию. Изобретение может опционально осуществляться по меньшей мере частично в качестве компьютерных программных средств, запущенных на одном или нескольких процессорах данных и/или процессорах цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически осуществлены любым подходящим образом. Действительно, функциональные возможности могут осуществляться в единственном блоке, во множестве блоков или в составе других функциональных блоков. Таким образом, изобретение может осуществляться в единственном блоке или может быть физически и функционально распределено между различными блоками, цепями и процессорами.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не подразумевается как ограниченное конкретной формой, изложенной здесь. В действительности, объем настоящего изобретения ограничен только сопроводительной формулой изобретения. Дополнительно, хотя некоторый признак может возникать как описанный в связи с конкретными вариантами осуществления, специалисту в данной области техники будет понятно, что различные признаки описанных вариантов осуществления могут комбинироваться в соответствии с изобретением. В формуле изобретения термин "содержащий" не исключает наличия других элементов или этапов.
Кроме того, несмотря на перечисление по отдельности, множество средств, элементов, цепей или этапов способа может осуществляться посредством, например, одной цепи, блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут, возможно, выгодным образом комбинироваться, и включение в различные пункты формулы не подразумевает того, что комбинация признаков невозможна и/или не имеет преимуществ. Также включение признака в одну категорию пунктов формулы не подразумевает ограничения этой категорией, а скорее указывает, что признак равным образом применим к другим категориям пунктов, если это уместно. Кроме того, порядок признаков в формуле изобретения не подразумевает какого-либо конкретного порядка, в котором признаки должны задействоваться, и, в частности, порядок отдельных этапов в пункте формулы способов не подразумевает того, что этапы должны выполняться в этом порядке. В действительности, этапы могут выполняться в любом подходящем порядке. Дополнительно, ссылки в форме единственного числа не исключают множества. Таким образом, ссылки на "некоторый", "один", "первый", "второй" и т.д. не исключают возможности множества. Позиционные обозначения в формуле изобретения обеспечены лишь в качестве проясняющего примера и не должны толковаться как ограничивающие объем формулы изобретения каким-либо образом.