АДАПТИВНОЕ ГЕНЕРИРОВАНИЕ РАССЕЯННОГО СИГНАЛА В ПОВЫШАЮЩЕМ МИКШЕРЕ
ADAPTIVE GENERATION OF SCATTERED SIGNAL IN UPMIXER

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/886554, поданной 3 октября 2013 г., и предварительной заявки на патент США №61/907890, поданной 22 ноября 2013 г., каждая из которых посредством ссылки полностью включена в данное описание.
ОБЛАСТЬ ТЕХНИКИ
[0002] Настоящее изобретение относится к обработке аудиоданных. В частности, данное изобретение относится к обработке аудиоданных, которые включают как рассеянные, так и направленные звуковые сигналы, в процессе повышающего микширования.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
[0003] Процесс, известный как повышающее микширование, включает получение некоторого количества M каналов звукового сигнала из меньшего количества N каналов звукового сигнала. Некоторые устройства обработки звукового сигнала, выполненные с возможностью повышающего микширования (которые могут упоминаться в данном документе как «повышающие микшеры»), могут, например, иметь возможность выводить 3, 5, 7, 9 или более звуковых каналов из 2 входных звуковых каналов. Некоторые повышающие микшеры могут быть выполнены с возможностью анализа фазы и амплитуды двух каналов входного сигнала для определения способности звукового поля, которое они представляют, к передаче слушателю впечатлений о направленности. Одним из примеров устройства повышающего микширования является декодер Dolby Pro Logic II, который описан в Gundry, “A New Active Matrix Decoder for Surround Sound” (19th AES Conference, May 2001).
[0004] Входные звуковые сигналы могут включать рассеянные и/или направленные аудиоданные. В отношении направленных аудиоданных повышающий микшер должен быть выполнен с возможностью генерирования выходных сигналов для нескольких каналов с целью обеспечения слушателю ощущения одного или более звуковых компонентов, имеющих явные местоположения и/или направления. Некоторые звуковые сигналы, такие как те, которые соответствуют выстрелам, может характеризоваться очень высокой направленностью. Рассеянные звуковые сигналы, такие как те, которые соответствуют ветру, дождю, окружающем шуму и т. д., могут иметь незначительную или неявную направленность. При обработке аудиоданных, которые также включают рассеянные звуковые сигналы, слушатель должен быть обеспечен восприятием объемлющего рассеянного звукового поля, соответствующего рассеянным звуковым сигналам.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0001] Предложены усовершенствованные способы обработки рассеянных звуковых сигналов. Некоторые реализации включают способ получения M рассеянных звуковых сигналов из N звуковых сигналов для представления рассеянного звукового поля, где М больше N и больше 2. Каждый из N звуковых сигналов может соответствовать пространственному местоположению.
[0002] Способ может включать прием N звуковых сигналов, получение рассеянных частей N звуковых сигналов и обнаружение случаев переходных состояний звукового сигнала. Способ может включать обработку рассеянных частей N звуковых сигналов с целью получения M рассеянных звуковых сигналов. В случаях переходных состояний звукового сигнала обработка может включать распределение рассеянных частей N звуковых сигналов в большей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно ближе к пространственным местоположениям N звуковых сигналов, и в меньшей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно дальше от пространственных местоположений N звуковых сигналов.
[0003] Способ может включать обнаружение случаев непереходных состояний звукового сигнала. В случаях непереходных состояний звукового сигнала обработка может включать распределение рассеянных частей N звуковых сигналов по M рассеянным звуковым сигналам по существу равномерным образом.
[0004] Обработка может включать применение матрицы микширования к рассеянным частям N звуковых сигналов для получения M рассеянных звуковых сигналов. Матрица микширования может быть переменной распределительной матрицей. Переменная распределительная матрица может быть получена из непереходной матрицы, более подходящей для применения в непереходных состояниях звукового сигнала, и из переходной матрицы, более подходящей для применения в переходных состояниях звукового сигнала. В некоторых реализациях переходная матрица может быть получена из непереходной матрицы. Каждый элемент переходной матрицы может представлять собой масштабирование соответствующего элемента непереходной матрицы. В некоторых случаях масштабирование может быть функцией отношения между местоположением входного канала и местоположением выходного канала.
[0005] Способ может включать определение значения переходного управляющего сигнала. В некоторых реализациях переменная распределительная матрица может быть получена путем интерполяции между переходной матрицей и непереходной матрицей по меньшей мере частично на основании значения переходного управляющего сигнала. Значение переходного управляющего сигнала может быть переменным по времени. В некоторых реализациях значение переходного управляющего сигнала может непрерывно изменяться от минимального значения до максимального значения. В альтернативном варианте значение переходного управляющего сигнала может изменяться в диапазоне дискретных значений от минимального значения до максимального значения.
[0006] В некоторых реализациях определение переменной распределительной матрицы может включать вычисление переменной распределительной матрицы в соответствии со значением переходного управляющего сигнала. Однако определение переменной распределительной матрицы может включать извлечение сохраненной переменной распределительной матрицы из запоминающего устройства.
[0007] Способ может включать получение значения переходного управляющего сигнала в ответ на N звуковых сигналов. Способ может включать преобразование каждого из N звуковых сигналов в B полос частот и осуществления получения, обнаружения и обработки отдельно каждой из B полос частот. Способ может включать панорамирование нерассеянных частей N звуковых сигналов с целью формирования M нерассеянных звуковых сигналов и объединение M рассеянных звуковых сигналов с M нерассеянными звуковыми сигналами с целью формирования M выходных звуковых сигналов.
[0008] В некоторых реализациях способ может включать получение K промежуточных сигналов из рассеянных частей N звуковых сигналов, где К больше или равно единице и меньше или равно M-N. Каждый промежуточный звуковой сигнал может быть подвергнут психоакустической декорреляции с рассеянными частями N звуковых сигналов. Если К больше единицы, каждый промежуточный звуковой сигнал может быть подвергнут психоакустической декорреляции со всеми другими промежуточными звуковыми сигналами. В некоторых реализациях получение K промежуточных сигналов может включать процесс декорреляции, который может включать одно или более из задержек, фазовых фильтров, фильтров псевдослучайной последовательности или алгоритмов реверберации. М рассеянных звуковых сигналов могут быть получены в ответ на K промежуточных сигналов, а также N рассеянных сигналов.
[0009] Некоторые особенности настоящего изобретения могут быть реализованы в устройстве, которое содержит интерфейсную систему и логическую систему. Логическая система может содержать один или более процессоров, таких как одно- или многокристальные процессоры общего назначения, процессоры цифровой обработки сигналов (DSP), специализированные интегральные схемы (ASIC), программируемые пользователем вентильные матрицы (FPGA) или другие программируемые логические устройства, схему на дискретных компонентах или транзисторную логическую схему, компоненты дискретного аппаратного обеспечения и/или их комбинации. Интерфейсная система может содержать по меньшей мере одно из следующего: интерфейс пользователя или сетевой интерфейс. Устройство может содержать систему памяти. Интерфейсная система может содержать по меньшей мере один интерфейс между логической системой и системой памяти.
[0010] Логическая система может быть выполнена с возможностью приема с помощью интерфейсной системы N входных звуковых сигналов. Каждый из N звуковых сигналов может соответствовать пространственному местоположению. Логическая система может быть выполнена с возможностью получения рассеянных частей N звуковых сигналов и обнаружения случаев переходных состояний звукового сигнала. Логическая система может быть выполнена с возможностью обработки рассеянных частей N звуковых сигналов с целью получения M рассеянных звуковых сигналов, где М больше N и больше 2. В случаях переходных состояний звукового сигнала обработка может включать распределение рассеянных частей N звуковых сигналов в большей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно ближе к пространственным местоположениям N звуковых сигналов, и в меньшей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно дальше от пространственных местоположений N звуковых сигналов.
[0011] Логическая система может быть выполнена с возможностью обнаружения случаев непереходных состояний звукового сигнала. В случаях непереходных состояний звукового сигнала обработка может включать распределение рассеянных частей N звуковых сигналов по M рассеянным звуковым сигналам по существу равномерным образом.
[0012] Обработка может включать применение матрицы микширования к рассеянным частям N звуковых сигналов для получения M рассеянных звуковых сигналов. Матрица микширования может быть переменной распределительной матрицей. Переменная распределительная матрица может быть получена из непереходной матрицы, более подходящей для применения в непереходных состояниях звукового сигнала, и из переходной матрицы, более подходящей для применения в переходных состояниях звукового сигнала. В некоторых реализациях переходная матрица может быть получена из непереходной матрицы. Каждый элемент переходной матрицы может представлять собой масштабирование соответствующего элемента непереходной матрицы. В некоторых примерах масштабирование может быть функцией отношения между местоположением входного канала и местоположением выходного канала.
[0013] Логическая система может быть выполнена с возможностью определения значения переходного управляющего сигнала. В некоторых примерах переменная распределительная матрица может быть получена путем интерполяции между переходной матрицей и непереходной матрицы по меньшей мере частично на основании значения переходного управляющего сигнала.
[0014] В некоторых реализациях логическая система может быть выполнена с возможностью преобразования каждого из N звуковых сигналов в B полос частот. Логическая система может быть выполнена с возможностью осуществления получения, обнаружения и обработки отдельно каждой из B полос частот.
[0015] Логическая система может быть выполнена с возможностью панорамирования нерассеянных частей N входных звуковых сигналов с целью формирования M нерассеянных звуковых сигналов Логическая система может быть выполнена с возможностью объединения M рассеянных звуковых сигналов с M нерассеянными звуковыми сигналами с целью формирования M выходных звуковых сигналов.
[0016] Способы, раскрытые в данном описании, могут быть реализованы с помощью аппаратного обеспечения, программно-аппаратного обеспечения, программного обеспечения, хранящихся на одном или более из постоянных носителей данных, и/или их комбинаций. Подробности одной или более реализаций предмета изобретения, описываемого в данном описании, изложены в сопроводительных графических материалах и в приведенном ниже описании. Другие характерные признаки, особенности и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут быть приведены не в масштабе.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[0017] На фиг. 1 показан пример повышающего микширования.
[0018] На фиг. 2 показан пример системы обработки звукового сигнала.
[0019] На фиг. 3 приведена блок-схема, на которой показаны блоки способа обработки звукового сигнала, которые могут осуществляться системой обработки звукового сигнала.
[0020] На фиг. 4А приведена блок-схема, на которой приводится еще один пример системы обработки звукового сигнала.
[0021] На фиг. 4B приведена блок-схема, на которой приводится еще один пример системы обработки звукового сигнала.
[0022] На фиг. 5 показаны примеры коэффициентов масштабирования для реализации с использованием стереофонического входного сигнала и пятиканального выходного сигнала.
[0023] На фиг. 6 приведена блок-схема, которая показывает дополнительные сведения о процессоре рассеянных сигналов в соответствии с одним из примеров.
[0024] На фиг. 7 приведена блок-схема устройства, выполненного с возможностью генерирования множества М промежуточных выходных сигналов из N промежуточных входных сигналов.
[0025] На фиг. 8 приведена блок-схема, которая показывает пример декорреляции выбранных промежуточных сигналов.
[0026] На фиг. 9 приведена блок-схема, на которой показан пример компонентов декоррелятора.
[0027] На фиг. 10 приведена блок-схема, на которой показан альтернативный пример компонентов декоррелятора.
[0028] На фиг. 11 приведена блок-схема, которая содержит примеры компонентов устройства обработки звукового сигнала.
[0029] Подобные ссылочные позиции и обозначения на разных графических материалах указывают подобные элементы.
ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0030] Нижеследующее описание направлено на некоторые реализации в целях описания некоторых изобретательских особенностей данного раскрытия, а также примеров областей применения, в которых могут применяться эти изобретательские особенности. Однако описанные идеи данного раскрытия могут применяться и другими различными способами. Например, несмотря на то, что различные реализации описаны в отношении конкретных сред воспроизведения, идеи в данном документе широко применимы к другим известным средам воспроизведения, а также к средам воспроизведения, которые могут быть представлены в будущем. Кроме того, описанные реализации могут быть реализованы по меньшей мере частично в различных устройствах и системах, таких как системы аппаратного обеспечения, программного обеспечения, программно-аппаратного обеспечения и системы, основанные на использовании облачных вычислений и т. д. Соответственно, идеи в данном описании не подразумеваются ограниченными реализациями, показанными на фигурах и/или описанными в данном документе, но вместо этого имеют широкую применимость.
i
i
[0031] На фиг. 1 показан пример повышающего микширования. В различных примерах, описанных в настоящем документе, система 10 обработки звукового сигнала выполнена с возможностью обеспечения функциональных возможностей повышающего микшера и может также называться в данном документе как повышающий микшер. В данном примере система 10 обработки звукового сигнала выполнена с возможностью получения звуковых сигналов для пяти выходных каналов, обозначаемых как левый (L), правый (R), центральный (C), левый окружающий (LS) и правый окружающий (RS), посредством повышающего микширования звуковых сигналов для двух входных каналов, которыми в данном примере являются левый входной (L) и правый входной (R) каналы. Некоторые повышающие микшеры могут выводить разные количества каналов, например, 3, 7, 9 или более выходных каналов, из 2-х или другого количества входных каналов, например, из 3, 5 или более входных каналов.
[0032] Входные звуковые сигналы, как правило, будут включать как рассеянные, так и направленные аудиоданные. В отношении направленных аудиоданных система 10 обработки звукового сигнала должна быть выполнена с возможностью генерирования направленных выходных сигналов, которые обеспечивают слушателя 105 ощущением одного или более звуковых компонентов, имеющих явные местоположения и/или направления. Например, система 10 обработки звукового сигнала может быть выполнена с возможностью применения алгоритма панорамирования, чтобы создать кажущийся источник звука или кажущееся направление между двумя громкоговорителями 110 путем воспроизведения одного и того же звукового сигнала через каждый из громкоговорителей 110.
[0033] В отношении рассеянных аудиоданных система 10 обработки звукового сигнала должна быть выполнена с возможностью генерирования рассеянных звуковых сигналов, которые обеспечивают слушателя 105 ощущением объемлющего рассеянного звукового поля, в котором звук кажется исходящим из многих (если не из всех) направлений вокруг слушателя 105. Высококачественное рассеянное звуковое поле, как правило, не может создаваться путем воспроизведения одного и того же звукового сигнала через ряд громкоговорителей 110, расположенных вокруг слушателя. Результирующее звуковое поле, как правило, имеет амплитуды, которые значительно отличаются в разных местоположениях прослушивания, часто изменяющиеся на большие величины при очень небольших изменениях местоположения слушателя 105. Некоторые положения в пределах области прослушивания могут казаться лишенными звука для одного уха, но не для второго. Результирующее звуковое поле может казаться искусственным. Таким образом, некоторые повышающие микшеры могут декоррелировать рассеянные части выходных сигналов с целью создания впечатления, что рассеянные части звуковых сигналов равномерно распределены вокруг слушателя 105. Тем не менее, было обнаружено, что во время «переходных» или «ударных» моментов входного звукового сигнала результат распространения рассеянных сигналов равномерно по всем выходным каналам может восприниматься «размазанным» или «с недостаточным ударом» в исходном переходном состоянии. Это может быть особенно проблематично, когда несколько выходных каналов пространственно удалены от исходных входных каналов. Так обстоит дело, например, с окружающими сигналами, полученными из стандартного стереофонического входного сигнала.
[0034] Для решения вышеописанных проблем, некоторые реализации, раскрытые в данном документе, предлагают повышающий микшер, выполненный с возможностью отделения рассеянных и нерассеянных или «направленных» частей N входных звуковых сигналов. Повышающий микшер может быть выполнен с возможностью обнаружения случаев переходных состояний звукового сигнала. В случаях переходных состояний звукового сигнала повышающий микшер может быть выполнен с возможностью добавления сигнально-адаптивного управления к процессу расширения рассеянного сигнала, при котором выводятся M звуковых сигналов. В данном раскрытии принимается, что число N больше или равно единице, число М больше или равно трем, и число М больше числа N.
[0035] Согласно некоторым таким реализациям повышающий микшер может изменять процесс расширения рассеянного сигнала с течением времени таким образом, что в случаях переходных состояний звукового сигнала рассеянные части звуковых сигналов могут распределяться главным образом только по выходным каналам, пространственно близким ко входным каналам. В случаях непереходных состояний звукового сигнала рассеянные части звуковых сигналов могут распределяться по существу равномерным образом. При таком подходе рассеянные части звуковых сигналов остаются в пространственной близости от исходных звуковых сигналов в случаях переходных состояний звукового сигнала с целью поддержания воздействия переходных состояний. В случаях непереходных состояний звукового сигнала рассеянные части звуковых сигналов могут распределяться по существу равномерным образом с целью максимального увеличения эффекта окружения.
[0036] На фиг. 2 показан пример системы обработки звукового сигнала. В данной реализации система 10 обработки звукового сигнала содержит интерфейсную систему 205, логическую систему 210 и систему 215 памяти. Интерфейсная система 205 может, например, содержать один или более сетевых интерфейсов, интерфейсы пользователя и т. д. интерфейсная система 205 может содержать один или более интерфейсов универсальной последовательной шины (USB) или подобные интерфейсы. Интерфейсная система 205 может содержать беспроводные или проводные интерфейсы.
[0037] Логическая система 210 может содержать один или более процессоров, таких как одно- или многокристальные процессоры общего назначения, процессоры цифровой обработки сигналов (DSP), специализированные интегральные схемы (ASIC), программируемые пользователем вентильные матрицы (FPGA) или другие программируемые логические устройства, схему на дискретных компонентах или транзисторную логическую схему, компоненты дискретного аппаратного обеспечения и/или их комбинации.
[0038] Система 215 памяти может содержать один или более постоянных носителей данных, таких как оперативное запоминающее устройство (RAM) и/или постоянное запоминающее устройство (ROM). Система 215 памяти может содержать один или более других подходящих типов постоянных носителей данных, таких как флеш-память, один или нескольких накопителей на жестком магнитном диске и т. д. В некоторых реализациях интерфейсная система 205 может содержать по меньшей мере один интерфейс между логической системой 210 и системой 215 памяти.
[0039] Система 10 обработки звукового сигнала может быть выполнена с возможностью осуществления одного или более различных способов, описанных в настоящем документе. На фиг. 3 приведена блок-схема, на которой показаны блоки способа обработки звукового сигнала, которые могут осуществляться системой обработки звукового сигнала. Таким образом, способ 300, который показан на фиг. 3, также будет описан со ссылкой на систему 10 обработки звукового сигнала, приведенную на фиг. 2. Как и для других способов, описываемых в настоящем описании, операции способа 300 необязательно выполняются в порядке, показанном на фиг. 3. Кроме того, способ 300 (и другие способы, представленные в настоящем документе) может включать большее или меньшее количество блоков, чем показано или описано.
[0040] В этом примере блок 305, приведенный на фиг. 3, включает прием N входных звуковых сигналов. Каждый из N звуковых сигналов может соответствовать пространственному местоположению. Например, для некоторых реализаций, в которых N=2, пространственные местоположения могут соответствовать предполагаемым местоположениям левого и правого входных звуковых каналов. В некоторых реализациях логическая система 210 может быть выполнена с возможностью приема через интерфейсную систему 205 N входных звуковых сигналов.
[0041] В некоторых реализациях блоки способа 300 могут быть выполнены для каждой из ряда полос частот. Соответственно, в некоторых реализациях блок 305 может включать прием аудиоданных, соответствующих N входным звуковым сигналам, которые были разложены на ряд полос частот. В альтернативных реализациях блок 305 может включать процесс разложения входных аудиоданных на ряд полос частот. Например, этот процесс может включать некоторый тип блока фильтров, например, оконное преобразование Фурье (STFT) или блок квадратурных зеркальных фильтров (QMF).
[0042] В данной реализации блок 310 на фиг. 3 включает получение рассеянных частей N входных звуковых сигналов. Например, логическая система 210 может быть выполнена с возможностью отделения рассеянных частей от нерассеянных частей N входных звуковых сигналов. Ниже представлены некоторые примеры этого процесса. В любой заданный момент времени количество звуковых сигналов, соответствующее рассеянным частям N входных звуковых сигналов, может быть равно N, меньше N или больше N.
[0043] Логическая система 210 может быть выполнена с возможностью по меньшей мере частичной декорреляции звуковых сигналов. Численная корреляция двух сигналов может быть вычислена с использованием множества известных численных алгоритмов. Эти алгоритмы обеспечивают получение критерия численной корреляции, называемого коэффициентом корреляции, который варьирует от минус единицы до плюс единицы. Коэффициент корреляции, модуль которого равен или близок к единице, указывает на то, что два сигнала тесно связаны. Коэффициент корреляции с модулем, равным или близким к нулю, указывает на то, что два сигнала в целом независимы друг от друга.
[0044] Психоакустическая корреляция относится к корреляционным свойствам звуковых сигналов, которые существуют в пределах частотных поддиапазонов, имеющих так называемую критическую ширину полосы частот. Разрешающая способность по частоте слуховой системы человека изменяется с частотой по всему звуковому спектру. Человеческое ухо может различать спектральные составляющие, более близкие друг к другу по частоте, при менее высоких частотах ниже, приблизительно, 500 Гц, но не настолько близкие друг к другу по мере увеличения частоты до пределов слышимости. Ширина данного разрешения по частоте называется критической шириной полосы частот, которая изменяется с частотой.
[0045] Два звуковых сигнала называются подвергнутыми психоакустической декорреляции относительно друг друга, если средний коэффициент численной корреляции в пределах психоакустической критической ширины полосы частот равен или близок к нулю. Психоакустическая декорреляция достигается тогда, когда коэффициент численной корреляции между двумя сигналами равен или близок к нулю при всех частотах. Также психоакустическая декорреляция может достигаться даже тогда, когда коэффициент численной корреляции между двумя сигналами не равен или не близок к нулю при всех частотах, если численная корреляция варьирует таким образом, что ее среднее в пределах каждой психоакустической критической полосы частот было меньше половины максимального коэффициента корреляции для любой частоты в пределах этой критической полосы. Соответственно, психоакустическая декорреляция является менее строгой, чем численная декорреляция в том смысле, что два сигнала могут считаться подвергнутыми психоакустической декорреляции даже тогда, когда они в некоторой степени обладают численной корреляцией друг с другом.
[0046] Логическая система 210 может быть выполнена с возможностью получения K промежуточных сигналов из рассеянных частей N звуковых сигналов таким образом, что каждый из K промежуточных звуковых сигналов является подвергнутым психоакустической декорреляции с рассеянными частями N звуковых сигналов. Если К больше единицы, каждый из K промежуточных звуковых сигналов может быть подвергнут психоакустической декорреляции со всеми другими промежуточными звуковыми сигналами. Ниже описываются некоторые примеры.
[0047] В некоторых реализациях логическая система 210 также может быть выполнена с возможностью осуществления операций, описанных в блоках 315 и 320, приведенных на фиг. 3. В этом примере блок 315 включает обнаружение случаев переходных состояний звукового сигнала. Например, блок 315 может включать обнаружение начала резкого изменения мощности, например, путем определения, превышает ли изменение мощности в течение времени заданный порог. Соответственно, обнаружение переходного состояния может упоминаться в данном документе как обнаружение начального момента. Ниже приводятся примеры со ссылкой на модуль 415 обнаружения начального момента, изображенный на фиг. 4В и 6. Некоторые из таких примеров включают обнаружение начального момента в ряде полос частот. Таким образом, в некоторых случаях блок 315 может включать обнаружение случая переходного звукового сигнала в некоторых, но не во всех, полосах частот.
[0048] При этом блок 320 включает обработку рассеянных частей N звуковых сигналов для получения M рассеянных звуковых сигналов. В случаях переходных состояний звукового сигнала обработка в блоке 320 может включать распределение рассеянных частей N звуковых сигналов в большей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно ближе к пространственным местоположениям N звуковых сигналов. Обработка в блоке 320 может включать распределение рассеянных частей N звуковых сигналов в меньшей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно дальше от пространственных местоположений N звуковых сигналов. Ниже описывается один из примеров, показанный на фиг. 5. В некоторых таких реализациях обработка в блоке 320 может включать микширование рассеянных частей N звуковых сигналов и K промежуточных звуковых сигналов для получения M рассеянных звуковых сигналов. В случаях переходных состояний звукового сигнала процесс микширования может включать распределение рассеянных частей звуковых сигналов в основном для вывода звуковых сигналов, которые соответствуют выходным каналам, пространственно близким к входным каналам. Некоторые реализации также включают обнаружение случаев непереходных состояний звукового сигнала. В случаях непереходных состояний звукового сигнала микширование может включать распределение рассеянных сигналов по выходным каналам по М выходным звуковым сигналам по существу равномерным образом.
[0049] В некоторых вариантах осуществления обработка в блоке 320 может включать применение матрицы микширования к рассеянным частям N звуковых сигналов и K промежуточным звуковым сигналам для получения M рассеянных звуковых сигналов. Например, матрица микширования может быть переменной распределительной матрицей, которая получается из непереходной матрицы, более подходящей для применения в непереходных состояниях звукового сигнала, и из переходной матрицы, более подходящей для применения в переходных состояниях звукового сигнала. В некоторых реализациях переходная матрица может быть получена из непереходной матрицы. Согласно некоторым таким реализациям каждый элемент переходной матрицы может представлять собой масштабирование соответствующего элемента непереходной матрицы. Масштабирование может, например, быть функцией отношения между местоположением входного канала и местоположением выходного канала.
[0050] Ниже приводятся более подробные примеры способа 300, включая, примеры переходной матрицы и непереходной матрицы, но не ограничиваясь ими. Например, ниже описываются различные примеры блоков 315 и 320 со ссылкой на фиг. 4B-5.
[0051] На фиг. 4А приведена блок-схема, на которой приводится еще один пример системы обработки звукового сигнала. Блоки, приведенные на фиг. 4А, могут быть реализованы, например, посредством логической системы 210, приведенной на фиг. 2. В некоторых реализациях блоки, приведенные на фиг. 4A, могут быть реализованы по меньшей мере частично посредством программного обеспечения, хранящегося на постоянном носителе данных. В данной реализации система 10 обработки звукового сигнала выполнена с возможностью приема звуковых сигналов для одного или более входных каналов из тракта 19 сигнала и генерировать по тракту 59 сигнала звуковые сигналы для ряда выходных каналов. Малая линия, которая пересекает тракт 19 сигнала, а также малые линии, которые пересекают другие тракты сигнала, указывает на то, что по этим трактам сигнала могут проходить сигналы для одного или более каналов. Символы N и M непосредственно под малыми пересекающими линиями указывают на то, что по различным трактам сигнала могут проходить сигналы для каналов N и M соответственно. Символы «х» и «у» непосредственно под некоторыми малыми пересекающими линиями указывают на то, что по соответствующим трактам сигнала может проходить неопределенное количество сигналов.
[0052] В системе 10 обработки звукового сигнала анализатор 20 входного сигнала выполнен с возможностью приема звуковых сигналов для одного или более входных каналов из тракта 19 сигнала и определения того, какие части входных звуковых сигналов представляют рассеянное звуковое поле и какие части входных звуковых сигналов представляют звуковое поле, которое не является рассеянным. Анализатор 20 входного сигнала выполнен с возможностью пропускания частей входных звуковых сигналов, которые подразумеваются для представления нерассеянного звукового поля, по тракту 28 сигнала к процессору 30 нерассеянных сигналов. В данном случае процессор 30 нерассеянного сигнала выполнен с возможностью генерирования множества M звуковых сигналов, предназначенных для воспроизведения нерассеянного звукового поля с помощью ряда акустических преобразователей, таких как громкоговорители, и передачи этих звуковых сигналов по тракту 39 сигнала. Одним из примеров устройства повышающего микширования, которое способно выполнять этот тип обработки, является декодер Dolby Pro Logic II™.
[0053] В данном примере анализатор 20 входного сигнала выполнен с возможностью передачи частей входных звуковых сигналов, соответствующих рассеянному звуковому полю, по тракту 29 сигнала к процессору 40 рассеянных сигналов. В данном случае процессор 40 рассеянных сигналов выполнен с возможностью генерирования по тракту 49 сигнала множества M звуковых сигналов, соответствующих рассеянному звуковому полю. В настоящем изобретении приводятся различные примеры обработки звукового сигнала, которые могут быть осуществлены посредством процессора 40 рассеянных сигналов.
[0054] В данном варианте осуществления суммирующий компонент 50 выполнен с возможностью объединения каждого из М звуковых сигналов из процессора 30 нерассеянных сигналов с соответствующим одним из М звуковых сигналов из процессора 40 рассеянных сигналов с целью генерирования звукового сигнала для соответствующего одного из М выходных каналов. Звуковой сигнал каждого из выходных каналов может быть предназначен для приведения в действие акустического преобразователя, такого как громкоговоритель.
[0055] Различные реализации, описанные в данном документе, направлены на разработку и применение системы уравнений микширования с целью генерирования множества звуковых сигналов, которые могут представлять рассеянное звуковое поле. В некоторых реализациях уравнения микширования могут быть линейными уравнениями микширования. Уравнения микширования могут применяться, например, в процессоре 40 рассеянных сигналов.
[0056] Система 10 обработки звукового сигнала представляет только один из примеров того, как может быть реализовано настоящее изобретение. Настоящее изобретение может быть реализовано и в других устройствах, которые могут отличаться по функциям или структуре от показанных и описанных в данном документе. Например, сигналы, представляющие и рассеянные, и нерассеянные части звукового поля, могут быть обработаны единственным компонентом. Ниже описаны некоторые реализации отдельного процессора 40 рассеянных сигналов, который микширует сигналы в соответствии с системой линейных уравнений, определяемой матрицей. Различные части процессов и для процессора 40 рассеянных сигналов, и для процессора 30 нерассеянных сигналов могут быть реализованы системой линейных уравнений, которая определяется единственной матрицей. Кроме того, особенности настоящего изобретения могут быть включены в устройство без включения также и анализатора 20 входного сигнала, процессора 30 нерассеянных сигналов или суммирующего компонента 50.
[0057] На фиг. 4B приведена блок-схема, на которой приводится еще один пример системы обработки звукового сигнала. Блоки, приведенные на фиг. 4B, включают более подробные примеры блоков, приведенных на фиг. 4A, в соответствии с некоторыми реализациями. Соответственно, блоки фиг. 4B могут, например, быть реализованы посредством логической системы 210, приведенной на фиг. 2. В некоторых реализациях блоки, приведенные на фиг. 4B, могут быть реализованы по меньшей мере частично посредством программного обеспечения, хранящегося на постоянном носителе данных.
[0058] В данном случае анализатор 20 входного сигнала содержит модуль 405 статистического анализа и модуль 410 разделения сигналов. В данной реализации процессор 40 рассеянных сигналов содержит модуль 415 обнаружения начального момента и модуль 420 адаптивного расширения рассеянного сигнала. Тем не менее, в альтернативных вариантах реализации функциональные возможности блоков, показанных на фиг. 4B, могут распределяться между разными модулями. Например, в некоторых реализациях анализатор 20 входного сигнала может выполнять функции модуля 415 обнаружения начального момента.
[0059] Модуль 405 статистического анализа может быть выполнен с возможностью осуществления различных типов анализа N-канального входного звукового сигнала. Например, если N = 2, модуль 405 статистического анализа может быть выполнен с возможностью вычисления возможного значения суммы мощности левого и правого сигналов, разности мощности левого и правого сигналов и действительной части взаимной корреляции между входными левым и правым сигналами. Каждая статистическая оценка может накапливаться в течение временного интервала и в полосе частот. Статистическая оценка может быть сглажена по времени. Например, статистическая оценка может быть сглажена с помощью частотно-зависимого квазиинтегратора, такого как фильтр первого порядка с бесконечной импульсной характеристикой (HR). Модуль 405 статистического анализа может предоставлять данные статистического анализа для других модулей, например, модуля 410 разделения сигналов и/или модуля 425 панорамирования.
[0060] В данной реализации модуль 410 разделения сигналов выполнен с возможностью отделения рассеянных частей N входных звуковых сигналов от нерассеянных или «направленных» частей N входных звуковых сигналов. Модуль 410 разделения сигналов может, например, определять то, что части N входных звуковых сигналов с высокой корреляцией соответствуют нерассеянным звуковым сигналам. Например, если N = 2, то модуль 410 разделения сигналов может определять, основываясь на статистическом анализе данных из модуля 405 статистического анализа, что рассеянный звуковой сигнал представляет собой часть звукового сигнала с высокой корреляцией, которая содержится как в левом, так и в правом входных сигналах.
[0061] На основании того же (или подобного) статистического анализа данных модуль 425 панорамирования может определять то, что эта часть звукового сигнала должна направляться в необходимое местоположение, например, как представляющий локализованный источник звука, такой как точечный источник. Модуль 425 панорамирования или другой модуль процессора 30 нерассеянных сигналов может быть выполнен с возможностью создания M нерассеянных звуковых сигналов, соответствующих нерассеянным частям N входных звуковых сигналов. Процессор 30 нерассеянных сигналов может быть выполнен с возможностью предоставления М нерассеянных звуковых сигналов на суммирующий компонент 50.
[0062] Модуль 410 разделения сигналов может в некоторых примерах определять то, что рассеянные части входных звуковых сигналов являются теми частями сигнала, которые остаются после того, как нерассеянные части были отделены. Например, модуль 410 разделения сигналов может определять рассеянные части звукового сигнала путем вычисления разности между входным звуковым сигналом и нерассеянной частью звукового сигнала. Модуль 410 разделения сигналов может предоставлять рассеянные части звукового сигнала на модуль 420 адаптивного расширения рассеянного сигнала.
[0063] В данном случае модуль 415 обнаружения начального момента выполнен с возможностью обнаружения случаев переходных состояний звукового сигнала. В этом примере модуль 415 обнаружения начального момента выполнен с возможностью определения значения переходного управляющего сигнала и предоставления значения переходного управляющего сигнала на модуль 420 адаптивного расширения рассеянного сигнала. В некоторых случаях модуль 415 обнаружения начального момента может быть выполнен с возможностью определения, содержит ли звуковой сигнал в каждой из ряда полос частот переходный звуковой сигнал. Соответственно, в некоторых случаях значение переходного управляющего сигнала, определяемое модулем 415 определения начального момента и предоставляемое модулю 420 адаптивного расширения рассеянного сигнала, может быть определенным для одной или более конкретных полос частот, а не для всех полос частот.
[0064] В этом варианте осуществления модуль 420 адаптивного расширения рассеянного сигнала может получать K промежуточных сигналов из рассеянных частей N входных звуковых сигналов. В некоторых реализациях каждый промежуточный звуковой сигнал может быть подвергнут психоакустической декорреляции с рассеянными частями N входных звуковых сигналов. Если К больше единицы, каждый промежуточный звуковой сигнал может быть подвергнут психоакустической декорреляции со всеми другими промежуточными звуковыми сигналами.
[0065] В данной реализации модуль 420 адаптивного расширения рассеянного выполнен с возможностью микширования рассеянных частей N звуковых сигналов и K промежуточных звуковых сигналов с целью получения M рассеянных звуковых сигналов, где М больше N и больше 2. В этом примере К больше или равно единице и меньше или равно M-N. В случаях переходных состояний звукового сигнала (определенных по меньшей мере частично в соответствии со значением переходного управляющего сигнала, полученным от модуля 415 обнаружения начального момента), процесс микширования может включать распределение рассеянных частей N звуковых сигналов в большей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно ближе к пространственным местоположениям N звуковых сигналов, например, ближе к предполагаемым пространственным местоположениям N входных каналов. В случаях переходных состояний звукового сигнала процесс микширования может включать распределение рассеянных частей N звуковых сигналов в меньшей пропорции по одному или более из M рассеянных звуковых сигналов, соответствующих пространственным местоположениям относительно дальше от пространственных местоположений N звуковых сигналов. Однако в случаях непереходных состояний звукового сигнала процесс микширования может включать распределение рассеянных частей N звуковых сигналов по M рассеянным звуковым сигналам по существу равномерным образом.
[0066] В некоторых реализациях модуль 420 адаптивного расширения рассеянного сигнала может быть выполнен с возможностью применения матрицы микширования к рассеянным частям N звуковых сигналов и K промежуточным звуковым сигналам с целью получения М рассеянных звуковых сигналов. Модуль 420 адаптивного расширения рассеянного сигнала может предоставлять М рассеянных звуковых сигналов на суммирующий компонент 50, который может быть выполнен с возможностью объединения M рассеянных звуковых сигналов с M нерассеянными звуковыми сигналами с целью формирования M выходных звуковых сигналов.
[0067] Согласно некоторым таких реализациям матрица микширования, применяемая модулем 420 адаптивного расширения рассеянного сигнала, может быть переменной распределительной матрицей, которая получается из непереходной матрицы, более подходящей для применения в непереходных состояниях звукового сигнала, и из переходной матрицы, более подходящей для применения в переходных состояниях звукового сигнала. Ниже приводятся различные примеры определения переходных матриц и непереходных матриц.
[0068] Согласно некоторым таким реализациям переходная матрица может быть получена из непереходной матрицы. Например, каждый элемент переходной матрицы может представлять собой масштабирование соответствующего элемента непереходной матрицы. Масштабирование может, например, быть функцией отношения между местоположением входного канала и местоположением выходного канала.
В некоторых реализациях модуль 420 адаптивного расширения рассеянного сигнала может быть выполнен с возможностью интерполяции между переходной матрицей и непереходной матрицей по меньшей мере частично на основании значения переходного управляющего сигнала, принимаемого от модуля 415 обнаружения начального момента.
[0069] В некоторых реализациях модуль 420 адаптивного расширения рассеянного сигнала может быть выполнен с возможностью вычисления переменной распределительной матрицы в соответствии со значением переходного управляющего сигнала. Ниже представлены некоторые примеры. Однако в альтернативных реализациях модуль 420 адаптивного расширения рассеянного сигнала может быть выполнен с возможностью определения переменной распределительной матрицы путем извлечения сохраненной переменной распределительной матрицы из запоминающего устройства. Например, модуль 420 адаптивного расширения рассеянного сигнала может быть выполнен с возможностью определения того, какую переменную распределительную матрицу из ряда сохраненных переменных распределительных матриц необходимо извлечь из запоминающего устройства, по меньшей мере частично на основании значения переходного управляющего сигнала.
[0070] Значение переходного управляющего сигнала, как правило, будет переменным по времени. В некоторых реализациях значение переходного управляющего сигнала может непрерывно изменяться от минимального значения до максимального значения. Однако в альтернативных реализациях значение переходного управляющего сигнала может изменяться в диапазоне дискретных значений от минимального значения до максимального значения.
[0071] Пусть c(t) представляет собой переменный по времени переходный управляющий сигнал, имеющий значения переходного управляющего сигнала, которые непрерывно изменяются между значениями ноль и единица. В этом примере значение переходного управляющего сигнала равное единице указывает на то, что соответствующий звуковой сигнал подобен по характеру переходному, а значение переходного управляющего сигнала равное нулю указывает на то, что соответствующий звуковой сигнал является непереходным. Пусть T представляет «переходную матрицу», более подходящую для использования в случаях переходных состояний звукового сигнала, и пусть C представляет собой «непереходную матрицу», более подходящую для использования в случаях непереходных звуковых сигналов. Ниже описываются различные примеры непереходных матриц. Ненормированный вариант переменной распределительной матрицы D(t) может быть вычислен как сохраняющая мощность интерполяция между переходной и непереходной матрицами:
(Уравнение 1)
[0072] С целью поддержания относительной энергии М-канального выходного рассеянного сигнала эта ненормированная матрица может затем быть нормирована таким образом, чтобы сумма квадратов всех элементов матрицы была равна единице:
(Уравнение 2a)
(Уравнение 2b)
ij
[0073] В уравнении 2b D(t) представляет собой элемент в i-й строке и j-м столбце ненормированной распределительной матрицы D(t). Элемент в i-й строке и j-м столбце распределительной матрицы определяет величину, которую j-й входной рассеянный канал вносит в i-й выходной рассеянный канал. Затем модуль 420 адаптивного расширения рассеянного сигнала может применить нормированную распределительную матрицу  к N+K-канальному рассеянному входному сигналу с целью генерирования M-канального рассеянного выходного сигнала.
[0074] Однако в альтернативных реализациях модуль 420 адаптивного расширения рассеянного сигнала может извлекать нормированную распределительную матрицу  из хранящегося в памяти ряда нормированных распределительных матриц  (например, из таблицы поиска) вместо повторного вычисления нормализованной распределительной матрицы  для каждого нового момента времени. Например, каждая из нормированных распределительных матриц  может предварительно вычисляться для соответствующего значения (или диапазона значений) управляющего сигнала c(t).
[0075] Как было отмечено выше, переходная матрица T может вычисляться как функция от C вместе с предполагаемыми пространственными местоположениями входных и выходных каналов. В частности, каждый элемент переходной матрицы может вычисляться как масштабирование соответствующего элемента непереходной матрицы. Масштабирование может, например, быть функцией отношения соответствующего местоположения выходного канала от местоположения входного канала. При понимании, что элемент в i-й строке и j-м столбце распределительной матрицы определяет величину, которую j-й входной рассеянный канал вносит в i-й выходной рассеянный канал, каждый элемент переходной матрицы T может вычисляться как
(Уравнение 3)
i
i
i
[0076] В уравнении 3 коэффициент масштабирования β вычисляется на основе местоположения i-го канала М-канального выходного сигнала относительно местоположений N каналов входного сигнала. В общем случае может быть желательно, чтобы для выходных каналов, близких к входным каналам, β было близко к единице. Поскольку выходной канал становится пространственно более удаленным от входных каналов, может быть желательным меньшее значение β.
i
i
i
i
i
i
i
i
i
[0077] На фиг. 5 показаны примеры коэффициентов масштабирования для реализации с использованием стереофонического входного сигнала и пятиканального выходного сигнала. В этом примере входные каналы обозначаются L и R, и выходные каналы обозначаются L, R, C, LS и RS. Предполагаемые местоположения каналов и примерные значения коэффициента масштабирования β изображены на фиг. 5. Видно, что в этом примере для выходных каналов L, R и C, которые пространственно близки к входным каналам L и R, коэффициент масштабирования β был установлен равным единице. Для выходных каналов LS и RS, которые предполагаются пространственно более удаленными от входных каналов L и R, в этом примере коэффициент масштабирования β был установлен равным 0,25.
i
i
i
i
i
[0078] Если предположить, что входные каналы L и R расположены на минус и плюс 30 градусов от срединной плоскости 505, значит согласно некоторым таким реализациям β = 0,25, если абсолютное значение угла выходного канала относительно срединной плоскости 505 больше, чем 45 градусов. В противном случае β = 1. В этом примере приведена одна из простых стратегий для генерирования коэффициентов масштабирования. Тем не менее, возможны многие другие стратегии. Например, в некоторых реализациях коэффициент масштабирования β может иметь другое минимальное значение и/или может иметь диапазон значений между минимальным и максимальным значениями.
[0079] На фиг. 6 приведена блок-схема, которая показывает дополнительные сведения о процессоре рассеянных сигналов в соответствии с одним из примеров. В данной реализации модуль 420 адаптивного расширения рассеянного сигнала процессора 40 рассеянных сигналов включает модуль 605 декорреляции и модуль 610 переменной распределительной матрицы. В этом примере модуль 605 декорреляции выполнен с возможностью декорреляции N каналов рассеянных звуковых сигналов и создания K по существу ортогональных выходных каналов для модуля 610 переменной распределительной матрицы. В данном контексте два вектора считаются «по существу ортогональными» друг другу, если их скалярное произведение меньше 35% произведения их модулей. Это соответствует углу между векторами от приблизительно семидесяти градусов до приблизительно 110 градусов.
[0080] Модуль 610 переменной распределительной матрицы выполнен с возможностью определения и применения соответствующей переменной распределительной матрицы по меньшей мере частично на основании значения переходного управляющего сигнала, принятого от модуля 415 обнаружения начального момента. В некоторых реализациях модуль 610 переменной распределительной матрицы может быть выполнен с возможностью вычисления переменной распределительной матрицы по меньшей мере частично на основании значения переходного управляющего сигнала. В альтернативных реализациях модуль 610 переменной распределительной матрицы может быть выполнен с возможностью выбора сохраненной переменной распределительной матрицы по меньшей мере частично на основании значения переходного управляющего сигнала и извлечения выбранной переменной распределительной матрицы из запоминающего устройства.
[0081] Несмотря на то, что некоторые реализации могут работать в широкополосном режиме, для модуля 420 адаптивного расширения рассеянного сигнала может быть предпочтительной работа на множестве полос частот. Таким образом, может обеспечиваться, что полосы частот, не связанные с переходным состоянием, остаются равномерно распределенными по всем каналам, тем самым максимально увеличивая величину эффекта окружения при сохранении влияния переходных состояний в соответствующих полосах частот. Для достижения этой цели система 10 обработки звукового сигнала может быть выполнена с возможностью разложения входного звукового сигнала на множество полос частот.
[0082] Например, система 10 обработки звукового сигнала может быть выполнена с возможностью применения некоторого типа блока фильтров, такого как оконное преобразование Фурье (STFT) или блок квадратурных зеркальных фильтров (QMF). Для каждой полосы блока фильтров действие одного или более компонентов системы 10 обработки звукового сигнала (например, как показано на фиг. 4B или фиг. 6) может выполняться параллельно. Например, действие модуля 420 адаптивного расширения рассеянного сигнала может быть запущено для каждой полосы блока фильтров.
[0083] Согласно таким реализациям модуль 415 обнаружения начального момента может быть выполнен с возможностью создания многополосного переходного управляющего сигнала, который указывает на подобный переходному характер звуковых сигналов в каждой полосе частот. В некоторых реализациях модуль 415 обнаружения начального момента может быть выполнен с возможностью обнаружения увеличения энергии во времени в каждой полосе и генерирования переходного управляющего сигнала, соответствующего такому увеличению энергии. Такой управляющий сигнал может генерироваться из переменной по времени энергии в каждой полосе частот, подвергнутой понижающему микшированию во всех входных каналах. Допустим, что E(b, t) представляет эту энергию в момент времени t в полосе частот b, тогда сглаженная по времени версия этой энергии может сначала вычисляться с использованием однополюсного сглаживающего устройства в одном из примеров:
(Уравнение 4)
s
[0084] В одном из примеров коэффициент сглаживания  α может быть выбран для получения половины затухания равным приблизительно 200 мс. Тем не менее, другие значения коэффициента сглаживания могут дать удовлетворительные результаты. Затем необработанный переходный сигнал o(b, t) можно вычислить путем вычитания значения в децибелах сглаженной энергии в предыдущий момент времени из значения в децибелах несглаженной энергии в текущий момент времени:
(Уравнение 5)
low
high
[0085] Этот необработанный переходный сигнал может затем быть нормирован таким образом, чтобы находиться в пределах между нулем и единицей с использованием границ нормирования переходного состояния o и o
(Уравнение 6)
low
high
[0086] Было определено, что хорошо применимы значения o = 3 дБ и o =9 дБ. Впрочем, другие значения могут давать приемлемые результаты. В конечном итоге может быть вычислен переходный управляющий сигнал c(b, t). В одном из примеров переходный управляющий сигнал c(b, t) может вычисляться путем сглаживания нормированного переходного сигнала с применением однополюсного сглаживающего фильтра с бесконечным срабатыванием и замедленным отключением:
(Уравнение 7)
r
[0087] Обнаружено, что хорошо применим коэффициент отключения a, дающий время половины затухания, равное приблизительно 200 мс. Впрочем, другие значения коэффициента отключения могут дать удовлетворительные результаты. В этом примере результирующий переходной управляющий сигнал c(b, t) каждой полосы частот мгновенно возрастает до единицы, когда энергия в этой полосе проявляет значительное нарастание, а затем постепенно уменьшается до нуля, потому что уменьшается энергия сигнала. Последующее пропорциональное изменение распределительной матрицы в каждой полосе дает перцептивно прозрачную модуляцию рассеянного звукового поля, что поддерживает как воздействие переходных процессов, так и общий эффект окружения.
[0088] Ниже приведены некоторые примеры формирования и применения непереходной матрицы C, а также связанных способов и процессов.
Первый способ получения
[0089] Снова со ссылкой на фиг. 4A, в данном примере процессор 40 рассеянных сигналов генерирует по тракту 49 сигнала множество из М сигналов путем микширования N каналов звуковых сигналов, принимаемых из тракта 29, в соответствии с системой линейных уравнений. Для облегчения описания в нижеследующем обсуждении части N каналов звукового сигнала, принимаемые из тракта 29, называются промежуточными входными сигналами, и М каналов промежуточных сигналов, генерируемых по тракту 49, называются промежуточными выходными сигналами. Данная операция микширования включает применение системы линейных уравнений, которая может быть представлена матричным умножением, например, как показано ниже:
при 1 ≤ K ≤ (MN)
(Уравнение 8)
[0090] В уравнении 8,  представляет собой вектор-столбец, соответствующий N+K сигналам, полученных из N промежуточных входных сигналов; C представляет собой матрицу или массив коэффициентов микширования размерностью M x (N+K); и  представляет собой вектор-столбец, соответствующий M промежуточным выходным сигналам. Операция микширования может выполняться на сигналах, представленных во временной области или в частотной области. В частности, в нижеследующем описании упоминаются реализации во временной области.
i
[0091] Как показано в выражении 1, K больше или равно единице и меньше или равно разности (M-N). В результате, число сигналов X и число столбцов в матрице C находится между N+l и M. Коэффициенты матрицы C могут быть получены из множества N+K единичных векторов в М-мерном пространстве, которые по существу ортогональны друг другу. Как отмечалось выше, два вектора считаются «по существу ортогональными» друг другу, если их скалярное произведение меньше 35% произведения их модулей.
1
M
1,1
1
M,1
M
j
[0092] Каждый столбец матрицы C может содержать М коэффициентов, которые соответствуют элементам одного из векторов во множестве. Например, коэффициенты, которые находятся в первом столбце матрицы C соответствует одному из векторов V во множестве, элементы которого обозначаются как V, ... , V) таким образом, C = p·V, ... , C = p·V, где p представляет собой коэффициент масштабирования, используемый для масштабирования коэффициентов матрицы, которые могут быть желательными. В альтернативном варианте коэффициенты в каждом столбце j матрицы C могут быть масштабированы с применением различных коэффициентов масштабирования p. Во многих приложениях коэффициенты масштабируются так, чтобы норма Фробениуса матрицы была равна или находилась в пределах 10% . Дополнительные особенности масштабирования описаны ниже.
[0093] Множество из N+K векторов может быть получено любым возможным желаемым способом. В одном из способов создают матрицу G размерностью M x M из коэффициентов с псевдослучайными значениями, имеющими гауссово распределение, и вычисляют сингулярное разложение этой матрицы для получения трех матриц размерностью M x M, обозначаемых здесь как U, S и V. Обе матрицы U и V могут быть унитарными. Матрица С может быть получена путем выбора N+K столбцов или из матрицы U, или из матрицы V и масштабирования коэффициентов в этих столбцах для получения нормы Фробениуса, равной или находящейся в пределах 10% . Ниже описан способ, который обеспечивает снижение некоторых требований к ортогональности.
[0094] Численная корреляция двух сигналов может быть вычислена с использованием множества известных численных алгоритмов. Эти алгоритмы обеспечивают получение критерия численной корреляции, называемого коэффициентом корреляции, который варьирует от минус единицы до плюс единицы. Коэффициент корреляции, модуль которого равен или близок к единице, указывает на то, что два сигнала тесно связаны. Коэффициент корреляции с модулем, равным или близким к нулю, указывает на то, что два сигнала в целом независимы друг от друга.
[0095] N+K входных сигналов могут быть получены путем декорреляции N промежуточных входных сигналов друг относительно друга. В некоторых реализациях декорреляция может представлять собой «психоакустическую декорреляцию», как это называется в данном документе, которая кратко рассматривается выше. Психоакустическая декорреляция является менее строгой, чем численная декорреляция в том смысле, что два сигнала могут считаться подвергнутыми психоакустической декорреляции даже тогда, когда они в некоторой степени обладают численной корреляцией друг с другом.
i
[0096] Психоакустическая декорреляция может достигаться с использованием задержек или специальных типов фильтров, некоторые их которых описываются ниже. Во многих реализациях для достижения психоакустической декорреляции N из N+K сигналов X могут быть получены непосредственно из N промежуточных входных сигналов без использования каких-либо задержек или фильтров, поскольку эти N сигналов представляют рассеянное звуковое поле и, с большой вероятностью, уже являются подвергнутыми психоакустической декорреляции.
Второй способ получения
[0097] Если сигналы, генерируемые процессором 40 рассеянных сигналов, объединяются с другими сигналами, представляющими нерассеянное звуковое поле, в соответствии с первым способом получения, описанным выше, то результирующее объединение сигналов иногда может приводить к генерированию нежелательных артефактов. В некоторых случаях данные артефакты могут возникать в результате того, что структура матрицы С не учитывает возможные взаимодействия между рассеянными и нерассеянными частями звукового поля. Как уже упоминалось выше, различие между рассеянными и нерассеянными частями не всегда четко выражено. Например, со ссылкой на фиг. 4А, анализатор 20 входного сигнала может генерировать по тракту 28 некоторые сигналы, которые представляют в некоторой степени рассеянное звуковое поле, и может генерировать по тракту 29 сигналы, которые представляют в некоторой степени нерассеянное звуковое поле. Если генератор 40 рассеянных сигналов нарушает или модифицирует нерассеянный характер звукового поля, представляемого сигналами в тракте 29, в звуковом поле, полученном из входных сигналов, которые генерируются по тракту 59, могут возникать нежелательные артефакты или слышимые искажения. Например, если сумма М рассеянных обработанных сигналов в тракте 49 и М нерассеянных обработанных сигналов в тракте 39 приводит к подавлению некоторых нерассеянных составляющих сигнала, то может ухудшаться субъективное впечатление, которое могло быть достигнуто в иных случаях.
[0098] Улучшения можно добиться путем составления матрицы С таким образом, чтобы она учитывала нерассеянную характер звукового поля, которое обрабатывается процессором 30 нерассеянных сигналов. Это можно осуществить, вначале идентифицируя матрицу E, которая или представляет, или предполагается, что представляет, обработку кодированием, в ходе которого происходит обработка М каналов звуковых сигналов для создания N каналов входных звуковых сигналов, принимаемых из тракта 19, а затем получение матрицы, обратную этой матрице, например, как это описывается ниже.
T
T
T
T
[0099] Одним из примеров матрицы E является матрица размерностью 5 x 2, которая применяется для понижающего микширования пяти каналов, L, C, R, LS, RS, в два канала, обозначаемые как левый общий (L) и правый общий (R). Сигналы для каналов L и Rпредставляют один из примеров входных звуковых сигналов для двух (N=2) каналов, которые принимаются из тракта 19. В этом примере устройство 10 может применяться для синтеза пяти (M=5) каналов выходных звуковых сигналов, которые могут создавать звуковое поле, сходное по восприятию (если не по существу идентичное) звуковому полю, которое могло быть создано из исходных пяти звуковых сигналов.
T
T
[00100] Пример матрицы E размерностью 5 x 2, которая может применяться для кодирования сигналов каналов L и R из сигналов каналов L, C, R, LS и RS, показан в следующем выражении:
(Уравнение 9)

TM

[00101] Обычно из матрицы Е размерностью N x M может быть получена псевдообратная матрица B размерностью N x M с использованием известных численных методов, включая такие реализованные в числовом программном обеспечении методы, как функция «pinv» в Matlab, поставляемом MathWorks, Натик, Массачусетс, или функция «Pseudoinverse» в Mathematica, поставляемом Wolfram Research, Шампэйн, Иллинойс. Матрица В может не являться оптимальной, если ее коэффициенты создают нежелательные перекрестные помехи между какими-либо из каналов, или если какие-либо коэффициенты представляют собой мнимые или комплексные числа. Матрица B может быть модифицирована для удаления указанных нежелательных характеристик. Матрица B также может быть модифицирована для достижения разнообразия желаемых художественных эффектов путем изменения коэффициентов с целью выделения сигналов для выбранных громкоговорителей. Например, коэффициенты могут изменяться с целью увеличения энергии в сигналах, предназначенных для воспроизведения через громкоговорители для левого и правого каналов, и для снижения энергии в сигналах, предназначенных для воспроизведения через громкоговоритель(и) для центрального канала. Коэффициенты матрицы B могут быть масштабированы так, чтобы каждый столбец матрицы представлял единичный вектор в М-мерном пространстве. Векторы, представленные столбцами матрицы B, не должны быть по существу ортогональными друг другу.
[00102] Один из примеров матрицы B размерностью 5 x 2 показан в следующем выражении:
(Уравнение 10)
[00103] Матрица, такая как в уравнении 10, может применяться для генерирования множества М промежуточных выходных сигналов из N промежуточных входных сигналов при помощи следующей операции:
(Уравнение 11)
[00104] На фиг. 7 приведена блок-схема устройства, выполненного с возможностью генерирования множества М промежуточных выходных сигналов из N промежуточных входных сигналов. Повышающий микшер 41 может, например, быть компонентом процессора 40 рассеянных сигналов, например, как показано на фиг. 4А. В данном примере повышающий микшер 41 принимает N промежуточных входных сигналов из трактов 29-1 и 29-2 сигнала и микширует эти сигналы в соответствии с системой линейных уравнений, генерируя множество М промежуточных выходных сигналов по трактам 49-1 – 49-5 сигнала. Блоки в повышающем микшере 41 представляют умножение, или усиление, сигнала посредством коэффициентов матрицы B в соответствии с системой линейных уравнений.
[00105] Несмотря на то, что матрица B может применяться сама по себе, эффективность может быть улучшена путем применения дополнительной пополняющей матрицы A размерностью M x K, где 1 ≤ K ≤ (M-N). Каждый столбец в матрице A может представлять собой единичный амплитудный вектор в М-мерном пространстве, по существу ортогональный векторам, представляемым N столбцами матрицы B. Если K больше единицы, каждый столбец может представлять собой вектор, который также по существу ортогонален векторам, представляемым всеми другими столбцами в матрице A.
[00106] Векторы для столбцов матрицы A могут быть получены различными способами. Например, могут применяться упомянутые выше способы. Другие способы включают масштабирование коэффициентов пополняющей матрицы A и матрицы B, например, как поясняется ниже, и конкатенацию коэффициентов для создания матрицы С. В одном из примеров масштабирование и конкатенация могут быть выражены алгебраически как:
(Уравнение 12)
[00107] В уравнении 12, «|» представляет собой горизонтальную конкатенацию столбцов матрицы B и матрицы A, α представляет собой коэффициент масштабирования для коэффициентов матрицы A, и β представляет собой коэффициент масштабирования для коэффициентов матрицы B.
[00108] Для некоторых реализаций коэффициенты масштабирования α и β могут быть выбраны так, чтобы норма Фробениуса составной матрицы С была равна или находилась в пределах 10% нормы Фробениуса матрицы В. Норма Фробениуса матрицы C может быть выражена как:
(Уравнение 13)
i,j
[00109] В уравнении 13, c представляет собой коэффициент матрицы в строке i и столбце j.
[00110] Если каждый из N столбцов матрицы B и каждый из К столбцов матрицы A представляет единичный вектор, то норма Фробениуса матрицы B равна , и норма Фробениуса матрицы A равна . В этом случае можно показать, что если задать норму Фробениуса матрицы С равной , то значения коэффициентов масштабирования α и β соотносятся друг с другом так, как показано в следующем выражении:
(Уравнение 14)
[00111] После задания значения коэффициента масштабирования β значение коэффициента масштабирования α можно вычислить по уравнению 14. В некоторых реализациях коэффициент масштабирования β может быть выбран таким образом, что сигналам, подвергнутым микшированию посредством коэффициентов в столбцах матрицы B назначается весовой коэффициент по меньшей мере на 5 дБ больший, чем звуковым сигналам, подвергнутым микшированию посредством коэффициентов в столбцах пополняющей матрицы A. Разница в весовом коэффициенте по меньшей мере в 6 дБ может быть достигнута путем такого ограничения коэффициентов масштабирования, что α <½ β. Для достижения желаемого акустического баланса между звуковыми каналами могут применяться большие или меньшие разности весовых коэффициентов масштабирования для столбцов матрицы B и матрицы A.
[00112] В альтернативном варианте коэффициенты в каждом столбце пополняющей матрицы A могут быть масштабированы по-отдельности, как показано в следующем выражении:
(Уравнение 15)
j
j
j
j
j
[00113] В уравнении 15 A представляет собой столбец j пополняющей матрицы А и α представляет собой соответствующий коэффициент масштабирования для столбца j. В данном альтернативном варианте для каждого коэффициента масштабирования αможно выбрать произвольные значения при условии, что каждый коэффициент масштабирования удовлетворяет ограничению α <½ β. В некоторых реализациях значения коэффициентов α и β выбираются так, чтобы обеспечить норму Фробениуса C, приблизительно равную норме Фробениуса матрицы B.
[00114] Каждый из сигналов, которые подвергаются микшированию в соответствии с пополняющей A, могут быть обработаны так, чтобы они были подвергнуты психоакустической декорреляции относительно N промежуточных входных сигналов и всех остальных сигналов, которые подвергаются микшированию в соответствии с пополняющей матрицей A. На фиг. 8 приведена блок-схема, которая показывает пример декорреляции выбираемых промежуточных сигналов. В этом примере два (N=2) промежуточных входных сигнала, пять (M=5) промежуточных выходных сигналов и три (K=3) декоррелированных сигнала подвергаются микшированию в соответствии с пополняющей матрицей A. В примере, показанном на фиг. 8, два промежуточных входных сигнала подвергаются микшированию в соответствии с базисной обратной матрицей B, представленной блоком 41. Два промежуточных входных сигнала декоррелируются посредством декоррелятора 43, чтобы обеспечить три декоррелированных сигнала, которые подвергаются микшированию в соответствии с пополняющей матрицей A, которая представлена блоком 42.
[00115] Декоррелятор 43 может быть реализован различными способами. На фиг. 9 приведена блок-схема, на которой показан пример компонентов декоррелятора. Реализация, показанная на фиг. 9, способна обеспечивать психоакустическую декорреляцию путем задержки входных сигналов на различные величины. Для различных применений подходят задержки в диапазоне от одной до двадцати миллисекунд.
[00116] На фиг. 10 приведена блок-схема, на которой показан альтернативный пример компонентов декоррелятора. В этом примере обрабатывается один из промежуточных входных сигналов. Промежуточный входной сигнал проходит по различным трактам обработки сигнала, которые применяют фильтры к соответствующим им сигналам в двух перекрывающихся частотных поддиапазонах. Низкочастотный тракт включает фильтр 61 переворота фазы, который фильтрует его входной сигнал в первом частотном поддиапазоне в соответствии с первой импульсной характеристикой, и фильтр 62 нижних частот, который определяет первый частотный поддиапазон. Более высокочастотный тракт включает зависящую от частоты задержку 63, реализуемую фильтром, который фильтрует его входной сигнал во втором частотном поддиапазоне в соответствии со второй импульсной характеристикой, которая не равна первой импульсной характеристике, фильтр 64 верхних частот, который определяет второй частотный поддиапазон, и элемент 65 задержки. Выходные сигналы задержки 65 и фильтра 62 нижних частот объединяются в суммирующем узле 66. Выходной сигнал суммирующего узла 66 представляет собой сигнал, который подвергнут психоакустической декорреляции относительно промежуточного входного сигнала.
[00117] Фазовая характеристика фильтра 61 переворота фазы может быть зависящей от частоты и может иметь бимодальное распределение по частоте с пиками, в значительной степени равными плюс и минус девяносто градусов. Идеальная реализация фильтра 61 переворота фазы имеет единичную амплитудную характеристику и фазовую характеристику, которая чередуется, или переворачивается, между плюс девяносто градусов и минус девяносто градусов на краях двух или нескольких частотных полос в пределах полосы пропускания фильтра. Переворот фазы может быть реализован посредством разреженного преобразования Гильберта, которое имеет импульсную характеристику, показанную в следующем выражении:
(Уравнение 16)
[00118] Импульсная характеристика разреженного преобразования Гильберта предпочтительно усекается до длины, выбираемой с целью оптимизации рабочих характеристик декоррелятора, путем выбора оптимального соотношения между переходными характеристиками и гладкостью частотной характеристики. Количество переворотов фазы может управляться значением параметра S. Этот параметр должен быть выбран таким образом, чтобы было обеспечено оптимальное соотношение между степенью декорреляции и длиной импульсной характеристики. Более длинная импульсная характеристика может требоваться тогда, когда значение S увеличивается. Если значение параметра S слишком мало, фильтр может обеспечивать недостаточную декорреляцию. Если параметр S слишком велик, фильтр может размывать кратковременные звуки по интервалу времени, достаточно длительному для того, чтобы создать нежелательные артефакты в декоррелированном сигнале.
[00119] Способность уравновешивать эти характеристики может быть улучшена путем реализации фильтра 21 переворота фазы, имеющего неоднородный интервал частот между смежными переворотами фазы, с более узким интервалом при менее высоких частотах, и более широким интервалом – при более высоких частотах. В некоторых реализациях интервал между смежными переворотами фазы представляет собой логарифмическую функцию частоты.
[00120] Зависящая от частоты задержка 63 может быть реализована посредством фильтра, который имеет импульсную характеристику, равную конечной синусоидальной последовательности h[n], мгновенная частота которой монотонно уменьшается от π до нуля по всей длине последовательности. Данная последовательность может быть выражена как:
, при 0 ≤ n < L
(Уравнение 17)
[00121] В уравнении 17 ω(n) представляет собой мгновенную частоту, ω'(n) представляет собой первую производную от мгновенной частоты, G представляет собой нормировочный множитель,  представляет собой мгновенную фазу, и L представляет собой длину фильтра задержки. В некоторых примерах нормировочному множителю G может присваиваться такое значение:
(Уравнение 18)
[00122] Фильтр с такой импульсной характеристикой иногда, когда он применяется к звуковым сигналам с переходными состояниями, может генерировать артефакты «линейной частотной модуляции». Данный эффект может быть подавлен путем добавления шумоподобного компонента к компоненту мгновенной фазы, как показано в следующем выражении:
, при 0 ≤ n < L
(Уравнение 19)
[00123] Если шумоподобный компонент представляет собой последовательность белого гауссова шума с дисперсией, которая представляет собой малую долю π, артефакты, которые генерируются переходными состояниями фильтрации, будут звучать больше как шум, чем как импульсы с линейной частотной модуляцией, а требуемое отношение между задержкой и частотой может по-прежнему достигаться.
[00124] Частоты среза фильтра 62 нижних частот и фильтра 64 верхних частот могут быть выбраны так, чтобы они составляли приблизительно 2,5 кГц так, чтобы отсутствовал интервал между полосами пропускания обоих фильтров, и чтобы спектральная энергия их комбинированных выходных сигналов в области поблизости от частоты перехода, где полосы пропускания перекрываются, была по существу равна спектральной энергии промежуточного входного сигнала в данной области. Величина задержки, налагаемой задержкой 65, может быть задана так, чтобы задержки распространения высокочастотного и низкочастотного трактов обработки сигнала на частоте перехода были приблизительно равны.
[00125] Декоррелятор может быть реализован различными способами. Например, фильтр 62 нижних частот и/или фильтр 64 верхних частот могут предшествовать фильтру 61 переворота фазы и зависящей от частоты задержке 63 соответственно. Задержка 65 может быть реализована одним или более элементами задержки, по желанию размещенными в трактах обработки сигнала.
[00126] На фиг. 11 приведена блок-схема, которая содержит примеры компонентов системы обработки звукового сигнала. В данном примере система 1100 обработки звукового сигнала содержит интерфейсную систему 1105. Интерфейсная система 1105 может включать такой сетевой интерфейс, как беспроводной сетевой интерфейс. Альтернативно или дополнительно, интерфейсная система 1105 может включать интерфейс универсальной последовательной шины (USB) или другой подобный интерфейс.
[00127] Система 1100 обработки звукового сигнала содержит логическую систему 1110. Логическая система 1110 может содержать процессор, такой как одно- или многокристальный процессор общего назначения. Логическая система 1110 может содержать процессор цифровой обработки сигналов (DSP), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, или компоненты дискретного аппаратного обеспечения, или их комбинации. Логическая система 1110 может быть выполнена с возможностью управления другими компонентами системы 1100 обработки звукового сигнала. И хотя на фиг. 11 не показаны интерфейсы между компонентами системы 1100 обработки звукового сигнала, логическая система 1110 может быть выполнена с интерфейсами для связи с другими компонентами. При необходимости, другие компоненты могут быть выполнены или могут не быть выполнены для связи друг с другом.
[00128] Логическая система 1110 может быть выполнена для осуществления функциональной возможности обработки звукового сигнала, включая в качестве неограничивающих примеров те типы функциональных возможностей, которые описаны в данном документе. В некоторых таких реализациях логическая система 1110 может быть сконфигурирована для работы (по меньшей мере частично) в соответствии с программным обеспечением, хранящимся на одном или более постоянных носителях данных. Эти постоянные носители данных могут включать такую связанную с логической системой 1110 память, как оперативное запоминающее устройство (RAM) и/или постоянное запоминающее устройство (ROM). Постоянные носители данных могут содержать запоминающее устройство системы 1115 памяти. Система 1115 памяти может содержать один или более постоянных носителей данных подходящих типов, такие как флеш-память, накопитель на жестком магнитном диске и т. д.
[00129] Дисплейная система 1130 может содержать дисплей одного или более типов в зависимости от варианта реализации системы 1100 обработки звукового сигнала. Например, дисплейная система 1130 может содержать жидкокристаллический дисплей, плазменный дисплей, бистабильный дисплей и т. д.
[00130] Система 1135 пользовательского ввода может содержать одно или более устройств, сконфигурированных для приема ввода от пользователя. В некоторых реализациях система 1135 пользовательского ввода может содержать сенсорный экран, который накладывается на дисплей дисплейной системы 1130. Система 1135 пользовательского ввода может содержать мышь, шаровой манипулятор, систему распознавания жестов, джойстик, один или более графических пользовательских интерфейсов (GUI) и/или меню, представленное на дисплейной системе 1130, кнопки, клавиатуру, переключатели и т. д. В некоторых реализациях система 1135 пользовательского ввода может содержать микрофон 1125: пользователь может подавать голосовые команды системе 1100 обработки цифрового сигнала с помощью микрофона 1125. Логическая система может быть выполнена с возможностью распознавания речи и управления по меньшей мере некоторыми операциями системы 1100 обработки звукового сигнала в соответствии с этими голосовыми командами. В некоторых реализациях система 1135 пользовательского ввода может рассматриваться как интерфейс пользователя, и, следовательно, как часть интерфейсной системы 1105.
[00131] Система 1140 питания может содержать один или более устройств накопления энергии, таких как никель-кадмиевый аккумулятор или литий-ионный аккумулятор. Система 1140 питания может быть выполнена с возможностью получения энергии от электрической розетки.
[00132] Различные модификации реализаций, описанных в данном раскрытии, могут быть легко очевидны для средних специалистов в данной области техники. Общие принципы, определенные в данном документе, могут применяться к другим реализациям без отступления от сути или объема данного раскрытия. Таким образом, формула изобретения не ограничивается реализациями, показанными в данном документе, но согласуется с наиболее широким объемом, соответствующим данному раскрытию, принципам и новым отличительным признакам, раскрытым в данном документе.