МЕТОД СМЕШИВАНИЯ ЗВУКОВЫХ КАНАЛОВ С ИСПОЛЬЗОВАНИЕМ КОРРЕЛИРОВАННЫХ ВЫХОДНЫХ ДАННЫХ
METHOD OF SOUND CHANNELS MIXING WITH USE OF CORRELATED OUTPUT DATA

УРОВЕНЬ ТЕХНИКИ
Область техники, к которой относится изобретение
Данное изобретение относится к смешиванию звуковых сигналов и, более конкретно, к смешиванию или смешиванию с понижением двух или большего количества звуковых каналов с использованием коррелированных выходных данных.
Описание уровня техники
Многоканальный звук был с энтузиазмом воспринят зрителями видеофильмов и в традиционном кинотеатре и в домашнем кинотеатре, поскольку он обеспечивает ощущение истинного "окружающего звука", далеко превосходящего смешанное стереосодержимое. Система кодирования звука Dolby AC3 (формата Dolby Digital) является международным стандартом для кодирования стерео и 5.1 канальных звуковых дорожек. "DTS Coherent Acoustics" является другой часто используемой системой кодирования многоканального звука. Теперь "DTS Coherent Acoustics" используется для обеспечения многоканальной музыки для специальных событий и домашнего прослушивания через широковещание, СD и DVD 5.1, 6.1, 7.1, 10.2 и другие многоканальные форматы.
За эти годы автомобильные звуковые системы продвинулись от моно к стерео для стандарта систем с несколькими динамиками в большинстве автомобилей в настоящее время. Однако большинство содержимого все еще обеспечивается в 2-канальном стерео(L, R)формате. Звуковая система смешивает и задерживает два канала для вывода несколькими динамиками для обеспечения усовершенствованного ощущения звука. Однако в связи с возрастающей доступностью многоканальной музыки в автомобилях осуществляются системы многоканального звука для обеспечения пассажиров ощущением "окружающего звука".
Несмотря на существенное усовершенствование существующих звуковых систем, ограничения автомобиля и близость пассажиров к определенным динамикам влияют на ощущение окружающего звука. В основном, желательное смешивание, воплощенное в многоканальном формате, может стать "несбалансированным". Например, пассажир, сидящий на месте переднего пассажира, может слышать слишком много дискретного R канала, который исходит из переднего правого динамика, в результате теряя некоторые из преимуществ представления окружающего звука. Даже более критически, пассажир на заднем сидении может слышать только каналы окружающего звука.
10
12, 14, 16
18, 20, 22
24
26
28
В результате, автомобилестроители обнаружили, что некоторое количество повторно смешанных дискретных каналов может восстановить требуемый баланс и улучшить ощущение окружающего звука для каждого (пассажира) в автомобиле. Как изображено на фиг.1, для автомобиля обычный микшер  перемешивает дискретные входные каналы R, C, L  в выходные каналы R, C, L . Каждый канал пропускают через задержку  и смешивают (умножают на коэффициенты усиления Gi  и суммируют ) со смежными каналами. Стандартное уравнение смешивания:
R=G1*R + G2*C
C=G3*C + G4*L + G5*R и
L=G6*L + G7*C
30
18, 20, 22
Смешанные каналы пропускают через компенсаторы  в выходные каналы  для воспроизведения на динамиках каналов L, C, R в автомобиле.
Хотя этот подход, в основном, эффективен при повторной балансировке звука для обеспечения приемлемого ощущения окружающего звука для каждого пассажира в автомобиле, существует несколько потенциальных проблем. Этот подход может вносить нежелательные помехи, когда два канала содержат идентичное или очень похожее содержимое, но с относительной задержкой по времени или по фазе. Кроме того, этот подход может перемешивать сигналы, которые были назначены для определенных каналов, вследствие этого ухудшая "дискретность" многоканального звука.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Настоящее изобретение обеспечивает способ смешивания звуковых каналов, который является эффективным при повторной балансировке звука или смешивании с понижением звуковых каналов без внесения нежелательных помех или чрезмерного ухудшения дискретного представления исходного звука.
Это выполняется между любыми двумя или большим количеством входных каналов, посредством обработки звуковых каналов для формирования одного или большего количества "коррелированных" звуковых сигналов для каждой пары входных каналов. Затем коррелированный звуковой сигнал(ы) смешивают со входными звуковыми каналами для обеспечения выходных каналов. Коррелятор может быть осуществлен с использованием любой соответствующей технологии, включая нейронные сети, Анализ Независимых Составляющих (ICA, АНС), адаптивную фильтрацию или матричные декодеры, и т.д.
В одном варианте осуществления только синфазный коррелированный сигнал смешивают с двумя входными каналами. Синфазный коррелированный сигнал представляет идентичные или очень похожие сигналы, которые присутствуют в обоих каналах и являются синфазными (не имеют задержки по времени или задержка минимальна). Посредством смешивания только этой части звуковых сигналов существует возможность достигнуть желательной повторной балансировки без внесения нежелательных (звуковых) помех или ухудшения дискретности многоканального звука.
В другом варианте осуществления процесс корреляции обеспечивает синфазный коррелированный сигнал, не совпадающий по фазе коррелированный сигнал (идентичные или похожие сигналы с заметной задержкой по времени или по фазе) и один или большее количество независимых сигналов (сигналов, не присутствующих в другом входном канале), которые смешивают со входными каналами. Этот подход обеспечивает большую гибкость смешивания. Микшер может устанавливать коэффициенты смешивания не совпадающих по фазе и независимых сигналов в ноль, вследствие этого достигая результатов, идентичных тому, как будто был смешан только синфазный коррелированный сигнал. Или микшер может просто понизить коэффициенты в этих сигналах для обеспечения более гладкого смешивания. В других приложениях может быть предпочтительным уменьшение или удаление микшером не совпадающего по фазе сигнала, но сохранение некоторой части независимого сигнала. Например, при смешивании с понижением 3:2 из входных каналов L, C, R в выходные каналы L, R может быть предпочтительным смешать независимые сигналы канала C в выходные каналы L и R.
Эти и другие признаки и преимущества изобретения будут очевидны для специалистов в данной области техники из последующего подробного описания предпочтительных вариантов осуществления при рассмотрении совместно с приложенными чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1, как описано выше, является известной конфигурацией для смешивания дискретных звуковых каналов L, C и R в автомобиле для улучшения ощущения окружающего звука.
Фиг.2, в соответствии с настоящим изобретением, является конфигурацией для смешивания дискретных звуковых каналов L, C и R с использованием коррелированных выходных данных между каналами L и C, и R и C.
Фиг.3 является блок-схемой коррелятора, формирующего коррелированные выходные данные.
Фиг.4 является блок-схемой коррелятора, формирующего коррелированные, не совпадающие по фазе и независимые выходные данные.
Фиг.5a-5h являются упрощенными диаграммами, изображающими представления временной и частотной области входных каналов L и R и представления частотной области коррелированных выходных данных 2:1 и 4:1.
Фиг.6 является блок-схемой варианта осуществления коррелятора, использующего матричный декодер 2:4.
Фиг.7 является упрощенной блок-схемой автомобильной звуковой системы.
Фиг.8 является блок-схемой многоканального микшера.
Фиг.9 является блок-схемой многоканального микшера, который использует возможности смешивания с понижением коррелятора, изображенного на фиг.4, в автомобиле.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Приложение многоканального звука для автомобилей показало, что повторное смешивание дискретных звуковых каналов предпочтительно для обеспечения более однородного ощущения окружающего звука для всех пассажиров. Однако, хотя прямое смешивание было бы эффективно при повторной балансировке многоканального звука, этот подход может создавать нежелательные помехи. Например, если каналы R и C содержат идентичное или очень похожее содержимое с существенными задержками по фазе или по времени, повторное смешивание этих двух каналов может производить искажение фазы и/или искажение амплитуды. Кроме того, многое из предпочтительных характеристик многоканального звука проистекает из дискретного несмешанного представления звуковых каналов. Процесс повторного смешивания может смягчить дискретное представление звука.
Поэтому настоящее изобретение обеспечивает способ смешивания звуковых каналов, который является эффективным при повторной балансировке звука без внесения нежелательных помех или чрезмерного смягчения дискретного представления исходного звука. Это выполняется между любыми двумя или большим количеством входных каналов посредством обработки звуковых каналов для формирования одного или большего количества "коррелированных" звуковых сигналов для каждой пары входных каналов. Синфазный коррелированный сигнал, представляющий содержимое в обоих каналах, которое является идентичным или очень похожим с малой задержкой или с отсутствием задержки по фазе или по времени, смешивают со входными каналами. Настоящий подход может также формировать не совпадающий по фазе коррелированный сигнал (идентичные или подобные сигналы с существенной задержкой по времени или по фазе), который обычно отбрасывают, и пару независимых сигналов (сигналы, не присутствующие в другом входном канале), которые могут быть смешаны со входными каналами. Обеспечение не совпадающего по фазе коррелированного сигнала и пары независимых сигналов делает настоящий подход также хорошо применимым для смешивания с понижением звуковых каналов.
Хотя способы были разработаны в контексте улучшения ощущения окружающего звука, обеспечиваемого многоканальным звуком в автомобиле, настоящее изобретение, в основном, применимо к любым двум или большему количеству звуковых каналов, в которых происходит смешивание, при любой настройке.
Смешивание с коррелированными выходными данными
42, 44, 46
48, 50, 52
54.
56
58
60
62.
60
62
64
66
68
48, 50, 52
Как изображено на фиг.2, микшер 40 смешивает дискретные входные каналы  R, C, L с выходными каналами R, C, L для автомобиля. Каждый канал пропускают через элемент задержки  Каналы R и C и L и C вводят в корреляторы  и , соответственно, которые формируют коррелированные звуковые сигналы  и  Эти коррелированные звуковые сигналы  и  смешивают (посредством умножения на коэффициенты Gi усиления и суммирования ) со смежными каналами. Смешанные каналы пропускают через компенсаторы  в выходные каналы  для воспроизведения на динамиках канала L, C, R, например, в автомобиле.
56
58
70
Корреляторы  и  могут быть осуществлены с использованием любой соответствующей технологии, включая Нейронные Сети, Анализ Независимых Составляющих (ICA), Адаптивную Фильтрацию или Матричные Декодеры и т.д. Как изображено на фиг.3, коррелятор  может быть сконфигурирован для создания отдельного не совпадающего по фазе коррелированного звукового сигнала (LCC, RCC), который смешивают следующим образом:
R = G8*R + G9*RCC (1)
C = G10*C + Gll*LCC + G12*RCC и (2)
L = G13*L + G14*LCC (3)
При этом подходе не совпадающие по фазе коррелированные сигналы и независимые сигналы удаляют. Безусловно, нет четких границ или очевидных определений для разделения синфазного сигнала и не совпадающего по фазе и коррелированного сигнала от независимого. Разделение этих составляющих звукового содержимого будет зависеть от технологии, применяемой для осуществления коррелятора и требуемых характеристик коррелированного сигнала. В некоторых приложениях может быть предпочтительно сохранить только очень высоко коррелированные сигналы. В других приложениях может быть предпочтительно сохранить некоторых из не совпадающих по фазе и независимых сигналов.
72
Как изображено на фиг.4, предпочтительность повышенной гибкости может быть обеспечена с коррелятором , который сконфигурирован для создания синфазного коррелированного звукового сигнала (RIP, LOP), не совпадающего по фазе коррелированного звукового сигнала (ROP, LOP) и независимых звуковых сигналов L и R (RCI, CRI и LCI, CLI). В основном, каждая из этих составляющих может быть смешана в соответствии с уравнениями смешивания:
R = G15*R + (G16*RIP + G17*ROP + G18*RCI + G19*CRI) (4)
C = G20*C + (G21*LIP + G22*LOP + G23*LCI + G24*CLI) +
(G25*RIP + G26*ROP + G27*RCI + G28*CRI) и (5)
L = G29*L + (G30*LIP + G31*LOP + G32*LCI + G33*CLI) (6)
Подобно вышеупомянутому, способ вычисления этих различных коррелированных составляющих будет зависеть от технологии осуществления и требуемых характеристик различных составляющих.
В обычном выполнении не совпадающие по фазе составляющие и независимые составляющие для выходного канала могут быть отброшены. В этом случае уравнения упрощаются:
R = G15*R + (G16*RIP + G19*CRI) (7)
C = G20*C + (G21*LIP + G23*LCI) +(G25*RIP + G27*RCI) и (8)
L = G29*L + (G30*LIP + G33*CLI) (9)
остаются только синфазные коррелированные сигналы и независимые сигналы из другого канала.
72
74
76
78
Фиг.5a-5h иллюстрируют простой пример четырех звуков, показывающий преимущества и гибкость, обеспеченные смешиванием коррелированных выходных данных. В этом примере канал L содержит звук 1 кГц, звук 5 кГц и звук 15 кГц. Канал R имеет звук 5 кГц, звук 10 кГц и звук 15 кГц. Звуки 5 кГц являются синфазными и коррелированными. Звуки 15 кГц не совпадают по фазе. На фиг. 5a изображены формы сигнала  и  временной области для каналов L (верхний) и R (нижний). На фиг.5b и фиг.5c, соответственно, изображено частное содержимое  и  каналов L и R.
80
Коррелятор 2:1, такой как проиллюстрирован на фиг.3, создает отдельный синфазный коррелированный звуковой сигнал , как изображено на фиг.5d. Затем этот сигнал может быть смешан с любым из левого и правого каналов или с ними обоими для повторной балансировки звука 5 кГц без внесения какого-либо фазового или амплитудного искажения, связанного с не совпадающими по фазе звуками 15 кГц, или смешивается с любым из независимых звуковых сигналов, 1 кГц в канале R или 10 кГц в канале L.
82
84
86
88
86
Коррелятор 2:4, такой как проиллюстрирован на фиг.4, создает независимый сигнал  L в 1 кГц, независимый сигнал  R в 10 кГц, синфазный коррелированный сигнал  в 5 кГц и не совпадающий по фазе коррелированный сигнал  в 15 кГц, как изображено на фиг.5e-5h. Затем эти сигналы могут быть независимо смешаны с любым из левого и правого каналов или с ними обоими. В некоторых случаях будет смешан только синфазный коррелированный сигнал , а другие отброшены или установлены в ноль.
Альтернативно, может быть предпочтительным добавление микшером маленькой составляющей этих других сигналов. Например, при смешивании с понижением 3:2, при котором канал C не имеет отдельного динамика, может быть необходимо смешивание некоторых из независимых сигналов.
Выполнения коррелятора
Матричный декодер
Как упомянуто выше, коррелятор может быть осуществлен с использованием матричного декодера. Самые ранние многоканальные системы кодировали посредством матричного кодирования многочисленные звуковые каналы, например, левый, правый, центральный и окружающий (L, R, C, S) каналы, в результирующие левый и правый (Lt, Rt) каналы и записывали их в стандартном формате стерео. Prologic-кодер 4 посредством матричного кодирования кодирует эту смесь следующим образом:
Lt = L + 0,707C + S (+90°) и (10)
Rt = R + 0,707C +S (-90°) (11)
Матричный декодер декодирует два дискретных канала Lt, Rt и расширяет их в четыре дискретных восстановленных канала L, R, C и S, которые усиливают и распределяют в пять систем динамика. Для выполнения активного декодирования используют много различных частных алгоритмов, и все они основаны на измерении мощности Lt+Rt (C), Lt-Rt (S), Lt (L) и Rt (R) для вычисления коэффициентов усиления Hi, посредством чего
L = Hl*Lt + H2*Rt (12)
R = H3*Lt + H4*Rt (13)
C = H5*Lt + H6*Rt и (14)
S = H7*Lt + H8*Rt (15)
Более конкретно, технология озвучивания (совмещающая диалоги и звуковые эффекты с сюжетом) Dolby Pro Logic обеспечивает набор коэффициентов усиления для нулевой точки в центре звукового поля с пятью точками. Декодер Pro Logic измеряет абсолютную мощность двухканальных сигналов Lt и Rt посредством матричного кодирования и вычисляет уровни мощности для каждого из каналов L, R, C и S. Затем эти уровни мощности используют для вычисления векторов преобладания L/R и C/S, векторная сумма которых определяет единственный вектор преобладания в звуковом поле с 5 точками, из которого должен быть выделен единственный преобладающий сигнал. Для улучшения стабильности, уровни мощности и векторы преобладания усредняют по времени. Декодер масштабирует набор коэффициентов усиления в нулевой точке согласно векторам преобладания для обеспечения коэффициентов усиления Hi.
Декодер Neo:6 DTS содержит модуль многодиапазонного фильтра матричный декодер и фильтр синтеза, которые совместно декодируют Lt и Rt и восстанавливают многоканальные выходные данные. Neo:6 вычисляет векторы преобладания L/R и C/S для каждого поддиапазона и усредняет с использованием и медленного и быстрого усреднения. Neo:6 использует вектор преобладания для отображения сигналов поддиапазона Lt, Rt в расширенное звуковое поле с 9 точками. Neo:6 вычисляет коэффициенты усиления для вектора в каждом поддиапазоне, основываясь на значениях коэффициентов усиления в звуковом поле. Это позволяет независимо регулировать поддиапазоны в звуковом поле, которое наблюдает конфигурацию канала движущегося изображения.
Матричный декодер в качестве коррелятора
90
Как изображено на фиг.6, матричный декодер  2:4 разработан для разбиения Lt и Rt для восстановления каналов L, R, C и S, которые кодированы согласно уравнениям 10 и 11. Анализ этих уравнений показывает, что каналы L и R независимы в Lt и Rt, канал C полностью коррелированный, и канал S не совпадает по фазе на 180°.
Поэтому, как изображено на фиг.6, если Lt и Rt являются просто двумя звуковыми каналами, а не каналами, кодированными матричным кодированием, то восстановленный канал C будет представлять любые синфазные коррелированные звуковые сигналы в Lt и Rt, восстановленный канал S будет представлять любые не совпадающие по фазе, коррелированные звуковые сигналы, и восстановленные каналы L и R будут представлять независимые звуковые сигналы из двух входных звуковых каналов. Следует отметить, что матричный декодер 2:3, в котором канал S смешивают в каналы L и R, может использоваться, только если требуется синфазный коррелированный сигнал.
Определенный алгоритм, используемый для вычисления коэффициентов усиления Hi, должен определять степень корреляции, сдвиг фазы или независимость, зафиксированную в каждом из этих каналов. В качестве иллюстрации рассматриваются следующие идеализированные случаи:
Случай 1: Lt, Rt высоко коррелированы (Lt=Rt)
L H1 и H2 = 0,354 -0,354
C H1 и H2 = 0,707 0,707
R H1 и H2 = -0,354 0,354
S H1 и H2 = 0,707 -0,707
В этом случае, L, R и S будут 0, и C будет содержать равные величины и L и R. Как ожидается, синфазный вклад будет большой, а другие компоненты будут нулевыми. В зависимости от того, где оканчиваются направляющие векторы, новые коэффициенты вычисляют из сетки оптимально с использованием интерполяции.
Случай 2: Lt, Rt заканчиваются, не совпадая по фазе (Lt = -1.0*Rt)
L Gl и G2 = 0,354 0,354
C Gl и G2 = 0,5 0,5
R Gl и G2 = 0,354 0,354
S Нl и Н2 = 0,707 -0,707
В этом случае все выходные данные будут нулевыми.
Случай 3: Lt является доминирующим (Rt=0)
L H1 и H2 = 1,0 0,0
C H1 и H2 = 0,0 0,5
R H1 и H2 = 0,0 0,707
S H1 и H2 = 0,0 -1
В этом случае все выходные данные являются нулевыми, исключая левый канал, который содержит левые входные данные.
Многоканальная автомобильная звуковая система
Как обсуждалось выше, мотивацией для создания настоящего изобретения было улучшение ощущения окружающего звука, обеспечиваемого многоканальным звуком, таким, как обеспечивает Dolby AC3 или DTS Coherent Acoustics. При смешивании коррелированных звуковых сигналов многоканальный микшер обеспечивает требуемую повторную балансировку многоканального звука без внесения нежелательных помех или смягчения дискретного представления звука.
102
100
104
106
Как изображено на фиг.7 и фиг.8, многочисленные динамики обычной автомобильной звуковой системы  содержат, по меньшей мере, передний L и передний R в пассажирской кабине  автомобиля. В этом примере система динамика также содержит передний C, боковые R и L и задние R и L и может содержать задний C. Многоканальный декодер  декодирует многоканальный кодированный звук с диска 108 (или из широковещания) в многочисленные дискретные звуковые входные каналы, содержащие по меньшей мере передний L, передний C и передний R. В этом формате канала 5.1 также обеспечивают правый Rs и левый Ls окружающие каналы. Каналы 1 или канал низкой частоты не изображены.
110
112.
114
116,
118
120.
118
120
122
124
126
Многоканальный микшер  смешивает дискретные каналы R, C, L с использованием коррелированных выходных данных в каналы R, C, L для соответствующих динамиков. Каждый канал пропускают через элемент задержки  Каналы R и C и L и C вводят в корреляторы  и  соответственно, которые формируют коррелированные звуковые сигналы  и  Эти коррелированные звуковые сигналы  и  смешивают (умножают на коэффициенты Gi  усиления и суммируют ) со смежными каналами. Смешанные каналы пропускают через компенсаторы  в выходные каналы R, C, L для воспроизведения на динамиках каналов R, C, L.
130,
132
.
134
136,
138
,
140
,
142
В этом определенном приложении звук 5.1 смешивают в систему динамика 7, которая не являются необычной. Из-за обычных домашних конфигураций динамика содержимое 5.1 более обычно, но многие автомобили используют системы динамика 7. В этом случае дискретные каналы Rs и Ls смешивают в боковом R и заднем R и боковом L и заднем L, соответственно. Канал Rs (Ls) пропускают через элемент задержки  разбивают и умножают на коэффициенты  смешивания Одну ветвь пропускают через компенсатор  и обеспечивают на задний R (задний L). Другую ветвь смешивают со смешанным каналом R (L) (элемент задержки  коэффициент  смешивания узел суммирования) пропускают через компенсатор  и обеспечивают на боковой R (боковой L).
Если содержимое было обеспечено в формате 7.1, то R, боковой R и задний R, дискретные звуковые каналы могут быть смешаны с использованием коррелированных выходных данных способом, аналогичным описанному для R, C, L. Левые боковые каналы могут быть смешаны аналогично. Кроме того, если звук был доступен в формате 8.1 и система динамика содержала задний динамик C, то все задние динамики могли быть смешаны таким образом.
Как изображено на фиг.9, система динамика в автомобиле не обеспечена передним динамиком C. Три передних канала (R, C, L) должны быть смешаны с понижением только в 2 канала (R, L). Это обычный случай в неавтомобильных приложениях, где не существует динамика канала C. Канал C просто смешивают в оба динамика L и R. В автомобильной установке может быть принят идентичный подход. Однако идеальные коэффициенты для смешивания канала C могут быть не идентичными коэффициентам, требуемым для повторной балансировки, и дополнительно могут создавать нежелательные помехи, происходящие из-за не совпадающих по фазе коррелированных сигналов между входными каналами.
150
152
Вместо этого корреляторы  и  формируют синфазный сигнал, не совпадающий по фазе сигнал и пару независимых звуковых сигналов. Теперь микшер обладает гибкостью для смешивания синфазных составляющих, что необходимо для повторной балансировки сигнала, отбрасывания не совпадающих по фазе составляющих, чтобы избежать искажения фазы и смешивания независимого канала C для сохранения звуковых сигналов в этом канале.
Возможность гибкого смешивания с понижением N каналов в М, где N>М, этим способом будет иметь применимость вне автомобильных приложений. Например, содержимое формируется для новых мест выставки с большим количеством дискретных каналов, например 10.2. Однако многие места рекламы и места сбора потребителей будут иметь конфигурации динамика 5.1, 6.1 или 7.1, которые будут требовать смешивания с понижением.
Хотя были описаны и изображены некоторые иллюстративные варианты осуществления изобретения, специалистам в данной области техники будут очевидны многочисленные изменения и альтернативные варианты осуществления. Такие изменения и альтернативные варианты осуществления представляются и могут быть сделаны, не удаляясь от сути и не выходя за рамки изобретения, как определено в приложенной формуле изобретения.