УСТРОЙСТВО И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ МНОГОКАНАЛЬНОГО ВЫХОДНОГО СИГНАЛА
DEVICE FOR GENERATING MULTI-CHANNEL OUTPUT SIGNAL

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к многоканальному декодированию и, в частности, к многоканальному декодированию, при котором представлены по меньшей мере два канала передачи, то есть, которое является стереофонически совместимым.
В последнее время технология многоканального воспроизведения звука становится все более и более важной. Это может быть обусловлено тем фактом, что технологии сжатия/кодирования звука, такие как широко известная технология mp3, дали возможность распространять звуковые записи через сеть Интернет или другие каналы передачи, обладающие ограниченной шириной полосы пропускания. Технология кодирования mp3 стала столь знаменитой, вследствие того обстоятельства, что она дает возможность распространения всех записей в стереофоническом формате, то есть цифровом представлении звуковой записи, включающем в себя первый или левый стереоканал и второй или правый стереоканал.
Тем не менее, есть фундаментальные недостатки традиционных двухканальных аудиосистем. Поэтому была разработана технология объемного (surround) звучания. Рекомендованное многоканальное объемное представление включает в себя, в дополнение к двум стереофоническим каналам L и R, дополнительный центральный канал C и два объемных канала Ls, Rs. Этот эталонный аудиоформат также именуется как три/два-стереофония, что означает три фронтальных канала и два объемных канала. Вообще, требуется пять каналов передачи. В среде воспроизведения необходимы по меньшей мере пять громкоговорителей в соответственных пяти разных местах необходимы для получения оптимальной зоны наилучшего восприятия на определенной дистанции от пяти правильно установленных громкоговорителей.
В данной области техники известно несколько технологий для уменьшения количества данных, требуемых для передачи многоканального звукового сигнала. Такие технологии называются технологиями уплотнения стереоинформации. Для этой цели сделана ссылка на фиг.10, которая показывает устройство 60 уплотнения стереоинформации. Это устройство может быть устройством, реализующим, например, кодирование с изменением глубины стереобазы (IS) или бинауральными контрольными сигналами (BCC). Такое устройство, как правило, принимает - в качестве входного сигнала - по меньшей мере два канала (CH1, CH2,... CHn) и выводит единственный несущий канал и параметрические данные. Параметрические данные определяются из условия, чтобы в декодере могла быть рассчитана аппроксимация исходного канала (CH1, CH2,... CHn).
Обычно, несущий канал будет включать в себя отсчеты поддиапазонов, спектральные коэффициенты, отсчеты временной области и т.д., которые обеспечивают сравнительно точное представление лежащего в основе сигнала, тогда как параметрические данные не включают в себя такие отсчеты спектральных коэффициентов, но включают в себя параметры управления для управления определенным алгоритмом восстановления, таким как взвешивание умножением, временная манипуляция, частотная манипуляция,.... Поэтому параметрические данные включают в себя лишь сравнительно грубое представление сигнала или связанного с ним канала.
Указанное в цифрах количество данных, требуемое несущим каналом, будет находиться в диапазоне 60-70 кбит/с, в то время как количество данных, требуемое дополнительной параметрической информацией для одного канала, будет находится в диапазоне 1,5-2,5 кбит/с. Примером параметрических данных являются хорошо известные масштабные коэффициенты, информация изменения глубины стереобазы или параметры бинауральных контрольных сигналов, которые будут описаны ниже.
Кодирование с изменением глубины стереобазы описано в препринте 3799 AES, «Intensity Stereo Coding» («Кодирование с изменением глубины стереобазы»), J. Herre, K. H. Brandenburg, D. Lederer, February 1994, Amsterdam. Вообще, концепция изменения глубины стереобазы основана на преобразовании главной оси, которое должно применяться к данным обоих стереофонических звуковых каналов. Если большинство точек данных на графике сконцентрированы вокруг первой принципиальной оси, эффективность кодирования может достигаться поворотом обоих сигналов на определенный угол перед кодированием. Это, однако, не всегда справедливо для реальных технологий стереофонической обработки. Поэтому эта технология модифицирована исключением второго ортогонального компонента из передачи в битовом потоке. Таким образом, восстановленные сигналы для левого и правого каналов состоят из по разному взвешенных или масштабированных вариантов одного и того же сигнала передачи. Тем не менее, восстановленные сигналы отличаются по своей амплитуде, но идентичны по их фазовой информации. Времяэнергетические огибающие обоих исходных звуковых каналов, однако, сохраняются посредством операции избирательного масштабирования, которая обычно работает избирательным по частоте образом. Это соответствует человеческому восприятию звука на высоких частотах, где доминирующие пространственные контрольные сигналы определяются энергетическими огибающими.
Кроме того, в практических реализациях сигнал передачи, то есть несущий канал, формируется из суммарного сигнала левого канала и правого канала вместо поворота обоих компонентов. Более того, эта обработка, то есть формирование параметров изменения глубины стереобазы для выполнения операции масштабирования, выполняется избирательно по частоте, то есть независимо для каждой полосы масштабного коэффициента, то есть сегмента частот кодировщика. Предпочтительно, чтобы оба канала были объединены для формирования комбинированного или «несущего» канала и, в дополнение к комбинированному каналу, определяется информация изменения глубины стереобазы, которая зависит от энергии первого канала, энергии второго канала или энергии комбинированного канала.
Технология BCC описана в документе 5574 съезда AES, «Binaural cue coding applied to stereo and multichannel audio compression» («Кодирование бинауральными контрольными сигналами применительно к сжатию стереофонического и многоканального звука»), C. Faller, F. Baumgarte, May 2002, Munich. При BCC-кодировании некоторое количество входных звуковых каналов преобразуется в спектральное представление с использованием основанного на ДПФ (дискретном преобразовании Фурье) преобразования с перекрывающимися окнами. Результирующий однородный спектр делится на неперекрывающиеся сегменты, каждый из которых имеет индекс. Каждый сегмент обладает шириной полосы пропускания, пропорциональной эквивалентной прямоугольной полосе пропускания (ERB). По каждому сегменту для каждого кадра k оцениваются межканальные разности уровней (ICLD) и межканальные временные разницы (ICTD). ICLD и ICTD дискретизируются и кодируются, давая в результате битовый BCC-поток. Межканальные разности уровней и межканальные временные разницы задаются для каждого канала относительно опорного канала. Затем параметры рассчитываются в соответствии с предписанными формулами, которые зависят от определенных разбиений сигнала, который должен обрабатываться.
На стороне декодера, декодер принимает монофонический сигнал и битовый BCC-поток. Монофонический сигнал преобразуется в частотную область и вводится в блок пространственного синтеза, который также принимает декодированные значения ICLD и ICTD. В блоке пространственного синтеза, значения BCC-параметров (ICLD и ICTD) используются для выполнения операции взвешивания монофонического сигнала, для того чтобы синтезировать многоканальные сигналы, которые после частотно/временного преобразования представляют восстановление исходного многоканального звукового сигнала.
В случае BCC модуль 60 уплотнения стереоинформации работает таким образом, что выводит дополнительную канальную информацию с тем, чтобы параметрические данные канала были дискретизированными и кодированными параметрами ICLD или ICTD, при этом один из исходных каналов используется в качестве опорного канала для кодирования дополнительной канальной информации.
Обычно несущий канал формируется из суммы участвующих исходных каналов.
Естественно, вышеприведенные технологии обеспечивают только монофоническое представление для декодера, который может обрабатывать только несущий канал, но не способен обрабатывать параметрические данные для формирования одного или более приближений более чем одного входного канала.
Технология кодирования звука, известная как кодирование бинауральными контрольными сигналами (BCC), также хорошо описана в публикациях US 2003, 0219130 A1, 2003/0026441 A1 и 2003/0035553 A1 заявок на выдачу патентов США. Дополнительная ссылка также делается на «Binaural Cue Coding. Part II: Schemes and Applications» («Кодирование бинауральными контрольными сигналами. Часть II: Схемы и применения»), C. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc, Vol. 11, No. 6, Nov. 2993. Приведенные публикации заявок на выдачу патентов США и две приведенные технические публикации по технологии BCC под авторством Faller и Baumgarte включены в материалы настоящей заявки посредством ссылки во всей их полноте.
В последующем типичная общая схема BCC для многоканального кодирования звука детально разбирается со ссылкой на фиг. с 11 по 13. Фиг.11 показывает такую общую схему кодирования бинауральными контрольными сигналами для кодирования/передачи многоканальных звуковых сигналов. Многоканальный звуковой входной сигнал на входе 110 BCC-кодировщика 112 подвергается понижающему микшированию в блоке 114 понижающего микширования. В представленном примере исходным многоканальным сигналом на входе 110 является 5-канальный объемный сигнал, содержащий левый фронтальный канал, правый фронтальный канал, левый объемный канал, правый объемный канал и центральный канал. Например, блок 114 понижающего микширования создает суммарный сигнал простым сложением этих пяти каналов в монофонический сигнал. В данной области техники известны другие схемы понижающего микширования, такие, что с использованием многоканального входного сигнала, может быть получен сигнал понижающего микширования, содержащий одиночный канал. Этот одиночный канал выводится на линию 115 суммарного сигнала. Дополнительная информация, полученная блоком 116 BCC-анализа, выводится на линию 117 дополнительной информации. В блоке BCC-анализа межканальные разности уровней (ICLD), и межканальные временные разницы (ICTD) рассчитываются, как было очерчено выше. В последнее время блок 116 BCC-анализа был усовершенствован, чтобы также рассчитывать значения межканальной корреляции (значения ICC). Суммарный сигнал и дополнительная информация передаются предпочтительно в дискретизированной и кодированной форме, в BCC-декодер 120. BCC-декодер разлагает переданный суммарный сигнал на некоторое количество поддиапазонов и применяет масштабирование, задержки и другую обработку, чтобы формировать поддиапазоны выходных многоканальных звуковых сигналов. Эта обработка выполняется таким образом, чтобы параметры (контрольные сигналы) ICLD, ICTD и ICC восстановленного многоканального сигнала на выходе 121 были подобны соответствующим контрольным сигналам для исходного многоканального сигнала на входе 110 в BCC-кодировщик 112. Для этой цели BCC-декодер 120 включает в себя блок 122 BCC-синтеза и блок 123 обработки дополнительной информации.
Далее, со ссылкой на фиг.12 разъясняется внутреннее строение блока 122 BCC-синтеза. Суммарный сигнал на линии 115 вводится в модуль время/частотного преобразования или гребенку 125 фильтров, обозначенную как FB. На выходе блока 125 существует некоторое количество N сигналов поддиапазонов, в предельном случае, блок спектральных коэффициентов, когда гребенка 125 звуковых фильтров выполняет преобразование 1:1, то есть преобразование, которое выдает N спектральных коэффициентов из N отсчетов во временной области.
Блок 122 BCC-синтеза дополнительно содержит каскад 126 задержки, каскад 127 изменения уровня, каскад 128 корреляционной обработки и каскад гребенки 129 обратных фильтров, обозначенной как IFB. На выходе каскада 129 восстановленный многоканальный звуковой сигнал, содержащий, например, пять каналов в случае 5-канальной системы объемного звучания, может выводиться на множество громкоговорителей 124, как проиллюстрировано на фиг.11.
1
2
i
N
Как показано на фиг.12, входной сигнал s(n) преобразуется в частотную область или область гребенок фильтров посредством элемента 125. Сигнал, выдаваемый элементом 125, размножается, таким образом, чтобы были получены несколько вариантов одного и того же сигнала, как проиллюстрировано узлом 130 размножения. Количество вариантов исходного сигнала равно количеству выходных каналов в выходном сигнале, который должен быть восстановлен, когда, в общем, каждый вариант исходного сигнала в узле 130 подвергнут определенной задержке d, d,..., d,..., d. Параметры задержки рассчитываются блоком 123 обработки дополнительной информации по фиг.11 и выводятся из межканальных временных разниц, которые определены блоком 116 BCC-анализа.
1
2
i
N
То же самое справедливо для параметров a, a,..., a,..., a, умножения, которые также рассчитываются блоком 123 обработки дополнительной информации на основании межканальных разностей уровней, которые рассчитаны блоком 116 BCC-анализа.
Параметры ICC, рассчитанные блоком 116 BCC-анализа, используются для управления выполняемыми функциями блока 128 таким образом, чтобы на выходах блока 128 были получены определенные корреляции между задержанными и манипулированными по уровню сигналами. Здесь следует отметить, что очередность между каскадами 126, 127, 128 может быть отличной от случая, показанного на фиг.12.
Здесь следует отметить, что при по-кадровой обработке звукового сигнала, BCC-анализ выполняется по-кадровым образом, то есть с временной зависимостью и, к тому же, по-частотным образом. Это означает, что для каждой спектральной полосы получаются BCC-параметры. Это означает, что, в случае, когда гребенки 125 звуковых фильтров разлагают входной сигнал на, например, 32 сигнала полосовых фильтров, блок BCC-анализа получает множество BCC-параметров для каждой из 32 полос. Как и следовало ожидать, блок 122 BCC-синтеза по фиг.11, который показан подробно на фиг.12, выполняет восстановление, которое, в этом примере, также основано на 32 полосах.
Далее, обратимся к фиг.13, показывающей схему расстановки для определения некоторых BCC-параметров. Обычно параметры ICLD, ICTD и ICC могут определяться между парами каналов. Однако предпочтительно определять параметры ICLD и ICTD между опорным каналом и каждым другим каналом. Это проиллюстрировано на фиг.13А.
Параметры ICC могут определяться разными способами. В наиболее общем смысле можно было бы оценивать параметры ICC в кодировщике между всеми возможными парами каналов, как показано на фиг.13В. В этом случае декодер синтезировал бы ICC таким образом, чтобы он был приблизительно таким же, как в исходном многоканальном сигнале между всеми возможными парами каналов. Однако предлагалось оценивать параметры ICC только между самыми интенсивными двумя каналами в каждый момент времени. Эта схема проиллюстрирована на фиг.13С, где показан пример, в котором в один момент времени, параметр ICC оценивается между каналами 1 и 2, а в другой момент времени, параметр ICC рассчитывается между каналами 1 и 5. Декодер, затем, синтезирует межканальную корреляцию между самыми мощными каналами в декодере и примеряет некоторые эвристические правила для расчета и синтеза межканальной когерентности для оставшихся пар каналов.
1
N
1
N
Что касается расчета, например, параметров a, a умножения на основании переданных параметров ICLD, то сделана ссылка на документ 5574 съезда AES, упомянутый выше. Параметры ICLD представляют распределение энергии в исходном многоканальном сигнале. Без потери степени общности, на фиг.13А показано, что есть четыре параметра ICLD, показывающих разность энергий между всеми другими каналами и левым фронтальным каналом. В блоке 123 обработки дополнительной информации, параметры a,..., a умножения выводятся из параметров ICLD таким образом, чтобы полная энергия всех восстановленных выходных каналов была такой же, как энергия переданного суммарного сигнала (или пропорциональной этой энергии). Простым способом для определения этих параметров является 2-стадийная последовательность операций, в которой, на первой стадии, коэффициент усиления для левого фронтального канала устанавливается в единицу, в то время как коэффициенты усиления для других каналов по фиг.13А устанавливаются в переданные значения ICLD. Затем, на второй стадии, энергия всех пяти каналов рассчитывается и сравнивается с энергией переданного суммарного сигнала. Затем все каналы масштабируются с понижением с использованием коэффициента масштабирования с понижением, который является идентичным для всех каналов, при этом коэффициент масштабирования с понижением выбирается таким, чтобы полная энергия всех восстановленных выходных каналов, после масштабирования с понижением, была равной полной энергии переданного суммарного сигнала.
Естественно, есть другие способы для расчета коэффициентов усиления, которые не полагаются на 2-стадийную последовательность операций, а которым требуется только 1-стадийная последовательность операций.
1
Что касается параметров задержки, то следует отметить, что параметры ICTD задержки, которые передаются из BCC-кодировщика, могут использоваться непосредственно, когда параметр d задержки для левого фронтального канала установлен в ноль. Здесь не должно делаться никакого изменения масштаба, так как задержка не изменяет энергию сигнала.
1
n
Что касается измерения межканальной когерентности ICC, передаваемой из BCC-кодировщика в BCC-декодер, то здесь следует отметить, что манипуляция когерентности может производиться посредством изменения коэффициентов a,..., a усиления, например, посредством умножения весовых коэффициентов всех поддиапазонов на случайные числа с широтой выборки [20log10(-6) и 20log10(6)]. Псевдослучайная последовательность выбирается предпочтительно такой, чтобы дисперсия была приблизительно постоянной для всех критических полос, а среднее значение было нулевым в пределах каждой критической полосы. Такая же последовательность применяется к спектральным коэффициентам для каждого отличного кадра. Таким образом, ширина акустического образа управляется посредством изменения дисперсии псевдослучайной последовательности. Более высокая дисперсия порождает бòльшую ширину образа. Изменение дисперсии может выполняться в отдельных полосах, которые имеют ширину критических полос. Это дает возможность одновременного существования многочисленных объектов на акустической сцене, каждый объект имеет разную ширину образа. Подходящим распределением амплитуд для псевдослучайной последовательности является равномерное распределение по логарифмической шкале, которое уже описано в публикации 2003/0219130 A1 заявки на выдачу патента США. Тем не менее, вся обработка BCC-синтеза имеет отношение к одиночному входному каналу, передаваемому как суммарный сигнал из BCC-кодировщика в BCC-декодер, как показано на фиг.11.
Чтобы передавать пять каналов совместимым способом, то есть в формате битового потока, который также понятен для обычного стереодекодера, была использована так называемая технология матрицирования, которая описана в «MUSICAM surround: a universal multi-channel coding system compatible with ISO 11172-3» («Объемное звучание MUSICAM: универсальная система многоканального кодирования, совместимая с ISO 11172-3»), G. Theile and G. Stoll, AES preprint 3403, October 1992, San Francisco. Пять входных каналов L, R, C, Ls и Rs подаются в устройство матрицирования, выполняющее операцию матрицирования, чтобы рассчитывать основные или совместимые стереофонические каналы Lo, Ro по пяти входным каналам. В частности, эти базовые стереофонические каналы Lo/Ro рассчитываются как изложено ниже:
Lo = L + xC + yLs
Ro = R + xC + yRs
x и y - константы. Другие три канала C, Ls, Rs передаются, как они есть, на уровне расширения, в дополнение к основному стереофоническому уровню, который включает в себя кодированный вариант основных стереофонических сигналов Lo/Ro. Что касается битового потока, то этот основной стереофонический уровень Lo/Ro включает в себя заголовок, информацию, такую как коэффициенты масштабирования и отсчеты поддиапазонов. Уровень многоканального расширения, то есть центральный канал и два объемных канала, включены в поле многоканального расширения, которое также называется полем служебных данных.
На стороне декодера выполняется операция обратного матрицирования, для того чтобы сформировать восстановления левого и правого каналов в пятиканальном представлении, с использованием основных стереофонических каналов Lo, Ro и трех дополнительных каналов. Дополнительно, три дополнительных канала декодируются из служебной информации, для того чтобы получить декодированное пятиканальное или объемное представление исходного многоканального звукового сигнала.
Еще один подход к многоканальному кодированию описан в публикации «Improved MPEG-2 audio multi-channel encoding» («Усовершенствованное многоканальное MPEG-2-кодирование звука»), B. Grill, J. Herre, K. H. Brandenburg, E. Eberlein, J. Roller, J. Mueller, AES preprint 3865, February 1994, Amsterdam, в котором, для того чтобы получить обратную совместимость, рассматриваются допускающие обратную совместимость режимы. Для этой цели используется матрица совместимости для получения так называемых каналов Lc, Rc понижающего микширования из исходных пяти входных каналов. Более того, возможно динамически выбирать три вспомогательных канала, передаваемых в качестве служебных данных.
Для того чтобы использовать стереофоническую неотносимость, технология уплотнения стереоинформации применяется к группам каналов, например, трем фронтальным каналам, то есть для левого канала, правого канала и центрального канала. Для этой цели эти три канала объединяются, чтобы получить комбинированный канал. Этот комбинированный канал дискретизируется и упаковывается в битовый поток. Затем этот комбинированный канал вместе с соответствующей информацией уплотнения стереоинформации вводится в модуль декодирования с уплотнением стереоинформации, чтобы получить декодированные с уплотнением стереоинформации каналы, то есть декодированный с уплотнением стереоинформации левый канал, декодированный с уплотнением стереоинформации правый канал и декодированный с уплотнением стереоинформации центральный канал. Эти декодированные с уплотнением стереоинформации каналы вместе с левым объемным каналом и правым объемным каналом вводятся в блок матрицы совместимости, чтобы сформировать первый и второй каналы Lc, Rc понижающего микширования. Затем дискретизированные варианты обоих каналов понижающего микширования и дискретизированный вариант комбинированного канала упаковываются в битовый поток вместе с параметрами кодирования с уплотнением стереоинформации.
Поэтому при использовании кодирования с изменением глубины стереобазы группа независимых сигналов исходных канальных сигналов передается в пределах единой порции «несущих» данных. Декодер затем восстанавливает привлеченные сигналы в качестве идентичных данных, которые подвергаются изменению масштаба согласно своим исходным времяэнергетическим огибающим. Следовательно, линейная комбинация переданных каналов будет приводить к результатам, которые совершенно отличны от исходного понижающего микширования. Это относится к любой разновидности кодирования с уплотнением стереоинформации на основании концепции изменения глубины стереобазы. Для системы кодирования, предоставляющей совместимые каналы понижающего микширования, есть прямое следствие. Восстановление посредством дематрицирования, которое описано в предыдущей публикации, страдает от артефактов, вызванных несовершенным восстановлением. Использование так называемой схемы предыскажения уплотнения стереоинформации, в которой кодирование с уплотнением стереоинформации левого, правого и центрального каналов выполняется перед матрицированием в кодировщике, смягчает эту проблему. Таким образом, схема дематрицирования для восстановления привносит меньше артефактов, так как на стороне кодировщика, декодированные уплотненные стереофонические сигналы были использованы для формирования каналов понижающего микширования. Таким образом, несовершенство последовательности операций восстановления смещается на совместимые каналы Lc и Rc понижающего микширования, где оно гораздо более вероятно будут замаскировано самим звуковым сигналом.
Хотя такая система привела к меньшему количеству артефактов из-за дематрицирования на стороне декодера, тем не менее она имеет некоторые недостатки. Недостаток состоит в том, что стереофонически совместимые каналы Lc и Rc понижающего микширования выводятся не из исходных каналов, а из вариантов исходных каналов, кодированных/декодированных с изменением глубины стереобазы. Поэтому потери данных вследствие системы кодирования с изменением глубины стереобазы включаются в состав совместимых каналов понижающего микширования. Исключительно стереофонический декодер, который декодирует только совместимые каналы, а не усовершенствованные каналы, кодированные с изменением глубины стереобазы, следовательно, выдает выходной сигнал, который поражается потерями данных привнесенными изменением глубины стереобазы.
Кроме того, помимо двух каналов понижающего микширования должен передаваться полный дополнительный канал. Этот канал является комбинированным каналом, который сформирован посредством кодирования с уплотнением стереоинформации левого канала, правого канала и центрального канала. Кроме того, информация изменения глубины стереобазы для восстановления исходных каналов L, R, C из комбинированного канала также должна передаваться в декодер. В декодере выполняется обратное матрицирование, то есть операция дематрицирования, чтобы вывести каналы объемного звучания из двух каналов понижающего микширования. Кроме того, исходные левый, правый и центральный каналы аппроксимируются посредством декодирования уплотненной стереоинформации с использованием переданного комбинированного канала и переданных параметров уплотнения стереоинформации. Следует отметить, что исходный левый, правый и центральный каналы выводятся посредством декодирования уплотненной стереоинформации комбинированного канала.
Усовершенствованием схемы BCC, показанной на фиг.11, является схема с, по меньшей мере, двумя каналами передачи звука, так что получается стереофонически совместимая обработка. В кодировщике C входных каналов подвергаются понижающему микшированию в E звуковых каналов передачи. Контрольные сигналы ICTD, ICLD и ICC между определенными парами входных каналов оцениваются как функция частоты и времени. Оцененные контрольные сигналы передаются в декодер в качестве дополнительной информации. Схема BCC с C входными каналами и E каналами передачи обозначается BCC C-в-E.
n
n
n
n
Вообще говоря, BCC-обработка является избирательной по частоте, зависящей от времени постобработкой передаваемых каналов. Ниже, исходя из подразумеваемого понимания этого, индекс полосы частот вводиться не будет. Вместо этого, переменные, подобные x, s, y, a, предполагаются векторами с размерностью (1,f), при этом, f обозначает количество полос частот.
Preprint 112
Conv. Aud. Engl. Soc,
IEEE Trans. On Speech and Audio Proc.,
IEEE Trans. On Speech and Audio Proc,
th
Так называемая правильная схема BCC описана в C. Faller and F. Baumgarte, «Binaural Cue Coding applied to stereo and multi-channel audio compression» («Кодирование бинауральными контрольными сигналами применительно к стереофоническому и многоканальному кодированию звука»), in May 2002, F. Baumgarte and C. Faller, «Binaural Cue Coding - Part I: Psychoacoustic fundamentals and design principles» («Кодирование бинауральными контрольными сигналами - часть I: психоакустические начала и основы конструирования»), vol. 11, no. 6, Nov. 2003, и C. Faller and F. Baumgarte, «Binaural Cue Coding - Part II; Schemes and applications» («Кодирование бинауральными контрольными сигналами - часть II: схемы и применения»), vol. 11, no. 6, Nov. 2003. При этом, то, что она содержит одиночный передаваемый звуковой канал, как показано на фиг.11, является обратно совместимым расширением существующих монофонических систем для стереофонического или многоканального воспроизведения звука. Так как переданный одиночный звуковой канал является действующим монофоническим сигналом, он является пригодным для воспроизведения унаследованными приемниками.
Multi-Channel Stereophonic Sound System with or without Accompanying Picture
Многоканальная стереофоническая аудиосистема в присутствие или в отсутствие сопутствующего изображения
Preprint 116
Conv. Aud. Eng. Soc,
http://www.itu.org
th
Однако большинство установленных инфраструктур широковещательной передачи звука (аналоговое и цифровое радио, телевидение и т. п.) и систем хранения звука (виниловые диски, магнитофонная кассета, компакт-диск, запоминающие устройства VHS-видео, MP3-звука, и т. п.) основаны на двухканальной стереофонии. С другой стороны, все более популярными становятся «системы домашних кинотеатров», соответствующие стандарту 5.1 (Rec. ITU-R BS.775,  (), ITU, 1993, ) Так, BCC с двумя каналами передачи (BCC C-в-2), как она описана в J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multichannel audio» («Объемное звучание MP3: эффективное и совместимое кодирование многоканального звука») in May 2004, представляет особый интерес, для расширения существующих стереофонических систем для многоканального объемного звучания. В этой связи, также дается ссылка на заявку «Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal» («Устройство и способ для построения многоканального выходного сигнала или для формирования сигнала понижающего микширования») на выдачу патента США, под порядковым номером 10/762,100, поданную 20 января 2004 г.
www.dolby.com/tech/;
www. dolby.com/tech/
www.dolby.com/tech/PLII.Mixing.JimHilson.html
Preprint 116
Conv. Aud. Eng. Soc.,
th
В аналоговой области, в течение многих лет были популярны алгоритмы матрицирования, такие как «Dolby Surround» («Технология объемного звучания Долби»), «Dolby Pro Logic» (технология озвучивания Долби, совмещающая диалоги и звуковые эффекты с сюжетом) и «Dolby Pro Logic II» (J. Hull, «Surround sound past, present, and future» («Прошлое, настоящее и будущее объемного звука»), Techn. Rep., Dolby Laboratories, 1999,  R. Dressier, «Dolby Surround Prologic II Decoder - Principles of operation» («Декодер Dolby Surround Prologic II - принципы работы»), Techn Rep., Dolby Laboratories, 2000, ). Такие алгоритмы применяют «матрицирование» для отображения звуковых каналов 5.1 в стереофонически совместимую пару каналов. Однако алгоритмы матрицирования обеспечивают лишь значительно сниженные гибкость и качество по сравнению с раздельными звуковыми каналами, как они описаны в J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multi-channel audio» («Объемное звучание MP3: эффективное и совместимое кодирование многоканального звука»), in May 2004. Если ограничения алгоритмов матрицирования уже учтены при микшировании звуковых сигналов для объемного звучания 5.1, некоторые из влияний этого несовершенства могут быть снижены, как описано в J. Hilson, «Mixing with Dolby Pro Logic II Technology» («Микширование с помощью технологии Dolby Pro Logic II»), Tech. Rep., Dolby Laboratories, 2004, .
Preprint 116
Conv. Aud. Eng. Soc.,
th
Кодирование BCC C-в-2 может рассматриваться в качестве схемы с аналогичными функциональными возможностями, как в алгоритме матрицирования с вспомогательной дополнительной информацией. Однако оно является более общим по своей природе, так как оно поддерживает отображение из любого количества исходных каналов в любое количество передаваемых каналов. Кодирование BCC C-в-E предназначено для цифровой области и его добавочная дополнительная информация низкой битовой скорости обычно может быть включена в существующую передачу данных обратно совместимым способом. Это означает, что унаследованные приемники будут игнорировать добавочную дополнительную информацию и воспроизводить 2 передаваемых канала непосредственно, как это описано в J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multi-channel audio» («Объемное звучание MP3: эффективное и совместимое кодирование многоканального звука»), in May 2004. Неизменная цель состоит в том, чтобы достичь качества звука, подобного раздельной передаче исходных звуковых каналов, то есть значительно лучшего качества, чем то, которое может ожидаться от традиционного алгоритма матрицирования.
1
2
3
4
5
1
1
3
4
2
2
3
5
Ниже, сделана ссылка на фиг.6a, чтобы проиллюстрировать работу традиционного кодировщика понижающего микширования для формирования двух каналов передачи из пяти входных каналов, которыми являются левый канал L или x, правый канал R или x, центральный канал C или x, левый объемный канал sL или x и правый объемный канал sR или x. Ситуация понижающего микширования схематично показана на фиг.6a. Становится ясным, что первый канал y передачи формируется с использованием левого канала x, центрального канала x и левого объемного канала x. Кроме того, фиг.6a проясняет, что правый канал y передачи формируется с использованием правого канала x, центрального канала x и правого объемного канала x.
3
3
Предпочтительное в большинстве случаев правило понижающего микширования или матрица понижающего микширования показаны на фиг.6с. Становится ясным, что центральный канал x взвешивается весовым коэффициентом 1/√2, что означает, что первая половина энергии центрального канала x помещается в левый канал передачи или первый канал Lt передачи, тогда как вторая половина энергии в центральном канала вводится во второй канал передачи или правый канал Rt передачи. Таким образом, понижающее микширование отображает входные каналы в передаваемые каналы. Понижающее микширование традиционно описывается матрицей (m,n), отображающей n входных отсчетов в m выходных отсчетов. Элементами этой матрицы являются веса, применяемые к соответствующим каналам перед суммированием для формирования связанного выходного канала.
Multi-Channel Stereophonic Sound System with or without Accompanying Picture
Многоканальная стереофоническая аудиосистема в присутствие или в отсутствие сопутствующего изображения
Preprint 116
Conv. Aud. Eng. Soc,
http://www.itu.org
th
Существуют разные способы понижающего микширования, которые могут быть найдены в рекомендациях МСЭ (ITU, международного союза электросвязи) (Rec. ITU-R BS.775, (), ITU, 1993, ). Дополнительно, делается ссылка на J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multi-channel audio» («Объемное звучание MP3: эффективное и совместимое кодирование многоканального звука») in May 2004, раздел 4.2 касательно разных способов понижающего микширования. Понижающее микширование может выполняться либо во временной, либо в частотной области. Оно может быть переменным во времени адаптирующимся к сигналу способом или зависимым от (полосы) частот. Распределение каналов показано матрицей, справа по фиг.6а, и задано следующим образом:
Так, для важного случая кодирования BCC 5-в-2, один передаваемый канал рассчитывается по правому, заднему правому и центральному, а другой передаваемый канал - по левому, заднему левому и центральному, соответствующим матрице понижающего микширования для примера
который также показан на фиг.6с.
В этой матрице понижающего микширования весовые коэффициенты могут выбираться такими, чтобы суммой квадратов значений в каждом столбце была единица, так чтобы мощность каждого входного сигнала равномерно раскладывалась по подвергнутым понижающему микшированию сигналам. Конечно, равным образом могли бы использоваться и другие схемы понижающего микширования.
1
2
В частности, делается ссылка на фиг.6b или 7b, которые показывают конкретную реализацию схемы понижающего микширования кодировщика. Показана обработка для одного поддиапазона. В каждом поддиапазоне масштабные коэффициенты e и e регулируются, чтобы «выравнивать» громкость сигнальных компонентов в подвергнутом понижающему микшированию сигнале. В этом случае понижающее микширование выполняется в частотной области с переменной n (фиг.7b), обозначающей временной индекс поддиапазона частотной области, и k, являющимся индексом преобразованного сигнального блока временной области. В частности, следует обратить внимание на взвешивающее устройство для взвешивания центрального канала перед тем, как взвешенный вариант центрального канала привносится в левый канал передачи и правый канал передачи соответственными устройствами суммирования.
Соответствующая операция повышающего микширования в декодере показана по фиг.7a, 7b и 7с. В декодере должно рассчитываться повышающее микширование, которое отображает передаваемые каналы в выходные каналы. Повышающее микширование традиционно описывается матрицей (i,j) (i строк, j столбцов), отображающей i переданных отсчетов в j выходных отсчетов. И вновь элементами этой матрицы являются веса, применяемые к соответствующим каналам перед суммированием для формирования связанного выходного канала. Повышающее микширование может выполняться либо во временной, либо в частотной области. Кроме того, оно может быть переменным во времени адаптирующимся к сигналу способом или зависимым от (полосы) частот. В противоположность матрице понижающего микширования абсолютные значения элементов матрицы не представляют окончательные веса выходных каналов, так как эти подвергнутые повышающему микшированию каналы дополнительно модифицируются в случае BCC-обработки. В частности, модификация происходит с использованием информации, предоставленной пространственными контрольными сигналами, подобными ICLD, и т. п. Здесь, в этом примере, все элементы установлены в 0, либо 1.
1
Фиг.7а показывает ситуацию повышающего микширования для системы объемного звучания с 5 громкоговорителями. Кроме каждого громкоговорителя показан основной канал, используемый для BCC-синтеза. В частности, что касается левого объемного выходного канала, используется первый передаваемый канал y. То же самое справедливо для левого канала. Этот канал используется в качестве основного канала, также называемого «левым передаваемым каналом».
2
Что касается правого выходного канала и правого объемного выходного канала, то они также используют тот же самый канал, то есть, второй или правый передаваемый канал y. Что касается центрального канала, то здесь следует отметить, что основной канал для BCC-синтеза центрального канала формируется в соответствии с матрицей повышающего микширования, показанной на фиг.7с, то есть сложением обоих передаваемых каналов.
Последовательность операций формирования 5-канального выходного сигнала, при условии двух передаваемых каналов, показана на фиг.7b. Здесь повышающее микширование делается в частотной области с переменной n, обозначающей временной индекс поддиапазона частотной области, и k, являющимся индексом преобразованного сигнального блока временной области. Следует отметить, что ICTD- и ICC-синтез применяется между парами каналов, для которых используется один и тот же основной канал, то есть между левым и задним левым, и между правым и задним правым, соответственно. Два блока, обозначенных А на фиг.7b, включают в себя схемы для 2-канального ICC-синтеза.
12
13
14
15
14
25
14
25
ij
ij
ij
τ
τ
τ
Дополнительная информация, оцененная в кодере, которая необходима для вычисления всех параметров для синтеза выходного сигнала декодера, включает в себя следующие контрольные сигналы: ΔL, ΔL, ΔL, ΔL, , , c и c (ΔL - разность уровней между каналами i и j,  - временная разница между каналами i и j, а c - коэффициент корреляции меду каналами i и j). Здесь следует отметить, что также могут использоваться и другие разности уровней. Существует требование, чтобы в распоряжении в декодере имелась информация, достаточная для вычисления, например, масштабных коэффициентов, задержек и т.п., для BCC-синтеза.
i
i
ref
1
Ниже делается ссылка на фиг.7d, для того чтобы дополнительно проиллюстрировать модификацию уровня для каждого канала, то есть расчет a, и последующую полную нормализацию, которая не показана на фиг.7b. Предпочтительно, чтобы межканальные разности ΔL уровней передавались как дополнительная информация, то есть как ICLD. Применительно к канальному сигналу, необходимо использовать экспоненциальную зависимость между опорным каналом F и каналом, который должен быть рассчитан, то есть F. Это показано в верхней части фиг.7d.
i
На фиг.7b не показана последующая или конечная полная нормализация, которая имеет место до блоков А корреляции или после блоков А корреляции. Когда блоки корреляции оказывают воздействие на энергию каналов, взвешенную посредством a, полная нормализация должна иметь место после блоков А корреляции. Чтобы удостовериться, что энергия всех выходных каналов равна энергии всех передаваемых каналов, опорный канал масштабируется, как показано на фиг.7d. Предпочтительно, чтобы опорный канал являлся корнем из суммы квадратов передаваемых каналов.
Ниже описаны проблемы, связанные с этими схемами понижающего/повышающего микширования. Когда рассматривается схема BCC 5-в-2, которая проиллюстрирована на фиг.6 и фиг.7, становится ясным следующее.
Исходный центральный канал привносится в оба передаваемых канала и, следовательно, также и в восстановленный левый и правый выходные каналы.
Кроме того, в этой схеме общий вклад центра имеет одинаковую амплитуду в обоих восстановленных выходных каналах.
Более того, исходный центральный сигнал замещается во время декодирования центральным сигналом, который выведен из переданных левого и правого каналов и, соответственно, не может быть зависимым от (то есть, не коррелирован относительно) восстановленных левого и правого каналов.
Этот эффект имеет неблагоприятные последствия для качества воспринимаемого звука в случае сигналов с очень широким звуковым образом, который характеризуется высокой степенью декорреляции (то есть, низкой когерентностью) между всеми звуковыми каналами. Примером таких сигналов является звук аплодирующей аудитории, при использовании разных микрофонов с достаточно широким разнесением для формирования исходных многоканальных сигналов. Для таких сигналов звуковой образ декодированного звука становится более узким, а его естественная ширина уменьшается.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задача настоящего изобретения состоит в том, чтобы предоставить концепцию более высококачественного многоканального восстановления, которая имеет результатом многоканальный выходной сигнал, обладающий улучшенным восприятием звука.
В соответствии с первым аспектом этого изобретения эта задача решается устройством для формирования многоканального выходного сигнала, содержащего K выходных каналов, причем многоканального выходного сигнала соответствующего многоканальному входному сигналу, содержащему C входных каналов, использующего E каналов передачи, причем E каналов передачи представляющих результат операции понижающего микширования, имеющей C входных каналов в качестве входа, и использующего параметрическую дополнительную информацию, относящуюся к входным каналам, при этом E ≥ 2, C > E и K > 1 и ≤ C, и при этом операция понижающего микширования действует так, чтобы привносить первый входной канал в первый канал передачи и во второй канал передачи и чтобы дополнительно привносить второй входной канал в первый канал передачи, содержащим: вычислитель канала компенсации для расчета канала компенсации с использованием информации, относящейся к первому входному каналу, включенному в первый канал передачи, второму каналу передачи или параметрической дополнительной информации; объединитель для объединения канала компенсации и первого канала передачи или его обработанного варианта, чтобы получать второй основной канал, в котором влияние первого входного канала уменьшено по сравнению с влиянием первого входного канала на первый канал передачи; и восстановитель канала для восстановления второго выходного канала, соответствующего второму входному каналу, с использованием второго основного канала и параметрической дополнительной информации, относящейся ко второму входному каналу, и для восстановления первого выходного канала, соответствующего первому входному каналу, с использованием первого основного канала, отличающегося от второго основного канала тем, что влияние первого канала является более высоким по сравнению со вторым основным каналом, и параметрической дополнительной информации, относящейся к первому входному каналу.
В соответствии со вторым аспектом настоящего изобретения эта задача решается способом формирования многоканального выходного сигнала, содержащего K выходных каналов, причем многоканального выходного сигнала соответствующего многоканальному входному сигналу, содержащему C входных каналов, использующего E каналов передачи, причем E каналов передачи представляющих результат операции понижающего микширования, имеющей C входных каналов в качестве входа, и использующего параметрическую дополнительную информацию, относящуюся ко входным каналам, при этом E ≥ 2, C > E и K > 1 и ≤ C и при этом операция понижающего микширования действует так, чтобы привносить первый входной канал в первый канал передачи и во второй канал передачи и чтобы дополнительно привносить второй входной канал в первый канал передачи, содержащим этапы, на которых: рассчитывают канал компенсации с использованием информации, относящейся к первому входному каналу, включенному в первый канал передачи, второму каналу передачи, или параметрической дополнительной информации; объединяют канал компенсации и первый канал передачи или его обработанный вариант, чтобы получать второй основной канал, в котором влияние первого входного канала уменьшено по сравнению с влиянием первого входного канала на первый канал передачи; и восстанавливают второй выходной канал, соответствующий второму входному каналу, с использованием второго основного канала и параметрической дополнительной информации, относящейся ко второму входному каналу, и первый выходной канал, соответствующий первому входному каналу, с использованием первого основного канала, отличающегося от второго основного канала тем, что влияние первого канала является более высоким по сравнению со вторым основным каналом, и параметрической дополнительной информации, относящейся к первому входному каналу.
В соответствии с третьим аспектом настоящего изобретения эта задача решается компьютерной программой, содержащей программный код для выполнения способа для формирования многоканального выходного сигнала, когда эта программа исполняется на компьютере.
Здесь следует отметить, что в предпочтительном варианте K равно С. Тем не менее, также можно было бы восстанавливать меньше выходных каналов, например три выходных канала L, R, C, и не восстанавливать Ls и Rs. В этом случае, K (=3) выходных каналов соответствуют трем из исходных C (=5) входных каналов L, R, C.
Настоящее изобретение основано на заключении, что для улучшения качества звука многоканального выходного сигнала, определенный основной канал рассчитывается объединением передаваемого канала и канала компенсации, который рассчитывается на стороне приемника или декодера. Канал компенсации рассчитывается таким образом, чтобы модифицированный основной канал, полученный объединением канала компенсации и передаваемого канала, обладал уменьшенным влиянием центрального канала, то есть канала, который привнесен в оба канала передачи. Иначе говоря, влияние центрального канала, то есть канала, который привнесен в оба канала передачи, которое неизбежно имеет место, когда выполняются операции понижающего микширования и последующего повышающего микширования, уменьшается по сравнению с ситуацией, в которой никакой такой канал компенсации не рассчитывается и не добавляется в канал передачи.
В отличие от предшествующего уровня техники, например, левый канал передачи используется не просто как основной канал для восстановления левого или левого объемного канала. В отличие от этого, левый канал передачи модифицируется объединением с каналом компенсации, так что влияние исходного центрального входного канала в основном канале для восстановления левого или правого выходных каналов уменьшается или даже полностью нейтрализуется.
Согласно признаку изобретения канал компенсации рассчитывается в декодере, использующем информацию об исходном центральном канале, которые уже представлены в декодере или генераторе многоканального выходного сигнала. Информация о центральном канале включена в левый передаваемый канал, правый передаваемый канал и параметрическую дополнительную информацию, такую как в разностях уровней, временных разницах или параметрах корреляции для центрального канала. В зависимости от определенных вариантов осуществления вся эта информация может использоваться для получения высококачественной компенсации центрального канала. Однако в других, более низкоуровневых вариантах осуществления, используется только часть этой информации о центральном входном канале. Эта информация может левым каналом передачи, правым каналом передачи или параметрической дополнительной информацией. Помимо этого, можно также использовать информацию, оцененную в кодировщике и переданную в декодер.
Так, в конфигурации 5-в-2 левый передаваемый канал или правый передаваемый канал не используются непосредственно для восстановления левого и правого, а модифицируются, будучи объединяемыми с каналом компенсации, чтобы получить модифицированный основной канал, который отличен от соответствующего передаваемого канала. Предпочтительно, чтобы в расчет канала компенсации также был включен дополнительный весовой коэффициент, который будет зависеть от операции понижающего микширования, выполняемой в кодировщике для формирования каналов передачи. В конфигурации 5-в-2 рассчитываются, по меньшей мере, два канала компенсации, так что каждый канал передачи может быть объединен с заданным каналом компенсации для получения модифицированных основных каналов для восстановления левого и левого объемного выходных каналов, а также правого и правого объемного выходных каналов, соответственно.
Настоящее изобретение может быть включено в некоторое количество систем или приложений, в том числе, например, цифровые видеоплееры, цифровые аудиоплееры, компьютеры, спутниковые приемники, проводные приемники, наземные радиовещательные приемники и домашние развлекательные системы.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Предпочтительные варианты осуществления настоящего изобретения описаны ниже посредством ссылки на прилагаемые фигуры, на которых:
фиг.1 - структурная схема многоканального кодировщика, синтезирующего каналы передачи и параметрическую дополнительную информацию о входных каналах;
фиг.2 - схематическая структурная схема предпочтительного устройства для формирования многоканального выходного сигнала в соответствии с настоящим изобретением;
фиг.3 - схематическое представление обладающего признаками изобретения устройства в соответствии с первым вариантом осуществления настоящего изобретения;
Фиг.4 - схемная реализация предпочтительного варианта осуществления по фиг.3;
фиг.5a - структурная схема обладающего признаками изобретения устройства в соответствии со вторым вариантом осуществления настоящего изобретения;
фиг.5b - математическое представление динамического повышающего микширования, которое показано на фиг.5a;
фиг.6a - обобщенная схема для иллюстрации операции понижающего микширования;
фиг.6b - принципиальная схема для реализации операции понижающего микширования по фиг.6a;
фиг.6c - математическое представление операции понижающего микширования;
фиг.7a - принципиальная схема для указания основных каналов, используемых для повышающего микширования в стереофонически совместимой среде;
фиг.7b - принципиальная схема для реализации многоканального восстановления в стереофонически совместимой среде;
фиг.7c - математическое представление матрицы повышающего микширования, используемой на фиг.7b;
фиг.7d - математическая иллюстрация изменения уровней для каждого канала и последующей полной нормализации;
фиг.8 - иллюстрация кодировщика;
фиг.9 - иллюстрация декодера;
фиг.10 - иллюстрация кодировщика уплотнения стереоинформации предшествующего уровня техники;
фиг.11 - изображение структурной схемы системы BCC-кодировщика/декодера предшествующего уровня техники;
фиг.12 - структурная схема реализации предшествующего уровня техники блока BCC-синтеза по фиг.11; и
фиг.13 - изображение широко известной схемы для определения параметров ICLD, ICTD и ICC.
Перед тем как будет дано подробное описание предпочтительных вариантов осуществления, в общих чертах описаны проблема, лежащая в основе изобретения, и решение для проблемы. Обладающая признаками изобретения технология для улучшения ширины акустического пространственного образа для восстановленных выходных каналов применима ко всем случаям, когда входные каналы микшируются в более чем один передаваемых каналов в параметрической многоканальной системе C-в-E. Предпочтительный вариант осуществления является реализацией изобретения в системе кодирования бинауральными контрольными сигналами (BCC). Для простоты обсуждения, но без потери степени общности, обладающая признаками изобретения технология описана для конкретного случая BCC-схемы для кодирования/декодирования 5.1 сигналов объемных звучаний обладающим обратной совместимостью способом.
Вышеупомянутая проблема уменьшения ширины слухового образа главным образом имеет место для звуковых сигналов, которые содержат независимые быстро повторяющиеся переходные процессы, такие как сигнал аплодисментов аудитории в любой разновидности прямой записи. Несмотря на то, что уменьшение ширины образа, в принципе, может быть преодолено использованием более высокого временного разрешения для ICLD-синтеза, это привело бы к увеличенной доле дополнительной информации и, к тому же, требовало бы изменения в размере окна используемой гребенки фильтров анализа/синтеза. Здесь следует отметить, что эта возможность дополнительно приводит к отрицательным воздействиям на тональные составляющие, так как повышение временного разрешения автоматически подразумевает уменьшение частотного разрешения.
Вместо этого в изобретении предложена простая концепция, которая не содержит этих недостатков и нацелена на снижение влияния сигнальной составляющей центрального канала в боковых каналах.
Как было сказано в связи с фиг.7a-7d, основными каналами для пяти восстановленных выходных каналов при BCC 5-в-2 являются:
3
3
Следует отметить, что сигнальная составляющая x исходного центрального канала появляется на 3 дБ усиленной в поддиапазоне s центрального основного канала (коэффициент 1/√2) и на 3 дБ ослабленной в оставшихся поддиапазонах основных каналов (боковых каналов).
Для того чтобы дополнительно ослабить влияние сигнальной составляющей центрального канала в поддиапазонах боковых основных каналов, применяется следующая общая идея, которая проиллюстрирована на фиг.2.
Оценка конечного декодированного сигнала центрального канала вычисляется посредством предпочтительного его масштабирования до требуемого целевого уровня, который описан соответствующей информацией об уровне, такой как значение ICLD в BCC-средах. Предпочтительно, чтобы этот декодированный центральный сигнал рассчитывался в спектральной области для того, чтобы сэкономить вычисления, то есть не применяется никакой обработки гребенкой фильтров синтеза.
Кроме того, этот центральный декодированный сигнал или центральный восстановленный сигнал, который соответствует каналу компенсации, может быть взвешен, а затем объединен с обоими сигналами основных каналов, других выходных каналов. Этим объединением предпочтительно является вычитание. Тем не менее, когда весовые коэффициенты имеют разный знак, то сложение также имеет своим результатом уменьшение влияния центрального канала в основном канале, используемом для восстановления левого или правого выходного канала. Эта обработка имеет своим результатом формирование модифицированного основного канала для восстановления левого и левого объемного или для восстановления правого или правого объемного. Предпочтительно, целесообразен весовой коэффициент в - 3 дБ, но также возможно любое другое значение.
Вместо исходных сигналов основных каналов передачи, используемых на фиг.7b, используются модифицированные сигналы основных каналов для расчета декодированного выходного канала других выходных каналов, то есть каналов, отличных от центрального канала.
Ниже со ссылкой на фиг.2 будет обсуждена структурная схема обладающей признаками изобретения концепции. Фиг.2 показывает устройство для формирования многоканального выходного сигнала, содержащего K выходных каналов, причем многоканального выходного сигнала соответствующего многоканальному входному сигналу, содержащему С входных каналов, использующего E каналов передачи, причем E каналов передачи, представляющих результат операции понижающего микширования, имеющей C входных каналов в качестве входа, и использующего параметрическую дополнительную информацию о входных каналах, при этом C ≥ 2, C > E и K > 1 и ≤ C. Кроме того, операция понижающего микширования действует так, чтобы привносить первый входной канал в первый канал передачи и во второй канал передачи. Обладающее признаками изобретения устройство включает в себя вычислитель 20 канала компенсации, чтобы рассчитывать, по меньшей мере, один канал 21 компенсации, который вводится в объединитель 22, который принимает, на втором входе 23, непосредственно первый канал передачи или обработанный вариант первого канала передачи. Обработка первого канала передачи для получения обработанного варианта первого канала передачи выполняется посредством процессора 24, который может быть представлен в некоторых вариантах осуществления, но, вообще, является необязательным. Объединитель приводится в действие для получения второго основного канала для ввода в восстановитель 26 канала.
Восстановитель канала использует второй основной канал 25 и параметрическую дополнительную информацию об исходном левом входном канале, которая вводится в восстановитель 26 канала на другом входе 27, чтобы формировать второй выходной канал. На выходе восстановителя канала получают второй выходной канал 28, который может быть восстановленным левым выходным каналом, который, по сравнению с сценарием на фиг.7b, формируется основным каналом, находящимся под малым влиянием или даже полностью нейтрализованным влиянием исходного входного центрального канала, по сравнению с ситуацией на фиг.7b.
Несмотря на то, что левый выходной канал, сформированный, как показано на фиг.7b, включает в себя некоторое влияние, как было описано выше, это некоторое влияние уменьшено во втором основном канале, который сформирован на фиг.2, вследствие объединения канала компенсации и первого канала передачи или обработанного первого канала передачи.
Как показано на фиг.2, вычислитель 20 канала компенсации рассчитывает канал компенсации с использованием информации об исходном центральном канале, имеющейся в распоряжении в силу декодера, то есть информации для формирования многоканального выходного сигнала. Эта информация включает в себя параметрическую дополнительную информацию о первом входном канале 30 или включает в себя первый канал 31 передачи, который также включает в себя некоторую информацию о центральном канале вследствие операции нисходящего микширования либо включает в себя второй канал 32 передачи, который также включает в себя информацию о центральном канале вследствие операции нисходящего микширования. Предпочтительно, чтобы вся эта информация использовалась для оптимального восстановления центрального канала, чтобы получать канал 21 компенсации.
3
Такой оптимальный вариант осуществления впоследствии будет описан по фиг.3 и фиг.4. В противоположность фиг.2, фиг.3 показывает сдвоенное устройство по фиг.2, то есть устройство для нейтрализации влияния центрального канала в левом основном канале s1, а также правом основном канале s2. Вычислитель 20 канала компенсации по фиг.2 включает в себя устройство 20а восстановления центрального канала и взвешивающее устройство 20b для получения канала 21 компенсации на выходе взвешивающего устройства. Объединитель 22 по фиг.2 является простым вычитателем, который действует таким образом, чтобы вычитать канал 21 компенсации из первого канала 21 передачи для получения - исходя из фиг.2 - второго основного канала 25 для восстановления второго выходного канала (такого как левый выходной канал), и, что необязательно, также левого объемного выходного канала. Восстановленный центральный канал x(k) может быть получен на выходе устройства 20a восстановления центрального канала.
Фиг.4 показывает предпочтительный вариант осуществления, реализованный в виде принципиальной схемы, которая использует технологию, которая была обсуждена по фиг.3. Кроме того, фиг.4 показывает избирательную по частоте обработку, которая оптимально приспособлена для интеграции в самое обычное избирательное по частоте устройство BCC-восстановления.
3
Восстановление 26 центрального канала происходит посредством суммирования двух каналов передачи в сумматоре 40. Затем параметрическая дополнительная информация касательно канальных разностей уровней, или коэффициент a, выведенный из межканальной разности уровней, как обсуждено по фиг.7d, используется для формирования модифицированного варианта первого основного канала (исходя из фиг.2), который вводится в восстановитель 26 канала на входе 29 первого основного канала на фиг.2. Восстановленный центральный канал на выходе умножителя 41 может использоваться для восстановления выходного сигнала центрального канала (после общей нормализации, которая описана на фиг.7d).
Для учета влияния центрального канала в основном канале для восстановления левого и правого применяется весовой коэффициент 1/√2, проиллюстрированный посредством умножителя 42 на фиг.4. Затем восстановленный и заново взвешенный центральный канал подается обратно в сумматоры 43a и 43b, которые соответствуют объединителю 22 на фиг.2.
1
4
2
5
1
Таким образом, второй основной канал s или s (либо s и s) отличается от канала передачи y тем, что влияние центрального канала уменьшено по сравнению со случаем на фиг.7b.
Результирующие поддиапазоны основных каналов задаются в математических выражениях следующим образом:
Таким образом, устройство по фиг.4 предусматривает вычитание оценки поддиапазона центрального канала из основных каналов для боковых каналов, для того чтобы улучшить независимость между каналами и, следовательно, обеспечить лучшую пространственную ширину восстановленного выходного многоканального сигнала.
В соответствии с еще одним вариантом осуществления настоящего изобретения, которое будет впоследствии описано на фиг.5a и фиг.5b, определяется канал компенсации, отличный от канала компенсации, рассчитанного на фиг.3. В противоположность варианту осуществления на фиг.3/фиг.4 канал 21 компенсации для расчета второго основного канала s1(k) выводится не из первого канала передачи равно как и второго канала передачи, но выводится из одного второго канала y2(k) с использованием некоторого весового коэффициента x_lr, который проиллюстрирован устройством 51 умножения на фиг.5a. Таким образом, канал 21 компенсации на фиг.5a отличен от канала компенсации на фиг.3, но также делает вклад в уменьшение влияния центрального канала на основной канал s1(k), используемый для восстановления второго выходного канала, то есть левого выходного канала x1(k).
В варианте осуществления на фиг.5a показан также предпочтительный вариант осуществления процессора 24. В частности, процессор 24 реализован в качестве другого устройства 52 умножения, которое применяет умножение на коэффициент (1-x_lr) усиления. Предпочтительно, как показано на фиг.1а, чтобы коэффициент усиления, применяемый процессором 24 к первому каналу передачи, зависел от коэффициента 51 усиления, который используется для умножения второго канала передачи, чтобы получать канал 21 компенсации. В заключение, обработанный вариант первого канала передачи на входе 23 в объединитель 22 используется для объединения, которое состоит в вычитании канала 21 компенсации из обработанного варианта первого канала передачи. Все это опять же имеет своим результатом второй основной канал 25, который обеспечивает уменьшенное или полностью нейтрализованное влияние исходного центрального входного канала.
Как показано на фиг.5a, такая же процедура повторяется, чтобы получать третий основной канал s2(k) на входе в устройство восстановления правого/правого объемного. Однако, как показано на фиг.5a, третий основной канал s2(k) получается объединением обработанного варианта второго канала y(k) передачи и еще одного канала 53 компенсации, который выведен из первого канала y1(k) передачи посредством умножения в устройстве 54 умножения, которое имеет коэффициент x_rl усиления, который может быть идентичным x_lr для устройства 51, но который также может быть отличным от этого значения. Процессор для обработки второго канала передачи, как показано на фиг.5а, является устройством 55 умножения. Объединитель для объединения второго канала 53 компенсации и обработанного варианта второго канала y2(k) передачи проиллюстрирован ссылочной позицией 56 на фиг.5a. Вычислитель канала компенсации по фиг.2 дополнительно включает в себя устройство для вычисления коэффициентов компенсации, которое указано ссылочной позицией 57 на фиг.5a. Устройство 57 действует таким образом, чтобы получать параметрическую дополнительную информацию об исходном или входном центральном канале, такой как межканальная разность уровней, и т.п. То же самое справедливо для устройства 20а на фиг.3, где устройство 20а восстановления центрального канала также включает в себя вход для приема параметрической дополнительной информации, такой как значения уровней или межканальные разности уровней, и т.п.
Следующее равенство
показывает математическое описание варианта осуществления на фиг.5а и иллюстрирует, на его правой стороне, обработку компенсации в вычислителе канала компенсации с одной стороны и процессоры (21, 24 на фиг.2) с другой стороны. В этом конкретном варианте осуществления, который здесь проиллюстрирован, коэффициенты x_lr и x_rl идентичны друг другу.
Вышеприведенный вариант осуществления проясняет, что изобретение включает в себя построение основных каналов восстановления как адаптирующейся к сигналу линейной комбинации левого и правого каналов передачи. Такая топология проиллюстрирована на фиг.5а.
3
3
3
При рассмотрении под другим углом, обладающее признаками изобретения устройство также может быть истолковано как процедура динамического повышающего микширования, в которой для каждого поддиапазона и каждого момента k времени используются разные матрицы повышающего микширования. Такая матрица динамического повышающего микширования проиллюстрирована на фиг.5b. Следует отметить, что для каждого поддиапазона, то есть, для каждого выхода устройства гребенки фильтров на фиг.4, существует такая матрица U повышающего микширования. Что касается зависящего от времени способа, то должно быть отмечено, что фиг.5b включает в себя временной индекс k. В то время как имеется в распоряжении информация об уровнях для каждого временного индекса, матрица повышающего микширования могла бы изменяться от каждого момента времени к каждому моменту времени. Однако, когда одна и та же информация a об уровне используется для полного блока значений, преобразованных в частотное представление входной гребенкой FB фильтра, в таком случае, одно значение a будет представлено для полного блока, например, 1024 или 2048 значений выборки. В этом случае, матрица повышающего микширования могла бы изменяться во временном направлении от блока к блоку, а не от значения к значению. Тем не менее, существуют технологии для сглаживания параметрических значений уровня, так что можно получать разные коэффициенты a модификации амплитуды во время повышающего микширования в некоторой полосе частот.
3
3
Вообще говоря, также можно было бы использовать разные коэффициенты для вычисления поддиапазонов выходных центральных каналов и коэффициеты для «динамического повышающего микширования», имеющего в результате коэффициент a, который является масштабированным вариантом a, который вычислен выше.
В предпочтительном варианте осуществления интенсивность взвешивания компенсации центральной составляющей адаптивно управляется посредством явно заданной передачи дополнительной информации из кодировщика в декодер. В этом случае, вычислитель 20 канала компенсации, показанный на фиг.2, будет включать в себя дополнительный вход управляющего сигнала, который принимает явно заданный управляющий сигнал, который мог бы рассчитываться для указания непосредственной взаимной зависимости между левым и центральным или правым и центральным каналом. В этом отношении, этот управляющий сигнал был бы отличным от разностей уровней для центрального канала и левого канала, так как эти разности уровней относятся к разновидности виртуального опорного канала, который мог бы быть суммой энергии в первом канале передачи и суммой энергии во втором канале передачи, как это проиллюстрировано в верхней части фиг.7d.
Такой параметр управления, например, мог бы указывать, что центральный канал ниже порогового значения и является приближающимся к нулю, в то время как есть сигнал в левом и правом канале, который выше порогового значения. В этом случае адекватная реакция вычислителя канала компенсации на соответствующий управляющий сигнал могла бы состоять в том, чтобы выключать компенсацию каналов и чтобы применять нормальную схему повышающего микширования, которая показана на фиг.7b, для избежания «перекомпенсации» центрального канала, который не представлен во входном сигнале. В этом отношении, это могло бы быть предельной разновидностью управления интенсивностью взвешивания, которое приведено выше.
i
Предпочтительно, как становится ясным из фиг.4, никакие операции обработки временных задержек не выполняются для расчета центрального канала восстановления. Это является преимущественным в том, что обратная связь работает без принуждения принимать во внимание какие бы то ни было временные задержки. Тем не менее, это может получаться без потери качества, когда исходный центральный канал используется в качестве опорного канала для расчета временных разниц d. То же самое справедливо для измерения любой корреляции. Является предпочтительным не выполнять никакую корреляционную обработку для восстановления центрального канала. В зависимости от разновидности расчета корреляции, это может делаться без потери качества, когда исходный центральный канал используется в качестве опоры для любых параметров корреляции.
Следует отметить, что изобретение не зависит от определенной схемы понижающего микширования. Это означает, что можно использовать схему автоматического понижающего микширования или ручного понижающего микширования, выполняемого звукооператором. Можно даже использовать автоматически сформированную параметрическую информацию даже вместе с вручную сформированными каналами понижающего микширования.
В зависимости от условий применения обладающие признаками изобретения способы для восстановления или формирования могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализацией может быть цифровой запоминающий носитель, такой как диск, CD (компакт-диск), содержащий электронным образом считываемые управляющие сигналы, которые могут взаимодействовать с программируемой компьютерной системой так, чтобы выполнялись обладающие признаками изобретения способы. Вообще говоря, настоящее изобретение, следовательно, также относится к программному продукту, содержащему программный код, сохраненный на машиночитаемом носителе, причем программный код приспособлен для выполнения обладающих признаками изобретения способов, когда компьютерная программа исполняется на компьютере. Другими словами, изобретение, поэтому, также относится к компьютерной программе, содержащей управляющую программу для выполнения способов, когда компьютерная программа работает на компьютере.
Настоящее изобретение может использоваться в соединении с или включенным в многообразие разных приложений или систем, в том числе системы для телевидения или распространения электронной музыки, радиовещания, потоковой передачи и/или приема. Таковые включают в себя системы для декодирования/кодирования передач, например, через наземные, спутниковые, кабельные, относящиеся к сети Интернет, сетям интранет (корпоративным сетям, использующим технологии сети Интернет) или физические среды (например, компакт-диски, цифровые многофункциональные диски, полупроводниковые микросхемы, жесткие диски, карты памяти и тому подобное). Настоящее изобретение также может применяться в играх и игровых системах, включающих в себя, например, интерактивные программные продукты, предназначенные для взаимодействия с пользователем ради развлечения (боевых игр, ролевых игр, стратегических, приключенческих, имитационных, гоночных, спортивных, аркадных, карточных и настольных игр) и/или обучения, которые могут быть изданы для многочисленных машин, платформ или носителей. Кроме того, настоящее изобретение может быть включено в аудиоплееры или CD-ROM/DVD-системы. Настоящее изобретение также может быть включено в программно реализованные приложения ПК (PC, персонального компьютера), которые включают в себя цифровое декодирование (например, проигрыватель, декодер) и программно реализованные приложения, включающие в себя возможности кодирования (например, кодировщик, риппер, рекодер и музыкальный автомат).