ДЕКОДИРОВАНИЕ УМЕНЬШЕННОГО КОЛИЧЕСТВА КАНАЛОВ
DECODING OF REDUCED NUMBER OF CHANNELS

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к области техники декодирования звуковых сигналов, в частности к декодированию сигналов, полученных путем параметрического многоканального микширования первоначального многоканального сигнала с сокращением количества каналов (downmix) до нескольких каналов, количество которых является меньшим, чем количество каналов первоначального многоканального сигнала.
УРОВЕНЬ ТЕХНИКИ
Последние достижения в области кодирования звука обеспечили возможность восстановления многоканального представления звукового сигнала на основании стерео (или моно) сигнала и соответствующих управляющих данных. Эти способы существенно отличаются от прежних решений, основанных на матрицах, например, от системы "Долби Пролоджик" (Dolby Prologic), поскольку производят передачу дополнительных управляющих данных для управления восстановлением каналов объемного звучания на основании переданных моно- или стереоканалов, которое также именуют микшированием с увеличением количества каналов (upmix).
Следовательно, такое устройство параметрического декодирования многоканального звука, например звука в формате MPEG c объемным звучанием (MPEG Surround), восстанавливает N каналов на основании М переданных каналов, где N>М, и дополнительных управляющих данных. Скорость передачи дополнительных управляющих данных является существенно более низкой, чем скорость передачи всех N каналов, что делает кодирование очень эффективным, одновременно обеспечивая совместимость как с M-канальными устройствами, так и с N-канальными устройствами.
Эти способы параметрического кодирования объемного звука обычно включают в себя параметризацию сигнала объемного звучания на основании разности интенсивности между каналами (IID) и когерентности между каналами (ICC). Эти параметры описывают отношения мощностей и корреляцию между парами каналов в процессе микширования с увеличением количества каналов. На известном уровне техники также используют еще и другие параметры, в том числе параметры прогнозирования, используемые для прогнозирования промежуточных или выходных каналов во время процедуры микширования с увеличением количества каналов.
Двумя известными примера такого многоканального кодирования являются бинауральное кодирование (BCC) и кодирование в формате MPEG c объемным звучанием (MPEG surround). При бинауральном кодировании (BCC) несколько входных звуковых каналов преобразовывают в спектральное представление с использованием преобразования, основанного на дискретном преобразовании Фурье (ДПФ) с перекрывающимися окнами. Затем полученный в результате этого равномерный спектр разделяют на неперекрывающиеся сегменты. Каждый сегмент имеет ширину полосы частот, пропорциональную эквивалентной ширине прямоугольной полосы частот (ERB). Затем производят оценку пространственных параметров, именуемых ICLD (разностью уровней между каналами) и ICTD (разностью по времени между каналами), для каждого сегмента. Параметр ICLD описывает разность уровней между двумя каналами, а параметр ICTD описывает разность по времени (сдвиг фазы) между двумя сигналами различных каналов. Разности уровней и разности по времени являются заданными для каждого канала относительно общего опорного канала. После получения этих параметров выполняют дискретизацию и кодирование параметров для передачи.
При бинауральном кодировании (BCC) оценку отдельных параметров производят относительно одного единственного опорного канала. В других системах параметрического кодирования объемного звука, например в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию с древовидной структурой. Это означает, что оценку параметров больше не производят относительно одного единственного общего опорного канала, а ее производят относительно различных опорных каналов, которыми даже может являться комбинация каналов исходного многоканального сигнала. Например, при наличии в канале сигнала системы 5.1 может быть произведена оценка параметров между комбинацией передних каналов и между комбинацией тыловых каналов.
Само собой разумеется, что для схем параметрического кодирования также очень желательно наличие обратной совместимости с уже существующими стандартами звуковоспроизведения. Например, при наличии монофонического сигнала, смикшированного с сокращением количества каналов, желательно также обеспечивать возможность создания стереофонического сигнала с высокой верностью воспроизведения. Это означает, что монофонический сигнал, смикшированный с сокращением количества каналов, должен быть смикширован с увеличением количества каналов в стереофонический сигнал с использованием дополнительно переданных параметров наилучшим возможным способом.
Одной общей проблемой при многоканальном кодировании является сохранение энергии при микшировании с увеличением количества каналов, поскольку доминирующим фактором при восприятии человеком положения источника звука в пространстве является громкость сигнала, то есть энергия, содержащаяся в сигнале. Следовательно, при воспроизведении сигнала необходимо проявлять крайнюю тщательность для обеспечения правильной громкости каждого восстановленного канала, например, во избежание введения искажений, сильно ухудшающих качество восприятия восстановленного сигнала. Поскольку во время микширования с сокращением количества каналов обычно выполняют суммирование амплитуд сигналов, то возникает возможность помех, которая описывается параметром корреляции или когерентности.
Когда дело доходит до восстановления уменьшенного количества каналов (нескольких каналов, количество которых является меньшим, чем исходное количество каналов многоканального сигнала), то обработка в схемах, подобных схеме бинаурального кодирования (BCC), является простой, поскольку каждый параметр передают относительно одного и того же одного опорного канала. Следовательно, имея сведения об опорном канале, наиболее существенная информация (мера абсолютной энергии) может легко быть получена для каждого канала, необходимого для микширования с увеличением количества каналов. Таким образом, уменьшенное количество каналов может быть восстановлено без необходимости сначала выполнять восстановление полного многоканального сигнала. Таким образом, вычисления энергии для значений энергии многоканального сигнала являются более простыми в схеме бинаурального кодирования (BCC) с использованием отдельных переменных, а не произведений переменных, но это является только лишь первым этапом. Когда дело доходит до получения значений энергии и корреляций уменьшенного количества каналов, которые должны являться настолько близкими к результатам частичного микширования исходных многоканальных сигналов с сокращением количества каналов, насколько это возможно, уровень сложности при кодировании в формате MPEG c объемным звучанием (MPEG surround) и при бинауральном кодировании (BCC) является сопоставимым.
В отличие от этого, в древовидной структуре, как, например, в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию, в которой соответствующая информация для каждого отдельного канала не содержится в одном параметре. Следовательно, на известном уровне техники для восстановления уменьшенного количества каналов требуется восстановление многоканального сигнала, после чего выполняют микширование с сокращением количества каналов до уменьшенного количества каналов, не нарушая требований относительно сохранения энергии. Это имеет очевидный недостаток, заключающийся в чрезвычайно высокой сложности вычислений.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачей настоящего изобретения является создание концепции более эффективного получения уменьшенного количества каналов из параметрического многоканального сигнала.
Согласно первому объекту настоящего изобретения эта задача достигнута при помощи средства вычисления параметров, предназначенного для получения параметров микширования с увеличением количества каналов для выполнения микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров, содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров c использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.
Согласно второму объекту настоящего изобретения эта задача достигнута при помощи средства восстановления каналов, которое снабжено средством восстановления параметров, содержащим средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов, и средство микширования с увеличением количества каналов, предназначенное для получения промежуточного представления каналов с использованием параметров микширования с увеличением количества каналов и сигнала, смикшированного с сокращением количества каналов.
Согласно третьему объекту настоящего изобретения эта задача достигнута при помощи способа генерации параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а способ содержит следующую операцию: получают параметры микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.
Согласно четвертому объекту настоящего изобретения эта задача достигнута при помощи звукового приемника или устройства воспроизведения звука, при этом приемник или устройство воспроизведения звука содержит средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.
Согласно пятому объекту настоящего изобретения эта задача достигнута при помощи способа приема или воспроизведения звука, включающего в себя способ генерации параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а способ содержит следующую операцию: вычисляют параметры микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.
Настоящее изобретение основано на обнаружении того факта, что промежуточное представление каналов многоканального сигнала может быть восстановлено с высокой эффективностью и с высокой точностью воспроизведения в том случае, когда получены параметры микширования с увеличением количества каналов для микширования переданного сигнала, смикшированного с сокращением количества каналов, с увеличением количества каналов в промежуточное представление каналов, позволяющие выполнять микширование с увеличением количества каналов с использованием тех же самых алгоритмов микширования с увеличением количества каналов, что и в случае восстановления многоканального сигнала. Это может быть достигнуто в том случае, когда для получения параметров микширования с увеличением количества каналов используют средство перерасчета параметров, обеспечивая также учет параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.
В одном из вариантов осуществления настоящего изобретения устройство декодирования способно восстанавливать стереофонический выходной сигнал из параметрического микширования с сокращением количества каналов многоканального сигнала с 5 каналами, при этом результат параметрического микширования с сокращением количества каналов содержит монофонический сигнал, смикшированный с сокращением количества каналов, и соответствующие многоканальные параметры. Согласно настоящему изобретению для микширования стереофонического сигнала с увеличением количества каналов пространственные параметры объединяют для получения параметров микширования с увеличением количества каналов, причем при этом объединении также учитывают многоканальные параметры, не связанные с левым передним или с правым передним каналом. Следовательно, могут быть получены абсолютные значения мощности для стереофонических каналов, смикшированных с увеличением количества каналов, и может быть получена мера когерентности между левым и правым каналами, что обеспечивает возможность стереофонического восстановления многоканального сигнала с высокой верностью воспроизведения. Кроме того, получают параметр когерентности между каналами (ICC) и параметр, характеризующий разность уровней между каналами (CLD), что позволяет выполнять микширование с увеличением количества каналов с использованием уже существующих алгоритмов и реализаций. Использование параметров каналов, не связанных с восстановленными стереофоническими каналами, позволяет сохранять энергию в сигнале с более высокой точностью. Это имеет наибольшую важность, поскольку неуправляемые изменения громкости в наибольшей степени нарушают качество воспроизводимого сигнала.
В общем случае применение идеи настоящего изобретения обеспечивает возможность восстановления стереофонического сигнала, смикшированного с увеличением количества каналов, из монофонического сигнала, смикшированного с сокращением количества каналов из многоканального сигнала, без необходимости промежуточного полного восстановления многоканального сигнала, что имеет место в способах из известного уровня техники. Очевидно, что таким образом может быть значительно уменьшена сложность вычислений в устройстве декодирования. К тому же использование многоканальных параметров, связанных с каналами, не содержащимися в сигнале, смикшированном с увеличением количества каналов (то есть в сигнале, имеющем левый передний канал и правый передний канал), обеспечивает возможность такого восстановления, которое не вносит каких-либо дополнительных искажений или изменений громкости, но, наоборот, полностью сохраняет энергию сигнала. В более конкретном изложении отношение энергии между левым и правым восстановленными каналами вычисляют от множества имеющихся многоканальных параметров, при этом также учитывают многоканальные параметры, не связанные с левым передним каналом и с правым передним каналом. Очевидно, что соотношение громкости между левым и правым восстановленными (смикшированными с увеличением количества каналов) каналами является доминирующим фактором для качества прослушивания восстановленного стереофонического сигнала. Без использования идеи настоящего изобретения восстановление каналов, имеющих в точности правильное соотношение энергии, в древовидных структурах, рассмотренных в этом документе, невозможно.
Следовательно, реализация идеи настоящего изобретения позволяет осуществлять высококачественное стереофоническое воспроизведение многоканального сигнала, смикшированного с сокращением количества каналов, на основании многоканальных параметров, которые не получены для точного воспроизведения стереофонического сигнала.
Следует отметить, что идея настоящего изобретения также может быть использована в том случае, когда количество воспроизведенных каналов является иным, чем два, например, когда также необходимо выполнять восстановление центрального канала с высокой точностью, что имеет место в некоторых режимах воспроизведения.
Ниже будет приведен более подробный обзор схем многоканального кодирования (в особенности, основанных на древовидных структурах) из известного уровня техники для краткого изложения большой пользы идеи настоящего изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Ниже приведено описание предпочтительных вариантов осуществления настоящего изобретения со ссылкой на сопроводительные чертежи, на которых изображено следующее:
на Фиг. 1 показаны примеры способов параметризации, основанных на древовидной структуре;
на Фиг. 2 показаны примеры схем декодирования с древовидной структурой;
на Фиг. 3 показан пример устройства многоканального кодирования из известного уровня техники;
на Фиг. 4 показаны примеры устройств декодирования из известного уровня техники;
на Фиг. 5 показан пример стереофонического восстановления многоканального сигнала, смикшированного с сокращением количества каналов, из известного уровня техники;
на Фиг. 6 показана блок-схема примера средства вычисления параметров, предложенного в настоящем изобретении;
на Фиг. 7 показан пример средства восстановления каналов, предложенного в настоящем изобретении; и
на Фиг. 8 показан пример приемника или устройства воспроизведения звука, предложенного в настоящем изобретении.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже приведено описание идеи настоящего изобретения, в основном, применительно к кодированию в формате MPEG, но она также хорошо применима для других схем, основанных на параметрическом кодировании многоканальных сигналов. То есть описанные ниже варианты осуществления изобретения просто являются иллюстративными примерами принципов настоящего изобретения для декодирования уменьшенного количества каналов для многоканальных систем с древовидной структурой. Понятно, что для специалистов в данной области техники очевидна возможность модификаций и изменений описанных здесь устройств и подробностей. Следовательно, подразумевают, что настоящее изобретение ограничено только лишь объемом приведенной ниже формулы изобретения, а не конкретными подробностями, представленными здесь посредством описания и объяснения вариантов осуществления изобретения.
Как упомянуто выше, в некоторых системах параметрического кодирования объемного звука, например в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию с древовидной структурой. Такая параметризация схематично изображена на чертежах Фиг. 1 и Фиг. 2.
На Фиг. 1 показаны два способа параметризации сценария стандартных звуковых каналов системы 5.1, имеющей левый передний канал 2, центральный канал 3, правый передний канал 4, левый канал 5 объемного звучания и правый канал 6 объемного звучания. Возможно, но не обязательно, также может присутствовать канал 7 усиления низких частот (LFE) (далее - канал УНЧ).
Как правило, отдельные каналы или пары каналов характеризуют относительно друг друга посредством многоканальных параметров, таких как, например параметр когерентности между каналами (ICC) и параметр уровня (параметр, характеризующий разность уровней между каналами, CLD). В следующем абзаце будет приведено краткое объяснение возможных способов параметризации, а затем будут проиллюстрированы результирующие схемы декодирования с древовидной структурой со ссылкой на Фиг. 2.
1
1
1
0
0
В примере, показанном в верхней части Фиг. 1 (параметризация типа 5-1-5), многоканальный сигнал описывают параметром, характеризующим разность уровней между каналами (CLD), и параметром когерентности между каналами (ICC), которые описывают соотношение между левым каналом 5 объемного звучания и правым каналом 6 объемного звучания, левым передним каналом 2 и правым передним каналом 4, и между центральным каналом 3 и каналом 7 усиления низких частот. Однако поскольку вся конфигурация должна быть смикширована с сокращением количества каналов в один единственный монофонический канал, то для полного описания набора каналов требуются дополнительные параметры. Следовательно, используют дополнительные параметры (CLD, ICC), описывающие связь комбинации громкоговорителя 7 УНЧ и центрального громкоговорителя 3 с комбинацией левого переднего канала 2 и правого переднего канала 4. Кроме того, требуется еще один дополнительный набор параметров (CLD, ICC), эти параметры описывают связь между объединенными каналами 5 и 6 объемного звучания и остальными каналами многоканального сигнала.
2
1
1
0
0
При параметризации, показанной в нижней части чертежа (параметризация типа 5-1-5), используют параметры, описывающие связь левого переднего канала 2 с левым каналом 5 объемного звучания, правого переднего канала 4 с правым каналом 6 объемного звучания и центрального канала 3 с каналом 7 усиления низких частот. Дополнительные параметры (CLD и ICC) описывают соотношение между комбинацией левых каналов 2 и 5 и комбинацией правых каналов 4 и 6. Еще один набор параметров (CLD и ICC) описывает соотношение между комбинацией центрального канала 3 и канала 7 УНЧ, и комбинацией остальных каналов.
1
0
0
На Фиг. 2 проиллюстрированы концепции кодирования, лежащие в основе различных способов параметризации из Фиг. 1. На стороне устройства декодирования в древовидной структуре используют так называемые модули OTT ("один к двум", далее - ОКД). Каждый модуль ОКД выполняет микширование монофонического сигнала с увеличением количества каналов, преобразуя его в два выходных сигнала. При декодировании параметры для модулей ОКД следует применять в порядке, обратном их порядку при кодировании. Следовательно, в древовидной структуре типа 5-1-5 модуль 20 ОКД, получающий сигнал 22 (m), смикшированный с сокращением количества каналов, функционирует таким образом, что использует параметры CLD и ICC для получения двух каналов, один из которых является комбинацией левого канала 5 объемного звучания и правого канала 6 объемного звучания, а другой канал по-прежнему является комбинацией остальных каналов многоканального сигнала.
1
1
2
2
4
3
3
2
1
2
Соответственно модуль 24 ОКД, используя CLD и ICC, получает первый канал, представляющий собой объединенный канал из центрального канала 3 и низкочастотного канала 7, и второй канал, представляющий собой комбинацию левого переднего канала 2 и правого переднего канала 4. Таким же самым образом модуль 26 ОКД получает левый канал объемного звучания 5 и правый канал объемного звучания 6, используя CLD и ICC. Модуль 27 ОКД получает центральный канал 3 и низкочастотный канал 7, используя CLD, а модуль 28 ОКД получает левый передний канал 2 и правый передний канал 4, используя CLD и ICC. Наконец, получают восстановление полного набора каналов 30 из одиночного монофонического канала 22, смикшированного с сокращением количества каналов. Для древовидной структуры типа 5-1-5 общая схема размещения модулей ОКД эквивалентна древовидной структуре 5-1-5. Однако одиночные модули ОКД получают иные комбинации каналов, причем эти комбинации каналов соответствуют параметризации, изображенной на Фиг. 1 для случая 5-1-5.
Из Фиг. 1 и 2 становится очевидным, что древовидная структура различных способов параметризации является только лишь визуализацией для используемой параметризации. Кроме того, важно отметить, что отдельными параметрами являются параметры, описывающие соотношение между различными каналами, в отличие, например, от схемы бинаурального кодирования (BCC), в которой подобные параметры получают относительно одного единственного опорного канала.
Следовательно, в показанных способах параметризации отдельные каналы не могут быть получены просто с использованием параметров, связанных с модулями ОКД в визуализации, но, кроме того, необходимо учитывать некоторые или все остальные параметры.
Древовидная структура параметризации представляет собой только лишь визуализацию реального потока сигнала или реальной обработки, показанной на Фиг. 3, на которой проиллюстрировано микширование переданного малого количества каналов с увеличением количества каналов, выполняемое путем матричного умножения. На Фиг. 3 показано декодирование на основе принятого канала 40, смикшированного с сокращением количества каналов. Канал 40, смикшированный с сокращением количества каналов, вводят в блок 42 микширования с увеличением количества каналов, получая восстановленный многоканальный сигнал 44, при этом состав каналов является различным в зависимости от используемых способов параметризации. Однако матричные элементы матрицы, используемой блоком 42 восстановления, получены непосредственно из древовидной структуры. Блок 42 восстановления, только лишь для иллюстративных целей, может быть дополнительно разбит на составные части, одной из которых является матрица 46 предварительного декоррелятора, посредством которой получают дополнительные декоррелированные сигналы из переданного канала 40. Их затем вводят в матрицу 48 смешивания, посредством которой получают многоканальные сигналы 44 путем смешивания отдельных входных каналов.
Как показано на Фиг. 4, прямолинейный подход к уменьшению количества восстановленных каналов состоит в том, что просто выполняют "обрезку" древовидной структуры модулей "один к двум". На Фиг. 4 пунктирными линиями проиллюстрирована возможная "обрезка" древовидных структур, при этой "обрезке" во время восстановления не используют модули ОКД, расположенные с правой стороны древовидной структуры, уменьшая, таким образом, количество каналов на выходе. Однако при использовании способов параметризации из известного уровня техники, показанных на Фиг. 1 и 2, которые представлены потому, что они обеспечивают кодирование с низкой скоростью в битах с максимально возможным качеством, получение стереофонического выходного сигнала, правильно отображающего каналы левой стороны исходного многоканального сигнала, смикшированные с сокращением количества каналов, и каналы правой стороны исходного многоканального сигнала, смикшированные с сокращением количества каналов, невозможно просто путем "обрезки". На Фиг. 5 показан подход к созданию стереофонического выходного сигнала из описанных выше сигналов согласно известному уровню техники, в котором используют очевидный подход, когда сначала полностью восстанавливают многоканальный сигнал перед выполняемым после этого микшированием сигнала с сокращением количества каналов, преобразуя его в стереофоническое представление с использованием дополнительного микшера 60 с сокращением количества каналов. Очевидно, что этот подход имеет несколько недостатков, например высокую сложность и низкое качество звука.
Ниже приведено описание решения вышеупомянутой проблемы получения стереофонического выходного сигнала из монофонического сигнала, смикшированного с сокращением количества каналов, и параметров параметрического объемного звука при параметризации, естественно, не обеспечивающего поддержку "обрезки" до стереофонического выходного сигнала, которое получено для общего случая. После этого приведено описание двух конкретных вариантов осуществления изобретения, демонстрирующих использование идеи настоящего изобретения в описанных выше способах параметризации. Таким образом, обеспечены решения проблемы получения стереофонического выходного сигнала из монофонического сигнала, смикшированного с сокращением количества каналов, и параметров параметрического объемного звука при параметризации, которая не обеспечивает поддержку "обрезки" до стереофонического выходного сигнала.
Ниже будет приведено краткое описание общего подхода к перерасчету параметров. В частности, он применим для случая вычисления параметров стереофонического выходного сигнала из произвольного количества каналов многоканального звука, которое равно N. Кроме того, предполагают, что звуковой сигнал описывается его представлением по поддиапазонам, полученным с использованием блока фильтров, которое может быть вещественным или комплексно-модулированным.
Пусть все рассматриваемые сигналы являются конечными векторами выборок из поддиапазона, соответствующими частотно-временному фрагменту, определяемому пространственными параметрами, и пусть выборки восстановленного многоканального звукового сигнала  в поддиапазоне сформированы из выборок звуковых каналов  из поддиапазона и декоррелированных выборок звуковых каналов  из поддиапазона в соответствии с операцией матричного микширования с увеличением количества каналов
,
Все сигналы считают векторами-строками. Матрица  имеет размер  и отображает суммарное действие матриц M1 и M2 из Фиг. 3 и, по существу, блока 42 микширования с увеличением количества каналов. Общий способ достижения надлежащих параметров мощности и корреляции версии, смикшированной с сокращением количества каналов до  каналов исходных выборок из поддиапазона многоканального звукового сигнала состоит в формировании ковариационной матрицы виртуального микширования с сокращением количества каналов, определяемой матрицей  микширования с сокращением количества каналов, которая состоит из  элементов
<img file="00000011.tif" he="6" wi="15" img-content="undefined" img-format="tif" />
Эта ковариационная матрица может быть вычислена путем умножения на транспонированное комплексно-сопряженное значение следующим образом:
,
где внутренняя ковариационная матрица  часто является известной из характеристик декорреляторов и переданных параметров.
Важным особым случаем, где это выполняется, является случай, когда , и в этом случае эта внутренняя ковариационная матрица часто фактически равна единичной матрице размера . Поэтому для стереофонического выходного сигнала, где =2, параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) могут быть считаны из следующего выражения:
в том смысле, что
Следует отметить, что здесь и далее применяют приведенную ниже систему обозначений. Для комплексных векторов  комплексное скалярное произведение и норма вектора в квадрате определяются следующим выражением:
где знак "звездочка" обозначает комплексное сопряжение.
1
2
Ниже должны быть получены два варианта осуществления настоящего изобретения для различных способов параметризации (5-1-5 и 5-1-5), показанных на Фиг. 1 и 2. В вариантах осуществления настоящего изобретения идея состоит в следующем: для того, чтобы осуществить вывод стереофонических сигналов на основании монофонических сигналов, смикшированных с сокращением количества каналов, и соответствующих параметров формата MPEG c объемным звучанием (MPEG surround) (многоканальных параметров), необходимо выполнить перерасчет параметров микширования с увеличением количества каналов в одиночный набор параметров, состоящий из параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), которые могут использоваться для непосредственного получения стереофонического сигнала из монофонического сигнала путем микширования с увеличением количества каналов.
Кроме того, предполагают, что обработку отдельных звуковых каналов выполняют покадровым способом, то есть в дискретных отрезках времени. Таким образом, говоря о значениях мощности или энергии, содержащихся в одном канале, термин "мощность" или "энергия" следует понимать как энергию или мощность, содержащуюся в одном кадре одного конкретного канала.
E
Как правило, такие параметры, как, например, параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) также применимы и для одного единственного кадра. В кадре с  значениями выборок энергия  в кадре может быть представлена, например, посредством суммы квадратов значений выборок из поддиапазона в кадре
Значения разности уровней между каналами (CLD), переданные и используемые для вычисления параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала М, смикшированного с сокращением количества каналов, в промежуточное (стереофоническое) представление каналов из многоканального сигнала, определены следующим образом:
где  и  обозначают мощность рассматриваемых сигналов в кадре, для которого должен быть получен параметр, характеризующий разность уровней между каналами (CLD).
1
Следовательно, для случая 5-1-5 для получения значений мощности канала, нормированных на мощность монофонического канала m, смикшированного с сокращением количества каналов, могут быть использованы четыре параметра, характеризующих разность уровней между каналами (CLD):, где =0,1,2,3.
.
Коэффициенты усиления каналов определяются следующими выражениями:
<img file="00000033.tif" he="12" wi="33" img-content="undefined" img-format="tif" />
и
<img file="00000034.tif" he="12" wi="34" img-content="undefined" img-format="tif" />
Конечная цель состоит в получении оптимальных стереофонических каналов  и  в смысле поиска надлежащих оценочных значений нормированных значений мощности и корреляции стереофонических каналов (промежуточного представления каналов), сформированных следующим образом:
<img file="00000037.tif" he="6" wi="17" img-content="undefined" img-format="tif" />,
где
<img file="00000038.tif" he="7" wi="23" img-content="undefined" img-format="tif" />,
при условии, что
<img file="00000039.tif" he="6" wi="19" img-content="undefined" img-format="tif" />,
<img file="00000040.tif" he="6" wi="18" img-content="undefined" img-format="tif" />,
где
<img file="00000041.tif" he="7" wi="24" img-content="undefined" img-format="tif" />,
при условии, что
<img file="00000042.tif" he="6" wi="20" img-content="undefined" img-format="tif" />,
где весовой коэффициент микширования центрального канала с сокращением количества каналов равен
.
Вычисление значений мощности, исходя из этого предположения, дает следующий результат:
Оказывается, что вместо попытки включения информации о корреляции, носителями которой являются параметры , где =0,1 самым целесообразным вариантом является следующий: предполагают, что оба канала: объединенный левый канал  и объединенный правый канал , являются некоррелированными с центральным каналом . Следовательно, оценку нормированных значений мощности выходных стереофонических каналов производят следующим образом:
После того, как получены значения мощности выходных каналов, может легко быть вычислен желательный параметр, характеризующий разность уровней между каналами (CLD), с использованием приведенного выше определения параметра, характеризующего разность уровней между каналами (CLD).
Согласно идее настоящего изобретения получают параметр когерентности между каналами (ICC), обеспечивающий возможность стереофонического микширования с увеличением количества каналов. Корреляция между двумя выходными каналами сигнала определяется следующим выражением:
Привлекательный набор упрощающих предположений здесь вновь состоит в том, что объединенный левый канал  и объединенный правый канал  являются некоррелированными с центральным каналом , и, кроме того, в том, что каналы объемного звучания являются некоррелированными с передними каналами. Эти предположения могут быть выражены следующим образом:
Результирующее оценочное значение для  зависит от двух параметров когерентности между каналами (ICC), которыми являются параметры , где =2,3, описывающие нормированные значения корреляции между левыми/правыми каналами, и имеет следующий вид:
а это выражение может быть записано следующим образом:
Таким образом, конечное значение корреляции зависит от многочисленных параметров многоканальной параметризации, что позволяет выполнять восстановление сигнала с высокой верностью воспроизведения. Наконец, получают параметр когерентности между каналами (ICC) с использованием следующей формулы:
Согласно идее настоящего изобретения распределение мощности между восстановленными каналами восстанавливают с высокой точностью. Однако может возникнуть дополнительная необходимость в глобальном масштабировании мощности, примененном к обоим каналам, для обеспечения сохранения общей энергии. Поскольку относительное распределение энергии между каналами является существенным для пространственного восприятия восстановленного сигнала, то глобальное масштабирование может ухудшить качество восприятия восстановленного сигнала. Необходимо подчеркнуть, что глобальное масштабирование является глобальным только внутри частотно-временного фрагмента, определяемого параметром. Это означает, что неправильное масштабирование окажет локальное влияние на сигнал в масштабе фрагментов, определяемых параметром. Другими словами, применяют коэффициенты усиления, зависящие как от частоты, так и от времени, которые приводят как к искажениям из-за спектрального "расцвечивания", так и к искажениям из-за модуляции во времени. Для гарантии сохранения мощности монофонического канала , смикшированного с сокращением количества каналов, в процессе стереофонического микширования с увеличением количества каналов, необходим коэффициент регулировки усиления для глобального масштабирования.
1
Однако этот коэффициент, определяемый выражением , равен =1 для конфигурации 5-1-5, так как
2
В качестве еще одного варианта осуществления изобретения в приведенных ниже абзацах приведено краткое описание применения идеи настоящего изобретения к древовидной структуре типа 5-1-5. Для создания стереофонического сигнала с высокой точностью воспроизведения рассматривают два первых набора параметров, состоящих из параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), которые соответствуют верхним ветвям древовидной структуры.
Сначала используют два параметра, характеризующие разность уровней между каналами (CLD), которые обозначают как , где =0,1, для получения нормированных значений мощности объединенных левого и правого каналов, и центрального канала
,
где коэффициенты усиления каналов определяются следующими выражениями:
<img file="00000074.tif" he="12" wi="33" img-content="undefined" img-format="tif" />
и
<img file="00000075.tif" he="12" wi="34" img-content="undefined" img-format="tif" />
Задача состоит в получении значений мощности и корреляции каналов, смикшированных с сокращением количества каналов,
,
,
где весовой коэффициент микширования центрального канала с сокращением количества каналов равен
.
Вычисление значений мощности, исходя из этого предположения, дает следующий результат:
,
.
Целесообразное предположение здесь состоит в том, что оба параметра когерентности (ICC) между каналами  и  и между каналами  и  являются теми же самыми, что и заданный параметр  между каналами  и . Это предположение приводит к следующим оценочным значениям:
поэтому оценочные нормированные значения мощности становятся равными
Как и в предыдущем варианте осуществления изобретения, зная значения мощности  и , может быть получен желательный параметр, характеризующий разность уровней между каналами (CLD)
Вычисление корреляции и, наконец, параметра когерентности между каналами (ICC), начинают с общего определения значения корреляции
2
Вся необходимая информация является доступной из параметров древовидной структуры типа 5-1-5, так как
Конечные результаты могут быть записаны в следующем виде:
Требуемый коэффициент  регулировки усиления определяется следующим выражением:
Можно отметить, что сгенерированные параметры: параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) могут быть дополнительно дискретизированы для обеспечения возможности использования в устройстве декодирования справочных таблиц для создания матрицы микширования с увеличением количества каналов вместо выполнения сложных вычислений. Это дополнительно повышает эффективность способа микширования с увеличением количества каналов.
Как правило, микширование с увеличением количества каналов возможно с использованием уже существующих модулей ОКД. Это имеет преимущество, заключающееся в том, что идея настоящего изобретения может быть легко реализована в уже существующих сценариях декодирования.
Матрица микширования с увеличением количества каналов обычно может быть описана следующим образом:
где
и где
<img file="00000103.tif" he="13" wi="46" img-content="undefined" img-format="tif" />
и
<img file="00000104.tif" he="10" wi="33" img-content="undefined" img-format="tif" />
Следовательно, получив параметр разности уровней между каналами (CLD) и параметр когерентности между каналами (ICC) согласно настоящему изобретению может быть выполнено микширование с увеличением количества каналов, обеспечивающее преобразование переданного сигнала, смикшированного с сокращением количества каналов, в стереофонический сигнал с высокой верностью воспроизведения с использованием стандартных модулей микширования с увеличением количества каналов.
В еще одном варианте осуществления изобретения предложенное в настоящем изобретении средство восстановления каналов содержит средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов, и средство микширования с увеличением количества каналов, предназначенное для получения промежуточного представления каналов с использованием параметров микширования с увеличением количества каналов и переданного сигнала, смикшированного с сокращением количества каналов.
Идея настоящего изобретения вновь схематично проиллюстрирована на Фиг. 6, на которой показано предложенное в настоящем изобретении средство 502 вычисления параметров, получающее множество параметров 504 когерентности между каналами (ICC) и множество параметров 506, характеризующих разность уровней между каналами (CLD). Согласно одному из вариантов осуществления настоящего изобретения предложенное в настоящем изобретении средство 502 вычисления параметров получает один параметр 508, характеризующий разность уровней между каналами (CLD), и один параметр 510 когерентности между каналами (ICC) для восстановления стереофонического сигнала с использованием также и многоканальных параметров (ICC и CLD), содержащих информацию о каналах, которые не содержатся в каналах стереофонического микширования с увеличением количества каналов, или которые не связаны с этими каналами.
Можно отметить, что идея настоящего изобретения может быть легко приспособлена для сценариев микширования с увеличением количества каналов, включающих в себя более двух каналов. Термин "микширование с увеличением количества каналов" в этом смысле обычно определяют как промежуточное представление каналов многоканального сигнала, где промежуточное представление каналов имеет большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал. Одним обычным сценарием является конфигурация, в которой восстанавливают дополнительный центральный канал.
Применение идеи настоящего изобретения вновь схематично изображено на Фиг. 7, на которой показано предложенное в настоящем изобретении средство 502 вычисления параметров и блок 520 "один к двум" (ОКД). В блок 520 ОКД в качестве входного сигнала поступает переданный монофонический сигнал 522, как уже было подробно показано на Фиг. 6. В предложенное в настоящем изобретении средство 502 вычисления параметров поступает несколько значений 504 когерентности между каналами (ICC) и несколько значений 506 разности уровней между каналами (CLD) для получения одного параметра 508, характеризующего разность уровней между каналами (CLD), и одного параметра 510 когерентности между каналами (ICC).
Одиночные параметры, которыми являются параметр 508, характеризующий разность уровней между каналами (CLD), и параметр 510 когерентности между каналами (ICC), вводят в модуль 520 ОКД для управления микшированием с увеличением количества каналов монофонического сигнала 522, смикшированного с сокращением количества каналов. Таким образом, на выходе модуля 520 ОКД может быть получен стереофонический сигнал 524 в виде промежуточного представления каналов многоканального сигнала.
На Фиг. 8 показан предложенный в настоящем изобретении приемник или предложенное в настоящем изобретении устройство 600 воспроизведения звука, содержащее предложенное в настоящем изобретении устройство 601 декодирования звука, вход 602 для ввода потока битов и выход 604 для вывода звука.
Поток битов может быть подан на вход 602 приемника/устройства 600 воспроизведения звука, предложенного в настоящем изобретении. Затем устройство 601 декодирования декодирует поток битов, и декодированный сигнал выводят через выход 604 приемника/устройства 600 воспроизведения звука, предложенного в настоящем изобретении, или воспроизводят на этом выходе.
Несмотря на то, что идея настоящего изобретения была изложена, в основном, применительно к кодированию в формате MPEG c объемным звучанием (MPEG surround), само собой разумеется, что она ни в коем случае не ограничена применением для конкретного сценария параметрического кодирования. Вследствие высокой приспособляемости идеи настоящего изобретения, она также может быть легко применена для других схем кодирования, например, для конфигураций каналов типа 7.1 или 7.2 или для схем бинаурального кодирования (BCC).
Несмотря на то, что в вариантах осуществления настоящего изобретения, связанных с MPEG-кодированием, введены некоторые упрощающие предположения для генерации общего параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), наличие этих предположений не является обязательным условием. Само собой разумеется, что также возможно не вводить эти упрощения.
В зависимости от определенных требований к реализации способов, предложенных в настоящем изобретении, способы из настоящего изобретения могут быть реализованы аппаратными средствами или в виде программного обеспечения. Они могут быть реализованы с использованием цифрового носителя информации, в частности диска, которым является универсальный цифровой диск (DVD) или компакт-диск (CD), содержащего хранящиеся на нем управляющие сигналы, считываемые посредством электронных средств, которые взаимодействуют с программируемой компьютерной системой таким образом, что обеспечивают выполнение способов, предложенных в настоящем изобретении. Следовательно, настоящее изобретение обычно представляет собой компьютерный программный продукт с программным кодом, хранящимся на машинно-считываемом носителе, при этом программный код функционирует таким образом, что обеспечивает реализацию способов, предложенных в настоящем изобретении, при выполнении компьютерного программного продукта на компьютере. Другими словами, предложенные в настоящем изобретении способы, следовательно, реализованы посредством компьютерной программы, содержащей программный код для выполнения, по меньшей мере, одного из предложенных в настоящем изобретении способов, когда эту компьютерную программу выполняют в компьютере.
Несмотря на то, что вышеизложенное было подробно продемонстрировано и описано со ссылкой на конкретные варианты осуществления этого изобретения, для специалистов в данной области техники понятно, что могут быть сделаны различные другие изменения в форме и в подробностях, не выходя за пределы его сущности и объема. Следует понимать, что при адаптации к различным вариантам осуществления изобретения могут быть сделаны различные изменения, не выходящие за пределы более широких концепций, которые раскрыты здесь и которые охвачены приведенной ниже формулой изобретения.