СТЕРЕОФОНИЧЕСКИ СОВМЕСТИМОЕ КОДИРОВАНИЕ МНОГОКАНАЛЬНОГО ЗВУКА
STEREOPHONIC COMPATIBLE MULTICHANNEL SOUND ENCODING

Настоящее изобретение относится к кодированию многоканального звука, и в частности к идее генерирования и использования параметрического представления многоканального звукового сигнала, которое полностью обратно совместимо со средствами воспроизведения сигнала параметрического стерео.
Настоящее изобретение относится к кодированию многоканального представления звуковых сигналов, использующего параметры пространственного звука таким образом, который совместим с кодированием двухканальных стереофонических сигналов, использующих параметры параметрического стерео. Настоящее изобретение предоставляет новые способы эффективного кодирования как параметров пространственного звука, так и параметров параметрического стерео и встраивания закодированных параметров в двоичный поток обратно совместимым образом. В частности, изобретение направлено на минимизацию общей скорости передачи для параметров параметрического стерео и пространственного звука в обратно совместимом двоичном потоке без ухудшения качества декодированного стереофонического или многоканального звукового сигнала. В случае если допустимо некоторое ухудшение качества декодированного стереофонического сигнала, общую скорость передачи можно уменьшить еще больше.
С недавнего времени все большее значение приобретают способы воспроизведения многоканального звука. С целью эффективной передачи многоканальных звуковых сигналов, имеющих 5 или более отдельных звуковых каналов, было разработано несколько способов сжатия стереофонического или многоканального сигнала. Недавно разработанные подходы к параметрическому кодированию многоканальных звуковых сигналов (параметрическое стерео (ПС), бинауральное кодирование сигнала (БКС) и т. д.) представляют многоканальный звуковой сигнал посредством сигнала, полученного понижающим микшированием, (может быть монофоническим или содержать несколько каналов) и параметрической дополнительной информацией, называемой также "пространственной ключевой информацией", характеризующей его воспринимаемое пространственное объемное звучание.
Многоканальное устройство кодирования в целом принимает - в качестве входных сигналов - по меньшей мере два канала и выдает на выходе один или несколько каналов несущей частоты и параметрических данных. Параметрические данные получают таким образом, чтобы в декодере можно было вычислить приближенное значение первоначального многоканального сигнала. Обычно канал (каналы) несущей частоты включает отсчеты поддиапазона, спектральные коэффициенты, отсчеты временной области и т.д., которые обеспечивают сравнительно хорошее представление основного сигнала, в то время как параметрические данные не содержат таких отсчетов спектральных коэффициентов, но вместо этого включают в себя управляющие параметры для управления некоторым алгоритмом восстановления. Такое восстановление может содержать умножение на весовой коэффициент, временной сдвиг, частотный сдвиг, фазовый сдвиг и т. д. Таким образом, параметрические данные включают в себя лишь сравнительно грубое представление сигнала или связанного с ним канала.
Способ бинаурального кодирования сигнала (БКС) описан в ряде публикаций, например "Binaural Cue Coding applied to Stereo and Multi-Channel Audio Compression", C. Faller, F. Baumgarte, AES convention paper 5574, May 2002, Munich, в 2 публикациях Международной конференции по акустике, речи и обработке сигнала "Estimation of auditory spatial cues for binaural cue coding" и "Binaural cue coding: a normal and efficient representation of spatial audio", автором обеих являются C. Faller и F. Baumgarte, Orlando, FL, May 2002.
При кодировании способом БКС несколько входных звуковых каналов преобразуются в спектральное представление при помощи ДПФ (дискретного преобразования Фурье) на основе преобразования с перекрывающимися окнами. Затем полученный однородный спектр делится на неперекрывающиеся части. Ширина диапазона каждой части пропорциональна эквивалентной прямоугольной ширине диапазона (ERB). Затем для каждой части оцениваются пространственные параметры, называемые ICLD (межканальная разность уровней) и ICTD (межканальная временная разность). Параметр ICLD описывает разность уровней между двумя каналами, а параметр ICDT описывает временную разность (фазовый сдвиг) между двумя сигналами различных каналов. Разности уровней и временные разности обычно приводятся для каждого канала относительно опорного канала. После получения этих параметров параметры квантуются и, наконец, кодируются для передачи.
Хотя параметры ICLD и ICTD представляют наиболее важные параметры, характеризующие местоположение источника звука, пространственное представление, использующее эти параметры, можно улучшить введением дополнительных параметров.
th
Родственный способ, названный "параметрическим стерео", представляет собой параметрическое кодирование двухканального стереофонического сигнала на основе переданного монофонического сигнала вместе с дополнительной информацией, содержащей параметры. Вводятся три типа пространственных параметров, называемых межканальной разностью интенсивностей (МРИ), межканальной разностью фаз (МРФ) и межканальной согласованностью (МВК). Расширение набора пространственных параметров посредством введения параметра согласованности (параметра корреляции) обеспечивает параметризацию воспринимаемой пространственной "разбросанности" или пространственной "сжатости" в павильоне звукозаписи. Параметрическое стерео более подробно описано в работах: "Parametric Coding of stereo audio", J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers (2005) Eurasip, J. Applied Signal Proc. 9, pages 1305-1322, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, AES 116<th> Convention, Preprint 6072, Berlin, May 2004, и "Low Complexity Parametric Stereo Coding", E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, AES 116 Convention, Preprint 6073, Berlin, May 2004.
Как указывалось выше, недавно были разработаны системы кодирования параметрического стерео, а также кодирования пространственного звука. Когда при параметрическом стерео двухканальный стереофонический звуковой сигнал представлен посредством монофонического сигнала, полученного понижающим микшированием, и дополнительной информации, которая несет в себе стереофонические параметры (см. заявку PCT/SE02/01372 "Efficient и scalable Parametric Stereo Coding for Low Bitrate Audio Coding Application"), обычный декодер параметрического стерео восстанавливает двухканальный стереофонический сигнал из монофонического сигнала и дополнительной информации.
В схемах кодирования пространственного звука многоканальный объемный звуковой сигнал представлен посредством монофонического или стереофонического звукового сигнала, полученного понижающим микшированием, и дополнительной информации, которая несет в себе параметры пространственного звука. Широко известным примером является конфигурация каналов 5.1, используемая в бытовых развлекательных системах.
Обычный декодер пространственного звука восстанавливает многоканальный сигнал схемы 5.1 на основе монофонического или стереофонического сигнала и дополнительных пространственных звуковых параметров.
Как правило, сигналы, полученные понижающим микшированием, применяемые в системах кодирования параметрического стерео или пространственного звука, подвергаются дополнительному кодированию способами низкоскоростного перцептуального кодирования звука (типа MPEG AAC) для дальнейшего снижения требуемой ширины полосы пропускания для передачи сигналов разного типа. Кроме того, сигнал, полученный понижающим микшированием, обычно объединяется в двоичном потоке с дополнительной информацией параметрического стерео или пространственного звука таким образом, чтобы обеспечить обратную совместимость с обычными декодерами, то есть с декодерами, которые не способны обрабатывать параметры параметрического стерео или пространственного звука. Таким образом, обычный звуковой декодер лишь восстанавливает монофонический или стереофонический переданный сигнал, полученный понижающим микшированием. Когда же используется декодер, реализующий кодирование параметрического стерео или кодирование пространственного звука, декодер также извлекает дополнительную информацию, встроенную в двоичный поток и восстанавливает двухканальный стереофонический сигнал или объемный сигнал с 5.1 каналами.
В случае использования кодирования пространственного звука на основе монофонического сигнала, полученного понижающим микшированием, желательно дополнительно повысить обратную совместимость, обеспечив такой сигнал, чтобы не только обычный перцептуальный декодер звука мог получить монофонический сигнал, полученный понижающим микшированием, но чтобы дополнительно было возможно декодирование параметрического стерео из такого двоичного потока при помощи декодера параметрического стерео, который не поддерживает декодирование пространственного звука.
Другой известный из уровня техники подход, одновременно включающий в себя и параметры параметрического стерео, и параметры пространственного звука, и дополнительную информацию, требует набора параметров пространственного звука, структура которых такова, что поднабор этих параметров позволяет восстановить двухканальный стереофонический сигнал из монофонического сигнала, полученного понижающим микшированием. Этот поднабор встроен в двоичный поток в качестве параметрической дополнительной информации таким образом, чтобы быть совместимым с двоичными потоками параметрического стерео, тогда как оставшиеся параметры пространственного звука, не входящие в этот набор, встроены в качестве дополнительной информации пространственного звука в двоичный поток, совместимый с кодировщиками пространственного звука. Со стороны декодера декодер, реализующий только параметрическое стерео, восстанавливает двухканальный стереофонический сигнал на основе поднабора параметров, который встроен в дополнительную информацию параметрического стерео. В то же время декодер, реализующий пространственный звук, извлекает поднабор параметрического стерео и остальные параметры пространственного звука. При наличии этого полного набора пространственных параметров можно восстановить многоканальный сигнал.
Однако эти подходы обладают тем недостатком, что они ухудшают качество звука либо при обратно совместимом восстановлении способом параметрического стерео, либо при многоканальном восстановлении. Это очевидно, поскольку в первом случае поднабор параметров, используемый также в качестве параметров пространственного звука, описывает взаимоотношения между двумя каналами сигнала, построенного по схеме 5.1. Естественнее всего было бы выбрать левый передний (l) и правый передний (r) каналы, которые, однако, могут существенно отличаться от верных значений, описывающих соотношение между левым (l0) и правым (r0) каналами стереофонического сигнала, полученного понижающим микшированием. Во втором случае указанный первый поднабор образуют верные значения стереофонического сигнала, полученного понижающим микшированием, а это означает, что они используются для описания соотношения между левым передним и правым передним каналами многоканального объемного сигнала. Однако такой подход ведет к искаженному восстановлению пространственного звука из-за квантования параметров, что необходимо для их встраивания в двоичный поток способом, совместимым с многоканальным сигналом.
Задача настоящего изобретения заключается в том, чтобы предоставить принцип создания и использования параметрического представления многоканального звукового сигнала, который позволяет обеспечить более эффективное представление, почти не влияющее ни на качество восстановления параметрического стерео, ни на качество восстановления пространственного звука.
Эта задача решается посредством декодера многоканального звука в соответствии с п. 1 формулы или кодировщика звука в соответствии с п. 11 формулы.
Настоящее изобретение основано на экспериментально обнаруженном факте, что параметрическое представление многоканального звукового сигнала, параметры которого можно использовать совместно с монофоническим сигналом, полученным понижающим микшированием, можно эффективно получить обратно совместимым образом в случае использования средства объединения параметров для создания параметрического представления посредством объединения набора пространственных параметров и стереофонического параметра, что приводит к параметрическому представлению, имеющему пригодные для использования декодером стереофонический параметр и информацию о наборе пространственных параметров, которая представляет совместно с пригодным для использования декодером стереофоническим параметром набор пространственных параметров.
При помощи соотношения между пространственными параметрами и стереофоническими параметрами, которые описывают стереофоническое понижающее микширование того же многоканального звукового сигнала, описываемого также пространственными параметрами, можно успешно определить поднабор пространственных параметров, основанный на параметрах параметрического стерео.
Поскольку двухканальный стереофонический сигнал, описываемый стереофоническими параметрами, представляет некую форму стереофонического понижающего микширования многоканального сигнала с 5.1 каналами, то, как указано выше, существуют зависимости между стереофоническими параметрами системы параметрического стерео и пространственными параметрами системы кодирования пространственного звука. Настоящее изобретение использует эти стереофонические параметры в сочетании с поднабором параметров пространственного звука для предсказания значений остальных параметров пространственного звука, не входящих в указанный поднабор. Затем необходимо лишь передать разность между предсказанными и фактическими значениями параметров пространственного звука. Энтропия этой разности (то есть ошибка предсказания) обычно меньше энтропии самого фактического параметра. Это обстоятельство можно использовать в системе, применяющей настоящее изобретение и некое последующее статистическое кодирование. Такая система требует меньшей скорости передачи дополнительной информации для параметров параметрического стерео и пространственного звука по сравнению с системой, которая просто независимо встраивает все параметры. Следует заметить, что в то же время такая система, применяющая настоящее изобретение, не ухудшает ни качество восстановления параметрического стерео, ни качество восстановления пространственного звука.
Поскольку целью является получение параметрического представления, которое обратно совместимо с декодерами параметрического стерео, предпочтительно использовать верные параметры, представляющие стереофоническое понижающее микширование, с тем, чтобы не ухудшить качество восстановления двухканального стереофонического сигнала при помощи декодера параметрического стерео. Однако в альтернативном варианте осуществления настоящего изобретения в кодировщике используется небольшое изменение параметров параметрического стерео на основе оцененных пространственных параметров с целью улучшения эффективности предсказания параметров для параметров пространственного звука. Ясно, что это изменение параметров параметрического стерео (ПС) ведет к небольшому снижению качества стереофонического сигнала, восстановленного декодером, который реализует только декодирование параметрического стерео. В этом варианте осуществления настоящего изобретения изменение параметров ПС не влияет на качество восстановленного пространственного звукового сигнала, тогда как полная скорость передачи, требуемая для передачи дополнительной информации ПС и пространственного звука, встроенной в совместимый двоичный поток, становится меньше.
В предпочтительном варианте осуществления настоящего изобретения используется кодировщик, предназначенный для получения параметрического представления многоканального звукового сигнала, который генерирует двоичный поток, в который полностью обратно совместимым способом встроены параметры пространственного звука, а также параметры параметрического стерео, относящиеся к стереофоническому понижающему микшированию многоканального сигнала. Иными словами, декодер параметрического стерео, способный только обрабатывать параметры параметрического стерео, сможет восстановить стереофонический сигнал с высоким качеством, используя параметры параметрического стерео. Кроме того, кодировщик согласно изобретению заменяет некоторые пространственные параметры разностным представлением фактических пространственных параметров и предсказанием пространственного параметра, причем предсказание пространственного параметра основано на стереофонических параметрах и на наборе незамененных параметров пространственного звука. Поскольку и представление параметрами пространственного звука, и представление параметрами параметрического стерео описывают разность и корреляцию уровней между парами каналов, существует взаимозависимость между параметрами пространственного звука и стереофоническими параметрами, поскольку и те, и другие получены на основе одних и тех же данных, а именно, из многоканального сигнала. Поэтому, используя для передачи разность между предсказанием и фактическим значением, можно сэкономить на скорости передачи, поскольку обычно энтропия разности гораздо меньше энтропии исходного параметра пространственного звука. При идеальном предсказании разность предсказания и фактического значения равна, очевидно, нулю, а это значит, что в качестве представления замененных пространственных параметров необходимо передать или сохранить в рамках параметрического представления лишь нулевые значения, что является весьма выгодным, когда в отношении представления выполняются дальнейшие этапы статистического кодирования, как обычно и происходит.
При использовании описанного выше принципа кодировщик или декодер согласно изобретению обладает очевидным преимуществом, заключающимся в том, что, несмотря на обратно совместимую передачу параметров пространственного звука и параметрического стерео без потери в точности, скорость передачи данных можно уменьшить по сравнению с вариантом, в котором параметры пространственного звука и параметры параметрического стерео просто передаются независимо в двоичном потоке.
В еще одном варианте осуществления настоящего изобретения перед предсказанием пространственных параметров и передачей измененных пространственных параметров параметры параметрического стерео подвергаются небольшим изменениям. Этот вариант обладает значительным преимуществом, заключающимся в том, что можно улучшить устойчивость предсказания при помощи небольших изменений параметров параметрического стерео и, следовательно, еще более уменьшить полную скорость передачи данных. Ценою этого является небольшое ухудшение качества стереофонического повышающего микширования, восстановленного при помощи измененных стереофонических параметров, поскольку в процессе кодирования действительно оптимальные параметры параметрического стерео изменяются.
В еще одном варианте осуществления настоящего изобретения кодировщик звука согласно изобретению содержит устройство пространственного понижающего микширования для генерации монофонического сигнала из поступающего в кодировщик многоканального сигнала. Затем монофонический сигнал сжимается кодировщиком звука при помощи, например, перцептуального сжатия звука для дальнейшего уменьшения скорости передачи данных, используемой монофоническим сигналом, полученным понижающим микшированием, во время передачи. Наконец, генератор двоичного потока генерирует двоичный поток, объединяющий монофонический сигнал, параметры пространственного звука и параметры параметрического стерео в единый двоичный поток, совместимый с параметрическим стерео.
В еще одном варианте осуществления настоящего изобретения параметрический кодировщик или декодер содержит блок управления, обеспечивающий дальнейшее уменьшение требуемой скорости передачи данных. Достижение этого обеспечивается посредством сравнения скорости передачи данных, необходимой для разностного представления пространственных параметров, полученных посредством разности фактического пространственного параметра и предсказания того же параметра, со скоростью передачи данных, необходимой для непосредственного кодирования пространственных параметров. Кодирование осуществляется посредством двухэтапной процедуры кодирования, содержащей сначала временное и (или) частотное дифференциальное кодирование отдельно каждого параметра с последующим статистическим кодированием (при помощи, например, кодировщика по алгоритму Хаффмана, арифметического кодировщика или кодировщика длин серий). В этом процессе используется предсказуемость (или избыточность) каждого параметра на основе его собственных прошлых значений (в отличие от описанного выше предсказания по набору параметров). В случае, когда разностное предсказательное кодирование приводит к более высокой скорости передачи данных, дополнительного снижения скорости передачи данных можно достигнуть прямой передачей пространственных параметров в течение данных временных интервалов. Решение о том, какая выбрана стратегия, может либо быть передано в двоичном потоке, подлежащем обработке на стороне декодера, либо декодер без уведомления может принять решение об изначально примененной стратегии посредством использования соответствующего алгоритма определения.
Как уже говорилось, сигнал, сгенерированный согласно настоящему изобретению, обладает большим преимуществом, поскольку он является обратно совместимым с декодером параметрического стерео и, кроме того, содержит информацию, требуемую для воспроизведения полного пространственного (объемного) сигнала, когда его передают на декодер согласно изобретению.
Поэтому декодер по изобретению, принимающий параметры параметрического стерео и параметры пространственного звука, может восстановить полный набор пространственных параметров, используя то же самое предсказание и обратное преобразование переданных разностным образом параметров пространственного звука для извлечения из двоичного потока по изобретению полного набора параметров пространственного звука, представляющих пространственное свойство многоканального сигнала.
Иными словами, правило объединения, используемое для объединения параметров параметрического стерео и принятых параметров пространственного звука для восстановления полного набора пространственных параметров, является обратным правилу, используемому на стороне кодировщика. В случае указанного выше дифференциального кодирования это означает, что сначала вычисляется предсказание требуемого параметра при помощи одного или нескольких параметров параметрического стерео и одного или нескольких принятых параметров пространственного звука. Затем вычисляется сумма предсказанного значения и переданного значения, причем эта сумма является требуемым параметром полного набора пространственных параметров.
В еще одном варианте осуществления настоящего изобретения декодер по изобретению может также восстановить стереофоническое представление многоканального сигнала при помощи параметров высококачественного параметрического стерео. Большое преимущество заключается в том, что декодер по изобретению можно сконфигурировать согласно потребностям, то есть в случае, если доступно только средство стереофонического воспроизведения, декодер по изобретению может воспроизводить высококачественный стереофонический сигнал, в то же время, если имеется в наличии средство многоканального воспроизведения, можно воспроизвести многоканальное представление сигнала и наслаждаться прослушиванием объемного звука.
В еще одном варианте осуществления настоящего изобретения кодировщик по изобретению включен в состав устройства передачи или звукозаписи, обеспечивая экономию на скорости передачи данных при хранении и передаче звукового сигнала, который можно воспроизвести с отличным качеством в виде стереофонического сигнала либо в виде полноценного объемного сигнала.
В еще одном варианте осуществления настоящего изобретения декодер по изобретению включен в состав устройства приема или звуковоспроизведения, обеспечивая прием или воспроизведение сигналов при помощи акустических систем с различной конфигурацией, причем звуковой сигнал можно воспроизводить в представлении, наилучшим образом подходящем для существующих средств воспроизведения.
Резюмируя, можно сказать, что настоящее изобретение обладает следующими преимуществами:
- совместимое кодирование многоканальных звуковых сигналов, в том числе,
на стороне кодировщика - понижающее микширование многоканального сигнала до одноканального представления,
на стороне кодировщика - на основе указанного многоканального сигнала определение параметров, представляющих многоканальный сигнал,
на стороне кодировщика - на основе указанного многоканального сигнала определение параметров, представляющих стереофоническое понижающее микширование многоканального сигнала,
на стороне кодировщика - встраивание обоих наборов параметров в двоичный поток обратно совместимым и экономичным с точки зрения скорости передачи данных образом,
на стороне декодера - извлечение встроенных параметров из двоичного потока,
на стороне декодера - восстановление параметров, представляющих многоканальный сигнал, из параметров, извлеченных из двоичного потока,
на стороне декодера - восстановление многоканальных выходных сигналов на основе параметров, восстановленных из данных двоичного потока, и указанного сигнала, полученного понижающим микшированием;
- встраивание в двоичный поток параметров, представляющих стереофоническое понижающее микширование, так чтобы их можно было декодировать (обычным) способом декодирования, который поддерживает лишь декодирование параметрического стерео;
- разделение набора параметров, представляющих многоканальный сигнал, на первый поднабор и второй поднабор;
- предсказание значений в указанном первом поднаборе параметров на основе указанного второго поднабора параметров и на основе параметров, которые представляют стереофоническое понижающее микширование многоканального сигнала;
- механизм управления, который автоматически определяет, закодирован ли непосредственно первый поднабор параметров или закодированы разности относительно предсказанных значений параметров;
- изменение параметров, которые представляют стереофоническое понижающее микширование, когда и первоначальные параметры, представляющие многоканальный сигнал, и первоначальные параметры, представляющие стереофоническое понижающее микширование, используются в качестве основы для получения измененных параметров;
- просмотровая таблица, используемая для поиска указанных предсказанных значений параметров;
- полиномиальная функция, используемая для поиска указанных предсказанных значений параметров;
- математическая функция, выведенная из способа, применяемого для генерации стереофонического понижающего микширования, используемая для поиска указанных предсказанных значений параметров.
Предпочтительные варианты осуществления настоящего изобретения описаны ниже со ссылкой на прилагаемые чертежи, среди которых:
фиг. 1 - блок-схема кодировщика согласно изобретению;
фиг. 2 - сгенерированный двоичный поток согласно настоящему изобретению;
фиг. 3 - еще один вариант осуществления кодировщика согласно изобретению;
фиг. 4 - подробная схема кодировщика согласно изобретению, приведенного на фиг. 3;
фиг. 5 - декодер по изобретению;
фиг. 6 - предпочтительный вариант многоканального декодера по изобретению;
фиг. 7 - подробная схема многоканального декодера по изобретению, изображенного на фиг. 6;
фиг. 8 иллюстрирует обратную совместимость сигнала согласно изобретению;
фиг. 9 - передатчик или устройство звукозаписи, содержащее кодировщик по изобретению;
фиг. 10 - приемник или устройство звуковоспроизведения, содержащее многоканальный декодер согласно изобретению; и
фиг. 11 - система передачи.
Описываемые ниже варианты осуществления являются просто иллюстрациями принципов настоящего изобретения для кодирования пространственного звука с улучшенной совместимостью с параметрическим стерео. Предполагается, что видоизменения и вариации взаимного размещения и частностей, описанных в настоящей заявке, являются очевидными для специалистов в данной области техники. Поэтому замысел изобретения ограничен только объемом приведенной ниже патентной формулы, а не частными подробностями, представленными с целью описания и объяснения вариантов осуществления, представленных в настоящей заявке.
На фиг. 1 приведен кодировщик 10 согласно изобретению для получения параметрического представления 12 из многоканального звукового сигнала. Кодировщик 10 содержит блок 14 вычисления пространственных параметров, блок 16 вычисления стереофонических параметров и блок 18 объединения параметров.
Блок 14 вычисления пространственных параметров вычисляет набор 20 пространственных параметров, описывающий пространственные свойства многоканального сигнала. Блок 16 вычисления стереофонических параметров вычисляет стереофонические параметры 22, описывающие пространственные свойства стереофонического понижающего микширования многоканального сигнала. Набор 20 пространственных параметров и стереофонические параметры 22 передаются блоку 18 объединения параметров, который выводит параметрическое представление 12, содержащее пригодный для использования декодером стереофонический параметр 24 и информацию о наборе пространственных параметров 26.
На фиг. 2 приведен пример для обратно совместимого двоичного потока, являющегося параметрическим представлением многоканального звукового сигнала, созданного кодировщиком по изобретению, изображенным на фиг. 1. Двоичный поток содержит участок 30 стереофонических параметров и участок 32 пространственных параметров. Участок 30 стереофонических параметров содержит стереофонический заголовок 34, находящийся в начале участка 30 стереофонических параметров, за которым следуют два пригодных для использования декодером стереофонических параметра 36a и 36b, которые могут использоваться декодером параметрического стерео для восстановления стереофонического сигнала. Декодер, способный обрабатывать только параметры параметрического стерео, определяет параметры 36a и 36b параметрического стерео по информации, содержащейся в стереофоническом заголовке 34.
Участок 32 пространственного звука начинается с пространственного заголовка 38 и содержит четыре параметра 40a-40d пространственного звука. Многоканальный декодер согласно настоящему изобретению может использовать пространственные параметры 40a-40d, определяя их при помощи пространственного заголовка 38, а также стереофонические параметры 36a и 36b, определяемые по стереофоническому заголовку 34. Как показано на фиг. 2, пространственный параметр 40a требует меньшей скорости передачи данных, чем пространственные параметры 40b-40d. В примере, приведенном на фиг. 2, пространственный параметр 40a представлен разностью исходного первоначального пространственного параметра и предсказанного пространственного параметра, полученного при помощи одного или нескольких стереофонических параметров 36a или 36b и одного или нескольких параметров 40b-40d пространственного звука. Поэтому многоканальный декодер согласно изобретению требует использования обоих стереофонических параметров 36a и 36b и пространственных параметров 40b-40d для восстановления пространственного параметра, лежащего в основе информации о пространственном параметре 40a, которая передается в двоичном потоке.
На фиг. 3 приведен предпочтительный вариант осуществления кодировщика 52 для получения параметрического представления многоканального звукового сигнала 50, который имеет три канала: левый канал l, правый канал r и центральный канал c.
Кодировщик 52 согласно изобретению содержит блок 54 пространственного понижающего микширования, блок 56 оценки пространственных параметров, блок 58 стереофонического понижающего микширования, блок 60 оценки параметров параметрического стерео, кодировщик 62 звука, блок 64 объединения параметров (блок совместного кодирования) и блок 66 вычисления скорости потока (мультиплексор).
Блок 54 пространственного понижающего микширования, блок 56 оценки пространственных параметров и блок 58 стереофонического понижающего микширования принимают в качестве входного сигнала многоканальный сигнал 50. Блок 54 пространственного понижающего микширования создает монофонический сигнал 68, полученный понижающим микшированием из многоканального сигнала 50, блок 56 оценки пространственных параметров получает пространственные параметры 70, описывающие пространственные свойства многоканального сигнала, а блок 58 стереофонического понижающего микширования создает стереофонический сигнал 72, полученный понижающим микшированием из многоканального сигнала 50.
Стереофонический сигнал 72, полученный понижающим микшированием, является входным сигналом блока 60 оценки параметров параметрического стерео, который выводит стереофонические параметры 74 из стереофонического сигнала, полученного понижающим микшированием, описывающие свойства стереофонического сигнала 72, полученного понижающим микшированием. Монофонический сигнал 68, полученный понижающим микшированием, является входным сигналом кодировщика 62 звука, который выводит звуковой двоичный поток 76, представляющий монофонический сигнал 68, полученный понижающим микшированием, посредством кодирования с использованием, например, способов перцептуального кодирования звука. Блок 64 объединения параметров принимает в качестве входных сигналов пространственные параметры 70, а также параметры 74 параметрического стерео, и выводит в качестве выходных сигналов пригодные для использования декодером стереофонические параметры 78 (дополнительную информацию параметрического стерео) и информацию 80 о пространственных параметрах (пространственную дополнительную информацию) посредством замены наборов пространственных параметров разностью предсказания пространственных параметров и самих пространственных параметров. Более подробно это описано на следующем чертеже.
Блок 66 вычисления двоичного потока принимает в качестве входных сигналов звуковой двоичный поток 76, информацию о наборе пространственных параметров 80 и пригодные для использования декодером стереофонические параметры 78 и объединяет указанные входные сигналы в двоичный поток 82, совместимый с параметрическим стерео, который может, например, содержать участки с параметрами, что подробно изображено на фиг. 2.
Блок 66 вычисления двоичного потока может представлять собой обычный мультиплексор. Однако для получения двоичного потока в соответствии с настоящим изобретением можно использовать и другие средства для объединения трех входных сигналов в совместимый двоичный поток.
Иными словами, на фиг. 3 приведен кодировщик, который берет в качестве входного сигнала многоканальный звуковой сигнал, содержащий каналы 1, r и c, и генерирует совместимый двоичный поток, который допускает декодирование пространственным декодером, а также обратно совместимое декодирование декодером ПС. Пространственное понижающее микширование заключается в том, что берется многоканальный сигнал 1, r, c и генерируется монофонический сигнал m, полученный понижающим микшированием. Затем этот сигнал можно закодировать дополнительным перцептуальным кодировщиком звука для получения компактного звукового двоичного потока, представляющего монофонический сигнал. Оценка пространственных параметров заключается в том, что берется многоканальный сигнал 1, r, c в качестве входного сигнала и генерируется набор квантованных пространственных параметров. Эти параметры могут быть функцией времени и частоты. Понижающее микширование до стереофонического сигнала дает двухканальное стереофоническое понижающее микширование l0, r0 многоканального сигнала, например, при помощи формул понижающего микширования ITU-R или альтернативных способов. Оценка параметров параметрического стерео заключается в том, что берется это стереофоническое понижающее микширование в качестве входного сигнала и генерируется набор квантованных параметров ПС, которые могут быть функцией времени и частоты. Блок совместного кодирования принимает в качестве входных сигналов пространственный параметр и параметр ПС и создает дополнительную информацию параметрического стерео (дополнительная информация ПС) и дополнительную пространственную информацию. Наконец, мультиплексор принимает в качестве входных сигналов звуковой двоичный поток и двоичные потоки с пространственной дополнительной информацией и дополнительной информацией ПС и встраивает дополнительную информацию в двоичный поток таким образом, чтобы сделать возможным обратно совместимое декодирование обычным декодером (реализующим только ПС).
На фиг. 4 подробно изображен блок 64 объединения параметров, изображенный на фиг. 3. Блок 64 объединения параметров содержит блок 90 разделения параметров, блок 92 изменения параметров параметрического стерео, блок 94 предсказания пространственных параметров, блок 96 объединения, блок 98 управления, блок 100 соединения пространственных параметров, первый дифференциальный кодировщик 102, второй дифференциальный кодировщик 104, третий дифференциальный кодировщик 106a и четвертый дифференциальный кодировщик 106b.
Блок 64 объединения параметров принимает в качестве входных сигналов пространственные параметры 70 и параметры 74 параметрического стерео. Параметры 74 параметрического стерео поступают на первый вход блока 92 изменения параметров параметрического стерео, а пространственные параметры 70 поступают на второй вход блока 92 изменения параметрического стерео. Пространственные параметры 70 дополнительно поступают на вход блока 90 разделения параметров. Блок 92 изменения параметров параметрического стерео является необязательным устройством, которое может использоваться для получения пригодных для использования декодером стереофонических параметров 110 посредством изменения параметров 74 параметрического стерео с использованием информации о пространственных параметрах.
Блок 90 разделения параметров делит пространственные параметры 70 на первый поднабор 112 пространственных параметров и второй поднабор 114 пространственных параметров, причем первый поднабор 112 является поднабором пространственных параметров, которые можно заменить разностным предсказанием в рамках окончательного параметрического представления многоканального сигнала.
Поскольку предсказание параметров в пределах первого поднабора выполняется при помощи пригодных для использования декодером стереофонических параметров 110 и второго поднабора 114 пространственных параметров, и пригодные для использования декодером параметры 110 и второй поднабор пространственных параметров 114 являются входными сигналами блока 94 предсказания пространственных параметров. Блок 94 предсказания пространственных параметров выводит предсказанные параметры 116 при помощи пригодных для использования декодером параметров 110 параметрического стерео и второго поднабора 114 пространственных параметров. Предсказанные параметры 116 представляют собой предсказание параметров первого поднабора 112 и подлежат сравнению с параметрами первого поднабора 112.
Таким образом, блок 96 объединения вычисляет для каждого параметра разность между предсказанными параметрами 116 и первым поднабором параметров 112, получая тем самым разностные параметры 118. Первый поднабор параметров 112 является входными сигналами третьего дифференциального кодировщика 106a, который выполняет дифференциальное кодирование первого поднабора параметров, применяя дифференциальное кодирование по времени или по частоте. Разностные параметры 118 являются входными сигналами дифференциального кодировщика 106b.
Согласно предпочтительно варианту осуществления настоящего изобретения, приведенному на фиг. 4, представление первого поднабора 112, подвергнутое дифференциальному кодированию, сравнивается в блоке 98 управления с представлением разностных параметров 118, подвергнутых дифференциальному кодированию, для того чтобы оценить, какое представление требует больше битов в двоичном потоке. Блок 98 управления управляет переключателем 120 для подачи на блок 100 соединения пространственных параметров того представления первого поднабора 112, которое требует меньше битов, причем информация о том, какое используется представление, дополнительно подается из блока 98 управления на блок 100 соединения пространственных параметров.
Второй поднабор 114 пространственных параметров также подвергается дифференциальному кодированию вторым дифференциальным кодировщиком 104, и представление второго поднабора 114, подвергнутое дифференциальному кодированию, является входным сигналом блока 100 объединения пространственных параметров 100, который, таким образом, получает полную информацию о пространственных параметрах 70. Наконец, блок 100 соединения пространственных параметров выводит информацию о пространственных параметрах 80 соединения представлений первого поднабора 112 и второго поднабора 114 в информацию о наборе пространственных параметров 80, которая содержит полную информацию о пространственных параметрах 70.
Окончательная информация о наборе пространственных параметров 80 содержит, таким образом, второй поднабор пространственных параметров, которые остаются неизменными, несмотря на то, что подвергаются дифференциальному кодированию, и представление первого поднабора пространственных параметров, которое может быть либо представлением непосредственно первого поднабора 112, подвергнутым дифференциальному кодированию, либо представлением разностных параметров 118, подвергнутым дифференциальному кодированию, в зависимости от того, какое представление требует более низкой скорости передачи данных.
Пригодные для использования декодером параметры 78 параметрического стерео, которые определяет блок 64 объединения параметров согласно изобретению, определяются первым дифференциальным кодировщиком 102. Первый дифференциальный кодировщик 102 принимает в качестве входных сигналов измененные параметры 110 параметрического стерео и определяет пригодные для использования декодером параметры 78 параметрического стерео посредством дифференциального кодирования измененных параметров 110 параметрического стерео.
Иными словами, фиг. 4 иллюстрирует блок совместного кодирования, который берет в качестве входных сигналов и пространственный параметр, и параметр ПС и генерирует и пространственную дополнительную информацию, и дополнительную информацию ПС. Необязательный блок изменения параметров ПС берет в качестве входных сигналов и пространственный параметр, и параметр ПС и генерирует измененный параметр ПС. Это позволяет обеспечить лучшее предсказание пространственного параметра за счет ухудшения качества двухканального стереофонического сигнала, восстановленного из измененного параметра ПС. Если блок изменения параметра ПС не используется, то поступающий параметр ПС непосредственно служит в качестве входного сигнала для блока предсказания пространственного параметра и для кодирования ПС. (Измененный) набор параметров ПС может быть закодирован при помощи временного дифференциального (dt) или частотно-дифференциального (df) кодирования, то есть при помощи кодирования разностей последующих параметров соответственно во временном и частотном направлении, и кодирования по алгоритму Хаффмана, то есть статистического кодирования без потери данных, для минимизации числа битов, требуемых для представления набора параметров. Блок разделения параметра разделяет набор пространственных параметров во втором поднаборе, который кодируется непосредственно, и дополняющий первый поднабор, который содержит все остальные параметры, и кодирование которого может осуществляться с использованием предсказания параметров. Блок предсказания пространственных параметров берет в качестве входных сигналов второй поднабор пространственного параметра и (измененного) параметра ПС и вычисляет предсказанные значения для первого поднабора пространственного параметра. Затем эти предсказанные значения вычитаются из фактических значений пространственных параметров, содержащихся в первом поднаборе, что дает набор значений ошибок предсказания.
Второй поднабор параметров может кодироваться при помощи временного или частотного дифференциального кодирования и кодирования по алгоритму Хаффмана для минимизации числа битов, требуемых для представления поднабора параметров. Первый поднабор параметров может кодироваться при помощи временного или частотного дифференциального кодирования и кодирования по алгоритму Хаффмана для минимизации числа битов, требуемых для представления поднабора параметров. Значения ошибок предсказания для первого поднабора параметров могут кодироваться при помощи временного или частотного дифференциального кодирования и кодирования по алгоритму Хаффмана для минимизации числа битов, требуемых для представления набора параметров. Блок управления выбирает, следует ли первый поднабор параметров кодировать непосредственно или следует кодировать ошибку предсказания для минимизации числа битов, требуемых для представления первого поднабора параметров. Этот выбор может быть сделан отдельно для каждого параметра из поднабора. Фактическое решение о выборе может быть либо передано в двоичном потоке в качестве дополнительной информации или может быть основано на правилах, которые являются составной частью предсказания пространственных параметров. В последнем случае, это решение не обязательно передавать в виде дополнительной информации. Наконец, мультиплексор объединяет все закодированные данные с получением пространственной дополнительной информации.
Для использования принципа кодирования и декодирования согласно изобретению можно осуществить различные варианты реализации предсказания параметров. Вообще говоря, имеется возможность использовать соответствующим образом составленные просмотровые таблицы для получения предсказания для первого набора пространственных параметров из стереофонических параметров и второго поднабора пространственных параметров, или, в альтернативном варианте, для получения пространственных параметров на основе знаний конкретных процессов понижающего микширования и способов получения пространственных параметров и стереофонических параметров можно применить аналитическую функцию. Следующие абзацы представляют собой обзор некоторых частных примеров получения соответствующего предсказания.
В этом обзоре за основу взят многоканальный сигнал, имеющий три канала,
- l: левый,
- c: центральный,
- r: правый,
который должен рассматриваться исключительно в качестве примера. Очевидно, что изложенные принципы можно также применить соответствующим образом и к другим конфигурациям каналов. Например, в случае конфигурации каналов 5.1, левый передний и левый задний каналы могут быть объединены при помощи модуля параметрического стерео с образованием левого сигнала (l), правый передний и правый задний каналы могут быть объединены при помощи модуля параметрического стерео с образованием правого (r) сигнала, а центральный канал и канал коррекции низкой частоты могут быть объединены при помощи модуля параметрического стерео с образованием центрального сигнала (c).
В нижеследующем описании более подробно обсуждается блок предсказания пространственных параметров. Два канала стереофонического сигнала, полученного понижающим микшированием, обозначены:
0
l: левый сигнал, полученный понижающим микшированием,
0
r: правый сигнал, полученный понижающим микшированием,
а монофонический сигнал, полученный понижающим микшированием, обозначен:
m: монофонический сигнал, полученный понижающим микшированием.
1
K
1
k
Блок предсказания выдает предсказанные значения ŝ,...,ŝпервых K квантованных пространственных параметров s,...,s (то есть первый поднабор пространственных параметров) на основе квантованных измененных или неизмененных параметров
1
2
K+1
K+2
N
ПС p, p и второго поднабора s,s...,s остальных квантованных пространственных параметров.
В наиболее общем виде он состоит из табличной функции (просмотровой таблицы)
(ŝ<sub>1</sub>,...,ŝ<sub>K</sub>)=F(p<sub>1</sub>,p<sub>2</sub>,s<sub>K+1</sub>,s<sub>K+2</sub>...,s<sub>N</sub>)
(1)
Тогда разностный сигнал равен ошибке предсказания
(d<sub>1</sub>,...,d<sub>K</sub>)=(s<sub>1</sub>-ŝ<sub>1</sub>,...,s<sub>K</sub>-ŝ<sub>K</sub>)
(2)
Первый способ построения функции F заключается в том, чтобы представить ее в виде табличной функции или полинома от многих аргументов для минимизации ошибки предсказания в смысле наименьших квадратов по большой базе данных параметров. В альтернативном варианте функция F может быть выбрана таким образом, чтобы минимизировать получившуюся скорость передачи данных, требуемую для представления первого поднабора пространственных параметров, когда для поиска оптимальной в этом смысле F в качестве обучающих данных используется большая база данных параметров. Перед использованием в блоке предсказания такая табличная функция или полином может быть подвергнута операции округления или дискретизации для получения целочисленных результатов.
Важным особым случаем такого подхода является использование линейного предсказания, когда функция F является полиномом первой степени.
Второй класс предсказывающих функций - это такие функции, которые учитывают фактическую структуру используемых параметров. В предпочтительном варианте осуществления изобретения K=2 и N=4, и параметры передают информацию в соответствии со следующими правилами:
1
0
0
p: iid_l0_r0 межканальная разность интенсивностей (МРИ) между каналами l и r;
2
0
0
p: icc_l0_r0 межканальная согласованность или взаимная корреляция (МВК) между каналами l и r;
1
s: iid_l_r межканальная разность интенсивностей (МРИ) между каналами l и r;
2
s: icc_l_r межканальная согласованность или взаимная корреляция (МВК) между каналами l и r;
3
s: iid_lr_c межканальная разность интенсивностей (МРИ) между каналами l+r и c;
4
s: icc_lr_c межканальная согласованность или взаимная корреляция (МВК) между каналами l+r и c.
Первым примером такой функции является особый случай указанной выше линейной предсказывающей функции, который заключается просто в том, что
ŝ<sub>1</sub>=p<sub>1</sub>, ŝ<sub>2</sub>=p<sub>2</sub>.
(3)
Достоинство этой простой предсказывающей функции заключается в том, что она ведет к более устойчивой ошибке предсказания (а не к минимальной ошибке предсказания), что хорошо подходит для временного дифференциального и частотного дифференциального кодирования указанной ошибки предсказания. Это верно для всех предсказывающих функций типа упомянутых выше полиномов.
Второй пример основан на предположении, что стереофонический сигнал, полученный понижающим микшированием, имеет вид
l<sub>0</sub>=l+q·c, r<sub>0</sub>=r+q·c,
(4)
где коэффициент усиления q центрального канала является известной величиной (обычно 1 или ). Все сигналы l, r, c являются векторами конечной длины, выведенными из временного и частотного интервала отчетов в поддиапазоне, полученных по результатам анализа комплексно-модулированного блока фильтров временных сигналов. Для комплексных векторов x, y, комплексное скалярное произведение и среднеквадратичная норма определяются формулой:
<img file="00000002.tif" he="34" wi="65" img-content="undefined" img-format="tif" />
(5)
где звездочка обозначает комплексное сопряжение. Линейные и недискретизированные варианты параметров МРИ тогда принимаются равными
<img file="00000003.tif" he="13" wi="20" img-content="undefined" img-format="tif" />, <img file="00000004.tif" he="11" wi="19" img-content="undefined" img-format="tif" />, <img file="00000005.tif" he="11" wi="28" img-content="undefined" img-format="tif" />.
(6)
Для параметров МВК в случае взаимной корреляции, формулы имеют вид:
<img file="00000006.tif" he="13" wi="32" img-content="undefined" img-format="tif" />, <img file="00000007.tif" he="11" wi="30" img-content="undefined" img-format="tif" />, <img file="00000008.tif" he="12" wi="37" img-content="undefined" img-format="tif" />.
(7)
В случае наличия согласованности в формулах (7) операции над вещественными значениями заменяются на операции над абсолютными значениями (комплексной величиной).
0
0
1
3
2
2
Принимая для простоты, что <l,c>=<r,c>=0, получаем, что L=L+qC и R=R+qС, и эти выражения можно вставить в первую формулу (6). Решив два уравнения с двумя неизвестными, получаем следующие оценки для X=L/C и Y=R/C из P и S:
<img file="00000009.tif" he="12" wi="46" img-content="undefined" img-format="tif" />, <img file="00000010.tif" he="12" wi="42" img-content="undefined" img-format="tif" />
(8)
1
1
1
Когда обе величины в формуле (8) являются положительными, оценка S имеет вид . Здесь требуемые значения линейных параметров получены посредством деквантификации данных целочисленных параметров, и затем получают целочисленную оценку ŝ параметров посредством квантования Ŝ.
1
1
2
2
1
2
Когда является приемлемым несколько пониженное качество декодированного стереофонического сигнала, общую скорость передачи данных можно еще больше уменьшить, используя изменения параметров параметрического стерео. Цель этого изменения заключается в том, чтобы обеспечить более устойчивое предсказание первого поднабора пространственных параметров и уменьшенную ошибку предсказания. Его можно рассматривать в качестве средства повысить устойчивость вышеприведенных расчетов. Предельный случай такого изменения параметров заключается в использовании выражений p'=s, p'=s, где p', p' обозначают измененные параметры параметрического стерео. Поскольку эта операция по изменению параметров проводится только на стороне кодировщика, на стороне декодера не нужно предпринимать никаких особых мер.
1
2
3
4
1
2
Более общий подход включает в себя полную информацию о структуре мощности и корреляции, доступную в P, P, S, S через формулы (6) и (7) для получения оценок S и S. В силу масштабной инвариантности параметров можно для целей расчетов предположить без нарушения общности, что C=1. Тогда, если обозначить
a=Re<l,c>, b=Re<r,c>, ρ=Re<l,r>,
(9)
получается следующая система уравнений:
<img file="00000012.tif" he="26" wi="101" img-content="undefined" img-format="tif" />
(10)
L, R, ρ являются интересующими нас неизвестными, требуемыми для оценки, a, b являются дополнительными неизвестными. Эту (неопределенную) систему уравнений можно использовать в качестве правила для получения множества предсказывающих форму, зависящих от выбора ограничений на пару a, b. Например, из первого и третьего уравнения (10) следует, что
<img file="00000013.tif" he="14" wi="94" img-content="undefined" img-format="tif" />
(11)
поэтому вычисления, которые приводят к формулам (8), соответствуют случаю, когда . В более общем виде ограничения на пару a, b определяются эвристическим параметром γ в соответствии с формулой .
Следует вновь подчеркнуть, что вышеуказанные схемы предсказания являются лишь примерами возможных схем предсказания, которые могут быть реализованы как на стороне кодировщика, так и на стороне декодера.
На фиг. 5 приведен декодер 200 многоканального звука согласно изобретению для обработки параметрического представления 202.
Параметрическое представление 202 содержит информацию о наборе пространственных параметров 204, описывающих пространственные свойства многоканального сигнала и пригодных для использования декодером стереофонических параметров 206, описывающих пространственные свойства стереофонического понижающего микширования многоканального сигнала. Декодер 200 многоканального звука согласно изобретению имеет блок 208 восстановления параметров для объединения пригодных для использования декодером стереофонических параметров 206 и информации о наборе пространственных параметров для получения пространственных параметров 210.
На фиг. 6 приведен вариант осуществления декодера 220 многоканального звука согласно настоящему изобретению. Декодер 220 многоканального звука имеет блок 222 разложения двоичного потока (демультиплексор), декодер 224 звука, блок 226 восстановления параметров (совместный декодер) и блок 228 повышающего микширования.
Блок 222 разложения двоичного потока принимает обратно совместимый двоичный поток 230, содержащий звуковой двоичный поток 231, информацию о наборе 232 пространственных параметров и пригодных для использования декодером стереофонических параметрах (дополнительную информацию ПС) 234. Блок разложения двоичного потока раскладывает, или демультиплексирует, обратно совместимый двоичный поток 230 для получения звукового двоичного потока 231, информации о наборе 232 пространственных параметров и пригодных для использования декодером стереофонических параметров 234. Декодер 224 звука принимает в качестве входного сигнала звуковой двоичный поток 231 и получает из звукового двоичного потока 231 монофонический сигнал 236, полученный понижающим микшированием.
Блок 226 восстановления параметров принимает в качестве входных сигналов информацию о наборе 232 пространственных параметров и пригодных для использования декодером стереофонических параметрах 234. Блок 226 восстановления параметров объединяет информацию о наборе пространственных параметров и пригодных для использования декодером стереофонических параметрах для получения набора пространственных параметров 238, который служит в качестве входного сигнала для блока 228 повышающего микширования, который дополнительно получает в качестве второго входного сигнала монофонический сигнал, полученный понижающим микшированием. На основе пространственных параметров 238 и монофонического сигнала 236, полученного понижающим микшированием, блок 228 повышающего микширования получает на своем выходе восстановленный многоканальный сигнал 240.
Таким образом, на фиг. 6 приведен декодер пространственного звука, который принимает в качестве входного сигнала совместимый двоичный поток и генерирует многоканальный звуковой сигнал, содержащий каналы l, r и c. Сначала демультиплексор принимает в качестве входного сигнала совместимый двоичный поток и раскладывает его на звуковой двоичный поток и на пространственную дополнительную информацию и дополнительную информацию ПС. Если к монофоническому сигналу применяется перцептуальное кодирование звука, соответствующий декодер звука принимает в качестве входного сигнала звуковой двоичный поток и генерирует декодированный монофонический звуковой сигнал m, подверженный искажениям, введенным перцептуальным кодеком звука. Блок совместного декодирования принимает в качестве входных сигналов пространственную дополнительную информацию и дополнительную информацию ПС и восстанавливает пространственные параметры. Наконец, блок пространственного восстановления принимает в качестве входных сигналов декодированный монофонический сигнал m и пространственные параметры и восстанавливает многоканальный звуковой сигнал.
На фиг. 7 приведено подробное описание блока 226 восстановления параметров, используемого в многоканальном декодере 220 звука. Блок 226 восстановления параметров содержит блок 250 разъединения пространственных параметров, блок 252 управления, блок 254 предсказания пространственных параметров, блок 256 соединения пространственных параметров и первый дифференциальный декодер 258, второй дифференциальный декодер 260, третий дифференциальный кодировщик 262a и четвертый дифференциальный декодер 262b.
Блок 250 разъединения пространственных параметров принимает в качестве входного сигнала информацию о наборе 232 пространственных параметров и получает первый поднабор 266 и второй поднабор 268 из набора параметров 232 пространственного звука. Первый поднабор 266 содержит параметры, которые можно представить при помощи предсказательного разностного представления, выполненного на стороне кодировщика, а второй поднабор 268 содержит поднабор информации о наборе пространственных параметров, который передается в двоичном потоке в неизмененном виде.
Кроме того, блок 252 управления факультативно принимает управляющую информацию от блока разъединения пространственных параметров, указывающую, использовалось ли или нет во время кодирования предсказательное разностное представление. Эта информация факультативная в том смысле, что блок 252 управления может альтернативным образом определить при помощи соответствующих алгоритмов, было ли выполнено такое предсказание или нет, даже не имея доступа к указывающему параметру.
Второй поднабор параметров 268 является входным сигналом для второго дифференциального декодера 260, который подвергает дифференциальному декодированию второй поднабор для определения второго поднабора пространственных параметров 270.
Первый дифференциальный декодер 258 принимает в качестве входного сигнала пригодные для использования декодером стереофонические параметры 234 для определения из закодированного представления параметров 272 параметрического стерео. Блок 254 предсказания пространственных параметров действует аналогично аналогичному блоку на стороне кодировщика, поэтому он принимает в качестве первого входного сигнала параметры 272 параметрического стерео, а в качестве второго входного сигнала второй поднабор пространственных параметров 270 для определения предсказанных параметров 274.
Блок 252 управления управляет двумя возможными различными путями прохождения данных для первого поднабора информации о наборе пространственных параметров. Когда блок 252 управления указывает, что первый поднабор информации набора пространственных параметров был передан без использования предсказательного разностного кодирования, блок 252 управления устанавливает переключатели 278a и 278b таким образом, что первый поднабор 266 является входным сигналом для третьего дифференциального декодера 262a для определения первого поднабора набора пространственных параметров 280 без применения обратного предсказания. Затем первый поднабор пространственных параметров 280 поступает в качестве входного сигнала на второй вход блока 256 соединения пространственных параметров.
Если, однако, блок 252 управления указывает на разностным образом предсказанные параметры, первый поднабор 266 информации о наборе пространственных параметров является входным сигналом для четвертого дифференциального декодера 262b для определения разностного предсказанного представления первого поднабора 266 на выходе 282 дифференциального декодера. Затем сумматор 284 вычисляет сумму разностного представления и предсказанных параметров 274, выполняя таким образом операцию, обратную операции разностного предсказания, выполненной на стороне кодировщика. В результате на второй вход блока 256 соединения пространственных параметров поступает первый набор пространственных параметров. Блок 256 соединения пространственных параметров объединяет первый набор пространственных параметров 256 и второй набор пространственных параметров 270 для получения полного набора пространственных параметров 290 на его выходе, что является основой для многоканального восстановления закодированного сигнала.
Итак, на фиг. 7 приведен блок совместного декодирования, который принимает в качестве входных сигналов пространственную дополнительную информацию и дополнительную информацию ПС и восстанавливает пространственный параметр. Демультиплексор разделяет пространственную дополнительную информацию в закодированном втором поднаборе пространственного параметра и закодированном первом поднаборе пространственного параметра, и управляющую информацию. Блок декодирования принимает в качестве входного сигнала второй поднабор пространственного параметра и восстанавливает этот поднабор параметра. Эта операция включает в себя декодирование по алгоритму Хаффмана и временное дифференциальное (dt) или частотное дифференциальное (df) декодирование в случае, если такое декодирование применялось в кодировщике. Блок декодирования принимает в качестве входного сигнала дополнительную информацию ПС и восстанавливает (измененный) параметр ПС. Блок предсказания пространственных параметров принимает в качестве входных сигналов второй поднабор пространственных параметров и (измененный) параметр ПС и вычисляет предсказанное значение для первого поднабора пространственного параметра таким же образом, что и соответствующий блок в кодировщике. Блок управления определяет, какое решение о выборе было принято соответствующим блоком управления в кодировщике. В зависимости от сделанного выбора закодированный первый поднабор пространственного параметра либо декодируется непосредственно, либо декодируется с учетом предсказания. В обоих случаях эта операция включает в себя декодирование по алгоритму Хаффмана и временное или частотное дифференциальное кодирование в случае, если такое кодирование применялось в кодировщике. В случае если блок управления решил, что предсказание не использовалось, выходной сигнал блока считается восстановленным первым поднабором пространственного параметра. В противном случае выходной сигнал блока декодирования содержит значения ошибок предсказания, сгенерированные блоком предсказания пространственного параметра, для получения первоначальных значений первого поднабора пространственных параметров. Наконец, восстановленные первый и второй поднаборы пространственных параметров соединяются с образованием полного набора пространственных параметров.
На фиг. 8 показано, как совместимый двоичный поток согласно изобретению обрабатывается обычным декодером параметрического стерео для получения стереофонического повышающего микширования сигнала с целью подчеркнуть большое преимущество полной обратной совместимости, заложенной в идее изобретения.
Декодер 300 параметрического стерео принимает в качестве входного сигнала совместимый двоичный поток 302. Декодер 300 параметрического стерео содержит демультиплексор 304, декодер 306 звука, дифференциальный декодер 308 и блок 310 повышающего микширования. Демультиплексор 304 принимает из совместимого двоичного потока 302 звуковой двоичный поток 312 и пригодные для использования декодером параметры 314 параметрического стерео.
Поскольку декодер 300 параметрического стерео не может работать с параметрами пространственного звука, демультиплексор 304 просто игнорирует параметры пространственного звука, содержащиеся в совместимом двоичном потоке 302, например, пропуская в двоичном потоке поля заголовков и связанные с ними участки данных, неизвестные декодеру. Звуковой двоичный поток 312 является входным сигналом для декодера 306 звука, который получает монофонический сигнал 316, полученный понижающим микшированием, тогда как пригодные для использования декодером стереофонические параметры 314 подвергаются дифференциальному декодированию дифференциальным декодером 308 с целью получения параметров 318 параметрического стерео. Монофонический сигнал 316, полученный понижающим микшированием, и параметры 318 параметрического стерео являются входными сигналами для блока 310 повышающего микширования, которые получает стереофонический сигнал 320, полученный повышающим микшированием, используя монофонический сигнал 316, полученный понижающим микшированием, и параметры 318 параметрического стерео.
Иными словами, на фиг. 8 приведен декодер параметрического стерео (ПС), который принимает в качестве входного сигнала совместимый двоичный поток и генерирует двухканальный стереофонический звуковой сигнал, содержащий каналы l0 и r0. Сначала двоичный поток принимает в качестве входного сигнала демультиплексор и раскладывает его на звуковой двоичный поток и дополнительную информацию ПС. Поскольку пространственная информация стороны была встроена в совместимый двоичный поток обратно совместимым образом, она не влияет на демультиплексор. Если к монофоническому сигналу применялось перцептуальное кодирование звука, то соответствующий декодер звука принимает в качестве входного сигнала звуковой двоичный поток и генерирует декодированный монофонический звуковой сигнал m, подлежащий искажению, вводимому перцептуальным кодеком звука. Блок декодирования ПС принимает в качестве входного сигнала дополнительную информацию ПС и восстанавливает параметр ПС. Эта операция включает в себя декодирование по алгоритму Хаффмана и временное дифференциальное (dt) декодирование или частотное дифференциальное (df) декодирование в случае, если такое кодирование применялось в кодировщике. Наконец, блок восстановления ПС принимает в качестве входных сигналов декодированный монофонический сигнал m и параметры ПС и восстанавливает двухканальный стереофонический сигнал.
На фиг. 9 приведено устройство 330 передачи или записи звука согласно изобретению, которое имеет кодировщик 10 звука, входной интерфейс 332 и выходной интерфейс 334.
Звуковой сигнал может быть подан на входной интерфейс 332 устройства 330 передачи/записи. Звуковой сигнал кодируется кодировщиком 10 по изобретению, входящим в состав устройства передачи/записи, и закодированное представление выдается на выходной интерфейс 334 устройства 330 передачи/записи. Закодированное представление может затем быть передано или сохранено на носители записи.
На фиг. 10 приведено устройство 340 приема или звуковоспроизведения, имеющее декодер 180 звука согласно изобретению, вход 342 двоичного потока и звуковой выход 344.
Двоичный поток может поступать на вход 342 устройства 340 приема/звуковоспроизведения, и декодированный сигнал поступает на выход или воспроизводится на выходе 344 устройства приема/звуковоспроизведения согласно изобретению.
На фиг. 11 приведена передающая система, содержащая передатчик 330 согласно изобретению и приемник 340 согласно изобретению.
Входной звуковой сигнал на входном интерфейсе 332 из передатчика 330 кодируется и передается с выхода 334 передатчика 330 на вход 342 приемника 340. Приемник декодирует звуковой сигнал и воспроизводит или выводит звуковой сигнал на своем выходе 344.
Обобщая идею изобретения, можно сказать, что настоящее изобретение относится к кодированию многоканальных представлений звуковых сигналов, использующих параметры пространственного звука таким образом, который совместим с кодированием двухканальных стереофонических сигналов, использующих параметры параметрического стерео. Настоящее изобретение представляет новые способы эффективного кодирования, как параметров пространственного звука, так и параметров параметрического стерео, и встраивания закодированных параметров в двоичный поток обратно совместимым образом. В частности, изобретение направлено на минимизацию общей скорости передачи данных для параметров параметрического стерео и пространственного звука в обратно совместимом двоичном потоке без ухудшения качества декодированного стереофонического или многоканального звукового сигнала. Однако в случае приемлемости небольшого ухудшения качества декодированного стереофонического сигнала общую скорость передачи данных можно еще более сократить.
Хотя двоичные потоки, описывающие обратную совместимость сигнала по изобретению и его генерацию, не содержат параметров, описывающих монофонический сигнал, полученный понижающим микшированием, представляется само собой разумеющимся, что такие параметры могут быть легко встроены в указанный двоичный поток.
При помощи параметров параметрического стерео можно предсказать произвольное число параметров пространственного звука, если можно вывести соответствующее правило для предсказания параметров. Поэтому, должно быть ясно, что приведенные выше подробные правила предсказания являются лишь примерами. Очевидно, что можно ввести и другие правила предсказания, которые обеспечат такую же экономию битов, и потому настоящее изобретение ни в коей мере не ограничивается использованием одного из описанных выше правил предсказания.
Хотя блок 58 понижающего микширования параметрического стерео, который получает стереофоническое понижающее микширование многоканального сигнала, присутствует в приведенных примерах кодировщиков согласно изобретению, при практической реализации блок стереофонического понижающего микширования можно исключить, если известно правило понижающего микширования и когда поэтому можно получить параметры параметрического стерео непосредственно из многоканального сигнала.
В приведенных вариантах выполнения монофонический сигнал, полученный понижающим микшированием, дополнительно кодируется кодировщиком звука или декодируется на стороне декодера. Кодирование и декодирование являются необязательными операциями, то есть при отсутствии дополнительного сжатия монофонического сигнала, полученного понижающим микшированием, кодировщик и декодер также являются кодировщиком и декодером согласно изобретению, содержащими идею изобретения.
Блок управления в кодировщиках и декодерах по изобретению может быть исключен, и можно прибегнуть к общему решению для представления поднаборов пространственных параметров разностным образом предсказанными параметрами с целью экономии на блоке управления и за счет допущения в редких случаях несколько более высокой скорости передачи данных, когда разностным образом предсказанные параметры не дают экономии на скорости передачи данных.
Хотя в приведенных примерах дополнительные кодировщики, применяемые на путях прохождения сигнала, называются только дифференциальными кодировщиками и дифференциальными декодерами, ясно, что для сжатия параметров можно также использовать любой другой подходящий кодировщик или декодер, в частности, сочетание дифференциальных декодера и кодировщика с декодером и кодировщиком, работающим по алгоритму Хаффмана. Такое сочетание используется таким образом, что сначала параметры кодируются дифференциальным образом, а затем дифференциально закодированные параметры кодируются по алгоритму Хаффмана, что, в конечном счете, приводит к параметрическому представлению, использующему более низкие скорости передачи данных, поскольку разностным образом предсказанное представление имеет более низкую энтропию по сравнению с лежащими в их основе пространственными параметрами.
Если обобщить идеи изобретения, то настоящее изобретение позволяет получить следующее.
В своем первом варианте изобретение представляет собой способ совместимого кодирования многоканальных звуковых сигналов, отличающийся тем, что на стороне кодировщика осуществляют понижающее микширование многоканального сигнала до одноканального представления; на стороне кодировщика на основе указанного многоканального сигнала определяют параметры, представляющие многоканальный сигнал; на стороне кодировщика на основе указанного многоканального сигнала определяют параметры, представляющие стереофоническое понижающее микширование многоканального сигнала; на стороне кодировщика встраивают оба набора параметров в двоичный поток эффективным с точки зрения скорости передачи данных и обратно совместимым образом; на стороне декодера извлекают встроенные параметры из двоичного потока; на стороне декодера восстанавливают параметры, представляющие многоканальный сигнал, из параметров, извлеченных из двоичного потока; на стороне декодера восстанавливают многоканальные выходные сигналы на основе параметров, восстановленных из двоичного потока данных, и указанного сигнала, полученного понижающим микшированием.
Во втором варианте изобретение представляет собой способ по первому варианту, отличающийся тем, что встраивают в двоичный поток параметры, представляющие стереофоническое понижающее микширование, так что их можно декодировать (обычным) способом декодирования, который поддерживает только декодирование параметрического стерео.
В третьем варианте изобретение представляет собой способ по первому варианту, отличающийся тем, что разделяют наборы параметров, представляющих многоканальный сигнал, на первый поднабор и второй поднабор.
В четвертом варианте изобретение представляет собой способ по третьему варианту, отличающийся предсказанием значений в указанном первом поднаборе параметров на основе указанного первого поднабора параметров и на основе параметров, которые представляют стереофоническое понижающее микширование многоканального сигнала.
В пятом варианте изобретение представляет собой способ по четвертому варианту, отличающийся способом управления, который автоматически выбирает, закодирован ли первый поднабор параметров непосредственно или закодированы только разности относительно предсказанных значений параметров.
В шестом варианте изобретение представляет собой способ по третьему варианту, отличающийся изменением параметров, которые представляют стереофоническое понижающее микширование, когда и первоначальные параметры, представляющие многоканальный сигнал, и первоначальные параметры, представляющие стереофоническое понижающее микширование, используются в качестве основы для получения измененных параметров.
В седьмом варианте изобретение представляет собой способ по четвертому варианту, отличающийся тем, что для поиска указанных предсказанных значений параметров используется просмотровая таблица.
В восьмом варианте изобретение представляет собой способ по четвертому варианту, когда для поиска указанных предсказанных значений параметров в четвертом варианте используется полиномиальная функция.
В девятом варианте изобретение представляет собой способ по четвертому варианту, отличающийся тем, что для поиска указанных предсказанных значений параметров используется математическая функция, полученная способом, применяемым для генерации стереофонического понижающего микширования.
В десятом варианте изобретение представляет собой устройство для кодирования представления многоканального звукового сигнала, характеризующееся: средством для понижающего микширования многоканального сигнала до одноканального представления; средством для определения параметров, представляющих многоканальный сигнал; средством для определения параметров, представляющих стереофоническое понижающее микширование многоканального сигнала; средством для встраивания обоих наборов параметров в двоичный поток эффективным с точки зрения скорости передачи данных и обратно совместимым образом.
В одиннадцатом варианте изобретение представляет собой устройство для восстановления многоканального сигнала на основе сигнала, полученного понижающим микшированием, и наборов соответствующих параметров, характеризующееся: средством для извлечения набора параметров, встроенных в двоичный поток; средством для восстановления параметров, представляющих многоканальный сигнал, из параметров, извлеченных из двоичного потока; средством для восстановления многоканального выходного сигнала на основе набора параметров, восстановленного из двоичного потока данных, и указанного сигнала, полученного понижающим микшированием.
В зависимости от некоторых требований к реализации способов согласно изобретению способы согласно изобретению могут быть реализованы аппаратным или программным образом. Реализация может быть осуществлена при помощи цифрового носителя записи, в частности при помощи DVD-диска или компакт-диска, имеющего записанные на нем управляющие сигналы, считываемые электронным образом, который работает совместно с программируемой компьютерной системой, так что выполняются способы согласно изобретению. Поэтому в целом настоящее изобретение является компьютерным программным продуктом, содержащим программный код, хранящийся на машиночитаемом носителе, причем программный код работает так, что выполняет способы согласно изобретению, когда компьютерный программный продукт выполняется на компьютере. Иными словами, способы по изобретению являются поэтому компьютерной программой, имеющей программный код для выполнения по меньшей мере одного способа согласно изобретению, когда компьютерная программа выполняется на компьютере.
Хотя вышеприведенное изобретение было проиллюстрировано и описано со ссылкой на частные варианты его выполнения, специалистам в данной области техники должно быть ясно, что в его форму и частности могут быть внесены различные другие изменения с сохранением сущности и объема изобретения. Должно быть понятно, что можно внести различные изменения, позволяющие приспособить изобретение к различным вариантам осуществления, не отступая от замысла изобретения в самом широком понимании, охватываемого нижеприведенной формулой.