КОДИРОВАНИЕ МНОГОКАНАЛЬНОГО АУДИО
MULTICHANNEL AUDIO ENCODING

Настоящее изобретение относится к устройству кодирования многоканального аудио для кодирования N аудио сигналов в М аудио сигналов и ассоциированные параметрические данные, где М и N являются целыми числами, N>М, M≥1.
Настоящее изобретение также относится к устройству декодирования многоканального аудио, к способу кодирования многоканального аудио сигнала, к способу декодирования многоканального аудио сигнала, к кодированному многоканальному аудио сигналу, к носителю данных, содержащему сохраненный на нем кодированный многоканальный аудио сигнал, к передающей системе для передачи и приема кодированного многоканального аудио сигнала, к передающему устройству для передачи кодированного многоканального аудио сигнала, к приемному устройству для приема кодированного многоканального аудио сигнала, к способу передачи и приема кодированного многоканального аудио сигнала, к способу передачи кодированного многоканального аудио сигнала, к способу приема кодированного многоканального аудио сигнала, к устройству воспроизведения многоканального аудио, к устройству записи многоканального аудио и к компьютерному программному продукту для выполнения любого из способов, упомянутых выше.
С некоторых пор растет интерес к воспроизведению многоканальных аудио сигналов. Многоканальный аудио сигнал является аудио сигналом, содержащим два или более аудио каналов. Общеизвестными примерами многоканальных аудио сигналов являются двухканальные стереофонические аудио сигналы и 5,1-канальные аудио сигналы, имеющие два фронтальных аудио канала, два тыловых аудио канала, один центральный аудио сигнал и дополнительный канал низкочастотного обогащения (LFE). Такие 5,1-канальные аудио сигналы используются в системах DVD - (универсальный цифровой диск) и SACD (улучшенный аудио компакт-диск). Вследствие увеличивающейся популярности многоканального материала становится более важным эффективное кодирование многоканального материала.
Общеизвестна система кодирования многоканального аудио 5,1-2-5,1. В этой общеизвестной системе кодирования аудио входной аудио 5,1-сигнал кодируется и представляется в форме двух каналов сведения и ассоциированных параметров. Сигналы сведения в совокупности также определяются как пространственное сведение. В общеизвестной системе, пространственное сведение формирует стереофонический аудио сигнал, обладающий стереофоническим образом, то есть качеством, сопоставимым со сведением из 5.1 входных каналов по установленным стандартам ITU (Международный Союз Электросвязи). Пользователи, имеющие только стереофоническое оборудование, могут прослушивать это пространственное стереофоническое сведение, в то время как слушатели с 5,1-канальным оборудованием могут прослушивать 5,1-канальное воспроизведение, которое получается с использованием этого пространственного стереофонического сведения и ассоциированных параметров. 5,1-канальное оборудование декодирует/восстанавливает 5,1-канальный аудио сигнал из пространственного стереофонического сведения (т.е. стереофонического аудио сигнала) и ассоциированных параметров.
Однако специалисты по студийной записи склонны считать это пространственное стереофоническое сведение довольно глухим. По этой причине они создают художественное стереофоническое сведение, которое отличается от пространственного стереофонического сведения. Например, добавляются дополнительные реверберация или источники, расширяется стереофонический образ, и т.д. Для того чтобы пользователи имели возможность наслаждаться художественным стереофоническим сведением, такое художественное сведение может передаваться посредством передающей среды или сохраняться на носителе данных вместо пространственного сведения. Такой подход, однако, оказывает серьезное влияние на качество воспроизведения 5,1-канального аудио сигнала. Входной 5,1-канальный аудио сигнал кодируется в пространственное стереофоническое сведение и ассоциированные параметры. При замене пространственного стереофонического сведения на художественное стереофоническое сведение, пространственное стереофоническое сведение больше не является доступным для декодирующей стороны системы, и высококачественное восстановление 5,1-канального аудио сигнала невозможно.
Задачей настоящего изобретения является создание устройства кодирования многоканального аудио, как описано выше, направленное на решение упомянутой выше проблемы. Эта задача решается в устройстве кодирования многоканального аудио согласно настоящему изобретению, при этом устройство кодирования многоканального аудио содержит:
- первый блок для кодирования N аудио сигналов в М аудио сигналов и первые ассоциированные параметрические данные, при этом М аудио сигналов и первые ассоциированные параметрические данные отображают N аудио сигналов; и
- второй блок, соединенный с первым блоком, причем второй блок выполнен с возможностью генерирования, исходя из М аудио сигналов, вторых ассоциированных параметрических данных, отображающих М аудио сигналов, причем вторые ассоциированные параметрические данные содержат параметры модифицирования, обеспечивающие возможность восстановления М аудио-сигналов из К других аудиосигналов, представляющих собой альтернативное сведение N аудиосигналов, а не М аудио сигналов: и при этом ассоциированные параметрические данные содержат первые и вторые ассоциированные параметрические данные.
Благодаря генерированию, исходя из пространственного сведения, т.е. из М аудио сигналов, параметров, отображающих пространственное сведение, устройство декодирования будет иметь возможность восстанавливать, по меньшей мере, частично пространственное сведение, например, путем синтезирования сигнала, имеющего сходство с пространственным сведением. Эти параметры, т.е. вторые ассоциированные параметрические данные, отображают пространственное сведение, например, посредством одной или более существенных характеристик сигнала пространственного сведения. Восстановленное пространственное сведение может после этого использоваться с первыми ассоциированными параметрическими данными, т.е. традиционными многоканальными параметрами, для декодирования и восстановления многоканального аудио сигнала, т.е. N аудио сигналов. Настоящее изобретение основывается на установлении того, что таким образом может быть получен многоканальный аудио сигнал, имеющий лучшее качество, чем сигнал, который был бы получен при использовании альтернативного сведения в качестве базиса для декодирования. Кроме того, в ситуациях, в которых альтернативное сведение недоступно на устройстве декодирования или в которых альтернативное сведение искажается, устройство декодирования, тем не менее, может использовать параметры для восстановления многоканального аудио сигнала, имеющего удовлетворительное качество.
Второй блок выполняется с возможностью генерирования вторых ассоциированных параметрических данных таких, что вторые ассоциированные параметрические данные содержат параметры модифицирования, обеспечивающие возможность восстановления М аудио сигналов из K дополнительных аудио сигналов. Таким образом, устройство декодирования может выполнить даже лучшее восстановление пространственного сведения. Это восстановление может быть выполнено на базисе альтернативного сведения, т.е. K дополнительных аудио сигналов, таких, как художественное сведение. Устройство декодирования может применять параметры модифицирования к сигналу альтернативного сведения, чтобы он имел более близкое сходство с пространственным сведением.
В варианте осуществления устройства кодирования многоканального аудио согласно настоящему изобретению второй блок выполняется с возможностью генерирования, исходя из М аудио сигналов и из K дополнительных аудио сигналов, вторых ассоциированных параметрических данных таких, что параметры модифицирования отображают разность между М аудио сигналами и K дополнительными аудио сигналами. В этом варианте осуществления альтернативное сведение доступно для устройства кодирования и может быть выполнено эффективное представление параметров модифицирования. Сравнивая пространственное сведение с альтернативным сведением, второй блок может генерировать параметры модифицирования, отображающие разность между пространственным сведением и альтернативным сведением. Таким "относительным" параметрам модифицирования требуется меньше пространства/битов в кодированном многоканальном аудио сигнале, чем "абсолютным" параметрам модифицирования в предыдущем варианте осуществления. Предпочтительно, если альтернативное сведение является художественным сведением, которое принимается устройством кодирования многоканального аудио от внешнего источника. В качестве альтернативы, альтернативное сведение может генерироваться в устройстве кодирования многоканального аудио, например, исходя из N входных аудио сигналов.
Устройство кодирования может содержать селектор для выбора подачи на выход альтернативного сведения или пространственного сведения. После этого выбранное сведение будет частью кодированного аудио сигнала. Пространственное сведение может быть выбрано, например, когда альтернативное сведение недоступно.
В варианте осуществления устройства кодирования многоканального аудио согласно настоящему изобретению второй блок выполняется с возможностью генерирования вторых сопутствующих параметрических данных таких, что параметры модифицирования содержат характеристику М аудио сигналов или разность между характеристикой М аудио сигналов и характеристикой K дополнительных аудио сигналов. Авторы изобретения установили, что предпочтительно, чтобы параметры модифицирования содержали статистические характеристики сигналов (разность между ними), такие, как вариантность, ковариантность и корреляция и стандартная девиация сигнала(ов) сведения. Эти статистические характеристики сигналов обеспечивают возможность удовлетворительного восстановления пространственного сведения.
В варианте осуществления устройства кодирования многоканального аудио согласно настоящему изобретению второй блок выполняется с возможностью генерирования вторых ассоциированных параметрических данных таких, что характеристика содержит:
значение энергии или мощности, по меньшей мере, части аудио сигналов; или
значение корреляции, по меньшей мере, части аудио сигналов; или
отношение между значениями энергии или мощности, по меньшей мере, части аудио сигналов.
Эти характеристики, по отдельности или в любой возможной комбинации, обеспечивают возможность эффективного и/или высококачественного восстановления пространственного сведения. Значения энергии или мощности и значения корреляции обеспечивают возможность высококачественного восстановления. Характеристика, содержащая отношение между значениями энергии или мощности, является эффективной в том смысле, что требует только относительно небольшое пространство/небольшое число битов в кодированном многоканальном аудио сигнале/битовом потоке.
Параметры модифицирования обычно рассматриваются как функция времени и частоты (т.е. для набора элементов времени/частоты). Они могут быть включены в состав параметрического битового потока, который включается в состав кодированного многоканального аудио сигнала. Для дополнительного повышения качества восстановления пространственного сведения есть возможность дополнительно расширить параметрический битовый поток (кодированными) низкочастотными составляющими пространственного сведения.
В устройстве декодирования параметры модифицирования получаются из кодированного многоканального аудио сигнала, и пространственное сведение восстанавливается с использованием этих параметров или из альтернативного сведения или импровизированным образом. Устройство декодирования преобразует альтернативное сведение так, что результирующий преобразованный сигнал сведения обладает характеристиками пространственного сведения. Устройство декодирования может функционировать двумя способами, в зависимости от представления параметров модифицирования. Если параметры отображают (относительное) преобразование из альтернативного сведения в пространственное сведение (его требуемые характеристики), переменные преобразования получаются непосредственно из передаваемых параметров. С другой стороны, если передаваемые параметры отображают (абсолютные) характеристики пространственного сведения, устройство декодирования сначала вычисляет соответствующие характеристики альтернативного сведения. Используя эту информацию (передаваемые параметры и вычисленные характеристики передаваемого сведения), затем определяются переменные преобразования, которые описывают преобразование из передаваемого сведения (его характеристик) в пространственное сведение (его характеристики). В заключение, пространственные параметры, т.е. первые ассоциированные параметрические данные, применяются к восстановленному пространственному сведению для того, чтобы декодировать многоканальный аудио сигнал.
Та же идея настоящего изобретения может использоваться в передающей системе, имеющей передающее устройство с устройством кодирования многоканального аудио и приемное устройство с устройством декодирования многоканального аудио. Такие передающие системы могут применяться, например, для передачи речевых сигналов или аудио сигналов посредством передающей среды, такой, как радиоканал, коаксиальный кабель или оптическое волокно. Такие передающие системы также могут применяться для осуществления записи кодированных аудио или речевых сигналов на носитель информации, такой, как магнитная лента, магнитный или оптический диск или полупроводниковое запоминающее устройство. Идея настоящего изобретения также может успешно применяться в устройстве воспроизведения/записи аудио, например устройстве воспроизведения/записи аудио на оптическом диске или устройстве воспроизведения/записи аудио на жестком диске или устройстве воспроизведения/записи аудио на полупроводниковом запоминающем устройстве, имеющем устройство декодирования/кодирования многоканального аудио.
Вышеупомянутые задача и признаки настоящего изобретения поясняются в последующем описании предпочтительных вариантов осуществления со ссылкой на чертежи, на которых представлено следующее:
Фиг.1 - структурная схема варианта осуществления устройства 10 кодирования многоканального аудио согласно настоящему изобретению,
Фиг.2 - структурная схема варианта осуществления устройства 20 декодирования многоканального аудио согласно настоящему изобретению,
Фиг.3 - структурная схема варианта осуществления передающей системы 70 согласно настоящему изобретению,
Фиг.4 - структурная схема варианта осуществления устройства 60 воспроизведения/записи многоканального аудио согласно настоящему изобретению,
Фиг.5 - структурная схема другого варианта осуществления устройства 10 кодирования многоканального аудио согласно настоящему изобретению,
Фиг.6 - структурная схема другого варианта осуществления устройства 20 декодирования многоканального аудио согласно настоящему изобретению.
На чертежах идентичные элементы обозначены одинаковыми ссылочными позициями.
Фиг.1 иллюстрирует структурную схему варианта осуществления устройства 10 кодирования многоканального аудио согласно настоящему изобретению. Это устройство 10 кодирования многоканального аудио выполнено с возможностью кодирования N аудио сигналов 101 в М аудио сигналов 102 и ассоциированные параметрические данные 104, 105. При этом М и N являются целыми числами, причем N>М и M≥1. Примером устройства 10 кодирования многоканального аудио является устройство кодирования 5,1-в-2, в котором N равняется 6, т.е. 5+1 каналов, а М равняется 2. Такое устройство кодирования многоканального аудио кодирует 5,1-канальный входной аудио сигнал в 2-канальный выходной аудио сигнал, например, в стереофонический выходной аудио сигнал, и ассоциированные параметры. Другими примерами устройства 10 кодирования многоканального аудио являются устройства кодирования 5,1-в-1, 6,1-в-2, 6,1-в-1, 7,1-в-2 и 7,1-в-1. Кроме того, возможны устройства кодирования, имеющие другие значения для N и М, при условии, что N является большим, чем М, и при условии, что М является большим или равным 1.
Устройство 10 кодирования содержит первый блок 110 кодирования и соединенный с ним второй блок 120 кодирования. Первый блок 110 кодирования принимает N входных аудио сигналов 101 и кодирует N аудио сигналов 101 в М аудио сигналов 102 и первые ассоциированные параметрические данные 104. М аудио сигналов 102 и первые ассоциированные параметрические данные 104 отображают N аудио сигналов 101. Кодирование N аудио сигналов 101 в М аудио сигналов 102, которое выполняется первым блоком 110, может также именоваться процессом сведения, а М аудио сигналов 102 могут также именоваться пространственным сведением 102. Блок 110 может быть традиционным параметрическим устройством кодирования многоканального аудио, которое кодирует многоканальный аудио сигнал 101 в монофонический или стереофонический аудио сигнал 102 сведения и ассоциированные параметры 104. Ассоциированные параметры 104 обеспечивают возможность устройству декодирования восстанавливать многоканальный аудио сигнал 101 из монофонического или стереофонического аудио сигнала 102 сведения. Заметим, что сведение 102 может также содержать больше, чем 2 канала.
Первый блок 110 дает пространственное сведение 102 на второй блок 120. Второй блок 120 генерирует, исходя из пространственного сведения 102, вторые ассоциированные параметрические данные 105. Вторые ассоциированные параметрические данные 105 отображают пространственное сведение 102, т.е. эти параметры 105 содержат технические данные или характеристики пространственного сведения 102, которые обеспечивают возможность устройству декодирования восстанавливать, по меньшей мере, часть пространственного сведения 102, например, путем синтезирования сигнала, имеющего сходство с пространственным сведением 102. Ассоциированные параметрические данные содержат первые и вторые ассоциированные параметрические данные 104 и 105.
Вторые ассоциированные параметрические данные 105 могут содержать параметры модифицирования, обеспечивающие возможность восстановления пространственного сведения 102 из K дополнительных аудио сигналов 103. Таким образом, устройство декодирования может выполнять даже лучшее восстановление пространственного сведения 102. Это восстановление может быть выполнено на основе альтернативного сведения 103, т.е. K дополнительных аудио сигналов 103, например, художественного сведения. Устройство декодирования может применить параметры модифицирования к сигналу 103 альтернативного сведения так, чтобы он имел более близкое сходство с пространственным сведением 102.
Второй блок 120 может принимать на свои входы альтернативное сведение 103. Альтернативное сведение 103 может быть принято от источника, внешнего для устройства 10 кодирования (как показано на Фиг.1), или, в качестве альтернативы, альтернативное сведение 103 может генерироваться в самом устройстве 10 кодирования (не показано), например, исходя из N аудио сигналов 101. Второй блок 120 может сравнивать пространственное сведение 102 с альтернативным сведением 103 и генерировать параметры 105 модифицирования, отображающие разность между пространственным сведением 102 и альтернативным сведением 103, например разность между характеристикой пространственного сведения 102 и характеристикой альтернативного сведения 103. Такие «относительные» параметры модифицирования, отображающие эту разность, требуют меньшего пространства/битов в кодированном многоканальном аудио сигнале, чем «абсолютные» параметры модифицирования, которые отображают только пространственное сведение 102 (одну или более его характеристик). Предпочтительно, если параметры 105 модифицирования содержат одну или более статистических характеристик сигнала (разность между ними), таких, как вариантность, ковариантность и корреляция, или отношение этих характеристик, относительно сигнала(ов) сведения (разности между ними). Заметим, что вариантность сигнала равносильна энергии или мощности этого сигнала. Эти статистические характеристики сигнала обеспечивают возможность удовлетворительного восстановления пространственного сведения.
Фиг.2 иллюстрирует структурную схему варианта осуществления устройства 20 декодирования многоканального аудио согласно настоящему изобретению. Устройство 20 декодирования выполняется с возможностью декодирования K аудио сигналов 103 и ассоциированных параметрических данных 104, 105 в N аудио сигналов 203. При этом K и N являются целыми числами, причем N>K и K≥1. K аудио сигналов 103, т.е. альтернативное сведение 103, и ассоциированные параметрические данные 104, 105 отображают N аудио сигналов 203, т.е. многоканальный аудио сигнал 203. Примером устройства 20 декодирования многоканального аудио является устройство декодирования 2 в 5,1, в котором N равняется 6, т.е. 5+1 каналам, а K равняется 2. Такое устройство декодирования многоканального аудио декодирует 2-канальный входной аудио сигнал, например стереофонический входной аудио сигнал, и ассоциированные параметры в 5,1-канальный выходной аудио сигнал. Другими примерами устройства 20 декодирования многоканального аудио являются устройства декодирования 1 в 5,1, 2 в 6,1, 1 в 6,1, 2 в 7,1 и 1 в 7,1. Кроме того, возможны устройства декодирования, имеющие другие значения для N и K, при условии, что N является большим, чем K и при условии, что K является большим или равным 1.
Устройство 20 декодирования многоканального аудио содержит первый блок 210 и соединенный с ним второй блок 220. Первый блок 210 принимает альтернативное сведение 103 и параметры 105 модифицирования и восстанавливает М дополнительных аудио сигналов 202, т.е. пространственное сведение 202 или приближенное к нему, из альтернативного сведения 103 и параметров 105 модифицирования. При этом М является целым числом, причем M≥1. Параметры 105 модифицирования отображают пространственное сведение 202. Второй блок 220 принимает пространственное сведение 202 от первого блока 210 и параметры 104 модифицирования. Второй блок 220 декодирует пространственное сведение 202 и параметры 104 модифицирования в многоканальный аудио сигнал 203. Второй блок 220 может быть традиционным параметрическим устройством декодирования многоканального аудио, которое декодирует монофонический или стереофонический аудио сигнал 202 сведения и ассоциированные параметры 104 в многоканальный аудио сигнал 203.
Первый блок 210 может быть выполнен с возможностью определения, является ли необходимым или желательным восстановить сигнал 202 из входного сигнала 103. Такое восстановление может применяться, когда сигнал 202 пространственного сведения подается на первый блок 210 вместо альтернативного сведения 103. Первый блок 210 может определить это, генерируя, исходя из входного сигнала 103, подобные или такие же характеристики сигнала, как содержащиеся в параметрах 105 модифицирования, и сравнивая эти генерированные характеристики сигнала с параметрами 105 модифицирования. Если это сравнение показывает, что генерированные характеристики сигнала являются равными или почти равными параметрам 105 модифицирования, то входной сигнал 103 имеет достаточное сходство с сигналом 202 пространственного сведения, и первый блок 210 может переслать входной сигнал 103 на второй блок 220. Если сравнение показывает, что генерированные характеристики сигнала не являются равными или почти равными параметрам 105 модифицирования, то входной сигнал 103 не имеет достаточного сходства с сигналом 202 пространственного сведения, и первый блок 210 может восстановить/аппроксимировать сигнал 202 пространственного сведения из входного сигнала 103 и параметров 105 модифицирования.
Параметры 105 модифицирования могут отображать разность между альтернативным сведением 103 и пространственным сведением 202, например, различие в статистических характеристиках сигналов, обеспечивая возможность первому блоку 210 восстановить пространственное сведение 202 из альтернативного сведения 103.
Первый блок 210 может генерировать, исходя из альтернативного сведения, дополнительные параметры модифицирования/характеристики, отображающие альтернативное сведение 103. В таком случае, первый блок 210 может восстановить пространственное сведение 202 из переменного сведения 103 и параметров 105 модифицирования и дополнительных параметров модифицирования (разности между ними).
Параметры 105 модифицирования и дополнительные параметры модифицирования, соответственно, могут включать в себя статистические характеристики пространственного сведения 202 и альтернативного сведения 103, соответственно. Эти статистические характеристики, такие, как вариантность, корреляция и ковариантность, и т.д. обеспечивают удовлетворительные представления сигналов, из которых они выведены. Они полезны при восстановлении пространственного сведения 202, например, путем такого преобразования альтернативного сведения, чтобы его ассоциированные характеристики соответствовали характеристикам, содержащимся в параметрах 105 модифицирования.
Фиг.3 иллюстрирует структурную схему варианта осуществления передающей системы 70 согласно настоящему изобретению. Передающая система 70 содержит передающее устройство 40 для передачи кодированного многоканального аудио сигнала посредством канала 30 передачи, например, проводной или беспроводной линии связи на приемное устройство 50. Передающее устройство 40 содержит устройство 10 кодирования многоканального аудио, которое описано выше, для кодирования многоканального аудио сигнала 101 в пространственное сведение 102 и ассоциированные параметры 104, 105. Передающее устройство 40 дополнительно содержит средство 41 для передачи кодированного многоканального аудио сигнала, содержащего параметры 104, 105 и пространственное сведение 102 или альтернативное сведение 103, посредством канала 30 передачи на приемное устройство 50. Приемное устройство 50 содержит средство 51 для приема кодированного многоканального аудио сигнала и устройство 20 декодирования многоканального аудио, которое описано выше, для декодирования альтернативного сведения 103 или пространственного сведения 102 и ассоциированных параметров 104, 105 в многоканальный аудио сигнал 203.
Фиг.4 иллюстрирует структурную схему варианта осуществления устройства 60 воспроизведения/записи многоканального аудио согласно настоящему изобретению. Устройство 60 воспроизведения/записи аудио содержит устройство 20 декодирования многоканального аудио и/или устройство 10 кодирования многоканального аудио согласно настоящему изобретению. Устройство 60 воспроизведения/записи аудио может иметь свое собственное устройство хранения информации, например полупроводниковое запоминающее устройство или жесткий диск. Устройство 60 воспроизведения/записи аудио может, кроме того, обеспечивать съемное средство хранения информации, такое, как DVD-диски (с возможностью записи) или CD-диски (с возможностью записи). Сохраненные кодированные многоканальные аудио сигналы, содержащие альтернативное сведение 103 и параметры 104, 105, могут декодироваться с помощью устройства 20 декодирования и могут проигрываться или воспроизводиться с помощью устройства 60 воспроизведения/записи аудио. Устройство 10 кодирования может кодировать многоканальные аудио сигналы для сохранения на средстве хранения информации.
Фиг.5 иллюстрирует структурную схему другого варианта осуществления устройства 10 кодирования многоканального аудио согласно настоящему изобретению. Устройство 10 кодирования содержит первый блок 110 и соединенный с ним второй блок 120. Первый блок 110 принимает многоканальный аудио 5,1-сигнал 101, содержащий следующие аудио сигналы: левый фронтальный, левый тыловой, правый фронтальный, правый тыловой, центральный и низкочастотного обогащения, lf, lr, rf, rr, co и lfe, соответственно. Второй блок 120 принимает художественное стереофоническое сведение 103, содержащее левый художественный и правый художественный аудио сигналы, la и ra, соответственно. Многоканальный аудио сигнал 101 и художественное сведение 103 являются аудио сигналами временной области. В первом и втором блоках 110 и 120 эти сигналы 101 и 103 сегментируются и преобразуются в частотно-временную область.
0
0
В первом блоке 110 параметрические данные 104 выводятся в три стадии. На первой стадии три пары аудио сигналов lf и rf, rf и rr, и co и lfe, соответственно, сегментируются, и сегментированные сигналы преобразуются в частотную область в блоках 112, 113 и 114 сегментации и преобразования, соответственно. Результирующие представления частотной области сегментированных сигналов показаны в виде сигналов Lf, Lr, Rf, Rr, Co и LFE частотной области, соответственно. На второй стадии три пары этих сигналов Lf и Lr, Rf и Rr, и Co и LFE частотной области, соответственно, сводятся в устройствах 115, 116 и 117 сведения, соответственно, для генерирования монофонических аудио сигналов L, R и C, соответственно, и ассоциированных параметров 141, 142 и 143, соответственно. Устройства 115, 116 и 117 сведения могут быть традиционными параметрическими стереофоническими устройствами кодирования формата MPEG4. В заключение, на третьей стадии три монофонических аудио сигнала L, R и C сводятся в устройстве 118 сведения для получения пространственного стереофонического сведения 102 и ассоциированных параметров 144. Пространственное сведение 102 содержит сигналы L и R.
Параметрические данные 141, 142, 143 и 144 содержатся в первых ассоциированных параметрических данных 104. Параметрические данные 104 и пространственное сведение 102 отображают 5,1-канальные входные сигналы 101.
Во втором блоке сигнал 103 художественного сведения, представленный во временной области аудио сигналами la и ra, соответственно, сначала сегментируется в устройстве 121 сегментации. Результирующий сегментированный аудио сигнал 127 содержит сигналы las и ras, соответственно. Затем этот сегментированный аудио сигнал 127 преобразуется в частотную область с помощью устройства 122 преобразования. Результирующий сигнал 126 частотной области содержит сигналы La и Ra. В заключение, сигнал 126 частотной области, который является представлением в частотной области сегментированного художественного сведения 103, и представление в частотной области сегментированного пространственного сведения 102 подаются в генератор 123, который генерирует параметры 105 модифицирования, которые обеспечивают возможность устройству декодирования модифицировать/преобразовывать художественное сведение 103 так, чтобы оно имело более близкое сходство с пространственным сведением 102. Сегментированный сигнал 127 временной области также подается на селектор 124. Другими двумя входными данными для этого селектора 124 являются представление в частотной области пространственного стереофонического сведения 102 и управляющий сигнал 128. Управляющий сигнал 128 определяет, должен ли селектор 124 подавать на выход художественное сведение 103 или пространственное сведение 102 в качестве части закодированного многоканального аудио сигнала. Пространственное сведение 102 может быть выбрано, когда художественное сведение недоступно. Управляющий сигнал 128 может быть установлен вручную или может генерироваться автоматически при обнаружении наличия художественного сведения 103. Управляющий сигнал 128 может быть включен в состав битового потока параметров с тем, чтобы соответствующее устройство 20 декодирования могло использовать его, как описано ниже.
0
0
Выходной сигнал 102, 103 селектора 124 показан в виде сигналов lo и ro. Если селектором 124 должно выводиться художественное стереофоническое сведение 127, то сегментированные сигналы las и ras временной области объединяются в селекторе 124 путем суммирования с перекрытием в сигналы lo и ro. Если согласно указанию посредством управляющего сигнала 128 должно выводиться пространственное стереофоническое сведение 102, селектор 124 преобразует сигналы L и R обратно во временную область и объединяет их посредством суммирования с перекрытием в сигналы lo и ro. Сигналы lo, и ro временной области формируют стереофоническое сведение в устройстве 10 кодирования 5,1-в-2,0
Далее следует более детальное описание генератора 123. Задачей генератора 123 является определить параметры модифицирования, которые описывают такое преобразование художественного сведения 103, чтобы оно, в некотором смысле, имело сходство с первоначальным пространственным сведением 102. В общем случае, это преобразование может быть описано выражением
<img file="00000001.tif" he="5" wi="63" img-content="undefined" img-format="tif" />
(1)
L
R
L
R
A
A
T
V
A
A
T
T
T
T
a
a
d
d
1, …,
N
1, …,
N
в котором  и  являются векторами, содержащими отсчеты частотно-временных элементов левого и правого канала художественного сведения 103, и в котором , и  являются векторами, содержащими отсчеты частотно-временных элементов левого и правого канала модифицированного художественного сведения, в котором  содержат отсчеты частотно-временных элементов дополнительных вспомогательных каналов, и в котором  является матрицей преобразования. Заметим, что каждый вектор  задается как вектор-столбец. Модифицированное художественное сведение является художественным сведением 103, которое преобразуется с помощью такого преобразования, чтобы оно имело сходство с первоначальным пространственным сведением 102. Вспомогательные каналы , например, могут быть декоррелированными вариантами сигналов художественного сведения или могут содержать низкочастотные составляющие сигналов пространственного сведения. В последнем случае эти низкочастотные составляющие могут быть включены в состав параметров 105. Матрица  преобразования размерности (N+2)×2 описывает преобразование из художественного сведения 103 и вспомогательных каналов в модифицированное художественное сведение. Предпочтительно, если матрица  преобразования или ее элементы содержатся в параметрах 105 модифицирования с тем, чтобы устройство 20 декодирования могло восстановить, по меньшей мере, часть матрицы  преобразования. После этого устройство 20 декодирования может применить матрицу  преобразования к художественному сведению 103 для восстановления пространственного сведения 102 (как описано ниже).
T
В качестве альтернативы, параметры 105 модифицирования содержат характеристики сигналов, например значения энергии или мощности и/или значения корреляции, пространственного сведения 102. Тогда устройство 20 декодирования может генерировать такие характеристики сигналов, исходя из художественного сведения 103. Характеристики сигналов пространственного сведения 102 и художественного сведения 103 обеспечивают возможность устройству 20 декодирования сформировать матрицу  преобразования (описанную ниже) и применить ее к художественному сведению 103 для восстановления пространственного сведения 102 (также описанного ниже).
Существует несколько возможностей для создания художественного стереофонического сведения 103, имеющего сходство с первоначальным стереофоническим сведением 102:
I. Согласовать формы волны.
II. Согласовать статистические характеристики:
a. Согласовать энергию или мощность левого и правого канала.
b. Согласовать ковариационные матрицы левого и правого канала.
III. Получить наилучшую возможную согласованность формы волны при ограничении на согласование по энергии или мощности левого и правого канала.
IV. Комбинирование вышеупомянутых способов I-III.
A
A
T
1, …,
N
Дальше вспомогательные каналы  в выражении (1) не учитываются, так что матрица  преобразования может быть записана в виде
<img file="00000002.tif" he="5" wi="33" img-content="undefined" img-format="tif" />
(2)
I. Согласование форм волны (способ I)
Согласование форм волны художественного сведения 103 и пространственного сведения 102 может быть получено с помощью представления и левого и правого сигнала модифицированного художественного сведения в виде линейной комбинации левого и правого сигнала художественного стереофонического сведения 103:
<img file="00000003.tif" he="5" wi="68" img-content="undefined" img-format="tif" />
(3)
T
Далее, матрица  в выражении (2) может быть записана в виде:
.
1
2
1
2
0
0
d
d
L
R
L
R
Параметры α, α, β и β выбираются путем минимизирования квадрата Евклидовых расстояний между сигналами  и  пространственного сведения и их оценками (т.е. сигналами  и  модифицированного художественного сведения) и, следовательно
(4)
и
(5)
II. Согласование статистических характеристик (способ II)
L
R
d
d
Способ II.a. Далее рассматривается установление согласованности энергий левого и правого сигналов. Модифицированные левый и правый сигналы художественного сведения, обозначенные  и  соответственно, здесь вычисляются как
<img file="00000007.tif" he="5" wi="39" img-content="undefined" img-format="tif" />
(6)
где, в случае действительных параметров, α и β задаются выражениями
(7)
T
так что матрица  преобразования может быть записана в виде
(8)
L
R
L
R
d
d
0
0
При таком выборе можно быть уверенными, что сигналы  и , соответственно, имеют такую же энергию, как сигналы  и , соответственно.
Способ II.b. Для установления согласованности ковариационных матриц художественного стереофонического сведения 103 и пространственного стереофонического сведения 102 эти матрицы могут быть разложены с использованием разложения по собственным значениям, следующим образом:
<img file="00000010.tif" he="13" wi="26" img-content="undefined" img-format="tif" />
(9)
C
a
где ковариационная матрица художественного стереофонического сведения 103, , задается выражением
<img file="00000011.tif" he="7" wi="37" img-content="undefined" img-format="tif" />
(10)
U
S
C
U
S
a
a
0
0
0
является унитарной матрицей, а  является диагональной матрицей.  является ковариационной матрицей пространственного стереофонического сведения 102,  является унитарной матрицей, а  является диагональной матрицей. При вычислении выражения
<img file="00000012.tif" he="6" wi="56" img-content="undefined" img-format="tif" />
(11)
U
L
R
a
aw
aw
получаются (в результате умножения на матрицу ) два взаимно некоррелированных сигнала  и , причем эти сигналы имеют единичную энергию (в результате умножения на матрицу ). Путем вычисления
<img file="00000014.tif" he="6" wi="68" img-content="undefined" img-format="tif" />
(12)
L
R
U
a
a
r
сначала ковариационная матрица [] преобразуется в ковариационную матрицу, которая равна единичной матрице, т.е. ковариационную матрицу . Применение любой произвольной унитарной матрицы  не изменит ковариационную структуру, а применение  дает в результате ковариационную структуру, равную ковариационной структуре пространственного стереофонического сведения 102.
S
L
R
0w
0w
0w
Определим матрицу  и сигналы  и  следующим образом:
<img file="00000017.tif" he="6" wi="55" img-content="undefined" img-format="tif" />
(13)
U
L
L
R
R
L
R
U
r
0w
aw
0w
aw
aw
aw
r
Матрица  может быть выбрана для получения наилучшей возможной согласованности форм волны, исходя из минимального квадрата Евклидового расстояния, между сигналами  и  и сигналами  и , где  и  задаются выражением (11). При таком выборе для  может использоваться согласование форм волны в рамках статистического способа.
T
Из выражения (12) можно видеть, что матрица  преобразования задается выражением
<img file="00000018.tif" he="6" wi="36" img-content="undefined" img-format="tif" />
(14)
III. Наилучшее возможное согласование форм волны при ограничивающем условии для энергии (способ III)
1
2
1
2
Исходя из выражения (3), параметры α, α, β и β могут быть получены путем нахождения минимума (4) и (5) при ограничении по энергии
(15)
IV. Комбинированный способ (способ IV)
Что касается комбинирования различных способов, возможными комбинациями являются комбинирование способов II.a и II.b или комбинирование способов II.a и III. Это может выполняться следующим образом:
L
L
R
R
0
d
0
d
a) Если согласованность форм волны между  и  и между  и , полученная при использовании способа II.b/III, удовлетворительна, то используется способ II.b/III.
b) Если согласованность форм волны неудовлетворительна, то используется способ II.a.
c) Обеспечивается постепенный переход между этими двумя способами, комбинируя их матрицы преобразования, в зависимости от качества согласованности форм волны.
Это может быть математически выражено следующим образом.
T
Используя выражения (3) и (2) матрица  преобразования может быть записана в своей основной форме в виде
<img file="00000020.tif" he="13" wi="24" img-content="undefined" img-format="tif" />
(16)
T
T
L
R
Эта матрица перезаписывается, используя два вектора,  и , следующим образом
<img file="00000021.tif" he="13" wi="70" img-content="undefined" img-format="tif" />
(17)
L
L
0
d
L
Качество согласованности форм волны между  и , полученной с использованием или способа II.b или способа III, выражается значением γ. Оно определяется как
<img file="00000022.tif" he="19" wi="52" img-content="undefined" img-format="tif" />
(18)
R
R
0
d
R
Качество согласования форм волны между  и , полученной с использованием или способа II.b или способа III, выражается значением γ. Оно определяется как
<img file="00000023.tif" he="19" wi="53" img-content="undefined" img-format="tif" />
(19)
L
R
L
R
Значения и γ и γ находятся между 0 и 1. Коэффициент смешения левого канала, δ, и коэффициент смешения правого канала, δ, могут быть определены следующим образом:
(20)
L,min
L,max
R,min
R,max
L,min
L,max
R,min
R,max
L
R
причем µ, µ µ и µ имеют значения между 0 и 1, µ < µ и µ < µ. Уравнение (20) гарантирует, что коэффициенты смешения, δ и δ, имеют значения между 0 и 1.
T
T
T
T
T
e
a
ce
Определим матрицу  преобразования способа II.a, II.b и III, соответственно, как , которая задается выражением (8), , которая задается выражением (14), и , соответственно. Каждая матрица преобразования может быть разложена на два вектора, подобно разложению  в выражении (17), следующим образом:
(21)
T
Матрица  преобразования для комбинирования способа II.a и способа II.b получается из следующего выражения
(22)
T
Матрица  преобразования для комбинирования способа II.a и способа III получается из следующего выражения
(23)
T
T
T
T
Элементы матрицы  преобразования могут иметь действительные или комплексные значения. Эти элементы могут кодироваться в параметрах модифицирования следующим образом: те элементы матрицы  преобразования, которые являются действительными и положительными, могут квантоваться логарифмически, подобно параметрам IID, используемым при Параметрическом Стерео-MPEG4-кодировании. Можно установить верхний предел для значений параметров, чтобы избежать избыточного усиления слабых сигналов. Этот верхний предел может быть фиксированным или зависит от корреляции между автоматически генерированными левым каналом и художественным левым каналом и от корреляции между автоматически сгенерированным правым каналом и художественным правым каналом. Относительно элементов матрицы , которые являются комплексными, амплитуда может квантоваться с использованием параметров IID, а фаза может квантоваться линейно. Элементы , которые являются действительными и могут быть отрицательными, могут кодироваться взятием логарифма абсолютной величины элемента, при обеспечении различия между отрицательными и положительными значениями.
0
0
0
0
0
0
0
0
Фиг.6 иллюстрирует структурную схему другого варианта осуществления устройства 20 декодирования многоканального аудио согласно настоящему изобретению. Устройство 20 декодирования содержит первый блок 210 и соединенный с ним второй блок 220. Первый блок 210 принимает сигналы lo и ro сведения и параметры 105 модифицирования в качестве входных данных. Сигналы lo и ro сведения могут быть частью пространственного сведения 102 или художественного сведения 103. Первый блок 210 содержит блок 211 сегментации и преобразования и блок 212 модифицирования сведения. Сигналы lo и ro сведения, соответственно, сегментируются, и сегментированные сигналы преобразуются в частотную область в блоке 211 сегментации и преобразования. Результирующие представления в частотной области сегментированных сигналов показаны в виде сигналов L и R частотной области, соответственно. Затем сигналы L и R частотной области обрабатываются в блоке 212 модифицирования сведения. Задачей этого блока 212 модифицирования сведения является модифицировать входное сведение так, чтобы оно имело сходство с пространственным сведением 202, т.е. восстановить пространственное сведение 202 из художественного сведения 103 и параметров 105 модифицирования. Если пространственное сведение 102 принимается устройством 20 декодирования, блок 212 модифицирования сведения не должен модифицировать сигналы L и R сведения, и эти сигналы L и R сведения могут просто быть переданы на второй блок 220 в качестве сигналов Ld и Rd пространственного сведения 202. Управляющий сигнал 217 может указывать, есть ли потребность в модифицировании входного сведения, т.е. является ли входное сведение пространственным сведением или альтернативным сведением. Управляющий сигнал 217 может генерироваться в устройстве 20 декодирования, например, при анализе входного сведения и ассоциированных параметров 105, которые могут описывать характеристики сигнала требуемого пространственного сведения. Если входное сведение соответствует требуемым характеристикам сигнала, управляющий сигнал 217 может быть установлен в состояние для указания, что нет необходимости в модифицировании. В качестве альтернативы, управляющий сигнал 217 может быть установлен вручную или его установки могут быть приняты как часть кодированного многоканального аудио сигнала, например в наборе 105 параметров.
0
0
T
Если устройство 20 кодирования принимает художественное сведение 103 и управляющий сигнал 217 указывает, что принятые сигналы L и R сведения должны быть модифицированы с помощью блока 212 модифицирования сведения, то устройство декодирования может функционировать двумя способами, в зависимости от представления передаваемых параметров. Если параметры отображают (относительное) преобразование из передаваемого сведения в пространственное сведение (его требуемые характеристики), переменные преобразования получаются непосредственно из передаваемых параметров. С этими переменными преобразования матрица  преобразования компонуется естественным образом.
T
С другой стороны, если передаваемые параметры отображают (абсолютные) характеристики пространственного сведения, устройство декодирования сначала вычисляет соответствующие характеристики фактически передаваемого сведения. Используя эту информацию (передаваемые параметры и вычисленные характеристики передаваемого сведения), затем определяются переменные преобразования, что описывает преобразование передаваемого сведения (его характеристик) в пространственное сведение (его характеристики). Точнее, матрица  преобразования может быть определена, используя или способ II.a или (немного модифицированный) II.b, которые были описаны выше.
E
E
Lo
Ro
Способ II.a используется, если в данных параметра передаются только (абсолютные) энергии. Передаваемые (абсолютные) параметры,  и , отображают энергию левого и правого сигнала пространственного сведения соответственно, и задаются выражением
<img file="00000028.tif" he="10" wi="63" img-content="undefined" img-format="tif" />.
(24)
E
E
DLo
DRo
Энергии передаваемого сведения,  и , вычисляются в устройстве декодирования. Используя эти переменные, можно вычислить параметры α и β из выражения (7) следующим образом
<img file="00000029.tif" he="14" wi="43" img-content="undefined" img-format="tif" />
(25)
T
Матрица  преобразования задается выражением
<img file="00000030.tif" he="12" wi="25" img-content="undefined" img-format="tif" />
(26)
E
E
C
Lo
Ro,
LoRo
0
Способ II.b используется, если передаются и (абсолютные) энергии и (абсолютная) корреляция. Передаваемые (абсолютные) параметры энергий,  и  отображают энергию левого и правого сигнала пространственного сведения соответственно, и задаются выражением (24). Эти энергии и передаваемая корреляция между левым и правым сигналом пространственного сведения, ρ, могут использоваться для определения ковариационной матрицы пространственного сведения, , следующим образом:
<img file="00000031.tif" he="15" wi="68" img-content="undefined" img-format="tif" />
(27)
C
T
U
T
a
r
Ковариационная матрица передаваемого сведения, , вычисляется в устройстве декодирования. Применяя анализ собственных значений к обеим ковариационным матрицам, которые заданы выражением (9), можно вычислить матрицу  преобразования, используя выражение (14), с точностью до произвольной унитарной матрицы . Поскольку форма волны пространственного сведения недоступна, эта матрица не может быть выбрана, как описано выше. Она может быть выбрана, например, такой, чтобы матрица  преобразования была настолько близкой к диагональной структуре, насколько возможно.
T
L
R
L
R
d
d
d
d
Когда используются вспомогательные сигналы, они тоже компонуются. Если принятое сведение не должно модифицироваться, матрица  преобразования равна единичной матрице, и вспомогательные каналы не используются. Используя уравнение (1), вычисляются выходные сигналы  и . Заметим, что на Фиг.5 и 6 такие векторы, как  и , соответственно, изображены как Ld и Rd, соответственно.
Второй блок 220 является традиционным многоканальным устройством декодирования 2-в-5.1, которое декодирует восстановленное пространственное сведение 202 и ассоциированные параметрические данные 104 в 5.1-канальный выходной сигнал 203. Как описано ранее, параметрические данные 104 содержат параметрические данные 141, 142, 143 и 144. Второй блок 220 выполняет обратную обработку по отношению к первому блоку 110 в устройстве 10 кодирования. Второй блок 220 содержит повышающий смеситель 221, который конвертирует стереофоническое сведение 202 и сопутствующие параметры 144 в три монофонических аудио сигнала L, R и C. Затем каждый из монофонических аудио сигналов L, R и C, соответственно, декоррелируются в устройствах 222, 225 и 228 декорреляции, соответственно. После этого матрица 223 смешивания преобразует монофонический аудио сигнал L, его декоррелированный эквивалент и ассоциированные параметры 141 в сигналы Lf и Lr. Аналогично, матрица 226 смешивания преобразует монофонический аудио сигнал R, его декоррелированный эквивалент и сопутствующие параметры 142 в сигналы Rf и Rr, а матрица 229 смешивания преобразует монофонический аудио сигнал C, его декоррелированный эквивалент и ассоциированные параметры 143 в сигналы Co и LFE. В заключение, три пары сегментированных сигналов Lf и Lr, Rf и Rr, Co и LFE частотной области, соответственно, преобразуются во временную область и объединяются посредством суммирования с перекрытием в устройствах 224, 227 и 230 обратного преобразования, соответственно, для получения трех пар выходных сигналов lf и lr, rf и rr, и co и lfe, соответственно. Выходные сигналы lf, lr, rf, rr, co и lfe формируют декодированный многоканальный аудио сигнал 203.
Устройство 10 кодирования многоканального аудио и устройство 20 декодирования многоканального аудио могут быть реализованы в форме цифровой аппаратуры или в форме программного обеспечения, которое исполняется устройством цифровой обработки сигналов или микропроцессором общего назначения.
Объем настоящего изобретения не ограничивается явно раскрытыми вариантами осуществления. Настоящее изобретение воплощается в каждом новом признаке и каждой комбинации признаков. Никакие условные обозначения не ограничивают объем формулы изобретения. Слово "содержит" не исключает наличия других элементов или этапов, по сравнению с перечисленными в формуле изобретения. Использование слова в единственном числе при упоминании элемента не исключает наличия множества таких элементов.