АУДИОДЕКОДИРОВАНИЕ
AUDIO DECODING

Настоящее изобретение относится к аудиодекодированию и в особенности, но не исключительно, к декодированию сигналов MPEG Surround.
За последние десятилетия цифровое кодирование сигналов различных источников стало все более важным, в то время когда цифровое представление сигналов и коммуникация все больше и больше заменяла аналоговое представление и коммуникацию. Например, распространение медиа контента, такого как видео и музыка, все больше и больше основываются на цифровом кодировании контента.
Более того, в последнее десятилетие были тенденции в направлении многоканального аудио, особенно в направлении пространственного аудио, выходящего за рамки традиционных стереосигналов. Например, традиционные стереозаписи включали только два канала, тогда как современные продвинутые аудиосистемы обычно используют пять или шесть каналов, как в широко известных системах 5.1 звук вокруг. Это предусматривает более вовлеченное прослушивание, при котором пользователь может быть окружен источниками звука.
Для передачи таких многоканальных сигналов были разработаны различные технологии и стандарты. Например, шесть дискретных каналов, представляющих системы 5.1 звук вокруг, могут передаваться в соответствии со стандартами, такими как AAC (Advanced Audio Coding - улучшенное кодирование звука) или со стандартами Dolby Digital.
Однако для обеспечения обратной совместимости они известны для понижающего микширования большего числа каналов на меньшее число каналов, и особенно они часто используются для понижающего микширования сигналов 5.1 звук вокруг в стереосигнал, позволяя воспроизводить стереосигнал с помощью традиционных (стерео) декодеров, а 5.1 сигнал с помощью декодеров звук вокруг.
Одним из примеров является обратно совместимый способ кодирования MPEG2. Многоканальный сигнал понижено микшируется в стереосигнал. Дополнительные сигналы кодируются как многоканальные данные в дополнительные порции данных, позволяя MPEG2 многоканальному декодеру генерировать представление многоканального сигнала. MPEG1 декодер будет пренебрегать дополнительными данными и таким образом будет декодировать только понижающее микширование стерео. Основным недостатком метода кодирования, применяемого в MPEG2, является то, что скорость передачи дополнительных данных, необходимых для дополнительных сигналов, является величиной того же порядка, что и скорость передачи данных, требуемая для кодирования стереосигнала. Поэтому значительной является дополнительная скорость передачи битов для расширения стереосигнала в многоканальный аудиосигнал.
Другие существующие методы обратно совместимой многоканальной передачи без дополнительной многоканальной информации могут обычно характеризоваться как матричные круговые методы. Примеры кодирования матричных круговых методов включают такие методы, как Dolby Prologic II и Logic-7. Общим принципом этих методов является то, что они матричным способом умножают множество каналов входного сигнала посредством подходящей матрицы, тем самым генерируя выходной сигнал с низким числом каналов. В особенности матричное кодирование обычно применяет фазовый сдвиг к окружающим каналам перед тем, как смешивать их с передним и центральным каналами.
Другой причиной для преобразования каналов является эффективность кодирования. Было выяснено, что, например, аудиосигналы звука вокруг могут кодироваться как аудиосигналы стереоканалов, объединенные с потоком битов параметров, описывающим пространственные свойства аудиосигнала. Декодер может воспроизводить аудио- стереосигналы с очень удовлетворительной степенью точности. Таким способом может быть получена значительная экономия в скорости передачи битов.
Существует несколько параметров, которые могут использоваться для описания пространственных свойств аудиосигналов. Одним из таких параметров является внутриканальная кросс-корреляция, такая как кросс-корреляция между левым каналом и правым каналом для стереосигналов. Другим параметром является отношение мощности каналов. В так называемых (параметрических) пространственных аудиокодерах, таких как кодеры окружающего MPEG, эти и другие параметры извлекаются из первоначальных аудиосигналов так, чтобы производить аудиосигнал с уменьшенным числом каналов, например только с одним каналом, плюс набор параметров, описывающих пространственные свойства первоначального аудиосигнала. В так называемых (параметрических) пространственных аудиодекодерах пространственные свойства переустанавливаются, как описывается посредством переданных пространственных параметров.
Такое пространственное аудиокодирование предпочтительно использует каскадную или древовидную иерархическую структуру, включающую в себя стандартные модули в кодере и декодере. В кодере эти стандартные модули могут быть понижающими микшерами, объединяющими каналы в меньшее число каналов, такими как 2 в 1, 3 в 1, 3 в 2 и т.д. понижающими микшерами, в то время как в декодере соответствующие стандартные модули могут быть повышающими микшерами, разбивающими каналы на большее число каналов, такими как 1 на 2, 2 на 3 повышающими микшерами.
На Фиг.1 представлена иллюстрация примера кодера для кодирования многоканальных аудиосигналов в соответствии с подходом, стандартизующимся в настоящее время MPEG под именем MPEG Surround (окружающий MPEG). Система окружающего MPEG кодирует многоканальный сигнал как моно- или стереопонижающее микширование, сопровождающееся набором параметров. Сигнал понижающего микширования может кодироваться посредством традиционного аудиокодера, такого как, например, кодер MP3 или ACC. Параметры представляют пространственное изображение многоканального аудиосигнала и могут кодироваться и встраиваться в обратно совместимой форме в традиционный аудиопоток.
На стороне декодера основной поток битов сначала декодируется, в результате чего генерируется моно или стереосигнал понижающего микширования. Традиционные декодеры, например декодеры, которые не используют декодирование окружающего MPEG, все еще могут декодировать этот сигнал понижающего микширования. Если несмотря на это доступен декодер окружающего MPEG, пространственные параметры переустанавливаются, что приводит к многоканальному представлению, которое воспринимается близко к начальному многоканальному входному сигналу. Пример декодера окружающего MPEG звука представлен на Фиг.2.
В стороне от основного пространственного кодирования/декодирования, как показано на Фиг.1 и на Фиг.2, система окружающего MPEG предлагает богатый набор особенностей, открывающих большую область применения. Одна из наиболее заметных особенностей относится к Матрице Соответствия или Матричной Окружающей Совместимости.
Примерами традиционных матричных окружающих систем являются Dolby Pro Logic I и II и Circle Surround. Эти системы работают, как показано на Фиг.3. Многоканальный PCM входящий сигнал преобразуется в так называемый матричный сигнал понижающего микширования с использованием обычно матрицы 5(.1) в 2. Идея систем матриц вокруг заключается в том, что передние и окружающие (задние) каналы смешиваются синфазно и не синфазно соответственно в стереосигнале понижающего микширования. В некотором роде это разрешает инверсию на стороне декодера, приводя к многоканальной реконструкции.
В матричных системах окружения стереосигнал может передаваться с использованием традиционных каналов, предназначенных для передачи стереосигналов. Поэтому, подобно системе окружающей MPREG, матричные системы окружения также предлагают форму обратной совместимости. Однако из-за специфичных фазовых свойств стереосигнала понижающего микширования, возникающего из матричного окружающего кодирования, эти сигналы часто не обладают высоким качеством звука, когда прослушиваются как стереосигналы из, например, динамиков или наушников.
В декодерах матричного окружения от M до N (где M=2, а N=5(.1)) матрица применяется для формирования многоканального PCM выходного сигнала. Однако, в общем, от N до M матричных систем, с (N>M) необратимо, и таким образом, матричные системы окружения, в общем, не способны точно восстановить первоначальные многоканальные PCM выходные сигналы, которые стремятся иметь очень заметные артефакты.
В отличие от таких традиционных матричных систем окружения Матричная Окружающая Совместимость MPEG Surround достигается посредством применения матрицы 2×2 к комплексным выборочным значениям в частотных поддиапазонах кодера MPEG Surround, который следует за окружным кодированием MPEG. Пример такого кодера представлен на Фиг.4. Матрица 2×2 обычно представляет собой матрицу комплексных значений с коэффициентами, зависящими от пространственных параметров. В такой системе пространственными параметрами являются как временные, так и частотные разновидности, и поэтому матрица 2×2 также временная и частотная. Таким образом, действие комплексной матрицы обычно применяется к частотно-временной мозаике.
Применение функции Матричной Окружающей Совместимости в кодерах MPEG окружения позволяет результирующему стереосигналу быть совместимым с сигналом, генерируемым посредством традиционных кодеров матричного окружения, таких как Dolby Pro-LogicTM. Это позволит традиционным декодерам декодировать круговые сигналы. Более того, действие Матричной Окружающей Совместимости может быть реверсировано в совместимый MPEG Surround декодер, тем самым обеспечивая высокое качество генерируемого многоканального сигнала.
Матрица кодирования матричной совместимости может быть описана следующим образом:
MTX
MTX
xy
где L, R - традиционное MPEG стереопонижающее микширование, L, R - кодированное круговой матрицей понижающее микширование, и где h - комплексные коэффициенты, определенные в соответствии с многоканальными параметрами.
Основным преимуществом предоставления стереосигналов, совместимых с матрицей посредством матрицы 2×2, является тот факт, что эти матрицы могут быть инвертированы. В результате MPEG Surround декодер все еще может поставлять то же самое качество выходного аудиосигнала вне зависимости от того, используется ли в кодере понижающее микширование стереосигналов, совместимое с матрицей. Пример декодера, совместимого с круговым MPEG, представлен на Фиг.5.
Инверсная обработка на стороне декодера в обычном MPEG Surround декодере может определяться таким образом:
H
Таким образом, так как  может быть инвертировано, действие кодера матричной совместимости может быть перевернуто.
В системе MPEG Surround, обработка, включающая действия матричной совместимости, происходит в частотном домене. Более специфически, так называемые комплексно-экспоненциально модулированные группы квадратурных зеркальных фильтров (Quadrature Mirror Filter - QMF) используются для разделения частотной оси на несколько зон.
Во многих отношениях этот тип QMF групп может приравниваться к группе перекрывающихся дополнительных дискретных преобразований Фурье (Discrete Fourier Transform - DFT) или к ее эффективной копии - быстрому Фурье преобразованию (Fast Fourier Transform - FFT). Группа QMF, так же как группа DFT, совместно характеризуется следующими желаемыми свойствами для обработки сигнала.
- Представление частотного домена передискретизировано. Из-за этого свойства возможно применить манипуляции, такие как, например, компенсация (масштабирование индивидуальных зон) без введения ступенчатого искажения. Критически дискретизированные представления, такие как, например, известное модифицированное дискретное косинусное преобразование (Modified Discrete Cosine Transform - MDCT), которое, например, используется в AAC, не подчиняется этому свойству. Поэтому временная и частотная разновидности модификации MDCT коэффициентов перед синтезом приводит к ступенчатости, которая, в свою очередь, является причиной слышимых артефактов в выходном сигнале.
- Представление частотного домена комплексное. В отличие от вещественнозначных представлений комплексное представление дает возможность простой модификации фазы сигналов.
Несмотря на то что существует ряд преимуществ над критически дискретизированным вещественнозначным представлением на основе манипуляций с сигналом, значительным недостатком по сравнению с таким представлением является вычислительная комплексность. Основная часть комплексности MPEG Surround декодера вызвана QMF группами фильтров анализа и синтеза и соответствующей обработкой комплекснозначных сигналов.
Соответственно, предложено выполнять часть обработки в вещественнозначном домене в так называемом декодере малой мощности (Low Power - LP). Для этой цели комплексно модулированная группа фильтров была заменена вещественнозначной косинусной модулированной группой фильтров, за которой следует частичное расширение до комплекснозначного домена для низкочастотных зон. Такие группы фильтров представлены на Фиг.6.
H
-1
В нормальном режиме работы MPEG Surround декодер применяет вещественнозначную обработку к выборкам области комплексных поддиапазонов, или в случае LP применяет ее к выборкам области вещественнозначных поддиапазонов. Однако особенность матричной совместимости в декодере включает сдвиги фаз, для того чтобы восстановить первоначальное стереопонижающее микширование в частотном домене. Эти сдвиги фаз выполнены посредством комплекснозначной обработки. Другими словами, матрица декодирования матричной совместимости  является по своей природе комплексной, для представления требуемого сдвига фаз. Соответственно, в таких системах действие матричной круговой совместимости не может быть инвертировано в вещественнозначную часть представления LP частотного домена, приводящую к уменьшению качества декодирования.
Следовательно, улучшенное аудиодекодирование было бы благоприятным.
Соответственно, изобретение стремится к предпочтительному подавлению, облегчению и устранению одного или более из вышеуказанных недостатков, отдельно или в любой комбинации.
В соответствии с первым аспектом изобретения представлен аудиодекодер, включающий в себя средство для приема входных данных, включающих в себя N-канальный сигнал, соответствующий понижено микшированному сигналу M-канального аудиосигнала, где M>N, с матрицами кодирования комплекснозначных поддиапазонов, применяемых в частотных поддиапазонах, и с параметрическими, многоканальными данными, связанными с понижено микшированным сигналом; средства для генерации частотных поддиапазонов для N-канального сигнала, по крайней мере, некоторые частотные поддиапазоны являются вещественнозначными частотными поддиапазонами; средство определения матриц декодирования вещественнозначного поддиапазона для компенсации применения матриц кодирования по параметрическим многоканальным данным; средство для генерации данных понижающего микширования, соответствующих понижено микшированному сигналу, выполненному посредством умножения матриц декодирования вещественнозначных поддиапазонов и данных N-канального сигнала в, по крайней мере, некоторых вещественнозначных частотных поддиапазонах.
Изобретение может делать возможным улучшенное и/или облегченное декодирование. В особенности изобретение может делать возможным существенное снижение комплексности, наряду с достижением высокого качества аудио. Изобретение может, например, делать возможным эффект, когда умножение матриц комплекснозначных поддиапазонов будет, по крайней мере, частично обратным в декодере с использованием вещественнозначных частотных поддиапазонов.
В качестве особого примера изобретение может, например, делать возможным кодирование Совместимое с Матрицей MPEG частично обратимым в круговом MPEG декодере с использованием вещественнозначных частотных поддиапазонов.
Декодер может включать в себя средства генерации сигнала понижающего микширования по данным понижающего микширования и может также включать в себя средства генерации M-канального аудиосигнала по данным понижающего микширования и параметрическим многоканальным данным. Изобретение может в таких вариантах реализации генерировать точный многоканальный аудиосигнал, по крайней мере, частично основываясь на вещественнозначных частотных поддиапазонах.
Различная матрица декодирования может быть определена для каждого частотного поддиапазона.
В соответствии с дополнительной особенностью изобретения средства определения организованы для определения инверсных матриц комплекснозначного поддиапазона матриц кодирования и для определения матриц декодирования по инверсным матрицам.
Это может делать возможным особенно эффективное осуществление и/или улучшенное качество декодирования.
В соответствии с дополнительной особенностью изобретения средства определения организованы для определения каждого коэффициента вещественнозначной матрицы декодирования по абсолютному значению коэффициента соответствующей инверсной матрицы.
Это может делать возможным особенно эффективное осуществление и/или улучшенное качество декодирования. Каждый вещественнозначный коэффициент матрицы декодирования может быть определен по абсолютному значению только соответствующего коэффициента инверсных матриц без рассмотрения других коэффициентов матрицы. Соответствующий коэффициент матрицы может быть коэффициентом, расположенным в том же месте инверсной матрицы для того же частотного поддиапазона.
В соответствии с дополнительной особенностью изобретения средства определения организованы для определения каждого коэффициента вещественнозначной матрицы, главным образом как абсолютное значение соответствующего коэффициента инверсных матриц.
Это может делать возможным особенно эффективное осуществление и/или улучшенное качество декодирования.
В соответствии с дополнительной особенностью изобретения средства определения организованы для определения матриц декодирования по матрицам переноса поддиапазонов, которые представляют собой умножение соответствующих матриц декодирования и матриц кодирования.
Это может делать возможным особенно эффективное осуществление и/или улучшенное качество декодирования. Соответствующие матрицы кодирования и декодирования могут быть матрицами кодирования и декодирования для одного и того же частотного поддиапазона. Средства определения могут в особенности быть организованными для выбора значений коэффициентов матриц декодирования таких, чтобы матрицы переноса обладали желаемыми характеристиками.
В соответствии с дополнительной особенностью изобретения средства определения организованы для определения матриц декодирования по величине, измеренной только в матрицах переноса.
Это может делать возможным особенно эффективное осуществление и/или улучшенное качество декодирования. В особенности средства определения могут быть организованы для игнорирования фазовых измерений при определении матриц декодирования. Это может снизить комплексность и при этом сохранить низкую воспринимаемую деградацию аудиокачества.
В соответствии с дополнительной особенностью изобретения матрицы переноса каждого поддиапазона имеют вид:
где G - поддиапазон матрицы декодирования, а H - поддиапазон матрицы кодирования, и средство определения организовано для выбора коэффициентов матрицы
12
21
так, что измерения мощности p и p удовлетворяют критерию.
Это может сделать возможным особенно эффективное осуществление и/или улучшенное качество кодирования. Матрица декодирования может быть выбрана для того, чтобы привести к тому, что измерение мощности будет ниже порогового значения (которое может быть определено по ограничивающему условию или другим параметрам), или может, например, быть выбрана как матрица декодирования, приводящая к минимальному измерению мощности.
В соответствии с дополнительной особенностью изобретения измерение амплитуды определяется по
Это может сделать возможным особенно эффективное осуществление и/или улучшенное качество кодирования.
В соответствии с дополнительной особенностью изобретения средство определения также организовано для выбора коэффициентов матрицы под действием ограничивающих условий амплитуды p11 и p22, равной по существу единице.
Это может сделать возможным особенно эффективное осуществление и/или улучшенное качество кодирования.
В соответствии с дополнительной особенностью изобретения сигнал понижающего микширования и параметрические многоканальные данные находятся в соответствии со стандартом окружающего MPEG.
Изобретение может давать возможность особо эффективной, низкой комплексности и/или улучшенного качества декодирования аудиосигнала для сигнала, совместимого с окружающим MPEG.
В соответствии с дополнительной особенностью изобретения матрица кодирования представляет собой матрицу кодирования Матричной Окружающей Совместимости MPEG, а первый N-канальный сигнал является сигналом Матричной Окружающей Совместимости MPEG.
Изобретение может давать возможность особо эффективной, низкой комплексности и/или улучшенного качества аудио и может в особенности давать возможность низко комплексному декодированию эффективно компенсировать операции Матричной Окружающей Совместимости MPEG, выполняемые в кодере.
В соответствии с другим аспектом изобретения обеспечен способ аудиодекодирования, способ включает в себя прием входных данных, включающих в себя N-канальный сигнал, соответствующий сигналу понижающего микширования M-канального аудиосигнала, M>N, с применением матриц кодирования комплекснозначного поддиапазона в частотных поддиапазонах и с параметрическими многоканальными данными, связанными с сигналом понижающего микширования; генерацию частотных поддиапазонов для N-канального сигнала, по крайней мере, несколько частотных поддиапазонов являются вещественнозначными частотными поддиапазонами; определение матриц декодирования вещественнозначного поддиапазона для компенсации применения матриц кодирования по параметрическим многоканальным данным; генерацию данных понижающего микширования, соответствующих сигналу понижающего микширования посредством умножения матриц декодирования вещественнозначного поддиапазона и данных N-канального сигнала в, по крайней мере, некоторых вещественных частотных поддиапазонах.
В соответствии с другим аспектом изобретения обеспечен приемник для приема N-канального сигнала, приемник включает в себя средство приема входных данных, включающих в себя N-канальный сигнал, соответствующий сигналу понижающего микширования M-канального аудиосигнала, M>N, с применением комплекснозначных матриц кодирования поддиапазона в частотных поддиапазонах и с параметрическими многоканальными данными, связанными с сигналом понижающего микширования; средство для генерации частотных поддиапазонов для N-канального сигнала, при этом, по крайней мере, несколько частотных поддиапазонов являются вещественнозначными; средство определения матриц декодирования вещественного поддиапазона для компенсации применения матриц кодирования по параметрическим многоканальным данным; средство генерации данных понижающего микширования, соответствующих сигналу понижающего микширования посредством умножения вещественнозначных матриц декодирования поддиапазона и данных N-канального сигнала в, по крайней мере, некоторых вещественнозначных частотных поддиапазонах.
В соответствии с другим аспектом изобретения обеспечена система передачи для передачи аудиосигнала, система передачи включает в себя передатчик, включающий в себя средство генерации N-канального сигнала понижающего микширования M-канального аудиосигнала, M>N, средство генерации параметрических многоканальных данных, связанных с сигналом понижающего микширования, средство для формирования первого N-канального сигнала посредством применения комплексных матриц кодирования поддиапазонов к N-канальному понижено микшированному сигналу в частотных поддиапазонах, средство генерации второго N-канального сигнала, включающего в себя первый N-канальный сигнал и параметрические многоканальные данные, и средство передачи второго N-канального сигнала на приемник; приемник, включающий в себя средство приема второго N-канального сигнала, средство для генерации частотных поддиапазонов для первого N-канального сигнала, по крайней мере, несколько частотных вещественнозначных поддиапазонов, средство определения вещественнозначных матриц декодирования поддиапазонов для компенсации приложения матриц кодирования по параметрическим многоканальным данным, и средство генерации данных понижающего микширования, отвечающих N-канальному сигналу понижающего микширования, посредством умножения вещественнозначных матриц декодирования поддиапазонов и данных N-канального сигнала в, по крайней мере, некоторых вещественнозначных частотных поддиапазонах.
Второй N-канальный сигнал может иметь дополнительный связанный канал, включающий в себя параметрические многоканальные данные.
В соответствии с другим аспектом изобретения обеспечен способ приема аудиосигнала из масштабируемого аудиопотока битов, способ включает в себя входные принимаемые данные, включающие в себя N-канальный сигнал, соответствующий сигналу понижающего микширования M-канального аудиосигнала, M>N, с применением комплекснозначных матриц кодирования поддиапазона в частотных поддиапазонах и с параметрическими многоканальными данными, связанными с сигналом понижающего микширования; генерацию частотных поддиапазонов для N-канального сигнала, по крайней мере, несколько из частотных поддиапазонов являются вещественнозначными; определение вещественнозначных матриц декодирования поддиапазона для компенсации применения матриц кодирования по параметрическим многоканальным данным и генерацию данных понижающего микширования, соответствующих понижено микшированному сигналу, посредством умножения вещественнозначных матриц декодирования поддиапазона и данных N-канального сигнала в, по крайней мере, некоторых вещественнозначных частотных поддиапазонах.
В соответствии с другим аспектом изобретения обеспечен способ приема и передачи аудиосигнала, способ включает в себя передатчик, выполняющий следующие действия: генерацию N-канального понижено микшированного сигнала M-канального аудиосигнала, M>N, генерацию параметрических многоканальных данных, связанных с понижено микшированным сигналом, генерацию первого N-канального сигнала посредством применения комплекснозначных матриц кодирования поддиапазона к N-канальному понижено микшированному сигналу в частотных поддиапазонах, генерацию второго N-канального сигнала, включающего в себя первый N-канальный сигнал и параметрические многоканальные данные, и передачу второго N-канального сигнала на приемник; на приемнике выполняются следующие операции: прием второго N-канального сигнала; генерация частотных поддиапазонов для первого N-канального сигнала, по крайней, мере несколько частотных поддиапазонов являются вещественнозначными; определение вещественнозначных матриц декодирования поддиапазонов для компенсации применения матриц кодирования по параметрическим многоканальным данным; генерация данных понижающего микширования, отвечающих N-канальному сигналу понижающего микширования посредством матричного умножения вещественнозначных матриц декодирования поддиапазона и данных N-канального сигнала в, по крайней мере, нескольких вещественнозначных частотных поддиапазонах.
Эти и другие аспекты, особенности и преимущества изобретения будут очевидны из и объясняться с помощью ссылок на вариант(ы) осуществления, описанные далее в этом документе.
Будут описаны варианты реализации изобретения, только в качестве примера, со ссылками на чертежи, которые иллюстрируют:
Фиг.1 - пример кодера для кодирования многоканальных аудиосигналов в соответствии с предыдущим уровнем техники;
Фиг.2 - пример декодера для декодирования многоканальных аудиосигналов в соответствии с предыдущим уровнем техники;
Фиг.3 - пример систем матричного окружного кодирования/декодирования в соответствии с предыдущим уровнем техники;
Фиг.4 - пример кодера для кодирования многоканальных аудиосигналов в соответствии с предыдущим уровнем техники;
Фиг.5 - пример декодера для декодирования многоканальных аудиосигналов в соответствии с предыдущим уровнем техники;
Фиг.6 - пример группы фильтров для генерации комплексных и вещественнозначных частотных поддиапазонов;
Фиг.7 - систему передачи для связи аудиосигнала в соответствии с некоторыми вариантами реализации изобретения;
Фиг.8 - декодер в соответствии с некоторыми вариантами реализации изобретения;
Фиг.9-14 - эксплуатационные характеристики декодера в соответствии с некоторыми вариантами реализации изобретения; и
Фиг.15 - способ декодирования в соответствии с некоторыми вариантами реализации изобретения.
Последующее описание сосредоточено на вариантах осуществления изобретения, применимых к декодеру для декодирования окружающего MPEG кодированного сигнала, включая кодирование Матричной Окружающей Совместимости. Несмотря на это будет оценено, что изобретение не ограничено этим применением, но может применяться ко многим другим стандартам кодирования.
На Фиг.7 представлена система передачи 700 для передачи аудиосигнала в соответствии с некоторыми вариантами реализации изобретения. Система передачи 700 включает в себя передатчик 701, который связан с приемником 703 посредством сети 705, которой, в частности, может быть Интернет.
В частном примере передатчик 701 представляет собой записывающее устройство, а приемник 703 представляет собой устройство проигрывания сигнала, но будет оценено по достоинству, что в других реализациях передатчик и приемник могут использоваться в других приложениях и для других целей.
В частном примере, где поддерживается функция записи сигнала, передатчик 701 включает в себя цифратор 707, который принимает аналоговый многоканальный сигнал, который преобразуется в цифровой PCM (Pulse Code Modulated - импульсно-кодовая модуляция) многоканальный сигнал посредством дискретизации и аналогово-цифрового преобразования.
Передатчик 701 связан с кодером 709, представленным на Фиг.1, который кодирует PCM сигнал в соответствии с алгоритмом кодирования окружающего MPEG, который включает в себя функциональность для кодирования Матричной Окружающей Совместимости (Matrix Surround Compatibility). Кодер 709 может, например, быть декодером известного уровня техники, представленным на Фиг.4. В примере кодер 709, в частности, генерирует стерео MPEG Матричной Окружающей Совместимости стереосигнала понижающего микширования.
Таким образом, кодер 709 формирует следующий сигнал:
MTX
MTX
xy
где L, R - традиционное окружающий MPEG стереопонижающее микширование, а L, R - кодированное кодером 709 круговой матрицей понижающее микширование на выходе. Кроме того, сигнал, сгенерированный кодером 709, включает в себя многоканальные параметрические данные, сгенерированные посредством окружающего MPEG кодирования. Кроме того, h являются комплексными коэффициентами, определяемыми по многоканальным параметрам. Специалистами в технике будет очевидно, что обработка, выполняемая кодером 709, производится в комплекснозначных поддиапазонах и использует комплексные действия.
Кодер 709 связан с сетевым передатчиком 711, который принимает кодированный сигнал и является интерфейсом с сетью 705. Сетевой передатчик 711 может передавать кодированный сигнал на приемник 703 через сеть 705.
Приемник 703 включает в себя сетевой интерфейс 713, который находится на границе с сетью 705 и который организован для приема кодированного сигнала с передатчика 701.
Сетевой интерфейс 713 связан с декодером 715. Декодер 715 принимает кодированный сигнал и декодирует его в соответствии с алгоритмом декодирования. В примере декодер 715 генерирует исходный многоканальный сигнал. В частности, декодер 715 сначала генерирует сбалансированное стереопонижающее микширование, соответствующее понижающему микшированию, сгенерированному посредством окружающего MPEG кодирования, предшествующего выполнению операций совместимых с окружающим MPEG матрицей. Затем из этого понижающего микширования и принятых многоканальных параметрических данных формируется декодированный многоканальный сигнал.
В частном примере, в котором поддерживается функция воспроизведения сигнала, приемник 703 также включает в себя устройство воспроизведения сигнала 717, которое принимает декодированный многоканальный аудиосигнал с декодера 715 и представляет его пользователю. В частности, устройство воспроизведения сигнала 717 может включать в себя цифроаналоговый преобразователь, усилители и динамики, как требуется для вывода декодированного аудиосигнала.
На Фиг.8 более подробно представлен декодер 715.
Декодер 715 включает в себя приемник 801, который принимает сигнал, сгенерированный кодером 709. Как упоминалось выше, сигнал представляет собой стереосигнал, который отвечает сигналу понижающего микширования, который был обработан посредством опорных комплексных значений в комплексных частотных поддиапазонах, умноженных на комплексную матрицу кодирования Н. Кроме того, принятый сигнал включает в себя многоканальные параметрические данные, которые отвечают сигналу понижающего микширования. В частности, принятый сигнал представляет собой кодированный окружающий MPEG сигнал с матричной окружающей совместимостью.
Приемник 801, кроме того, обеспечивает основное декодирование принятого сигнала для генерации РСМ сигнала понижающего микширования.
Приемник 801 связан с процессором параметрических данных 803, который извлекает из принятого сигнала многоканальные параметрические данные.
Приемник 801, кроме того, связан с набором фильтров поддиапазона 805, который преобразует принятый стереосигнал в частотную область. В частности, набор фильтров поддиапазона 805 генерирует множество частотных поддиапазонов. По крайней мере, несколько из этих частотных поддиапазонов являются вещественнозначными частотными поддиапазонами. Набор фильтров поддиапазона 805 может, в частности, соответствовать функциональности, проиллюстрированной на Фиг.6. Таким образом, набор фильтров поддиапазона 805 может формировать К комплекснозначных поддиапазонов и М-К вещественнозначных поддиапазонов. Вещественнозначные поддиапазоны будут типично поддиапазонами более высоких частот, таких как поддиапазоны выше 2 кГц. Использование вещественнозначных поддиапазонов по существу служат для генерации поддиапазона, так же как и операции, выполняемые на фрагментах этих поддиапазонов. Таким образом, в декодере 715 М-К поддиапазонов обрабатываются как вещественные данные и операции скорее, чем комплексные данные и операции, тем самым обеспечивая по существу комплексность и снижение стоимости.
Н
G
G
Набор фильтров поддиапазона 805 связан с процессором компенсации 807, который генерирует данные понижающего микширования, отвечающие сигналу понижающего микширования. В частности, процессор компенсации 807, скомпенсированный для операций матричной окружной совместимости посредством попыток перевернуть умножение на матрицу кодирования  в частотных поддиапазонах кодера 709. Эта компенсация выполняется посредством умножения значений данных поддиапазонов на матрицу декодирования поддиапазона . Однако в отличие от обработки в кодере 709 умножение матриц в вещественнозначных поддиапазонах декодера 715 выполняется исключительно в вещественной области. Таким образом, не только выборочные значения вещественной выборки, но и матричные коэффициенты матрицы декодирования являются вещественнозначными коэффициентами.
Процессор компенсации 807 связан с матричным процессором 809, который определяет матрицы декодирования, которые нужно применить в поддиапазонах. Для М комплекснозначных поддиапазонов матрица декодирования G может быть просто определена как обратная матрице кодирования Н в том же поддиапазоне. Однако для вещественнозначных поддиапазонов матричный процессор 809 определяет вещественные матричные коэффициенты, которые могут обеспечивать эффективную корректировку для матричных операций кодирования.
Таким образом, выходной сигнал процессора компенсации 807 соответствует представлению поддиапазона сигнала понижающего микширования, кодированного окружающего MPEG. Таким образом, эффект операций матричной окружающей совместимости может быть по существу уменьшен или снят.
Процессор компенсации 807 связан с набором фильтров поддиапазона синтеза 811, который генерирует сигнал понижающего микширования, декодированный РСМ окружающим MPEG во временной области из представления поддиапазона. В частном примере набор фильтров поддиапазона синтеза 811, таким образом, формирует копию набора фильтров поддиапазона 805 в преобразовании сигнала обратно во временную область.
Набор фильтров поддиапазона синтеза 811 подается на многоканальный декодер 813, который, кроме того, связан с процессором параметрических данных 803. Многоканальный декодер 813 принимает во временной области РСМ сигнал понижающего микширования и многоканальные параметрические данные и генерирует исходный многоканальный сигнал.
В примере набор фильтров поддиапазонов синтеза 811 преобразует сигнал поддиапазона, с которым производились матричные операции во временную область. Многоканальный декодер 813, таким образом, принимает окружающий MPEG кодированный сигнал, сравнимый с сигналом, который бы принимался в том случае, если бы в декодере не применялись операции совместимые с матричным окружением. Таким образом, тот же MPEG многоканальный алгоритм декодирования может использоваться для сигналов, совместимых с матричным окружением, и для сигналов, не совместимых с матричным окружением. Однако в других вариантах реализации многоканальный декодер 813 может непосредственно функционировать на фрагменте поддиапазона с последующей корректировкой процессором компенсации 807. В этом случае набор фильтров поддиапазона синтеза 811 может быть опущен или некоторая функциональность набора фильтров поддиапазона синтеза 811 может быть интегрирована в многоканальный декодер 813.
Таким образом, для того чтобы уменьшить комплексность, часто предпочитают оставаться в пределах поддиапазона, когда передают скомпенсированный сигнал в многоканальный декодер 813. По существу возможно избежать комплексности в наборе фильтров поддиапазона синтеза 811 и в анализе наборов фильтров, которые являются частью многоканального декодера 813.
На самом деле, если возможно, обычно предпочитается не двигаться вперед назад между частотными и временными областями, так как это приводит к большому объему вычислений. Поэтому в некоторых декодерах в соответствии с некоторыми вариантами реализации изобретения, после того как сигналы преобразуются в поддиапазон (частотной) области (которая, в свою очередь, определена посредством декодирования основного битового потока и применения группы фильтров к результирующим PCM сигналам), применяется матричная окружная инверсия в процессоре компенсации 807 (если применимо, то есть если регулируемо в битовом потоке), и затем результирующие сигналы области поддиапазона непосредственно используются для реконструкции многоканальных (области поддиапазона) сигналов. В конечном счете применяется группа фильтров синтеза для получения многоканальных сигналов во временной области.
Таким образом, в системе на Фиг.7 кодер 709 может генерировать сигнал, совместимый с матричным окружением, который может быть декодирован посредством существующих декодеров матричного окружения, таких как декодеры Dolby Pro Logic™. Несмотря на то что это требует искажения исходного кодированного окружающим MPEG сигнала понижающего микширования посредством операции совместимости матричного окружения, эта операция может быть эффективно удалена в MPEG многоканальном декодере, тем самым позволяя генерировать точное представление исходного многоканального сигнала с использованием параметрических данных.
Кроме того, декодер 715 дает возможность выполнения компенсации для операции совместимости матричного окружения в вещественнозначных частотных поддиапазонах, без требования комплекснозначных частотных поддиапазонов, тем самым снижая комплексность декодера 715, в то же время достигая высокого качества аудио.
Далее будут описаны примеры определения подходящих матричных коэффициентов для матриц декодирования.
Декодер 709 выполняет операцию совместимости матричного окружения посредством применения следующей комплексной матрицы кодирования в каждом поддиапазоне (тот факт, что каждый поддиапазон имеет различную матрицу кодирования, будет оценен по достоинству):
MTX
MTX
Н
где L, R - традиционное MPEG стереопонижающее микширование, а L, R - кодированное матричным окружением понижающее микширование. Матрица кодирования дается:
1
2
где w и w зависят от пространственных параметров, генерируемых кодированием окружающего MPEG. В частности:
1,t
2,t
где w и w являются ненормализованными весовыми коэффициентами, которые определяются как:
1
2
1,MTX
2,MTX
1
2
DMX
DMX
где CLDи CLD представляют разницу в уровнях сигналов (выраженную в дБ) между парами каналов левым-передним и левым-окружающим и правым передним и правым окружающим соответственно. c и c являются матричными коэффициентами, которые являются функциями коэффициентов прогнозирования с и с, используемыми для расчета промежуточного левого L, центрального С и правого R сигналов из левого L и правого R сигналов понижающего микширования в декодере, в следующем виде:
1,MTX
2,MTX
где c и c определяются как:
где x={0,1} соответственно.
1
2
1,MTX
2,MTX
Альтернативно MPEG окружающий декодер поддерживает режим, в котором коэффициенты с и с представляют отношение мощностей левого и лево-центрального и правого и право-центрального соответственно. В этом случае применяются различные функции для c и c.
Н
1
2
1
2
Таким образом, для каждого частотно-временного фрагмента к комплексной выборке значений применяется комплексная матрица кодирования . Если передние сигналы преобладают в исходном многоканальном входном сигнале, весовые коэффициенты w и w будут близки к нулю. В результате матричное окружающее понижающее микширование будет близко к входному стереопонижающему микшированию. Если в исходном многоканальном входном сигнале будут доминировать окружающие (задние) сигналы, весовые коэффициенты w и w будут близки к единице. В результате матричный окружающий сигнал понижающего микширования будет содержать значительно не совпадающую по фазе версию исходного стереопонижающего микширования, предоставляемого MPEG Окружающим кодером.
Основным преимуществом предоставления совместимых с матрицей стереосигналов посредством матрицы 2×2 является тот факт, что эти матрицы могут быть инвертированы. В результате MPEG окружающий декодер все еще может предоставлять такое же качество аудиосигнала на выходе вне зависимости от того, использовал ли кодер совместимый с матрицей стереосигнал понижающего микширования или нет.
Обратная обработка на стороне декодера в декодере MPEG Surround, в котором все частотные поддиапазоны являются комплексными (например, использование комплексно-модулированной группы QMF), определяется:
где
где
Тем не менее, такая инверсная операция требует использования комплексных значений и поэтому не может применятся в декодере 715, представленном на Фиг.7, так как он, по крайней мере, частично использует вещественнозначные поддиапазоны. Таким образом, матричный процессор 809 генерирует вещественнозначную матрицу декодирования, которая может применяться для значительного снижения эффекта матрицы кодирования.
Общее воздействие матриц кодирования и декодирования в каждом поддиапазоне может быть представлено матрицей перехода Р, определяемой как:
Н
G
где  представляет собой матрицу кодирования, а  представляет собой матрицу декодирования.
G=H
P=H
·H=I
Н
-1
-1
x,y
Идеальный случай, когда , так что , единичная матрица. Из-за того что веса h матрицы кодирования  все являются комплексными, матрица не может быть инвертирована в декодере для вещественнозначных поддиапазонов.
12
21
11
22
Вещественнозначными обычно являются поддиапазоны более высоких частот, такие как поддиапазоны выше 2 кГц. На этих частотах взаимосвязь фаз по ощущениям намного менее важна, и поэтому матричный процессор 809 определяет коэффициенты матрицы декодирования, подходящие по величине (мощностью), без учета фазовых характеристик. В частности, матричный процессор 809 может определять вещественнозначные матричные коэффициенты, которые приведут к низкому по амплитуде или мощности значению перекрестных элементов р и р, в предположении или ограничиваясь тем, что |p|≈1 и |р|≈1.
Н
G
G
Н
Н
Н
Н
-1
-1
-1
-1
-1
В некоторых вариантах реализации матричный процессор 809 может определять комплекснозначные поддиапазоны матрицы , обратной матрице кодирования, и может затем определить вещественнозначную матрицу декодирования  по матричным коэффициентам этой матрицы. В частности, каждый коэффициент матрицы  может быть определен по коэффициенту матрицы , с тем же индексом. Например, вещественнозначный коэффициент может быть определен из значения величины соответствующего коэффициенты матрицы . На самом деле, в некоторых вариантах реализации матричный процессор может определить коэффициенты матрицы , а потом определить коэффициенты матрицы G как абсолютные значения соответствующих матричных коэффициентов обратной матрицы .
Таким образом, матричный процессор 809 может определять:
где
11
22
12
12
1
2
1
2
Может быть показано, что это решение идеально удовлетворяет ограничению, упомянутому выше (|p|=|p|=1 и |p|=|p|=0) для определенных случаев, когда w=w=0 и w=w=1.
10
11
11
10
21
2
2
На Фиг.9 показано абсолютное значение основного элемента матрицы перехода (10log|p|) для данного решения. На Фиг.10 представлен сдвиг по фазе p, а на Фиг.11 показан перекрестный элемент (10log|p|).
11
11
1
2
11
1
2
21
1
2
1
2
В частности, на Фиг.9 представлено отклонение в дБ величины основного элемента матрицы р по отношению к истинному значению |p|=1 как функции от w и w. Может наблюдаться, что максимальное отклонение истинного значения составляет величину меньше 1 дБ. На Фиг.10 показан угол p как функция от w и w. Как может предполагаться из отличия от истинного комплекснозначного случая, фазовые сдвиги составляют величину до 90 градусов. На Фиг.11 представлена величина перекрестного элемента р, измеренного в дБ как функция весовых коэффициентов w и w. Необходимо отметить, что другие элементы матрицы перехода могут быть получены посредством взаимной перестановки весовых коэффициентов w и w.
G
P=G·H
G
P
В некоторых вариантах реализации матричный процессор 809 может определять матрицу декодирования  для поддиапазона по матрице перехода поддиапазона . В частности, матричный процессор может выбирать значения коэффициентов  так, чтобы для  достигалась заданная характеристика.
P
12
21
12
21
11
22
Кроме того, если значения фаз для вещественнозначных поддиапазонов проявляют тенденцию к низкому воспринимаемому весовому множителю, то иллюстративный декодер 715 рассматривает только абсолютные значения . Высокое качество функционирования может быть достигнуто посредством использования матричного процессора 809, выбирающего коэффициенты матрицы декодирования таким образом, чтобы измерения мощности р и р удовлетворяли критерию, такому как, например, минимизация измеренной мощности или измеренная мощность находится ниже заданного критерия. Матричный процессор 809 может, например, искать в диапазоне возможных вещественных коэффициентов и выбирать такие, которые приводят к минимальным измерениям мощности р и р. Кроме того, оценка может быть предметом других ограничений, таких как ограничение, что р и р по большей части равны единице (например, между 0,9 и 1,1).
12
21
11
22
2
2
2
2
В некоторых реализациях матричный процессор 809 может выполнять математический алгоритм для определения значений подходящих вещественных коэффициентов для метода декодирования. Определенный пример такого метода описан далее, где алгоритм старается минимизировать общий перекрестный вклад: |р|+|р|  с учетом ограничения: |р|=1 и |р|=1.
v
G
vA
vB
v
А
В
Н
Эта задача может быть решена путем стандартных инструментов многовариантного математического анализа. В особенности он подходит для использования методов множителя функции Лагранжа, которые для каждой вектор строки  матрицы  сводят задачу к задаче нахождения матрицы собственных значений вида =λ с требованием нормализации q()=1, задаваемой квадратичной формой q. Матрицы  и  и квадратичные формы q зависят от входных данных комплексной матрицы .
11
12
21
22
1
2
А
В
Ниже приведено решение для v=[g g]. Также тривиально решить v=[g g] посредством взаимной замены переменных w и w в решении, представленном ниже. Матрицы Лагранжа  и  определяются:
1
2
где q и q определяются как:
собственные значения определяются из:
A
B
det(-λ)=0,
что приводит к корням квадратного полинома:
где
Теперь могут быть определены два варианта решения:
v
=c
v
·
i
i
11
i
2
Окончательное решение определяется выражением , где i равно 1 или 2, так что |р|=1 и с минимальным взаимным влиянием. Сначала вычисляется c как:
12
2
Затем для обоих решений рассчитывается параметр взаимного влияния |р|:
v
=c
v
·
i
i
1
2
Индекс i, который обеспечивает минимальное взаимное влияние, дает . Без дальнейшего доказательства устанавливается, что независимо от переменных w и w индекс i всегда равен 2.
G
Для завершенности полное решение для  в форме аналитических уравнений представлено ниже. Следующие переменные определяются:
Затем переменная b рассчитывается как:
α
β
G
Два корня r и r для двух строк матрицы  рассчитываются как:
temp,1
temp,2
Немасштабные решения могут v и v определяться как:
с
Постоянные нормализации рассчитываются как:
G
В конце концов матрица  определяется как:
11
11
1
2
11
На Фиг.12, 13 и 14 проиллюстрирована работа данного решения. На Фиг.12 представлено отклонение в дБ абсолютного значения основного матричного элемента р от истинного значения |р|=1 как функции w и w. Как видно, из-за набора ограничений, применяемых к данному решению, абсолютное значение всегда является таким же, как истинное значение |р|=1.
11
1
2
На Фиг.13 представлена фаза р как функция w и w. Необходимо отметить, что из-за ограничений, наложенных всеми вещественными решениями, сдвиги по фазе здесь до 90 градусов.
21
1
2
На Фиг.14 представлено абсолютное значение матричного элемента взаимодействия р, измеренное в дБ как функция весовых коэффициентов w и w.
Как показано на чертежах, решение установки коэффициентов матрицы декодирования в абсолютное значение коэффициентов инверсной матрицы кодирования отклоняется только на +/- 1 дБ от результата решения более сложным методом минимизации взаимодействия как с точки зрения увеличения основного элемента, так и подавления взаимодействия.
На Фиг.15 представлен способ аудиодекодирования в соответствии с некоторыми вариантами реализации изобретения.
На этапе 1501 декодер принимает входные данные, включающие в себя N-канальный сигнал, отвечающий сигналу понижающего микширования М-канального аудиосигнала, M>N, после применения в частотных поддиапазонах матрицы кодирования комплекснозначного поддиапазона и с многоканальными параметрическими данными, связанными с сигналом понижающего микширования.
За этапом 1501 следует этап 1503, в котором частотные поддиапазоны генерируются для N-канального сигнала. По крайней мере, некоторые частотные поддиапазоны являются вещественнозначными.
За этапом 1503 следует этап 1505, в котором матрицы декодирования вещественнозначных поддиапазонов для компенсации применения матриц кодирования определяются по параметрическим многоканальным данным.
За этапом 1505 следует этап 1507, в котором сигнал понижающего микширования генерируется посредством умножения матриц декодирования вещественнозначных поддиапазонов и данных N-канального сигнала в, по крайней мере, некоторых вещественнозначных частотных поддиапазонах.
Будет оценено, что представленное выше описание для ясности описало реализации изобретения со ссылкой на различные функциональные модули и процессоры. Однако будет очевидно, что любые подходящие распределения функциональности между различными функциональными модулями и процессорами могут использоваться без приуменьшения значения изобретения. Например, проиллюстрированная функциональность, предназначенная для выполнения посредством различных отдельных процессоров или контроллеров, может быть выполнена посредством тех же процессоров или контроллеров. Отсюда ссылки на определенные функциональные модули нужно рассматривать только как ссылки на подходящие средства для обеспечения описанной функциональности, а не как индикаторы строгой логической или физической структуры или организации.
Изобретение может быть реализовано в любой подходящей форме, включая аппаратное, программное, микропрограммное обеспечение или их любые комбинации. Изобретение может дополнительно быть реализовано, по крайней мере, частично в виде компьютерного программного обеспечения, запущенного на одном или более устройствах обработки данных и/или цифровых сигнальных процессорах. Элементы и компоненты реализации изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. На самом деле, функциональность может быть реализована в одном модуле, во множестве модулей или как часть другого функционального модуля. По существу, изобретение может быть реализовано как в отдельном модуле, так и может быть физически и функционально распределено между различными модулями и процессорами.
Несмотря на то что настоящее изобретение было описано в связи с некоторыми вариантами реализации, оно не ограничивается определенной формой, изложенной здесь. Скорее, цель настоящего изобретения ограничивается только сопроводительными формулами изобретения. Кроме того, несмотря на то что особенности могут описываться в связи с отдельными реализациями, технический специалист может распознать, что различные особенности описанных вариантов реализации могут быть объединены в соответствии с изобретением. В формулах изобретения входящие пункты не исключают наличия других элементов или этапов.
Более того, несмотря на индивидуальное перечисление, множество этапов, средств, элементов или методов могут быть реализованы с помощью, например, отдельного модуля или процессора. Кроме того, несмотря на то что индивидуальные особенности могут быть включены в различные формулы изобретения, они могут по возможности быть преимущественно объединены, а включение в различные формулы изобретения не предполагает, что комбинация особенностей не является практически осуществимой и/или выгодной. Также включение особенностей в одну категорию формулы изобретения не предполагает ограничение этой категорией, а указывает на то, что особенности одинаково применимы к другим категориям соответствующих формул изобретения. Более того, порядок особенностей в формуле изобретения не предполагает некоторый определенный порядок, в котором особенности должны быть обработаны, и в особенности порядок отдельных этапов в формуле изобретения метода не предполагает, что этапы должны выполняться в этом порядке. Этапы могут выполняться в любом подходящем порядке. Кроме того, единичные ссылки не исключают множества. Таким образом, ссылки на «первый» или «второй» и так далее не предотвращают множественность. Знаки ссылки в формуле изобретения, обеспеченные просто как поясняющие примеры, не должны толковаться как ограничивающие любым способом цель формулы изобретения.