АУДИОКОДЕР, АУДИОДЕКОДЕР И АУДИОПРОЦЕССОР, ИМЕЮЩИЙ ДИНАМИЧЕСКИ ИЗМЕНЯЮЩУЮСЯ ХАРАКТЕРИСТИКУ ПЕРЕКОСА
AUDIO ENCODER, AUDIO DECODER AND AUDIO PROCESSOR, HAVING DYNAMICALLY VARIABLE WARPING CHARACTERISTIC

Область техники, к которой относится изобретение
Настоящее изобретение относится к обработке аудиоданных с использованием фильтров с перекошенной характеристикой и, в частности, к многоцелевому кодированию аудиоданных.
Уровень техники
Для обеспечения низкой скорости передачи битов аудиоданных в технологии кодирования речи традиционно использовали несколько разных технологий кодирования, направленных на достижение кодирования с низкой скоростью передачи битов таких сигналов с наилучшим возможным субъективным качеством при заданной скорости передачи битов. Кодеры для общих музыкальных/звуковых сигналов направлены на оптимизацию субъективного качества путем формирования спектральной (и временной) формы ошибки квантования в соответствии с кривой порога маскирования, оценку которой получают по входному сигналу с использованием модели восприятия ("перцептивное кодирование аудиоданных"). С другой стороны, кодирование речи с очень низкими скоростями передачи битов, как было показано, очень эффективно работает, когда оно основано на модели формирования речи человека, то есть при использовании линейного предикативного кодирования (LPC, ЛПК) для моделирования резонансных эффектов вокального тракта человека, вместе с эффективным кодированием остаточного сигнала возбуждения.
Как следствие этих двух разных подходов, обычные аудиокодеры (такие, как MPEG-1 Уровень 3 или MPEG-2/4 усовершенствованное звуковое кодирование, AAC (УЗК)) обычно не работают также хорошо для речевых сигналов при очень низких скоростях передачи данных, как специализированные речевые кодеры на основе ЛПК, ввиду неиспользования ими модели речевого источника. И наоборот, речевые кодеры на основе ЛПК обычно не позволяют достичь убедительных результатов, когда их применяют для обработки общих музыкальных сигналов, из-за их неспособности гибко формировать спектральную огибающую искажения кодирования в соответствии с кривой порога маскирования. Задача настоящего изобретения состоит в том, чтобы создать концепцию, которая комбинирует преимущества, как кодирования на основе ЛПК, так и перцепционного кодирования звука в одних рамках и, таким образом, описывает унифицированное кодирование аудиоданных, которое является эффективным, как для общих звуковых, так и для речевых сигналов.
В следующем разделе описан набор соответствующих технологий, которые были предложены для эффективного кодирования звуковых и речевых сигналов.
Перцепционное кодирование аудиоданных (фиг.9)
Традиционно, в перцепционных кодерах аудиоданных используют подход на основе гребенки фильтров, для эффективного кодирования аудиосигналов и формирования искажений квантования в соответствии с оценкой кривой маскирования.
На фиг.9 показана основная блок-схема монофонической системы перцепционного кодирования. Гребенка фильтров анализа используется для отображения выборок в области времени на вспомогательные выбранные спектральные компоненты.
В зависимости от количества спектральных компонентов система также называется кодером подполосы (малое количество подполос, например 32) или кодером на основе гребенки фильтров (большое количество частотных линий, например 512). Перцепционную ("психоакустическую") модель используют для оценки фактического, зависящего от времени порога маскирования. Спектральные ("подполосы" или "в области частот") компоненты квантуют и кодируют таким образом, что шумы квантования скрываются под фактически передаваемым сигналом и не воспринимаются после декодирования. Это достигается в результате изменения гранулярности квантования спектральных значений с течением времени и по частоте.
В качестве альтернативы полностью основанной на гребенке фильтров концепции перцепционного кодирования в последнее время было предложено кодирование на основе подхода предварительной/постфильтрации, как показано на фиг.10.
В [Ed100] был предложен перцепционный аудиокодер, который разделяет аспекты уменьшения несоответствия (то есть формирования шумов в соответствии с перцепционными критериями) и уменьшения избыточности (то есть получения математически более компактного представления информации), используя так называемый предварительный фильтр, вместо переменного квантования спектральных коэффициентов по частоте. Этот принцип иллюстрируется на следующем чертеже. Входной сигнал анализируют с помощью перцепционной модели для расчета оценки кривой порога маскирования по частоте. Пороговое значение маскирования преобразуют в набор коэффициентов предварительного фильтра таким образом, чтобы магнитуда его частотного отклика была обратно пропорциональна пороговому значению маскирования. Операция предварительного фильтра применяет этот набор коэффициентов ко входному сигналу, в результате чего формируется выходной сигнал, в котором все частотные компоненты представлены в соответствии с их перцепционной важностью ("перцепционное отбеливание"). Этот сигнал затем кодируют с использованием любого вида аудиокодера, который формирует "белое" искажение квантования, то есть не применяет какое-либо перцепционное формирование шума. Таким образом, передача/сохранение аудиосигнала включает в себя как поток битов кодера, так и кодированную версию коэффициентов предварительной фильтрации. В декодере поток битов кодера декодируют в промежуточный аудиосигнал, который затем подвергают операции постфильтрации в соответствии с переданными коэффициентами фильтра. Поскольку постфильтр выполняет обратный процесс фильтрации относительно предварительного фильтра, он применяет спектральное взвешивание к своему входному сигналу в соответствии с кривой маскирования. Таким образом, спектрально плоский ("белый") шум кодирования выглядит перцепционно сформированным на выходе декодера, как и предполагалось.
Поскольку в такой схеме перцепционное формирование шума достигается через этап предварительной/постфильтрации, вместо зависимого от частоты квантования спектральных коэффициентов, концепция может быть обобщена так, что она будет включать в себя механизм кодирования, который не основан на гребенке фильтров, для представления предварительно фильтрованного аудиосигнала, вместо аудиокодера на основе гребенки фильтров. В [Sch02] это показано для ядра кодирования в области времени, с использованием этапов предикативного и энтропийного кодирования.
[Ed100] B. Edler, G. Schuller: "Audio coding using a psy-choacoustic pre- and post-filter", ICASSP 2000, Volume 2, 5-9 June 2000 Page(s):II881 - II884 vol.2
[Sch02] G. Schuller, B. Yu, D. Huang, and B. Edler, "Perceptual Audio Coding using Adaptive Pre- and Post-Filters and Lossless Compression", IEEE Transactions on Speech and Audio Processing, September 2002, pp. 379-390
Для того, чтобы обеспечить возможность соответствующего формирования спектрального шума, используя технологии предварительной/постфильтрации, важно адаптировать частотное разрешение предварительного/постфильтра к разрешающей способности системы слуха человека. В идеале, разрешение по частоте должно соответствовать хорошо известным перцепционным шкалам частот, таким как частотная шкала BARK или ERB [Zwi]. Это, в частности, требуется для минимизации порядка модели предварительного/постфильтра и, таким образом, ассоциированной сложности вычислений и скорости передачи дополнительной информации.
Адаптация разрешающей способности по частоте предварительного/постфильтра может быть обеспечена с помощью хорошо известной концепции перекоса частоты [KHL97]. По существу, единичные задержки в пределах структуры фильтра заменяют (первого или более высокого порядка) всечастотными фильтрами, в результате чего получают неоднородную деформацию ("перекос") частотной характеристики фильтра. Было показано, что даже при использовании всечастотного фильтра первого уровня (например, ), достаточно точная аппроксимация перцепционной шкалы частот возможна при соответствующем выборе коэффициентов всечастотного фильтра [SA99]. Таким образом, в наиболее известных системах не используют всечастотные фильтры более высокого порядка для перекоса частоты. Таким образом всечастотный фильтр первого порядка полностью определен одним скалярным параметром (который называется "коэффициентом перекоса", -1<λ<1), который определяет деформацию шкалы частот. Например, для коэффициента перекоса λ=0, деформация не происходит, то есть фильтр работает в обычной частотной шкале. Чем большим выбирают коэффициент искажения, тем больше частотное разрешение по частоте фокусируется на части низкой частоты спектра (как это необходимо для аппроксимации перцепционной шкалы частот), и отбирается из части более высокой частоты спектра). Это показано на фиг.5, как для положительного, так и для отрицательного коэффициентов перекоса:
Когда применяют предварительный/постфильтр с перекосом, в аудиокодерах обычно используют порядок фильтра от 8 до 20 при обычных частотах дискретизации, таких как 48 кГц или 44,1 кГц [WSKH05].
Были описаны несколько других вариантов применения фильтра с перекосом, например моделирование импульсного отклика помещения [HKS00] и параметрическое моделирование компонента шумов аудиосигнала (под тем же именем фильтрация Laguerre/Kauz) [SOB03]
[Zwi] Zwicker, E. and H. Fasti, "Psychoacoustics, Facts and Models", Springer Verlag, Berlin
[KHL97] M. Karjalainen, A. Harma, U.K. Laine, "Realizable warped IIR filters and their properties", IEEE I-CASSP 1997, pp. 2205 - 2208, vol.3
[SA99] J.O. Smith, J.S. Abel, "BARK and ERB Bilinear Transforms", IEEE Transactions on Speech and Audio Processing, Volume 7, Issue 6, Nov. 1999, pp. 697 - 708
[HKS00] Harma, Aki; Karjalainen, Matti; Savioja, Lauri; Valimaki, Vesa; Laine, Unto K.; Huopaniemi, Jyri, "Frequency-Warped Signal Processing for Audio Applications", Journal of the AES, Volume 48 Number 11 pp. 1011-1031; November 2000
[SOB03] E. Schuijers, W. Oomen, B. den Brinker, J. Bree-baart, "Advances in Parametric Coding for High-Quality Audio", 114th Convention, Amsterdam, The Netherlands 2003, preprint 5852
[WSKH05] S. Wabnik, G. Schuller, U. Kramer, J. Hirschfeld, „Frequency Warping in Low Delay Audio Coding", IEEE International Conference on Acoustics, Speech, and Signal Processing, March 18-23, 2005, Philadelphia, PA, USA
Кодирование речи на основе ЛПК
Традиционно, эффективное кодирование речи основано на Линейном предикативном кодировании (ЛПК), для моделирования резонансных эффектов вокального тракта человека, вместе с эффективным кодированием остаточного сигнала возбуждения [VM06]. Как ЛПК, так и параметры возбуждения передают из кодера в декодер. Этот принцип иллюстрируется на следующем чертеже (кодер и декодер).
Со временем было предложено множество способов, обеспечивающих эффективное и перцепционно убедительное представление остаточного (возбуждения) сигнала, такие как многоимпульсное возбуждение (MPE, МИВ), регулярное импульсное возбуждение (RPE, РИВ) и кодовое линейное прогнозирование (CELP, КЛПР).
При линейном предикативном кодировании делается попытка получить оценку текущего значения выборки последовательности на основе наблюдения определенного количества прошлых значений, как линейную комбинацию прошлых наблюдений. Для уменьшения избыточности во входном сигнале фильтр кодера "отбеливает" входной сигнал по его спектральной огибающей, то есть его частотный отклик представляет собой модель, обратную спектральной огибающей сигнала. И, наоборот, частотный отклик фильтра декодера ЛПК представляет собой модель спектральной огибающей сигнала. В частности, хорошо известный авторегрессивный (AR, АР) линейный предикативный анализ применяют для моделирования спектральной огибающей сигнала с использованием полюсной аппроксимации.
Как правило, в узкополосных речевых кодерах (то есть в речевых кодерах с частотой выборки 8 кГц) используется фильтры ЛПК порядка от 8 до 12. Учитывая свойства фильтра ЛПК, однородное частотное разрешение эффективно во всем частотном диапазоне. Это не соответствует перцепционной шкале частот.
ЛПК кодирование с перекосом
Учитывая, что неоднородная по частоте чувствительность, предлагаемая технологией перекоса, может предложить преимущества также для кодирования речи, было предложено заменить обычный анализ ЛПК на предикативный анализ с перекосом. В частности, в [TML94] предложен речевой кодер, который моделирует спектральную огибающую речи с помощью кепстральных коэффициентов c(m), которые обновляют на каждой выборке в соответствии с изменяющимся по времени входным сигналом. Шкала частот модели адаптирована для аппроксимации перцепционной шкалы MEL [Zwi], используя всечастотный фильтр вместо обычной единичной задержки. Фиксированное значение 0,31 для коэффициента перекоса используют при частоте выборки кодера 8 кГц. Этот подход был дополнительно развит так, что включает в себя ядро кодирования КЛПР для представления сигнала возбуждения в [KTK95], снова используя фиксированное значение 0,31 для коэффициента перекоса при частоте выборки кодера 8 кГц.
Даже при том, что авторы заявляют хорошие рабочие характеристики предложенной схемы, при кодировании речи в предшествующем уровне техники не используют технологию предикативного кодирования с перекосом.
Известны другие комбинации кодирования ЛПК и КЛПР с перекосом, например [HLM99], в которых коэффициент перекоса 0,723 используют при частоте выборки 44,1 кГц.
[TMK94] K. Tokuda, H. Matsumura, T. Kobayashi and S. Imai, "Speech coding based on adaptive mel-cepstral analysis," Proc. IEEE ICASSP'94, pp.197-200, Apr. 1994.
[KTK95] K. Koishida, K. Tokuda, T. Kobayashi and S. Imai, "CELP coding based on mel-cepstral analysis," Proc. IEEE ICASSP'95, pp.33-36, 1995.
[HLM99] Aki Harma, Unto K. Laine, Matti Karjalainen, "Warped low-delay КЛПР for wideband audio coding", 17th International AES Conference, Florence, Italy, 1999.
[VM06] Peter Vary, Rainer Martin, "Digital Speech Transmission: Enhancement, Coding and Error Concealment", published by John Wiley & Sons, LTD, 2006, ISBN 0-471-56018-9.
Обобщенное ЛПК кодирование с перекосом
Идея кодирования речи по шкале частот с перекосом была дополнительно развита в следующие годы. В частности, было отмечено, что полный обычный перекос спектрального анализа в соответствии с перцепционной шкалой частоты может быть не соответствующим для достижения наилучшего возможного качества при кодировании речевых сигналов. Поэтому в [KTK96] был предложен Мел-обобщенный кепстральный анализ, который позволяет плавно регулировать характеристики спектральной модели между ранее предложенным мел-кепстральным анализом (с полностью перекошенной частотной шкалой и кепстральным анализом), и характеристиками традиционной модели ЛПК (с однородной шкалой частот и моделью с одними полюсами огибающей спектра сигнала). В частности, предложенный обобщенный анализ имеет два параметра, которые управляют этими характеристиками:
• параметр γ, -1≤γ≤0 постепенно затухает между кепстральным типом и ЛПК типом анализа, где γ=0 соответствует анализу кепстрального типа, и γ = -1 соответствует анализу типа ЛПК.
• параметр α, |α|<1 представляет собой коэффициент перекоса. Значение α=0 соответствует полностью однородной шкале частот (такой, как в стандартном ЛПК), и значение α = 0,31 соответствует полностью перцепционному перекосу частот.
Ту же концепцию применяли для кодирования речи по всей полосе (при частоте выборки 16 кГц) в [KHT98]. Следует отметить, что рабочую точку (γ; α), для такого обобщенного анализа выбирают априори, и она не изменяется с течением времени.
[KTK96] K. Koishida, K. Tokuda, T. Kobayashi and S. Imai, "CELP coding system based on mel-generalized cepstral analysis," Proc. ICSLP'96, pp. 318-321, 1996.
[KHT98] K. Koishida, G. Hirabayashi, K. Tokuda, and T. Kobayashi, "A wideband CELP speech coder at 16 kbit/s based on mel-generalized cepstral analysis," Proc. IEEE ICASSP'98, pp. 161-164, 1998.
Структура, содержащая как фильтр кодирования, так и два альтернативных ядра кодирования, была описана ранее в литературе ("WB-AMR + Кодер" [BLS05]). При этом отсутствует какое-либо представление об использовании фильтра с перекосом, или даже фильтра с изменяющимися по времени характеристиками перекоса.
[BLS05] B. Bessette, R. Lefebvre, R. Salami, "UNIVERSAL SPEECH/AUDIO CODING USING HYBRID ACELP/TCX TECHNIQUES," Proc. IEEE ICASSP 2005, pp. 301-304, 2005.
Недостаток всех этих методик предшествующего уровня техники состоит в том, что все они специально разработаны для конкретного алгоритма аудиокодирования. Любой речевой кодер, использующий фильтры с перекосом, оптимально адаптирован для речевых сигналов, но приводит к компромиссам, когда требуется кодировать общие звуковые сигналы, такие как сигналы музыки.
С другой стороны, общие аудиокодеры оптимизированы для того, чтобы идеально скрывать шум квантования ниже порога маскирования, то есть оптимально адаптированы для выполнения снижения несоответствия. С этой целью, они имеют функцию учета неравномерной разрешающей способности по частоте механизма слуха человека. Однако, учитывая тот факт, что они являются обобщенными аудиокодерами, они не могут, в частности, использовать какое-либо априорное знание определенного вида в структуре сигнала, которая могла бы стать основой для получения очень низких скоростей передачи битов, известных, например, из речевых кодеров.
Кроме того, большое количество речевых кодеров представляют собой кодеры в области времени, использующие фиксированные и переменные кодовые книги, в то время как большая часть общих аудиокодеров являются, учитывая проблему порога маскирования, который представляет собой меру частоты, кодерами на основе гребенки фильтров таким образом, что становится чрезвычайно проблематично эффективно вводить оба кодера в общие рамки кодирования/декодирования, хотя также существуют общие аудиокодеры, основанные на области времени.
Сущность изобретения
Задача настоящего изобретения состоит в том, чтобы получить улучшенную концепцию кодирования общего назначения, обеспечивающую высокое качество и низкую скорость передачи битов не только для специфичных структур сигнала, но и даже для общих аудиосигналов.
В соответствии с первым аспектом настоящего изобретения эта задача решается с помощью аудиокодера, предназначенного для кодирования аудиосигнала, содержащего предварительный фильтр для генерирования предварительно фильтрованного аудиосигнала, причем предварительный фильтр имеет переменную характеристику перекоса, причем характеристикой перекоса можно управлять в ответ на изменяющийся по времени сигнал управления, сигнал управления указывает малую характеристику перекоса или ее отсутствие, или относительно высокую характеристику перекоса; контроллер для предоставления изменяющегося по времени сигнала управления, причем изменяющийся по времени сигнал управления зависит от аудиосигнала; и управляемый процессор кодирования, предназначенный для обработки предварительно фильтрованного аудиосигнала, для получения кодированного аудиосигнала, в котором процессор кодирования выполнен с возможностью обработки предварительно фильтрованного аудиосигнала в соответствии с первым алгоритмом кодирования, адаптированным для специфичной структуры сигнала, или в соответствии со вторым другим алгоритмом кодирования, пригодным для кодирования общего аудиосигнала.
Предпочтительно, процессор кодирования выполнен с возможностью его управления контроллером таким образом, что фильтруемую часть аудиосигнала обрабатывают с использованием сравнительно высокой характеристики перекоса, используя второй алгоритм кодирования для получения кодированного сигнала, и аудиосигнал, фильтруемый с использованием малой характеристики перекоса или при ее отсутствии, обрабатывают, используя первый алгоритм кодирования.
В соответствии с дополнительным аспектом настоящего изобретения эта цель достигается с помощью аудиодекодера для декодирования кодированного аудиосигнала, причем кодированный аудиосигнал имеет первую часть, кодированную в соответствии с первым алгоритмом кодирования, адаптированным для специфичной структуры сигнала, и имеет вторую часть, кодированную в соответствии с другим, вторым алгоритмом кодирования, пригодным для кодирования общего аудиосигнала, содержащим: детектор для детектирования алгоритма кодирования, использовавшегося в первой части или во второй части; процессор декодирования для декодирования в ответ на результат детектора первой части, используя первый алгоритм кодирования, для получения первой части декодированного времени и для декодирования второй части, используя второй алгоритм кодирования, для получения второй декодированной части времени; и постфильтр, имеющий переменную характеристику перекоса, управляемый между первым состоянием, в котором используется малая характеристика перекоса, или перекос отсутствует, и вторым состоянием, имеющим относительно высокую характеристику перекоса.
Предпочтительно, постфильтром управляют таким образом, что первую декодированную часть времени фильтруют, используя малую характеристику перекоса или без перекоса, и вторую декодированную часть времени фильтруют, используя сравнительно высокую характеристику перекоса.
В соответствии с дополнительным аспектом настоящего изобретения эта цель достигается с помощью аудиопроцессора для обработки аудиосигнала, содержащего: фильтр генерирования фильтрованного аудиосигнала, причем фильтр имеет переменную характеристику перекоса, характеристикой перекоса управляют в соответствии с изменяющимся во времени сигналом управления, сигнал управления обозначает малую характеристику перекоса или отсутствие перекоса, или сравнительно высокую характеристику перекоса; и контроллер для получения изменяющегося по времени сигнала управления, причем изменяющийся по времени сигнал управления зависит от аудиосигнала.
Дополнительные аспекты настоящего изобретения относятся к соответствующим способам кодирования, декодирования и обработки аудиоданных, а также к соответствующим компьютерным программам и кодированным аудиосигналам.
Настоящее изобретение основано на определении того, что предварительный фильтр, имеющий переменную характеристику перекоса на стороне кодера аудиоданных, представляет собой основное свойство интегрирования различных алгоритмов кодирования в рамках одного кодера. Эти два разных алгоритма кодирования отличаются друг от друга. Первый алгоритм кодирования адаптирован к специфичной структуре сигнала, такой как речевые сигналы, но также к любым другим специфичным гармоническим структурам, при этом структуры, имеющие определенную высоту звука, или переходные структуры представляют собой возможный вариант, в то время как второй алгоритм кодирования выполнен с возможностью кодирования общего аудиосигнала. Предварительный фильтр на стороне кодера или постфильтр на стороне декодера позволяют интегрировать специфичный для сигнала модуль кодирования и общий модуль кодирования в пределах структуры одного кодера/декодера.
Обычно вход для общего модуля аудиокодера или специфичного для сигнала модуля кодера можно обрабатывать с перекосом в большей или меньшей степени или можно пропускать без такой обработки. Это зависит от специфичного сигнала и варианта воплощения модулей кодера. Таким образом, взаимосвязь, в соответствии с которой характеристика фильтра с перекосом принадлежит соответствующему модулю кодирования, можно передать с помощью сигналов. В нескольких случаях результат может состоять в том, что более сильная характеристика перекоса принадлежит общему аудиокодеру и более легкая характеристика перекоса или отсутствие принадлежит модулю, специфичному для сигнала. Такая ситуация в некоторых вариантах воплощения может быть установлена фиксировано или может устанавливаться в результате динамической передачи сигналов в модуль кодера для определенной части сигнала.
В то время как алгоритм кодирования, адаптированный для специфичных структур сигнала, обычно не сильно зависит от использования порога маскирования, для уменьшения несоответствия для такого алгоритма кодирования не обязательно требуется какая-либо предварительная обработка перекоса или требуется только "мягкая" предварительная обработка перекоса. Это означает, что первый алгоритм кодирования, адаптированный для специфичной структуры сигнала, предпочтительно, использует априорную информацию о специфичной структуре сигнала, но не основывается в такой степени на пороговом значении маскирования и поэтому не требуется подхода, связанного с неоднородной разрешающей способностью по частоте механизма слуха человека. Разрешающая способность с неоднородной частотой механизма слуха человека отражается полосами коэффициента масштабирования, имеющими различными полосы пропускания вдоль шкалы частот. Такая неоднородная шкала частот также известна как шкала барков (BARK) или ERB.
Обработка и формирование шумов с использованием неоднородной разрешающей способности по частоте необходимы только, когда алгоритм кодирования сильно зависит от уменьшения несоответствия в результате использования концепции порога маскирования, но не уменьшается для специфичного алгоритма кодирования, который адаптирован для специфичной структуры сигнала и в котором используется априорное знание для обеспечения высокоэффективной обработки, такое как специфичная структура сигнала. Фактически, любая обработка с перекосом неоднородной частоты может оказать отрицательное влияние на эффективность такого алгоритма кодирования, адаптированного к конкретной структуре сигнала, поскольку такой перекос будет оказывать влияние на конкретную структуру сигнала, которая, вследствие того факта, что первый алгоритм кодирования сильно оптимизирован для специфичной структуры сигнала, может привести к сильной деградации эффективности кодирования первого алгоритма кодирования.
В отличие от этого второй алгоритм кодирования может производить приемлемую выходную скорость передачи битов вместе с приемлемым качеством звука только, когда применяют любую меру, которая учитывает неоднородную разрешающую способность по частоте механизма слуха человека таким образом, что оптимальное преимущество может быть получено, используя порог маскирования.
Поскольку аудиосигнал может включать в себя специфичные структуры сигнала, после которых следует общий звук, то есть сигнал, не имеющий такой специфичной структуры сигнала или имеющий эту специфичную структуру сигнала только в малой степени, предварительный фильтр в соответствии с изобретением осуществляет перекос только в сильной степени, когда есть часть сигнала, не имеющая определенной структуры сигнала, когда имеется часть сигнала, не имеющая такую специфичную структуру сигнала, в то время как для сигнала, не имеющего специфичной структуры сигнала, перекос не применяется вообще или применяется только малый перекос.
В частности, для случая, когда первый алгоритм кодирования представляет собой любой алгоритм кодирования, основанный на линейном предикативном кодировании, и когда второй алгоритм кодирования представляет собой общий аудиокодер на основе архитектуры предварительного фильтра/постфильтра, предварительный фильтр может выполнять различные задачи, используя один и тот же фильтр. Когда аудиосигнал имеет специфичную структуру сигнала, предварительный фильтр работает как фильтр анализа ЛПК таким образом, что первый алгоритм кодирования основан только на кодировании остаточного сигнала или сигнала возбуждения ЛПК.
Когда существует часть сигнала, которая не имеет специфичной структуры сигнала, предварительным фильтром управляют так, чтобы он имел сильную характеристику перекоса и, предпочтительно, чтобы он выполнял ЛПК фильтрацию на основе психоакустического порога маскирования таким образом, чтобы выходной сигнал после предварительной фильтрации был отфильтрован фильтром с перекосом частоты, и таким образом, чтобы с точки зрения психоакустики более важные части спектра были усилены относительно психоакустически менее важных частей спектра. Затем можно использовать прямой модуль квантователь или, в общем случае, квантование во время кодирования может происходить без необходимости распределения неоднородности шумов кодирования по частотному диапазону в выходном сигнале фильтра с перекосом. Формирование шумов для шумов квантования автоматически происходит при выполнении постфильтрации, получаемой с помощью изменяющегося по времени фильтра с перекосом на стороне декодера, который является (относительно характеристики перекоса) идентичным предварительному фильтру на стороне кодера и, учитывая тот факт, что этот фильтр представляет собой обратный фильтр для фильтра предварительного фильтрования на стороне декодера, автоматически обеспечивается формирование шумов для получения максимального уменьшения несоответствия, при поддержании высокого качества звука.
Краткое описание чертежей
Предпочтительные варианты воплощения настоящего изобретения поясняются ниже со ссылкой на прилагаемые чертежи, на которых:
на фиг.1 показана блок-схема предпочтительного аудиокодера;
на фиг.2 показана блок-схема предпочтительного аудиодекодера;
на фиг.3a схематично представлен кодированный аудиосигнал;
на фиг.3b схематично представлена вспомогательная информация для первой и/или второй части времени по фиг.3a;
на фиг.4 представлен предварительный фильтр и постфильтр КИХ предшествующего уровня техники, которые пригодны для использования в настоящем изобретении;
на фиг.5 иллюстрируется характеристика перекоса фильтра, зависящая от коэффициента перекоса;
на фиг.6 иллюстрируется аудиопроцессор в соответствии с изобретением, имеющий линейный фильтр с изменяющейся по времени характеристикой перекоса и контроллер;
на фиг.7 иллюстрируется предпочтительный вариант воплощения аудиокодера в соответствии с изобретением;
на фиг.8 иллюстрируется предпочтительный вариант воплощения аудиодекодера в соответствии с изобретением;
на фиг.9 иллюстрируется алгоритм кодирования гребенки фильтров на основе предшествующего уровня техники, имеющий кодер и декодер;
на фиг.10 иллюстрируется алгоритм кодирования звука на основе предварительного/постфильтра предшествующего уровня техники, имеющих кодер и декодер; и
на фиг.11 иллюстрируется алгоритм кодирования ЛПК предшествующего уровня техники, имеющего кодер и декодер.
Подробное описание изобретения
Предпочтительные варианты воплощения настоящего изобретения обеспечивают единый способ, который позволяет кодировать как общие аудиосигналы, так и речевые сигналы с характеристикой кодирования, которая, по меньшей мере, соответствует требуемым характеристикам хорошо известных схем кодирования для обоих типов сигналов. Он основан на следующих основных положениях.
• Для кодирования общих аудиосигналов существенно формировать огибающую спектра шумов кодирования в соответствии с кривой порога маскирования (в соответствии с идеей "перцепционного кодирования аудиоданных"), и, таким образом, желательно обеспечить перцепционно перекошенную шкалу частот. Тем не менее могут быть определенные (например, гармонические) аудиосигналы, когда однородное частотное разрешение будет работать лучше, чем перцепционно перекошенная характеристика, поскольку первая обеспечивает лучшее частотное разрешение индивидуальной тонкой спектральной структуры сигналов.
• Для кодирования речевых сигналов характеристика кодирования предшествующего уровня техники может быть достигнута с помощью регулярного (без перекоса) линейного прогнозирования. Могут существовать определенные речевые сигналы, для которых некоторая величина перекоса улучшает характеристики кодирования.
В соответствии с изобретательской идеей эта дилемма решается с помощью системы кодирования, которая включает в себя фильтр кодера, который может плавно регулировать свои характеристики между работой с полным перекосом, как, в общем, предпочтительно для кодирования музыкальных сигналов, и работой без перекоса, как, в общем, предпочтительно для кодирования речевых сигналов. В частности, предложенный изобретательный подход включает в себя линейный фильтр с переменным по времени коэффициентом перекоса. Этим фильтром управляют с помощью отдельного входа, на который поступает требуемый коэффициент перекоса и который соответствующим образом модифицируют работу фильтра.
0
0,
Работа такого фильтра позволяет фильтру действовать как модель кривой маскирования (постфильтр для кодирования музыки, при включенном перекосе λ=λ), и как модель огибающей спектра сигнала (Обратный фильтр ЛПК для кодирования речи при выключенном перекосе λ=0), в зависимости от входного сигнала управления. Если фильтр в соответствии с изобретением будет выполнен с возможностью обработки также континуума промежуточных значений коэффициентов перекоса 0≤λ≤λ тогда, кроме того, также возможен плавный интервал переключения характеристик.
Естественно, что механизм обратной фильтрации декодера оборудован аналогично, то есть он представляет собой линейный фильтр декодера с изменяющимся по времени коэффициентом перекоса, и может действовать как перцепционный предварительный фильтр, а также как фильтр ЛПК.
Для генерирования фильтрованного сигнала с хорошим поведением для последующего кодирования желательно не выполнять мгновенное переключение между двумя разными значениями коэффициента перекоса, но применять мягкий переход коэффициента перекоса с течением времени. В качестве примера, переход из 128 выборок между работой без перекоса и работой с полным перцепционным перекосом позволяет исключить нежелательные разрывы выходного сигнала.
Используя такой фильтр с переменным изменением перекоса, становится возможным построить комбинированный кодер речи/звука, который обеспечивает как оптимальное качество кодирования речи, так и звука следующим образом (см. фиг.7 или 8).
• Решение о режиме кодирования, который должен использоваться ("режим речи" или "режим музыки"), принимают в отдельном модуле, осуществляя анализ входного сигнала, и оно может быть основано на известных методиках дискриминации речевых сигналов и музыки. В результате модуль принятия решения формирует решение о режиме кодирования и соответствующем оптимальном коэффициенте перекоса для фильтра. Кроме того, в зависимости от этого решения он определяет набор соответствующих коэффициентов фильтра, которые соответствуют входному сигналу при выбранном режиме кодирования, то есть для кодирования речи выполняют анализ ЛПК (без перекоса, или c малым значением коэффициента перекоса), тогда как для кодирования музыки выполняют оценку кривой маскирования, и ее обратную величину преобразуют в спектральные коэффициенты с перекосом.
• Фильтр с изменяющейся по времени характеристикой перекоса используют как общий фильтр кодера/декодера и применяют к сигналу в зависимости от решения о режиме кодирования/ коэффициенте перекоса и наборе коэффициентов фильтра, принятого модулем принятия решения.
• Выходной сигнал этапа фильтрации кодируют либо используя ядро речевого кодирования (например, кодер КЛПР), или используя обобщенное ядро аудиокодера (например, кодер типа гребенка фильтров/подполоса, или предикативный аудиокодер), или оба эти подхода, в зависимости от режима кодирования.
• Информация, предназначенная для передачи/сохранения, содержит решение о режиме кодирования (или показатель коэффициента перекоса), коэффициенты фильтра в некоторой кодированной форме, и информацию, переданную кодером речи/возбуждения и или общим аудиокодером.
Соответствующий декодер работает соответствующим образом: он принимает переданную информацию, декодирует части речи и части общих аудиоданных в соответствии с информацией режима кодирования, комбинирует их в один промежуточный сигнал (например, путем их суммирования) и фильтрует этот промежуточный сигнал, используя режим кодирования/коэффициент перекоса и коэффициенты фильтра для формирования конечного выходного сигнала.
Далее, со ссылкой на фиг.1, будет описан предпочтительный вариант воплощения аудиокодера в соответствии с изобретением. На фиг.1 показан аудиокодер, который работает для кодирования аудиосигнала, подаваемого по линии 10. Аудиосигнал подают в предварительный фильтр 12 для генерирования предварительно фильтрованного аудиосигнала, появляющегося в линии 14. Предварительный фильтр имеет переменную характеристику перекоса, причем характеристикой перекоса управляют в ответ на изменяющийся по времени сигнал управления в линии 16. Сигнал управления обозначает малую характеристику перекоса или отсутствие такой характеристики, или сравнительно высокую характеристику перекоса. Таким образом, сигнал управления изменяющегося по времени перекоса может представлять собой сигнал, имеющий два разных состояния, таких как "1" для сильного перекоса или "0" для отсутствия перекоса. Предполагаемая цель применения перекоса состоит в том, чтобы получить разрешение по частоте предварительного фильтра, аналогичное масштабу барков. Однако возможны также другие состояния установок сигнала/характеристики перекоса.
Кроме того, аудиокодер в соответствии с изобретением включает в себя контроллер 18, предназначенный для того, чтобы предоставлять изменяющийся по времени сигнал управления, в котором изменяющийся по времени сигнал управления зависит от аудиосигнала, как показано в линии на 20 на фиг.1. Кроме того, аудиокодер в соответствии с изобретением включает в себя управляемый процессор 22 кодирования, предназначенный для обработки предварительно фильтрованного аудиосигнала для получения кодированного аудиосигнала, выводимого в линию 24. В частности, процессор 22 кодирования выполнен с возможностью обработки предварительной фильтрации аудиосигнала в соответствии с первым алгоритмом кодирования, адаптированным к специфичной структуре сигнала, или в соответствии со вторым, другим алгоритмом кодирования, пригодным для кодирования общего аудиосигнала. В частности, процессор 22 кодирования выполнен с возможностью его управления с помощью контроллера 18, предпочтительно, через отдельный сигнал управления кодера по линии 26 таким образом, что часть аудиосигнала, которую подвергают фильтрации, используя относительно большое значение коэффициента перекоса, обрабатывают с использованием второго алгоритма кодирования для получения кодированного сигнала для этой части аудиосигнала, таким образом, что часть аудиосигнала, которую фильтруют, не используя характеристику перекоса или используя только малую такую характеристику, обрабатывают, используя первый алгоритм кодирования.
Таким образом, как показано в таблице 28 управления, для сигнала по линии 26 управления, в некоторых ситуациях, при обработке аудиосигнала, фильтр работает без перекоса или выполняет только малый перекос для фильтруемого сигнала, в соответствии с первым алгоритмом кодирования, в то время как, когда применяют сильный и, предпочтительно, перцепционно полномасштабный перекос с помощью предварительного фильтра, отрезок времени обрабатывают, используя второй алгоритм кодирования для общих аудиосигналов, который, предпочтительно, основан на скрытии шумов квантования ниже психоакустического порога маскирования. Естественно, что изобретение также охватывает случай, когда для дополнительной части аудиосигнала, которая имеет специфичную для сигнала структуру, применяют характеристику с сильным перекосом, в то время как для другой части, которая не имеет специфичную структуру сигнала, используют характеристику с малым значением перекоса или с отсутствием перекоса. Это может быть, например, определено с помощью анализа, путем решения о синтезе кодера или с помощью любых других алгоритмов, известных в данной области техники. Однако управление модулем кодера также может быть установлено фиксированным, в зависимости от переданного коэффициента перекоса, или коэффициент перекоса может быть получен по переданному показателю модуля кодера. Кроме того, оба элемента информации могут быть переданы как дополнительная информация, то есть модуль кодера и коэффициент перекоса.
На фиг.2 иллюстрируется декодер в соответствии с изобретением, предназначенный для декодирования кодированного аудиосигнала, вводимого в линию 30. Кодированный аудиосигнал имеет первую часть, кодированную в соответствии с первым алгоритмом кодирования, который адаптирован к специфичной структуре сигнала, и имеет вторую часть, кодированную в соответствии с другим, вторым алгоритмом кодирования, который пригоден для кодирования общего аудиосигнала. В частности, декодер в соответствии с изобретением содержит детектор 32 для детектирования алгоритма кодирования, который лежит в основе первой или второй части. Такое детектирование можно выполнять путем выделения вспомогательной информации из кодированного аудиосигнала, как представлено пунктирной линией 34, и/или оно может происходить путем анализа потока битов, поступающего в процессор 36 декодирования, как иллюстрируется пунктирной линией 38. Процессор 36 декодирования предназначен для декодирования в соответствии с результатом детектора, как иллюстрируется линией 40 управления, таким образом, что выбирают как первую, так и вторую части правильного алгоритма кодирования.
Предпочтительно, процессор декодирования во время работы для использования первого алгоритма кодирования, для декодирования первой части времени и для использования второго алгоритма кодирования, для декодирования второй части времени таким образом, что первую и вторую декодированные части времени выводят по линии 42. По линии 42 передают входные данные в постфильтр 44, имеющий переменную характеристику перекоса. В частности, постфильтром 44 можно управлять, используя изменяющийся по времени сигнал управления с перекосом по линии 46 таким образом, что этот постфильтр имеет только малую характеристику перекоса или не имеет ее вообще в первом состоянии, и имеет высокую характеристику перекоса во втором состоянии.
Предпочтительно, постфильтром 44 управляют так, что первую часть времени, декодированную с использованием первого алгоритма кодирования, фильтруют, используя малую характеристику перекоса или без ее использованния, и вторую часть времени декодированного аудиосигнала фильтруют, используя сравнительно сильную характеристику перекоса таким образом, что выходной сигнал аудиодекодера получают по линии 48.
На фиг.1 и фиг.2 можно видеть, что первый алгоритм кодирования определяет этапы, относящиеся к кодеру, которые выполняются процессором 22 кодирования, и соответствующие этапы, относящиеся к декодеру, которые воплощены в процессоре 36 декодирования. Кроме того, второй алгоритм кодирования определяет этапы, относящиеся к кодеру второго алгоритма кодирования, которые используют в процессоре кодирования, и соответствующие этапы второго алгоритма кодирования, которые относятся к декодированию, предназначены для использования в процессоре 36 декодировании.
Кроме того, предварительный фильтр 12 и постфильтр 44, в общем, являются обратными друг другу. Характеристиками перекоса этих фильтров управляют таким образом, что постфильтр имеет ту же характеристику перекоса, что и предварительный фильтр, или, по меньшей мере, аналогичную характеристику перекоса в пределах диапазона допуска 10 процентов.
Естественно, что, когда предварительный фильтр не имеет перекоса вследствие того, что присутствует, например, сигнал, имеющий специфичную структуру сигнала, тогда постфильтр также не должен быть фильтром с перекосом.
Однако предварительный фильтр 12, а также постфильтр 44, могут воплощать любые другие операции предварительного фильтра или постфильтра, требуемые в связи с первым алгоритмом кодирования или вторым алгоритмом кодирования, как будет отмечено ниже.
На фиг.3a иллюстрируется пример кодированного аудиосигнала, который получают в линии 24 по фиг.1 и который можно найти в линии 30 по фиг.2. В частности, кодированный аудиосигнал включает в себя первую часть времени в кодированной форме, которая была сгенерирована первым алгоритмом кодирования, как отмечено в позиции 50, и соответствующую вспомогательную информацию 52 для первой части. Кроме того, поток битов включает в себя вторую часть времени в кодированной форме, как показано в позиции 54, и вспомогательную информацию 56 для второй части времени. Здесь следует отметить, что порядок элементов, показанный на фиг.3a, может изменяться. Кроме того, вспомогательная информация не обязательно должна быть мультиплексирована с основной информацией 50 и 54. Эти сигналы даже могут поступать из отдельных источников в соответствии с внешними требованиями или воплощениями.
На фиг.3b иллюстрируется вспомогательная информация для варианта воплощения с явным представлением сигналов в соответствии с настоящим изобретением, для обмена явными сигналами, представляющими коэффициент перекоса и режим кодера, который можно использовать в позициях 52 и 56 по фиг.3a. Это обозначено ниже потока вспомогательной информации на фиг.3b. Следовательно, вспомогательная информация может включать в себя показатель режима кодирования, который передает в виде сигналов первый или второй алгоритм кодирования, соответствующий той части, которой принадлежит вспомогательная информация.
Кроме того, коэффициент перекоса может быть передан в виде сигналов. Передача в виде сигналов коэффициента перекоса не является обязательной, когда вся система может использовать только две разные характеристики перекоса, то есть характеристику отсутствия перекоса, в качестве первого варианта, и перцепционно полномасштабную характеристику перекоса в качестве второго варианта. В этом случае коэффициент перекоса может быть фиксированным и не обязательно должен быть передан.
Однако, в предпочтительных вариантах воплощения, коэффициент перекоса может иметь больше, чем эти два предельных значения, в связи с чем используют явную передачу с помощью сигналов коэффициента перекоса в виде абсолютных значений или дифференцированно кодированных значений.
Кроме того, предпочтительно, чтобы предварительный фильтр не только воплощал перекос, но также воплощал задачи, диктуемые первым алгоритмом кодирования и вторым алгоритмом кодирования, что позволяет получить более эффективные функции первого и второго алгоритмов кодирования.
Когда первый алгоритм кодирования представляет собой алгоритм кодирования на основе ЛПК, предварительный фильтр также выполняет функцию фильтра анализа ЛПК, и постфильтр на стороне декодера выполняет функцию фильтра синтеза ЛПК.
Когда второй алгоритм кодирования представляет собой общий аудиокодер, не имеющий специфичные функции формирования шумов, предварительный фильтр, предпочтительно, представляет собой фильтр ЛПК, который выполняет предварительную фильтрацию аудиосигнала таким образом, что после предварительной фильтрации психоакустически более важные части усиливаются относительно психоакустически менее важных частей. На стороне декодера постфильтр воплощен как фильтр для регененирования ситуации, аналогичной ситуации перед предварительной фильтрацией, то есть как инверсный фильтр, который усиливает менее важные части относительно более важных частей так, что сигнал после постфильтрации (за исключением ошибок кодирования) аналогичен исходному аудиосигналу, подаваемому в кодер.
Коэффициенты фильтра для описанного выше предварительного фильтра, предпочтительно, также передают через вспомогательную информацию из кодера в декодер.
0
1
2,
Типично, предварительный фильтр, а также постфильтр, воплощены как фильтр FIR (КИХ, конечная импульсная характеристика) с перекосом, структура которого представлена на фиг.4, или как цифровой фильтр IIR (БИХ, бесконечная импульсная характеристика) с перекосом. Фильтр, показанный на фиг.4, подробно описан в [KHL 97]. Примеры фильтров БИХ с перекосом также представлены в [KHL 97]. Все такие цифровые фильтры имеют общую часть, состоящую в том, что они имеют элементы 60 задержки, вводимой с перекосом, и взвешивающие коэффициенты или взвешивающие элементы, обозначенные как β, …, β, β…. Структура фильтра преобразуется в фильтр с перекосом, когда элемент задержки, представляющий собой структуру фильтра без перекоса (здесь не показана), заменяют всечастотным фильтром, таким как всечастотный фильтр D(z) первого порядка, как иллюстрируется с обеих сторон структур фильтра на фиг.4. Эффективное для расчетов воплощение левой структуры показано справа на фиг.4, где представлены явное использование коэффициента λ перекоса и его вариант воплощения.
0
1
2,
Таким образом, структура фильтра справа на фиг.4 может быть легко воплощена в пределах предварительного фильтра, а также в пределах постфильтра, в которых коэффициентом перекоса управляют с помощью параметра λ, в то время как характеристикой фильтра, то есть коэффициентами фильтра анализа/синтеза ЛПК, либо предварительной фильтрации, или постфильтрации, для психоакустического усиления/демпфирования более важных частей, управляют путем установки взвешивающих параметров β, …, β, β…, равными соответствующим значениям.
На фиг.5 иллюстрируется зависимость характеристики перекоса частоты для коэффициента λ перекоса, для λs от -0,8 до +0,8. Полное отсутствие перекоса получают, когда значение λ установлено в 0,0. Психоакустически полномасштабный перекос получают путем установки λ в диапазоне от 0,3 до 0,4. В общем случае, оптимальный коэффициент перекоса зависит от выбранной частоты выборки и имеет значение от приблизительно 0,3 до 0,4, для частот выборки от 32 до 48 кГц. Полученное в результате неоднородное частотное разрешение, путем использования фильтра с перекосом, аналогично шкале барков или ERB. По существу, могут быть воплощены более сильные характеристики перекоса, но их используют только в некоторых ситуациях, которые возникают, когда контроллер определяет, что такие более высокие коэффициенты перекоса являются полезными.
Таким образом, предварительный фильтр на стороне кодера, предпочтительно, будет иметь положительные значения коэффициентов λ перекоса, которые увеличивают частотное разрешение в диапазоне низкой частоты и уменьшают частотное разрешение в диапазоне высокой частоты. Следовательно, постфильтр на стороне декодера также будет иметь положительные коэффициенты перекоса. Таким образом, предпочтительный фильтр с переменным по времени перекосом в соответствии с изобретением показан на фиг.6 в позиции 70, как часть аудиопроцессора. Фильтр в соответствии с изобретением, предпочтительно, представляет собой линейный фильтр, который воплощен как предварительный фильтр или постфильтр, для фильтрации, для психоакустического усиления или демпфирования более/менее важных частей, или который воплощен как фильтр анализа/синтеза ЛПК, в зависимости от сигнала управления системы. Здесь следует отметить, что фильтр с перекосом представляет собой линейный фильтр и не меняет частоту компонента, такого как синусоидальная волна, поступающая на вход фильтра. Однако, когда предполагают, что фильтр перед перекосом представляет собой фильтр низкой частоты, схему, показанную на фиг.5, следует интерпретировать, как описано ниже.
Когда примерная синусоидальная волна имеет нормализованную исходную частоту 0,6, тогда фильтр будет применять (для коэффициента перекоса, равного 0,0) взвешивание по фазе и амплитуде, определенное импульсным откликом фильтра для этого фильтра без перекоса.
Когда коэффициент перекоса, равный 0,8, установлен для этого фильтра низкой частоты (теперь фильтр становится фильтром с перекосом), синусоидальная волна, имеющая нормализованную частоту 0,6, будет фильтроваться со взвешиванием фазы и амплитуды, которое определяет фильтр без перекоса для нормализованной частоты 0,97 по фиг.5. Поскольку этот фильтр представляет собой линейный фильтр, частота синусоидальной волны не меняется.
1
В зависимости от ситуации, когда фильтр 70 выполнен только с перекосом, тогда следует применять коэффициент перекоса или, в общем, управление 16 или 46 перекоса. Коэффициенты β фильтра получают из порога маскирования. Эти коэффициенты фильтра могут представлять собой коэффициенты для предварительного или постфильтра или коэффициенты фильтра анализа/синтеза ЛПК, или любые другие коэффициенты фильтра, используемые в связи с любым из первого или второго алгоритмов кодирования.
Таким образом, аудиопроцессор в соответствии с настоящим изобретением включает в себя, в дополнение к фильтру, имеющему переменные характеристики перекоса, контроллер 18 по фиг.1 или контроллер, воплощенный как детектор 32 алгоритма кодирования по фиг.2, или анализатор общего входного аудиосигнала, который ищет специфичную структуру сигнала во входном аудиосигнале 10/42 так, что можно установить определенную характеристику перекоса, которая соответствует специфичной структуре сигнала так, что может быть получен адаптированный по времени переменный перекос входных аудиоданных, которые представляют собой как кодированные, так и декодированные входные аудиоданные. Предпочтительно, коэффициенты предварительного фильтра и коэффициенты постфильтра идентичны друг другу.
Выходной сигнал аудиопроцессора, представленного на фиг.6, который состоит из фильтра 70 и контроллера 74, может быть затем сохранен для любого назначения или может быть обработан с помощью процессора 22 кодирования, или с помощью устройства воспроизведения звука, когда аудиопроцессор находится на стороне декодера, или может быть обработан с помощью любого другого из алгоритмов обработки сигналов.
Далее будут описаны фиг.7 и 8, на которых представлены предпочтительные варианты воплощения кодера в соответствии с изобретением (фиг.7) и декодера (фиг.8) в соответствии с изобретением. Функции этих устройств аналогичны функциям устройств, показанных на фиг.1, фиг.2. В частности, на фиг.7 иллюстрируется вариант воплощения, в котором первый алгоритм кодирования представляет кодер речи, такой как алгоритм кодирования, в котором специфичная структура сигнала представляет собой структуру речи на аудиовходе 10. Второй алгоритм 22b кодирования представляет собой общий аудиокодер, такой как простая гребенка фильтров, основанная на аудиокодере, как иллюстрируется и описано со ссылкой на фиг.9, или алгоритм аудиокодирования предварительного фильтра/постфильтра, как показано на фиг.10.
Первый алгоритм кодирования соответствует системе кодирования речи по фиг.11, которая, в дополнение к фильтру 1100 и 1102 анализа/синтеза ЛПК, также включает в себя кодер 1104 остаточных данных/возбуждения и соответствующий декодер 1106 возбуждения. В данном варианте воплощения фильтр 12 с изменяющимся по времени перекосом по фиг.7 имеет те же функции, что и фильтр 1100 ЛПК, и анализ ЛПК, воплощенный в блоке 1108 на фиг.11, воплощен в контроллере 18.
Кодер 1104 остаточных данных/возбуждения соответствует ядру 22a кодера остаточных данных/возбуждения по фиг.7. Аналогично, декодер 1106 возбуждения соответствует декодеру 36a остаточных данных/возбуждения по фиг.8, и фильтр 44 с изменяющимся по времени перекосом имеет функцию обратного фильтра 1102 ЛПК для первой части времени, которая кодирована в соответствии с первым алгоритмом кодирования.
Коэффициенты фильтра ЛПК, генерируемые блоком 1108, соответствуют коэффициентам фильтра, показанным в позиции 90 на фиг.7 для первой части времени, и коэффициенты фильтра ЛПК, вводимые в блок 1102 по фиг.11, соответствуют коэффициентам фильтра, поступающим по линии 92 на фиг.8. Кроме того, кодер, показанный на фиг.7, включает в себя выходной интерфейс 94 кодера, который может быть воплощен как мультиплексор потока битов, но который также может быть воплощен как любое другое устройство, формирующее поток данных, пригодный для передачи и/или сохранения. В соответствии с этим на фиг.8 декодер включает в себя входной интерфейс 96, который может быть воплощен как демультиплексор потока битов для демультиплексирования специфичной информации части времени, как описано со ссылкой на фиг.3a, и также для выделения требуемой вспомогательной информации, как представлено на фиг.3b.
В варианте воплощения, показанном на фиг.7, оба ядра 22a, 22b кодирования имеют общий вход 96, и ими управляют с помощью контроллера 18 через линии 97a и 97b. Такое управление обеспечивает то, что в определенный момент времени только одно или оба из ядер 22a, 22b кодера выводят основную и вспомогательную информацию в выходной интерфейс. В качестве альтернативы, оба ядра кодирования могут работать полностью параллельно, и контроллер 18 кодера может обеспечивать вывод выходного сигнала только того ядра кодирования в поток битов, которое обозначено информацией режима кодирования, в то время как выходной сигнал другого кодера будет отброшен.
И снова, в качестве альтернативы, оба декодера могут работать параллельно, и их выходные сигналы могут суммироваться. В этой ситуации предпочтительно использовать среднюю характеристику перекоса для предварительного фильтра на стороне кодера и для постфильтра на стороне декодера. Кроме того, в данном варианте воплощения обеспечивается обработка, например, речевой части сигнала, такой как определенный диапазон частот или (в общем) части сигнала, первым алгоритмом кодирования и остальной части сигнала вторым общим алгоритмом кодирования. Затем выходные сигналы обоих кодеров передают из кодера на сторону декодера. Комбинация на стороне декодера обеспечивает то, что сигнал будет повторно объединен перед постфильтрацией.
Любой вид специфичного управления может быть воплощен до тех пор, пока обеспечивается то, что выходной кодированный аудиосигнал 24 имеет последовательность из первой и второй частей, как показано на фиг.3, или корректную комбинацию частей сигнала, таких как речевая часть и общая часть аудиоданных.
На стороне декодера информацию режима кодирования используют для декодирования части времени, используя правильный алгоритм декодирования таким образом, что чередующуюся по времени структуру первых частей и вторых частей получают на выходах ядер 36a и 36b декодера, которые затем мультиплексируют в один сигнал в области времени, что схематично иллюстрируется с использованием символа 36c сумматора. Затем, на выходе элемента 36c получают аудиосигнал в области времени, который требуется подвернуть только обработке постфильтрации, в результате которой получают декодированный аудиосигнал.
0
1
2,
Как кратко описано выше после раздела "Краткое описание чертежей", как кодер на фиг.7, так и декодер, показанный на фиг.8, могут включать в себя интерполятор 100 или 102, что позволяет обеспечить плавный переход через определенную часть времени, которая, по меньшей мере, включает в себя две выборки, но которая, предпочтительно, включает в себя больше чем 50 выборок и даже больше чем 100 выборок. Это позволяет исключить искажения кодирования, которые могут быть связаны с быстрыми изменениями коэффициента перекоса и коэффициентов фильтра. Поскольку, однако, постфильтр так же как и предварительный фильтр полностью работают в области времени, не возникают проблемы, связанные со специфичными вариантами воплощения на основе блоков. Таким образом, можно изменять, как снова показано на фиг.4, значения β, β, β… и λ от выборки к выборке, таким образом, что возможен плавный переход, например, из состояния работы с полным перекосом в другое состояние, в котором перекос отсутствует вообще. Хотя можно передавать интерполированные параметры, которые могли бы исключить интерполятор на стороне декодера, предпочтительно, не передать интерполированные значения, но передать значения перед интерполяцией, поскольку для последнего варианта требуется меньшее количество битов вспомогательной информации.
Кроме того, как было обозначено выше, ядро 22b кодера общих аудиоданных, как показано на фиг.7, может быть идентичным кодеру 1000 по фиг.10. В этом контексте предварительный фильтр 12 также выполняет функцию предварительного фильтра 1002 по фиг.10. Перцепционная модель 1004 по фиг.10 будет затем воплощена в контроллере 18 по фиг.7. Коэффициенты фильтра, генерируемые перцепционной моделью 1004, соответствуют коэффициентам фильтра по линии 90 на фиг.7 для части времени, для которой включают второй алгоритм кодирования.
Аналогично, декодер 1006 на фиг.10 воплощен с использованием ядра 36b декодера общих аудиоданных по фиг.8, и постфильтр 1008 воплощен с помощью фильтра 44 с изменяющимся по времени перекосом по фиг.8. Предпочтительно кодированные коэффициенты фильтра, сгенерированные по перцепционной модели, принимают на стороне декодера по линии 92, таким образом, что линия под названием "коэффициенты фильтра", подведенная к постфильтру 1008 на фиг.10, соответствует линии 92 на фиг.8 для части времени второго алгоритма кодирования.
Однако, по сравнению с двумя параллельно работающими кодерами, в соответствии с фиг.10 и 11, каждый их которых не является идеальным, с учетом качества звука и частоты передачи битов, в устройстве кодера в соответствии с изобретением и в устройстве декодера в соответствии изобретением используют только один, но управляемый фильтр, и работают с дискриминацией входного аудиосигнала для определения, имеет ли данная часть времени аудиосигнала специфичную структуру или она представляет собой всего лишь общий аудиосигнал.
Что касается анализатора звука в контроллере 18, можно использовать различные варианты воплощения для определения, представляет ли собой часть аудиосигнала часть, имеющую специфичную структуру сигнала, или эта часть не имеет такой специфичной структуры сигнала, и, поэтому, ее требуется обрабатывать с использованием общего алгоритма кодирования звука. Хотя были описаны предпочтительные варианты воплощения, в которых специфичная структура сигнала представляет собой речевой сигнал, можно определить другие специфичные структуры сигнала, и их можно кодировать, используя такие первые специфичные для сигнала алгоритмы кодирования, как алгоритм кодирования для гармонических сигналов, для сигналов шумов, для тональных сигналов, для сигналов типа последовательности импульсов и т.д.
Простые детекторы представляют собой детекторы анализа по синтезу, в которых, например, пытаются использовать разные алгоритмы кодирования, вместе с разными детекторами с перекосом, для определения наилучшего коэффициента перекоса, вместе с наилучшими коэффициентами фильтра и лучшим алгоритмом кодирования. Такие детекторы анализа по синтезу в некоторых случаях требуют выполнения достаточно интенсивных вычислений. Это не имеет значения в ситуации, в которой присутствует небольшое количество кодеров и большое количество декодеров, поскольку декодер может быть выполнен очень просто в этом случае. Это связано с тем фактом, что только кодер выполняет сложную вычислительную задачу, в то время как декодер может просто использовать переданную вспомогательную информацию.
Другие детекторы сигнала основаны на простом алгоритме анализа структуры, который выполняет поиск специфичной структуры сигнала в аудиосигнале и вырабатывает сигнал о положительном результате, когда степень соответствия превышает определенное пороговое значение. Подробную информацию о таких детекторах можно найти в [BLS05].
Кроме того, в зависимости от определенных требований воплощения способов в соответствии с изобретением, способы в соответствии с изобретением могут быть воплощены в виде аппаратных или программных средств. Вариант воплощения может быть выполнен с использованием цифрового носителя данных, в частности диска или CD (компакт-диска), на котором записаны считываемые электронным способом сигналы управления, которые могут взаимодействовать с программируемой компьютерной системой, в результате чего выполняются способы в соответствии с изобретением. В общем случае, настоящее изобретение, поэтому, представляет собой компьютерный программный продукт с программным кодом, сохраненным на машиночитаемом носителе, причем программный код выполнен с возможностью осуществления, по меньшей мере, одного из способов в соответствии с изобретением, когда этот компьютерный программный продукт выполняется на компьютере. Другими словами, способы в соответствии с изобретением поэтому представляют собой компьютерную программу, имеющую программный код для выполнения способов в соответствии с изобретением, когда эта компьютерная программа выполняется на компьютере.
Описанные выше варианты воплощения представляют собой просто иллюстрацию принципов настоящего изобретения. Следует понимать, что модификации и варианты компоновок и деталей, описанных здесь, будут очевидны для специалиста в данной области техники. Поэтому предполагается, что изобретение ограничивается только объемом следующей формулы изобретения, а не конкретными деталями, представленными здесь в качестве описания и пояснения вариантов воплощения.