УСТРОЙСТВО И СПОСОБ ДЛЯ ОБРАБОТКИ ЗВУКОВОГО СИГНАЛА С ИСПОЛЬЗОВАНИЕМ КОМБИНИРОВАНИЯ В ДИАПАЗОНЕ ПЕРЕКРЫТИЯ
DEVICE AND METHOD FOR AUDIO SIGNAL PROCESSING USING COMBINATION IN OVERLAPPING RANGE

Настоящее изобретение относится к аудиообработке, и в частности, к аудиообработке в контексте обработки аудиосигналов под влиянием наложения спектров.
В обычном режиме работы, модифицированное дискретное косинусное преобразование (MDCT) имеет признаки, которые делают его хорошо подходящим инструментальным средством для вариантов применения для кодирования аудио. Оно формирует критически дискретизированное спектральное представление сигналов из перекрывающихся кадров и предоставляет идеальное восстановление. Это означает то, что входной сигнал может быть восстановлен из спектральных коэффициентов прямого преобразования посредством применения операции обратного преобразования и суммирования с перекрытием в областях перекрытия. Тем не менее, если дополнительная обработка применяется к спектральным коэффициентам, MDCT имеет некоторые недостатки по сравнению с избыточно дискретизированными представлениями, такими как перекрывающаяся обработка на основе DFT. Даже относительно простая зависимая от времени и частотно-зависимая регулировка усиления, к примеру, используемая для управления динамическим диапазоном или предотвращения отсечения, может формировать нежелательные побочные эффекты. Следовательно, отдельная постобработка на основе DFT для декодирования аудио применяется в нескольких вариантах применения, которые требуют этого вида модификации сигналов, хотя спектральное представление на основе MDCT должно быть доступно в декодере. Один недостаток, помимо вычислительной сложности, заключается в дополнительной задержке, введенной посредством такой постобработки.
Стандартный подход для уменьшения наложения спектров во временной MDCT-области заключается в том, чтобы воссоздавать избыточно дискретизированное модулированное комплексное перекрывающееся преобразование (MCLT). MCLT возникает в результате комбинирования MDCT со своим комплексным аналогом, модифицированным дискретным синусным преобразованием (MDST). MCLT предлагает аналогичные признаки, такие как DFT-представление сигнала, и, следовательно, его устойчивость к наложению спектров во временной области (TDA) вследствие спектрального манипулирования является сравнимой с DFT-представлением. Однако, к сожалению, вычисление MDST-спектра из MDCT-спектра является вычислительно очень сложным и формирует значительную задержку сигнала. Следовательно, предшествующий уровень техники предоставляет технологии для уменьшения как задержки, так и сложности [2-3]. В этих подходах, преобразование из действительной в комплексную область (R2C) используется для того, чтобы аппроксимировать требуемые MDST-значения. Затем в MCLT-области применяется манипулирование спектральных коэффициентов. Впоследствии, комплексные значения преобразованы в MDCT-область снова с использованием преобразования из комплексной в действительную область (C2R). Хотя этот подход обеспечивает хорошие результаты с точки зрения наложения спектров устойчивости, он имеет некоторые недостатки. Во-первых, MDST-коэффициенты оцениваются, и их точность задается посредством величины вычислительной сложности. Во-вторых, цепочка преобразований R2C-C2R по-прежнему формирует задержку.
[1] H. S. Malvar "A modulated complex lapped transform and its applications to audio processing", in Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Phoenix, March 1999.
[2] Kuech, F.; Edler, B. "Aliasing Reduction for Modified Discrete Cosine Transform Domain Filtering and its Application to Speech Enhancement", in IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 21-24 Oct. 2007.
[3] Edler, B. "Aliasing Reduction for Gain Control with Critically Sampled Filter Banks", in First International Conference on Communications and Electronics, ICCE '06, 10-11 Oct. 2006.
[4] E. Larsen and R. M. Aarts "Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design", John Wiley and Sons, Ltd, 2004.
[5] M. Dietz, L. Liljeryd, K. Kjörling and O. Kunz "Spectral Band Replication, the novel approach in audio coding", in 112th AES Convention, Munich, May 2002.
[6] P. Ekstrand "Bandwidth Extension of Audio Signals by Spectral Band Replication", in Proceedings of 1st IEEE Benelux Workshop on MPCA, Leuven, November 2002.
Цель настоящего изобретения заключается в том, чтобы предоставлять усовершенствованный принцип для обработки аудиосигнала.
Эта цель достигается посредством устройства для обработки аудиосигнала по п. 1, способа обработки аудиосигнала по п. 15 или компьютерной программы по п. 16.
В аспекте настоящего изобретения, устройство для обработки аудиосигнала, содержащего последовательность блоков спектральных значений, содержит процессор для обработки последовательности блоков спектральных значений с использованием, по меньшей мере, одного значения модификации для первого блока, с тем чтобы получать первый результирующий сигнал с уменьшенным наложением спектров или без наложения спектров в диапазоне перекрытия, и с использованием, по меньшей мере, одного второго отличающегося значения модификации из второго блока из последовательности блоков спектральных значений, с тем чтобы получать второй результирующий сигнал с уменьшенным наложением спектров или без наложения спектров в диапазоне перекрытия. Затем оба сигнала в диапазоне перекрытия, оба из которых составляют определенное представление идентичной части сигнала, комбинируются для того, чтобы получать обработанный сигнал для диапазона перекрытия.
Предпочтительно, это комбинирование основывается на плавном переходе от одного результирующего сигнала к другому результирующему сигналу, т.е. на постепенном затухании первого результирующего сигнала и параллельном постепенном нарастании второго результирующего сигнала.
Предпочтительно, процессор содержит модуль модификации для модификации первого блока последовательности с использованием, по меньшей мере, одного первого значения модификации, с тем чтобы получать первый модифицированный блок, для модификации второго блока последовательности с использованием, по меньшей мере, одного второго значения модификации, с тем чтобы получать второй модифицированный блок, для модификации второго блока с использованием, по меньшей мере, одного первого значения модификации, с тем чтобы получать третий модифицированный блок, и для модификации первого блока с использованием, по меньшей мере, одного второго значения модификации, с тем чтобы получать четвертый модифицированный блок. Спектрально-временной преобразователь выполнен с возможностью преобразования первого-четвертого модифицированных блоков в их временные представления, и предусмотрен сумматор с перекрытием для суммирования с перекрытием первого и третьего модифицированных блоков, с тем чтобы получать результирующий сигнал, и для суммирования с перекрытием временных представлений второго и четвертого модифицированных блоков, с тем чтобы получать второй результирующий сигнал. Следовательно, по существу выполняются две параллельных операции обратного преобразования, один для первого значения модификации усиления, и одна для второго значения модификации усиления.
Когда значение модификации усиления является только зависимым от времени, т.е. является постоянным на всем протяжении частотного диапазона, в таком случае только одно значение модификации усиления используется для модификации блока. Тем не менее, если значение модификации усиления варьируется по частоте, то каждый блок спектральных значений модифицируется с множеством значений модификации усиления. Значение модификации усиления может применяться к каждому отдельному спектральному значению или к группе спектральных значений, к примеру, к 2, 3, 4 или 5 смежным по частоте спектральным значениям. Тем не менее, в общем случае, одно значение модификации усиления может существовать для каждой спектральной линии, блок спектральных значений модифицируется с числом значений модификации усиления, причем число равно числу спектральных значений в блоке спектральных значений.
Следовательно, в соответствии с этим аспектом, два выходных сигнала с уменьшенным наложением спектров или без наложения спектров формируются для области перекрытия, и затем плавный переход выполняется между этими двумя выходными или результирующими сигналами.
В соответствии с дополнительным аспектом настоящего изобретения, устройство для обработки аудиосигнала содержит процессор для вычисления сигнала под влиянием наложения спектров с использованием, по меньшей мере, одного первого значения модификации для первого блока последовательности и, по меньшей мере, одного второго отличающегося значения модификации для второго блока из последовательности блоков спектральных значений. Далее оценивается сигнал ошибки вследствие наложения спектров, причем этот сигнал ошибки вследствие наложения спектров включен в аудиосигнал под влиянием наложения спектров (подвергаемый наложению спектров). Затем сигнал под влиянием наложения спектров и сигнал ошибки вследствие наложения спектров комбинируются таким образом, что сигнал, получаемый посредством комбинирования, представляет собой сигнал с уменьшенным наложением спектров или без наложения спектров.
Другими словами, другой аспект основывается на вычислении сигнала под влиянием наложения спектров и сигнала ошибки вследствие наложения спектров и последующем комбинировании обоих сигналов, с тем чтобы получать сигнал с уменьшенным наложением спектров или без наложения спектров. Предпочтительно, наложение спектров подавляется посредством восстановления входного сигнала в области перекрытия посредством дополнительного частотно-временного преобразования с равными усилениями для обоих блоков, умножения на оконную функцию или связанную функцию, обращения во времени, умножения на разность усилений между двумя значениями усиления или модификации и вычитания из вывода обработки с различным усилением.
Предпочтительно, используемый алгоритм преобразования представляет собой модифицированное дискретное косинусное преобразование (MDCT), и операция обратного преобразования представляет собой обратное модифицированное дискретное косинусное преобразование. Альтернативно, могут использоваться другие такие преобразования с введением наложения спектров, к примеру, MDST (модифицированное дискретное синусное преобразование) либо обратное модифицированное дискретное синусное преобразование (IMDST), либо любое другое такое преобразование, при котором на аналитической стороне число выборок во временной части превышает число спектральных значений, или иначе говоря, в котором предусмотрена область перекрытия между двумя последующими временными частями, приводящими к двум последующим блокам спектральных значений, т.е. в блоках спектральных значений, которые являются последующими во времени. Здесь, оба блока спектральных значений связаны, по меньшей мере, частично с одной и той же областью перекрытия, т.е. с областью перекрытия между тем двумя временными частями, которые в итоге приводят к двум последующим во времени блокам спектральных значений. Это означает то, что на аналитической стороне число выборок временной области в блоке выборок или в кадре превышает число значений в частотной области в блоке представления в частотной области, а на синтезирующей стороне число синтезированных выборок временной области превышает число спектральных значений в блоке, используемом для синтезирования перекрывающихся блоков выборок временной области.
Тем не менее, в качестве заключительного этапа на синтезирующей стороне, обработка суммирования с перекрытием выполняется таким образом, что, в конечном счете, число выборок в диапазоне перекрытия ниже числа выборок временной области в синтезированном кадре и предпочтительно равно числу спектральных значений блока спектральных значений. Во втором случае, получается критически дискретизированное преобразование, и такие преобразования предпочитаются для настоящего изобретения, но настоящее изобретение также может применяться к некритически дискретизированным преобразованиям, хотя эти преобразования имеют некоторый дополнительный объем служебной информации по сравнению с критически дискретизированными преобразованиями.
Изобретаемые аспекты являются полезными не только для компенсации наложения спектров вследствие изменяющейся во времени/по частоте модификации усиления, но также и для расширения полосы пропускания (BWE). В этом примере использования, реплицированный спектр, сформированный посредством стадии перезаписи BWE-алгоритма, должен формироваться со спектральной огибающей, которая максимально возможно близко совпадает с исходной спектральной огибающей [4-6]. Эта спектральная огибающая, в общем, является как зависимой от времени, так и частотно-зависимой. Хотя в большинстве BWE-технологий предшествующего уровня техники схема перезаписи является постоянной, можно выполнять изменяющуюся во времени перезапись, которая приводит к дополнительному наложению спектров. Новая предложенная технология подавления наложения спектров также имеет возможность обрабатывать эти BWE-артефакты.
Далее поясняются предпочтительные варианты осуществления настоящего изобретения в контексте прилагаемых чертежей, на которых:
Фиг. 1a является предпочтительным вариантом осуществления первого аспекта;
Фиг. 1b является предпочтительным вариантом осуществления второго аспекта;
Фиг. 1c является схематичным представлением последовательности блоков спектральных значений;
Фиг. 1d является схематичным представлением последовательности перекрывающихся временных частей, приводящих к последовательности блоков по фиг. 1c;
Фиг. 2a иллюстрирует реализацию прямого преобразования с введением наложения спектров;
Фиг. 2b иллюстрирует реализацию обратного преобразования с уменьшением наложения спектров;
Фиг. 3a иллюстрирует дополнительный вариант осуществления второго аспекта;
Фиг. 3b иллюстрирует дополнительный вариант осуществления второго аспекта;
Фиг. 3c иллюстрирует принципиальную схему применения расширения полосы пропускания для первого и второго аспектов;
Фиг. 4 иллюстрирует компонент ошибки вследствие наложения спектров для второго аспекта;
Фиг. 5a иллюстрирует вариант осуществления первого аспекта;
Фиг. 5b иллюстрирует вариант осуществления второго аспекта;
Фиг. 6 иллюстрирует член наложения спектров, сформированный посредством восстановления, обращения во времени и оконного преобразования, связанных со вторым аспектом;
Фиг. 7 иллюстрирует варьирующиеся коэффициенты усиления в кадре;
Фиг. 8 иллюстрирует применение коэффициентов усиления до обратной MDCT-обработки; и
Фиг. 9 иллюстрирует сигналы, связанные с обработкой по фиг. 8.
Фиг. 1a иллюстрирует устройство для обработки аудиосигнала, содержащего последовательность блоков спектральных значений в соответствии с первым аспектом. Устройство для обработки содержит процессор 100 для обработки последовательности блоков спектральных значений с использованием, по меньшей мере, одного значения 102 модификации для первого блока, с тем чтобы получать первый результирующий сигнал 104 с уменьшенным наложением спектров или без наложения спектров. Кроме того, процессор обрабатывает второй блок из последовательности блоков, которая следует после первого блока во времени или которая предшествует первому блоку во времени и которая является непосредственно смежной с первым блоком, с использованием, по меньшей мере, одного второго отличающегося значения модификации, т.е. второго значения 106 модификации, которое отличается от первого значения модификации, с тем чтобы получать второй результирующий сигнал 108 с уменьшенным наложением спектров или без наложения спектров в перекрывающемся диапазоне. Следовательно, процессор формирует два сигнала временной области без наложения спектров или, по меньшей мере, с уменьшенным наложением спектров для идентичного перекрывающегося диапазона. Эти сигналы 108 вводятся в модуль 110 комбинирования для комбинирования первого и второго результирующих сигналов в диапазоне перекрытия, с тем чтобы получать обработанный сигнал 112 для диапазона перекрытия. Предпочтительно, процессор выполнен с возможностью формирования двух выходных сигналов без наложения спектров для области перекрытия и затем предпочтительно выполняет плавный переход между этими двумя выходными сигналами без наложения спектров. Одна реализация для процессора, чтобы достигать этого, заключается в предоставлении полной обработки обратного преобразования, к примеру, IMDCT-обработки, для обоих блоков или обоих различных значений модификации для блоков. Другими словами, процессор формирует полную IMDCT-обработку для диапазона перекрытия первого блока, одних и тех же значений модификации для первого и второго блока. Кроме того, процессор выполняет полную IMDCT-обработку для первого и второго блока, но теперь с использованием вторых значений модификации. Обе из этих операций полной IMDCT-обработки приводят к двум результирующим сигналам временной области без наложения спектров или, по меньшей мере, с уменьшенным наложением спектров в перекрывающемся диапазоне, которые затем комбинируются посредством модуля комбинирования.
Далее поясняется второй аспект в контексте фиг. 1b. Фиг. 1b иллюстрирует устройство для обработки аудиосигнала, содержащего последовательность блоков спектральных значений в соответствии с вариантом осуществления настоящего изобретения относительно второго аспекта. Устройство содержит процессор 150 для вычисления сигнала 154 под влиянием наложения спектров с использованием, по меньшей мере, одного первого значения 102 модификации для первого блока из последовательности 114 блоков спектральных значений и с использованием, по меньшей мере, одного отличающегося второго значения 106 модификации для второго блока из последовательности 114 блоков спектральных значений. Процессор выполнен с возможностью оценки, в дополнение к сигналу 154 под влиянием наложения спектров, сигнала 158 ошибки вследствие наложения спектров. Кроме того, устройство содержит модуль 152 комбинирования для комбинирования сигнала под влиянием наложения спектров и сигнала ошибки вследствие наложения спектров таким образом, что обработанный аудиосигнал 112, полученный посредством комбинирования посредством модуля 152 комбинирования, представляет собой сигнал с уменьшенным наложением спектров или без наложения спектров.
В частности, в соответствии со вторым аспектом, проиллюстрированным на фиг. 1b, обработка выполняется с использованием различных значений модификации для блоков, связанных с идентичным перекрывающимся диапазоном, что приводит к сигналу 154 под влиянием наложения спектров. Тем не менее, в отличие от предшествующего уровня техники, в котором этот сигнал под влиянием наложения спектров используется для последующей обработки, и наведенная наложением спектров ошибка допускается, это не выполняется в настоящем изобретении. Вместо этого, процессор 150 дополнительно вычисляет сигнал 158 ошибки вследствие наложения спектров, сигнал ошибки вследствие наложения спектров затем типично комбинируется с сигналом под влиянием наложения спектров посредством вычитания или, в общем, линейного комбинирования со взвешиванием, так что обработанный аудиосигнал предпочтительно не имеет наложения спектров, но даже когда комбинация или конкретный сигнал ошибки вследствие наложения спектров полностью не вычисляется точно, комбинирование, тем не менее, приводит к обработанному аудиосигналу, имеющему меньшую ошибку вследствие наложения спектров, чем сигнал 154 под влиянием наложения спектров.
Во множестве вариантов применения, желательно модифицировать спектральные коэффициенты посредством применения коэффициентов усиления к ним перед подачей в IMDCT, так что:
,
где  является MDCT-спектром j-го кадра, k является частотным индексом,  является зависимой от времени и частотно-зависимой функцией спектрального взвешивания, и  является фильтрованным MDCT-спектром. Это применение коэффициентов усиления также показано на фиг. 8.
j-1
j
j
В частности, фиг. 8 иллюстрирует типичную систему MDCT-синтеза предшествующего уровня техники, в которой спектральные значения предшествующего блока 800, имеющего временной индекс j-1, умножаются, по меньшей мере, на один коэффициент g усиления посредством умножителя 802. Кроме того, текущий блок 804 с временным индексом j умножается или модифицируется посредством коэффициента g усиления для текущего блока, указываемого на 805. В частности, коэффициент 801 усиления для предыдущего блока с временным индексом j-1, указываемого на 801, и коэффициент g усиления для текущего блока 805 отличаются друг от друга. Кроме того, как указано на фиг. 8, коэффициент усиления может быть частотно-зависимым. Это проиллюстрировано посредством частотного индекса k. Следовательно, каждое спектральное значение с индексом k умножается на соответствующий первый или второй коэффициент 801, 805 усиления, в зависимости от того, какому блоку 800 или 804 принадлежит коэффициент усиления. Следовательно, вследствие того факта, что коэффициенты усиления для двух блоков являются зависимыми от времени и/или частотно-зависимыми, ошибка вследствие наложения спектров приводит к обработке, когда обработка на фиг. 8 применяется. Эта обработка состоит из IMDCT-операции 807 для предшествующего блока 800 и дополнительной IMDCT-операции 808 для текущего блока 804. IMDCT-операция состоит из частотно-временного преобразования и последующей операции развертывания, как подробнее поясняется в контексте фиг. 2b. Затем обработка суммирования с перекрытием, которая дополнительно содержит, перед фактическим суммированием, модуль синтезирующего оконного преобразования, выполняется посредством блока 809, чтобы в итоге получать сигнал y(n) под влиянием наложения спектров, указываемый на 810. Следовательно, сигнал 810 под влиянием наложения спектров типично может быть точно идентичным сигналу под влиянием наложения спектров, проиллюстрированному на 154 на фиг. 1b.
Если усиления в двух последующих кадрах отличаются, члены наложения спектров более не сокращаются взаимно, как можно видеть на фиг. 9 (справа), на котором коэффициенты усиления являются постоянными по частоте, но не во времени. В этом примере, они составляют  и , так что оставшийся компонент наложения спектров представляет собой наложение спектров из кадра 0, умноженное на коэффициент 0,3.
Следует отметить, что для такого простого случая, который в основном выбран для иллюстрации, обработка в частотной области не требуется, поскольку аналогичный эффект может достигаться без проблем наложения спектров посредством применения подходящей временной огибающей. Тем не менее, этот пример помогает пояснять базовую идею относительно схемы уменьшения наложения спектров. Здесь, оставшийся компонент наложения спектров является обращенным во времени и подвергнутым оконному преобразованию входным сигналом, умноженным на разность двух коэффициентов усиления, которая в нашем примере составляет 0,3. Следовательно, наложение спектров может подавляться посредством следующих этапов:
- восстановление входного сигнала в области перекрытия посредством дополнительного IMDCT с равными усилениями для двух блоков,
- умножение на функцию ,
- обращение во времени,
- умножение на разность усилений в 0,3,
- вычитание из вывода обработки с другим усилением.
Вывод первых трех этапов проиллюстрирован на фиг. 6.
В первом аспекте, вычисляются два выходных сигнала без наложения спектров для области перекрытия, и затем плавный переход выполняется между ними. Фиг. 5a показывает блок-схему варианта осуществления.
Первый сигнал  получается из IMDCT-обработки двух затрагиваемых кадров со спектральными коэффициентами  и  с равными наборами коэффициентов  усиления. Компоненты наложения спектров во временной области двух кадров подавляют друг друга, поскольку отсутствуют разности усилений. Второй сигнал  формируется, соответственно, из  и , но теперь с использованием коэффициентов  усиления. Варьирование спектральной формы теперь может получаться посредством выполнения плавного перехода от  к  в области перекрытия:
,
где  типично монотонно снижается с 1 до 0 в интервале . Для случая , можно показывать, что оба подхода формируют совершенно идентичный вывод (см. приложение для получения подробных сведений). Тем не менее, свобода выбора функций плавного перехода независимо от окна MDCT приносит пользу для этого подхода, который проиллюстрирован на фиг. 5a.
Что касается чистого варьирования усиления, вторая процедура может уменьшать компоненты наложения спектров посредством формирования двух сигналов без наложения спектров и выполнения плавного перехода. Здесь, каждый из двух сигналов получается посредством использования равного наложения и равных коэффициентов усиления в двух соответствующих кадрах (см. фиг. 5b). Специальные различия не должны проводиться для постоянного и фиксированного наложения. Постоянное наложение просто должно логически выводить равное преобразование  для всех кадров.
Обработка становится более сложной, если коэффициенты усиления варьируются не только во времени, но также и по частоте. В этом случае, замена посредством временной огибающей более невозможна, и формирование обращенного во времени входного сигнала также не предоставляет подходящий сигнал для уменьшения компонента наложения спектров. Это проиллюстрировано в следующем примере, в котором усиления в первом кадре снова являются постоянными по частоте , но во втором кадре  варьируется, как показано на фиг. 7.
Это приводит к неподавленному компоненту наложения спектров, который, тем не менее, имеет форму, отличную от формы, показанной на фиг. 9 (справа). Как видно в первом примере, разности усилений вызывают неподавленные компоненты наложения спектров. Следовательно, процедура показана на фиг. 3a.
Уменьшение наложения спектров выполняется посредством следующих этапов, проиллюстрированных на фиг. 3a:
- формирование дополнительных спектральных коэффициентов посредством взвешивания (307, 308) исходных коэффициентов посредством разностей усилений:
- восстановление (303, 304, 306) входного сигнала в области перекрытия посредством дополнительного IMDCT с помощью  и ,
- умножение (330) на функцию ,
- обращение во времени (340),
- комбинирование, к примеру, суммирование или вычитание для вывода обработки с различным усилением.
Порядок члена  разности усилений определяет то, должен вывод обращения во времени суммироваться или вычитаться из регулярного IMDCT-вывода для конкретно проиллюстрированной MDCT-реализации. Для других MDCT-реализаций, знаки могут отличаться:
: суммирование вывода обращения во времени с регулярным IMDCT-выводом.
: вычитание вывода обращения во времени из регулярного IMDCT-вывода.
Следовательно, для вышеописанного варианта осуществления и для проиллюстрированного случая на фиг. 3a, на котором проиллюстрирован , модуль 341 комбинирования должен реализовываться как сумматор, суммирующий оба ввода.
Следует отметить, что требуемые знаки могут отличаться для различных реализаций перекрывающихся преобразований. Предусмотрено, например, по меньшей мере, четыре варианта осуществления для MDCT с нечетным укладыванием. Кроме того, предусмотрены дополнительные варианты осуществления для MDCT с четным укладыванием или ELT с несколькими перекрытиями. Для MDCT с нечетным укладыванием знаки для членов коррекции отличаются. Следовательно, комбинирование, выполняемое в блоке 341, может содержать суммирование или вычитание.
Член коррекции наложения спектров для текущего примера показан вместе с IMDCT-выводом с наложением спектров на фиг. 4.
Стадия перезаписи BWE-алгоритма описывается посредством функции  преобразования. Для копирования нижней половины спектральных коэффициентов в верхнюю половину, необходимо следующее:
Функция усиления является постоянной и равной 1 в нижней половине:
.
Если коэффициенты усиления варьируются в верхней половине спектра, снова возникает неподавленное наложение спектров. Тем не менее, уменьшение наложения спектров может выполняться точно аналогичным образом, как описано в первом подходе, описанном выше, с единственным отличием в том, что наложение также должно учитываться при формировании сигнала компенсации. Это может достигаться посредством использования преобразованных спектральных коэффициентов по мере того, как они подаются в IMDCT, и их взвешивания надлежащим образом с разностями усилений. В этом случае, все разности усилений в нижней половине являются нулевыми.
Усовершенствованное расширение полосы пропускания может применять наложение, которое варьируется между кадрами. Это может описываться посредством задания отдельной функции  преобразования для каждого кадра. В этом случае, уменьшение наложения спектров должно учитывать то, что различные компоненты могут копироваться в идентичный частотный индекс в двух кадрах, оказывающих влияние на общую область перекрытия. Это должно рассматриваться при формировании компонента уменьшения наложения спектров. С этой целью, наложение в первом кадре обрабатывается, как описано выше, с усилением в  в кадре  и в 0 в кадре , и наложение в кадре j предположительно имеет усиление в 0 в кадре  и в  в кадре . Результирующие спектральные коэффициенты для формирования сигнала уменьшения наложения спектров являются следующими:
Блок-схема для этой конфигурации показана на фиг. 3b.
В следующем разделе подробнее поясняются два аспекта на фиг. 3a, а также на фиг. 5a и 5b относительно подобий.
MDCT с частотным разрешением  спектральных коэффициентов кадра  выборок , начинающихся в позиции  выборки, задается следующим образом:
,
где является оконной функцией длины , является частотным индексом,  является индексом выборки во временной области. Кадр  временного сигнала  задается следующим образом:
Промежуточный выходной кадр  получается из спектральных компонентов  с обратным преобразованием следующим образом:
Конечный вывод обработки обратного MDCT (IMDCT) вычисляется посредством суммирования перекрывающихся сегментов следующим образом:
Для сокращения  и следующих условий для окон:
и:
,
вывод IMDCT в области перекрытия после применения коэффициентов усиления следующий:
,
где:
Член коррекции наложения спектров второго аспекта, описанного относительно фиг. 1b, 3a, после суммирования с перекрытием, оконного преобразования и обращения во времени следующий:
,
где:
Косинусные члены имеют следующие симметрии:
Их подстановка приводит к следующему:
Вычитание  из  обеспечивает члены, компонующие вывод уменьшения наложения спектров:
,
который соответствует плавному переходу между сигналами, восстановленными с усилениями  и  согласно первому аспекту, проиллюстрированному и описанному со ссылкой на фиг. 1a, 5a и 5b.
Далее следует обратиться к фиг 1c и 1d, чтобы иллюстрировать взаимосвязь временных частей и блоков либо на стороне кодера или на аналитической стороне, либо на стороне декодера или на синтезирующей стороне.
Фиг. 1d иллюстрирует схематичное представление нулевой-третьей временных частей, и каждая временная часть из этих последующих временных частей имеет определенный перекрывающийся диапазон 170. На основе этих временных частей, блоки из последовательности блоков, представляющих перекрывающиеся временные части, формируются посредством обработки, подробнее поясненной относительно фиг. 2a, показывающего аналитическую сторону операции преобразования с введением наложения спектров.
В частности, сигнал временной области, проиллюстрированный на фиг. 1d, когда фиг. 1d применяется к аналитической стороне, подвергается оконному преобразованию посредством применения функции аналитического оконного преобразования посредством модуля 201 оконного преобразования. Следовательно, для того чтобы получать нулевую временную часть, например, модуль оконного преобразования применяет функцию аналитического оконного преобразования, например, к 2048 выборкам и, в частности, к выборкам 1-2048. Следовательно, N равен 1024, и окно оконного преобразования имеет длину в 2N выборок, которая в примере составляет 2048. Затем модуль оконного преобразования применяет дополнительную операцию анализа, но не для выборки 2049 в качестве первой выборки блока, а для выборки 1025 в качестве первой выборки в блоке, с тем чтобы получать первую временную часть. Следовательно, получается первый диапазон 170 перекрытия, который имеет длину в 1024 выборок для 50%-го перекрытия. Эта процедура дополнительно применяется для второй и третьей временных частей, но всегда с перекрытием, с тем чтобы получать определенный диапазон 170 перекрытия.
Следует подчеркнуть, что перекрытие не обязательно должно быть 50%-м перекрытием, и перекрытие может быть более высоким и более низким и даже может быть множественным перекрытием, т.е. перекрытием более чем двух окон оконного преобразования, так что выборка аудиосигнала временной области не способствует двум окнам оконного преобразования и, следовательно, только блокам спектральных значений, а выборка в таком случае способствует даже более чем двум окнам оконного преобразования/блокам спектральных значений. С другой стороны, специалисты в данной области техники дополнительно понимают, что существуют другие формы окон оконного преобразования, которые могут применяться посредством модуля 201 оконного преобразования по фиг. 2a, которые имеют 0 частей и/или части, имеющие единичные значения. Для таких частей, имеющих единичные значения, очевидно, что такие части типично перекрываются с 0 частями предыдущих или последующих окон оконного преобразования, и, следовательно, определенная аудиовыборка, расположенная в постоянной части окна оконного преобразования, имеющего единичные значения, способствует только одному блоку спектральных значений.
Подвергнутые оконному преобразованию временные части, полученные посредством фиг. 1d, затем перенаправляются в модуль 202 свертывания для выполнения операции свертывания. Эта операция свертывания, например, может выполнять свертывание таким образом, что в выводе модуля 202 свертывания существуют только блоки значений дискретизации, имеющих N выборок в расчете на блок. Далее, после операции свертывания, выполняемой посредством модуля 202 свертывания, применяется частотно-временной преобразователь, который представляет собой, например, DCT-IV-преобразователь, преобразующий N выборок в расчете на блок во вводе в N спектральных значений в выводе частотно-временного преобразователя 203.
Таким образом, последовательность блоков спектральных значений, полученных в выводе блока 203, проиллюстрирована на фиг. 1c, в частности, показывающем первый блок 191, имеющий ассоциированное первое значение модификации, проиллюстрированное на 102 на фиг. 1a и 1b, и второй блок 192, имеющий ассоциированное второе значение модификации, к примеру, 106, проиллюстрированное на фиг. 1a и 1b. Естественно, последовательность имеет больше блоков 193 или 194, предшествующих второму блоку или даже перед первым блоком, как проиллюстрировано. Первый и второй блоки 191, 192, например, получены посредством преобразования подвергнутой оконному преобразованию первой временной части по фиг. 1d, с тем чтобы получать первый блок, и второй блок получается посредством преобразования подвергнутой оконному преобразованию второй временной части по фиг. 1d посредством частотно-временного преобразователя 203 по фиг. 2a. Следовательно, оба блока спектральных значений, смежные во времени в последовательности блоков спектральных значений, представляют перекрывающийся диапазон, покрывающий первую временную часть и вторую временную часть.
Далее поясняется фиг. 2b, чтобы иллюстрировать обработку на синтезирующей стороне или на стороне декодера результата обработки на стороне кодера или на аналитической стороне, по фиг. 2a. Последовательность блоков спектральных значений, выводимых посредством преобразователя 203 частоты по фиг. 2a, вводится в модуль 211 модификации. Как указано, каждый блок спектральных значений имеет N спектральных значений для примера, проиллюстрированного на фиг. 1c-2b. Каждый блок имеет ассоциированные значения модификации, к примеру, 102, 104, проиллюстрированные на фиг. 1a и 1b. Затем в типичной IMDCT-операции или в типичном синтезирующем преобразовании для уменьшения избыточности, выполняются операции, проиллюстрированные посредством частотно-временного преобразователя 212, модуля 213 свертывания для развертывания, модуля 214 оконного преобразования для применения функции синтезирующего оконного преобразования, и операция сумматора с перекрытием, проиллюстрированная посредством блока 215, с тем чтобы получать сигнал временной области в диапазоне перекрытия. Он имеет, в примере, 2N значений в расчете на блок, так что после каждой операции суммирования с перекрытием, N новых выборок временной области без наложения спектров получаются при условии, что значения 102, 104 модификации не являются переменными во времени или по частоте. Тем не менее, если эти значения являются переменными по времени и частоте, то выходной сигнал блока 215 имеет наложение спектров, но эта проблема устраняется посредством первого и второго аспекта настоящего изобретения, как пояснено в контексте фиг. 1b и 1a, и как пояснено в контексте других чертежей в подробном описании.
Далее приводится дополнительная иллюстрация процедур, выполняемых посредством блоков на фиг. 2a и фиг. 2b.
Иллюстрация иллюстрируется в отношении MDCT, но другие преобразования с введением наложения спектров могут обрабатываться аналогичным и похожим способом. В качестве перекрывающегося преобразования, MDCT является несколько необычным по сравнению с другими связанными с Фурье преобразованиями в том, что оно имеет наполовину меньшее число выводов по сравнению с числом вводов (вместо идентичного числа). В частности, оно представляет собой линейную функцию  (где R обозначает набор действительных чисел). 2N действительных чисел x0, …, x2N-1 преобразованы в N действительных чисел X0, …, XN-1 согласно формуле:
(Коэффициент нормализации перед этим преобразованием, здесь единица, является произвольным правилом и отличается между обработками. Ограничивается только произведение нижеописанных нормализаций MDCT и IMDCT).
Обратное MDCT известно как IMDCT. Поскольку существуют различные числа вводов и выводов, на первый взгляд может казаться, что MDCT не должно быть обратимым. Тем не менее, идеальная обратимость достигается посредством суммирования перекрывающихся IMDCT смежных во времени перекрывающихся блоков, что вызывает подавление ошибок и извлечение исходных данных; эта технология известна как подавление наложения спектров во временной области (TDAC).
IMDCT преобразует N действительных чисел X0, …, XN-1 в 2N действительных чисел y0, …, y2N-1 согласно формуле:
(Аналогично DCT-IV, ортогональному преобразованию, инверсия имеет форму, идентичную форме прямого преобразования).
В случае MDCT с оконным преобразованием с обычной нормализацией оконной функции (см. ниже), коэффициент нормализации перед IMDCT должен умножаться на 2 (т.е. становится равным 2/Н).
В типичных вариантах применения для сжатия сигналов, свойства преобразования дополнительно улучшены посредством использования оконной функции wn (n=0, …, 2N-1), которая умножается на xn и yn в вышеприведенных MDCT- и IMDCT-формулах, во избежание неоднородностей на границах n=0 и 2N за счет плавного снижения функции до нуля в этих точках. (Иными словами, подвергаются оконному преобразованию данные перед MDCT и после IMDCT.) В принципе, x и y могут иметь различные оконной функции, и оконная функция также может изменяться в зависимости от следующих друг за другом блоков (в частности, для случая, в котором комбинируются блоки данных различных размеров), но для простоты рассматривается общий случай идентичных оконных функций для блоков одинакового размера.
Преобразование остается обратимым (т.е. TDAC работает), для функции симметричного оконного преобразования wn=w2N-1-n, при условии, что w удовлетворяет условию Принцена-Брэдли:
,
используются различные оконной функции. Окно оконного преобразования, которое формирует форму, известную как модулированное перекрывающееся преобразование, задается следующим образом:
и используется для MP3 и MPEG-2 AAC, и:
для Ворбиса. AC-3 использует выведенную функцию Кайзера-Бесселя (KBD) оконного преобразования, и MPEG-4 AAC также может использовать оконную функцию KBD.
Следует отметить, что окна оконного преобразования, применяемые к MDCT, отличаются от окон оконного преобразования, используемых для некоторых других типов анализа сигналов, поскольку они должны удовлетворять условию Принцена-Брэдли. Одна из причин этого отличия состоит в том, что оконной функции MDCT применяются дважды как для MDCT (анализ), так и для IMDCT (синтез).
Как можно видеть посредством проверки определений, для четных N, MDCT по существу является эквивалентным DCT-IV, в котором ввод сдвигается на n/2, и два N-блока данных преобразуются одновременно. Посредством более тщательного анализа этой эквивалентности, могут легко извлекаться важные свойства, такие как TDAC.
Чтобы задавать точную взаимосвязь с DCT-IV, следует понимать, что DCT-IV соответствует чередующимся четным/нечетным граничным условиям: четный на левой границе (вокруг n=-1/2), нечетный на правой границе (вокруг n=N-1/2) и т.д. (вместо периодических границ, как в DFT). Это следует из идентификаторов и. Таким образом, если его вводы:
, и
.
Таким образом, если его вводы представляют собой массив x длины N, можно предполагать расширение этого массива до (x,-xR,-x, xR, …,) и т.д., где xR обозначает x в обратном порядке.
Рассмотрим MDCT с 2N вводов и N выводов, где вводы разделяются на четыре блока (a, b, c, d), каждый из которых имеет размер N/2. Если сдвигать их вправо на n/2 (от члена +N/2 в MDCT-определении), то (b, c, d) идут после конца N DCT-IV-вводов, так что следует их "обратно свертывать" согласно граничным условиям, описанным выше.
Таким образом, MDCT с 2N вводов (a, b, c, d) является точно эквивалентным DCT-IV с N вводов: (-cR-d, a-bR), где R обозначает "обратное", как описано выше.
Это иллюстрируется для функции 202 оконного преобразования на фиг. 2a; a является частью 204b, b является частью 205a, c является частью 205b, и d является частью 206a.
(Таким образом, любой алгоритм для того, чтобы вычислять DCT-IV, может тривиально применяться к MDCT.)
Аналогично, вышеприведенная IMDCT-формула составляет точно 1/2 DCT-IV (что является ее собственной инверсией), при этом вывод идет (через граничные условия) до длины 2N и сдвигается обратно влево на n/2. Обратное DCT-IV должно просто предоставлять обратно вводы (-cR-d, a-bR) сверху. Когда он идет через граничные условия и сдвигается, получается следующее:
IMDCT(MDCT(a, b, c, d))=(a-bR, b-aR, c+dR, d+cR)/2.
Половина IMDCT-выводов в силу этого является избыточной, поскольку b-aR=- (a-bR)R и аналогично для последних двух членов. Если ввод группируется в большие блоки A, B размера N, где A=(a, b) и B=(c, d), можно записывать этот результат проще:
IMDCT(MDCT(A, B))=(AAR, B+BR)/2
Теперь можно понимать, как работает TDAC. Предположим, что вычисляется MDCT смежного во времени 2N-блока (B, C) с 50%-ным перекрытием. В таком случае, IMDCT должно давать в результате, аналогично вышеприведенному: (BBR, C+CR)/2. Когда означенное суммируется с предыдущим IMDCT-результатом в перекрывающейся половине, обратные члены сокращаются, и получаются просто B, восстанавливая исходные данные.
Происхождение термина "подавление наложения спектров во временной области" теперь понятно. Использование входных данных, которые выходят за пределы границ логического DCT-IV, приводит к тому, что данные подвергаются наложению спектров способом, идентичным способу, в котором частоты за пределами частоты Найквиста подвергаются наложению спектров в нижних частотах, за исключением того, что это наложение спектров возникает во временной области вместо частотной области: нельзя отличать доли a и bR в MDCT(a, b, c, d) или эквивалентно, в результате IMDCT(MDCT(a, b, c, d))=(a-bR, b-aR, c+dR, d+cR)/2. Комбинации c-dR и т.д. имеют точно правильные знаки для сокращения комбинаций, когда они суммируются.
Для нечетных N (которые редко используются на практике), N/2 не является целым числом, так что MDCT не является просто перестановкой со сдвигом DCT-IV. В этом случае, дополнительный сдвиг наполовину выборки означает, что MDCT/IMDCT становится эквивалентным DCT-III/II, и анализ является аналогичным вышеприведенному.
Выше можно видеть, что MDCT с 2N вводов (a, b, c, d) является эквивалентным DCT-IV с N вводов (-cR-d, a-bR). DCT-IV разработано для случая, в котором функция на правой границе является нечетной, и, следовательно, значения около правой границы имеют значение около 0. Если входной сигнал является сглаженным, имеет место следующее: самые правые компоненты a и bR являются последовательными во входной последовательности (a, b, c, d), и, следовательно, их разность является небольшой. Посмотрим на середину интервала: если вышеприведенное выражение перезаписывается как (-cR-d, a-bR)=(-d,a)-(b,c)R, второй член, (b,c)R, предоставляет плавный переход в середине. Тем не менее, в первом члене, (-d,a), существует потенциальная неоднородность, когда правый конец -d соответствует левому концу a. Это является причиной использования оконной функции, которая уменьшает компоненты около границ входной последовательности (a, b, c, d) до 0.
Выше доказано TDAC-свойство для обычного MDCT, что показывает то, что суммирование IMDCT смежных во времени блоков в перекрывающейся половине восстанавливает исходные данные. Извлечение этого обратного свойства для MDCT с оконным преобразованием является только немного более сложным.
Рассмотрим перекрывающиеся последовательные наборы из 2N вводов (A, B) и (B, C) для блоков A,B,C размера N. Напомним из вышеприведенного, что когда (A, B) и (B, C) вводятся в MDCT, IMDCT и суммируются в перекрывающейся половине, получаются , исходные данные.
R
Теперь предположим, что умножаются как MDCT-вводы, так и IMDCT-выводы на оконную функцию длины 2N. Как описано выше, предполагается функция симметричного оконного преобразования, которая имеет, следовательно, форму (W, W), где W является вектором длины N, и R обозначает "обратное", как указано выше. Затем условие Принцена-Брэдли может записываться как , причем возведения в квадрат и сложения выполняются поэлементно.
R
Следовательно, вместо выполнения MDCT(A, B), теперь выполняются MDCT(WA, WB), причем все умножения выполняются поэлементно. Когда они вводятся в IMDCT и снова умножаются (поэлементно) на оконную функцию, последняя половина N становится следующей:
(Следует отметить, что более не выполняется умножение на 1/2, поскольку IMDCT-нормализация отличается на коэффициент 2 в подвергнутом оконному преобразованию случае).
Аналогично, MDCT с оконным преобразованием и IMDCT (B, C) дает в результате, в первой половине N:
Если суммировать эти две половины между собой, восстанавливаются исходные данные. Восстановление также является возможным в контексте переключения окон оконного преобразования, когда две перекрывающиеся половины окна оконного преобразования удовлетворяют условию Принцена-Брэдли. Уменьшение наложения спектров в этом случае может осуществляться совершенно идентично тому, как описано выше. Для преобразований с несколькими перекрытиями, более двух ветвей требуются при использовании всех соответствующих значений усиления.
j-1
j
j
Далее подробнее поясняется первый аспект со ссылкой на фиг. 5a и 5b. В частности, процессор 100, проиллюстрированный на фиг. 1a, может включать в себя все или только часть элементов 501-506, проиллюстрированных на фиг. 5a, в блоке, заданном посредством ссылки с номером 100. Предпочтительно, процессор 100 содержит модуль модификации для модификации первого блока последовательности, проиллюстрированной в качестве X, с использованием, по меньшей мере, одного первого значения 102 модификации, с тем чтобы получать первый модифицированный блок 551. Эта модификация предпочтительно выполнена посредством умножителя 510 усилений, который может реализовываться в цифровой или аналоговой форме либо любым другим подходящим способом. Кроме того, модуль модификации выполнен с возможностью модифицировать второй блок, указываемый в качестве X(k), с использованием, по меньшей мере, одного второго значения 106 модификации, с тем чтобы получать второй модифицированный блок 552. Эта модификация снова предпочтительно выполнена посредством умножителя 509, который может реализовываться аналогично умножителю 510 или другим способом. Кроме того, модуль модификации выполнен с возможностью модификации второго блока X(k) с использованием, по меньшей мере, одного первого значения 102 модификации, с тем чтобы получать третий модифицированный блок 553, причем эта модификация снова может выполняться посредством умножителя 508, который может реализовываться идентичным или другим способом относительно умножителей 510 или 509.
j-1
j
Кроме того, модуль модификации выполнен с возможностью модифицировать первый блок x с использованием, по меньшей мере, одного второго значения 106 модификации, т.е. X(k), с тем чтобы получать четвертый модифицированный блок 554. Предпочтительно, четвертый модифицированный блок 554 снова формируется посредством умножителя 507, который может реализовываться идентичным или другим способом относительно умножителей 510, 509, 508.
Кроме того, процессор 100 предпочтительно содержит спектрально-временной преобразователь для преобразования первого-четвертого модифицированных блоков 551-554 в соответствующие временные представления 561, 562, 563, 564. В частности, спектрально-временной преобразователь реализуется как содержащий IMDCT-блоки 501, 502, 503, 504, формирующие соответствующие первый-четвертый модифицированные блоки 561-564. Спектрально-временной преобразователь может реализовываться как IMDCT-алгоритм, содержащий фактические элементы 212 (частотно-временной преобразователь), 213 (модуль свертывания для развертывания) и 214 (модуль синтезирующего оконного преобразования) по фиг. 2b. Тем не менее, спектрально-временной преобразователь может реализовываться как любой другой модуль преобразования с уменьшением наложения спектров, который получается в результате, в выводе, в блоке значений дискретизации во временной области, имеющих более высокое число выборок по сравнению с числом выборок во вводе.
Альтернативно, для вычислительно эффективной реализации, может вычисляться не полное IMDCT или общее обратное преобразование с уменьшением наложения спектров, а только временная секция, содержащая сигнал с уменьшенным наложением спектров или с подавлением наложения спектров. Аналогично этому, например, в случае IMDCT, одна операция развертывания и половина операции синтезирующего оконного преобразования могут опускаться. Следовательно, процессор может быть выполнен с возможностью выполнения перекрывающихся преобразований, имеющих перекрывающийся диапазон, и при этом процессор выполнен с возможностью выполнения только операций, оказывающих влияние на значения в перекрывающемся диапазоне, и невыполнения операций, не оказывающих влияние на значения в перекрывающемся диапазоне. Относительно фиг. 2b, операции, не оказывающие влияние на перекрывающийся диапазон, представляют собой операции развертывания блока 213, оказывающие влияние на первую половину предыдущего блока и вторую половину текущего блока. Кроме того, соответствующие операции оконного преобразования для первой половины предыдущего блока и второй половины текущего блока также не требуются для этой эффективной реализации. Это обусловлено тем фактом, что только вторая половина предыдущего блока и первая половина текущего блока для перекрывающегося диапазона.
В варианте осуществления на фиг. 5a, число выборок, вводимых в IMDCT-блок, равно N, а число выборок, выводимых посредством IMDCT-блока, составляет 2N. Тем не менее, другие численные соотношения, соответствующие другим коэффициентам перекрытия, могут реализовываться при условии, что число выборок, выводимых посредством спектрально-временного преобразователя, превышает число выборок спектральной области, вводимых в соответствующий спектрально-временной преобразователь.
Кроме того, спектрально-временной преобразователь может реализовываться как содержащий отдельные спектрально-временные преобразователи для каждого отдельного сигнала, который должен преобразовываться, либо может содержать один спектрально-временной преобразователь, к примеру, только блок 501 по фиг. 5a и соответствующий контроллер последовательности, чтобы последовательно преобразовывать один модифицированный блок за другим.
Кроме того, процессор 100 содержит сумматор с перекрытием для суммирования с перекрытием представлений первого 561 и третьего 563 модифицированных блоков, с тем чтобы получать первый результирующий сигнал 104, который не имеет наложения спектров или имеет, по меньшей мере, уменьшенное наложение спектров.
Кроме того, сумматор с перекрытием выполнен с возможностью суммирования с перекрытием временных представлений второго 562 и четвертого 564 модифицированных блоков, с тем чтобы получать второй результирующий сигнал 108, который также не имеет наложения спектров или имеет, по меньшей мере, уменьшенное наложение спектров. Эта операция суммирования с перекрытием для первого и третьего временных представлений выполняется посредством блока 505 суммирования с перекрытием, и другая операция суммирования с перекрытием для временных представлений второго и четвертого модифицированных блоков, т.е. для сигнала на линии 562 и 564, выполняется посредством дополнительного блока 506 суммирования с перекрытием. С другой стороны, сумматор с перекрытием может иметь такие отдельные блоки или один блок и соответствующее управление последовательностями либо может реализовываться любым другим мыслимым способом, с тем чтобы получать заданный результат. Предпочтительно, каждый из блоков 505, 506 реализуется в соответствующем блоке 215, описанном в контексте фиг. 2b.
Предпочтительно, модуль 110 комбинирования на фиг. 5a выполнен с возможностью комбинировать первый результирующий сигнал 104 и второй результирующий сигнал 108 посредством постепенного затухания первого результирующего сигнала и посредством постепенного нарастания второго результирующего сигнала. С этой целью, предоставляются блок 520 постепенного затухания для первого результирующего сигнала 104 и блок 521 постепенного нарастания для второго результирующего сигнала. Фактическое комбинирование может выполняться посредством сумматора 522, проиллюстрированного на фиг. 5a в качестве отдельного элемента. Тем не менее, следует подчеркнуть, что фактическая операция модуля 510 комбинирования предпочтительно представляет собой линейное комбинирование со взвешиванием, при котором для каждой выборки функция 520 постепенного затухания предоставляет определенный весовой коэффициент, и после этого соответствующая выборка, взвешенная посредством этого весового коэффициента, суммируется с соответствующей выборкой из другого результирующего сигнала, взвешиваемого с весовым коэффициентом, предоставленным посредством функции 521 постепенного нарастания для соответствующей выборки.
Как указано, процессор 100 выполнен с возможностью осуществлять IMDCT-операцию при выполнении спектрально-временного преобразования, и эта IMDCT-операция может содержать функциональности блоков 212, 213, 214, но IMDCT-операция может реализовываться любым другим способом, и известен ряд эффективных IMDCT-алгоритмов, получающих по существу идентичный результат, как пояснено в контексте фиг. 2a и 2b.
Кроме того, процессор 100 выполнен с возможностью осуществлять операцию 505, 506 обработки суммирования с перекрытием при вычислении первого и второго результирующих сигналов в диапазоне перекрытия, проиллюстрированном на 170 на фиг. 1d. Кроме того, модуль 104 комбинирования выполнен с возможностью комбинировать первый и второй результирующие сигналы в диапазоне комбинирования, т.е., например, в диапазоне суммирования с перекрытием, причем этот диапазон комбинирования равен диапазону перекрытия.
Следовательно, следует подчеркнуть, что также может рассматриваться фиг. 1d для того, чтобы представлять операцию суммирования с перекрытием, выполняемую посредством блока 215 на синтезирующей стороне. Затем каждая "временная часть" на фиг. 1d представляет блок, выводимый посредством модуля 214 синтезирующего оконного преобразования по фиг. 2b, и выборки в диапазоне перекрытия одного подвергнутого оконному преобразованию блока суммируются с выборками в диапазоне перекрытия следующего подвергнутого оконному преобразованию блока. Кроме того, соответствующие выборки взвешиваются с весовыми коэффициентами, предоставленными посредством функции постепенного затухания, к примеру, 520, и функции 522 постепенного нарастания по мере необходимости. Например, когда первая временная часть соответствует подвергнутому оконному преобразованию блоку, то в диапазоне 170 перекрытия на фиг. 1d, первая временная часть должна постепенно затухать в течение диапазона перекрытия, и одновременно, вторая временная часть должна постепенно нарастать в диапазоне перекрытия. Следовательно, функция постепенного затухания должна предоставлять коэффициенты постепенного затухания, снижающиеся с 1 до 0 предпочтительно линейным способом и равномерно распределенные по числу выборок от 1 до N. Таким образом, когда длина подвергнутого оконному преобразованию блока составляет 2N, то интервал между 1 и 0 должен разделяться, например, на N равных интервалов, и для каждого интервала, коэффициент постепенного затухания должен определяться в качестве центра каждого интервала. Аналогично, функция постепенного нарастания должна представлять собой функцию, предоставляющую линейно возрастающие коэффициенты постепенного нарастания с 0 до 1 снова с N равных интервалов.
Тем не менее, могут применяться другие функции, отличные от линейных функций, и предпочтительно, если для каждой выборки сумма коэффициента постепенного нарастания для выборки и коэффициента постепенного затухания для выборки равна 1, так что постепенное нарастание/постепенное затухание или, в общем, плавный переход не приводит к варьированию амплитуды или громкости аудиосигнала. Следовательно, сумма части постепенного затухания и части постепенного нарастания для каждой выборки в диапазоне плавного перехода является постоянной и предпочтительно равной 1.
Предпочтительно, настоящее изобретение применяется в контексте функциональностей заполнения полосы пропускания в контексте фиг. 5b. Расширение полосы пропускания означает, что полоса пропускания входного сигнала расширяется таким образом, что типично выходной сигнал, сформированный посредством технологии расширения полосы пропускания, имеет более высокую полосу пропускания, чем входной сигнал. Тем не менее, с другой стороны, также существуют технологии заполнения полосы пропускания, которые не обязательно увеличивают полосу пропускания, но которые заполняют спектральные провалы во входном сигнале. Когда полоса верхних частот рассматривается как "спектральный провал", то функциональность заполнения полосы пропускания является аналогичной технологии расширения полосы пропускания. Тем не менее, если спектральный провал входного сигнала, который расположен, относительно частоты, ниже диапазона, для которого существуют спектральные значения, то функциональность заполнения полосы пропускания не расширяет полосу пропускания, но результат технологии имеет идентичную полосу пропускания, что и ввод. В этом контексте, SBR, например, является примером технологии расширения полосы пропускания, и интеллектуальное заполнение интервалов отсутствия сигнала (IGF) является примером для общей функциональности заполнения полосы пропускания без обязательного увеличения полосы пропускания входного сигнала.
Предпочтительно, процессор 100 выполнен с возможностью применять функциональность заполнения полосы пропускания, имеющую функцию наложения, чтобы накладывать спектральные значения из исходного диапазона 300 в целевой диапазон 334, и процессор выполнен с возможностью применять функцию наложения при вычислении первого и второго результирующих сигналов. В качестве примера, фиг. 3c иллюстрирует модуль наложения для формирования, из последовательности блоков спектральных значений, которые имеют высокое разрешение или которые представляют исходный диапазон, последовательности 334 блоков спектральных значений в диапазоне заполнения полосы пропускания или в целевом диапазоне. Модуль наложения указывается на 332 на фиг. 3c и может реализовываться с возможностью применять функцию P(k) наложения, как проиллюстрировано. Необязательно, как проиллюстрировано на фиг. 3c, и в случае применяемой функциональности заполнения полосы пропускания, структура процессора 100 и модуля 110 комбинирования является идентичной тому, как если заполнение полосы пропускания не применяется, за исключением того факта, что последовательность блоков спектральных значений, указываемых на 334 на фиг. 5b, представляет собой вывод модуля наложения на фиг. 3c, и коэффициенты 102, 106 усиления или, в общем, коэффициенты модификации для каждого блока являются такими, как задано посредством определенной функциональности заполнения полосы пропускания, такой как репликация полос спектра, интеллектуальное заполнение интервалов отсутствия сигнала или любая другая функциональность заполнения полосы пропускания. Таким образом, модуль 332 наложения может быть частью процессора или может реализовываться как каскад предварительной обработки, применяемый на вводе в процессор.
Следовательно, устройство для обработки аудиосигнала содержит модуль наложения, в качестве части процессора 100 или в качестве блока, применяемого в направлении обработки сигналов, перед процессором 100 по фиг. 1a, причем этот модуль наложения выполнен с возможностью формирования первого блока в диапазоне заполнения полосы пропускания с использованием спектральных значений из другого частотного диапазона, т.е. из исходного диапазона в соответствии с функцией наложения для первого блока, и модуль наложения дополнительно выполнен с возможностью формирования второго блока спектральных значений в диапазоне заполнения полосы пропускания или в целевом диапазоне с использованием спектрального диапазона из другой частотной области или исходной области в соответствии с функцией наложения для второго блока, которая может быть идентичной функцией наложения или другой функцией наложения.
Кроме того, как уже пояснено в контексте фиг. 5a или 5b, процессор выполнен с возможностью осуществлять функциональность 510, 509, 508, 507 на основе умножения для модификации первого и второго блоков с использованием функций усиления или значений усиления в качестве значений модификаций.
Дополнительные варианты осуществления второго аспекта настоящего изобретения поясняются в контексте фиг. 3a и 3b.
j
Фиг. 3a и 3b показывают устройство для обработки аудиосигнала, содержащего последовательность блоков спектральных значений 114. Каждая реализация содержит процессор 150 для вычисления сигнала 154 под влиянием наложения спектров с использованием, по меньшей мере, одного первого значения 102 модификации для первого блока из последовательности блоков 114 и, по меньшей мере, одного отличающегося второго значения модификации для второго блока из последовательности блоков. Предпочтительно, функциональность процессора для вычисления сигнала под влиянием наложения спектров содержит модуль модификации усиления для модификации первого блока с использованием, по меньшей мере, одного первого значения модификации, с тем чтобы получать первый модифицированный блок 351. Эта модификация предпочтительно выполнена посредством умножителя 310, но может реализовываться так, как пояснено в контексте соответствующего умножителя 510 по фиг. 5. Кроме того, модуль модификации усиления выполнен с возможностью модификации второго блока X(k) с использованием, по меньшей мере, одного второго значения 106 модификации, с тем чтобы получать второй модифицированный блок 352. Эта модификация также может выполняться посредством умножителя 309, который снова может реализовываться так, как пояснено в контексте умножителя 510. Чтобы формировать сигнал под влиянием наложения спектров, процессор 150 содержит спектрально-временной преобразователь для преобразования первого и второго модифицированных блоков в представления 361, 362 во временной области, и дополнительно сумматор с перекрытием выполнен с возможностью суммирования с перекрытием представлений во временной области первого и второго блоков, т.е. 361 и 362, с тем чтобы получать сигнал 154 под влиянием наложения спектров.
Кроме того, процессор также выполнен с возможностью оценки сигнала ошибки вследствие наложения спектров. С этой целью, процессор 150 содержит дополнительную функциональность модуля модификации усиления, проиллюстрированного посредством умножителя 308 и 307, чтобы модифицировать первый блок и второй блок с использованием, по меньшей мере, одного первого значения 102 модификации или, по меньшей мере, одного второго значения 106 модификации, с тем чтобы получать третий модифицированный блок 353 и четвертый модифицированный блок 354.
Кроме того, спектрально-временной преобразователь проиллюстрирован на 303 и 304, чтобы преобразовывать третий модифицированный блок 353 и четвертый модифицированный блок 354 в представление 363 и 364 во временной области, соответственно, и эти третий и четвертый модифицированные блоки затем обрабатываются посредством сумматора с перекрытием для суммирования с перекрытием представлений во временной области третьего и четвертого модифицированных блоков, с тем чтобы получать сигнал 158 ошибки вследствие наложения спектров.
Чтобы манипулировать сигналом 158 ошибки вследствие наложения спектров для получения хорошей комбинации с сигналом 158 под влиянием наложения спектров, модуль комбинирования содержит модуль 330 оконного преобразования для применения оконной функции и блок 340 обращения во времени для обращения во времени сигнала.
j-1
Разность между значениями модификации усиления применяется в частотной области, т.е. в процессоре перед выполнением спектрально-временного преобразования в блоках 303 и 304. С этой целью, следует обратиться к фиг. 3a. В частности, в этом варианте осуществления, процессор содержит модуль модификации усиления, который выполнен с возможностью модификации первого блока x через умножитель 307 с использованием разности, по меньшей мере, между одним первым значением модификации и, по меньшей мере, одним вторым значением модификации, причем эта разность предпочтительно вычисляется в расчете на значение частоты или спектральное значение, как указано посредством индекса k на фиг. 3a. Кроме того, модуль модификации усиления выполнен с возможностью модификации второго блока с использованием разности 125 в умножителе 308, с тем чтобы получать третий модифицированный блок 353 и четвертый модифицированный блок 354. В этом варианте осуществления, который проиллюстрирован на фиг. 3a, модуль комбинирования содержит функцию 330 оконного преобразования и обращение 340 во времени.
Хотя последовательность операций обработки в модуле комбинирования указывается таким образом, что модуль 330 оконного преобразования работает в направлении последовательности сигналов до обращения 340 во времени, становится очевидным, что порядок операций этих элементов также может быть изменен на противоположный.
Следовательно, процессор 150 на фиг. 3a является таким, что модуль модификации усиления модифицирует первый блок и второй блок с использованием, по меньшей мере, одного первого или, по меньшей мере, одного второго значения модификации. Модификация на фиг. 3a подвергается обоим значениям модификации вследствие того факта, что разность между обоими значениями модификации фактически используется для модификации, которая выполняется, например, посредством умножителей 308, 307, при этом разность усилений указывается на 125 на фиг. 3a.
Кроме того, как указано, предпочтительно применяются операция 330 оконного преобразования и операция 340 обращения во времени. Тем не менее, для других реализаций, например, когда спектрально-временное преобразование реализуется другим способом, может быть вообще необязательным применять обращение 340 во времени. Кроме того, когда функции аналитического или синтезирующего оконного преобразования не применяются, а когда применяются только, например, "прямоугольные окна оконного преобразования", в таком случае оконное преобразование 330 также может опускаться.
Тем не менее, в предпочтительном варианте осуществления, модуль оконного преобразования и оператор обращения во времени проиллюстрированы и позиционируются в проиллюстрированном порядке.
Далее подробнее поясняется фиг. 3b. Фиг. 3b является аналогичным фиг. 3a в том, что применение "разности" усилений применяется в частотной области. Тем не менее, вследствие того факта, что применяется операция наложения, разность усилений не может применяться явно, но различные операции наложения предпочтительно учитываются.
Следовательно, для того чтобы получать сигнал ошибки вследствие наложения спектров в операции наложения в контексте функциональности заполнения полосы пропускания, как пояснено в контексте фиг. 3c, предпочтительно применяются следующие процедуры. Во-первых, вычисляется блок спектральных значений 306a, который является первым блоком, но первый блок накладывается через операцию наложения для второго блока, и этот первый блок 306a затем умножается на коэффициент 106 усиления для второго блока.
j
Кроме того, как проиллюстрировано, формируется первый блок спектральных значений 306b, который является идентичным первому блоку 304b, т.е. первому блоку, к которому применяется операция наложения, ассоциированная с первым блоком, и сигнал затем умножается на первый коэффициент модификации 102. Затем сигналы, сформированные посредством умножителей, комбинируются, к примеру, вычитаются или суммируются на 329, который может реализовываться как модуль вычитания или сумматор с вводом с отрицанием и т.д. Далее получается третий модифицированный блок, который по существу соответствует блоку 353. Аналогичным образом, получается блок 354, т.е. посредством наложения второго блока X с операцией наложения для второго блока, т.е. посредством использования блока 304b и умножения этого блока на второй коэффициент 106 модификации. Тем не менее, второй блок также подвергается алгоритму наложения, ассоциированному с первым блоком, как указано в элементе 306d, и результат затем умножается на первый коэффициент умножения через умножитель 307b. Выходные сигналы умножителей 307a и 307b затем суммируются в сумматоре 328, чтобы в итоге получать четвертый модифицированный блок 354. Затем третий и четвертый модифицированные блоки 353 и 354 подвергаются спектрально-временному преобразованию, как пояснено в контексте фиг. 3a, и затем суммируются с перекрытием с использованием блока 306, как проиллюстрировано на фиг. 3b. Далее выполняются идентичные операции в модуле комбинирования, такие как оконное преобразование 330, обращение 340 во времени и в завершение комбинирование 152, с тем чтобы в итоге получать сигнал 112 без наложения спектров.
Хотя настоящее изобретение описано в контексте блок-схем, на которых блоки представляют фактические или логические аппаратные компоненты, настоящее изобретение также может реализовываться посредством компьютерно-реализованного способа. Во втором случае, блоки представляют соответствующие этапы способа, причем эти этапы означают функциональности, выполняемые посредством соответствующих логических или физических аппаратных блоков.
Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.
Изобретаемый передаваемый кодированный сигнал может быть сохранен на цифровом носителе хранения данных или может быть передан по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.
В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM и EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронно-читаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть компьютерно-читаемым.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронно-читаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.
Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой носитель хранения данных (или долговременный носитель хранения данных, такой как цифровой носитель хранения данных или компьютерно-читаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными типично является материальным и/или энергонезависимым.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.
Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.