УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ МНОГОКАНАЛЬНОГО АУДИОСИГНАЛА
DEVICE AND METHOD OF PROCESSING A MULTICHANNEL AUDIO SIGNAL

Изобретение относится к устройству для обработки многоканального аудиосигнала. Многоканальный аудиосигнал содержит множество, т.е. по меньшей мере два, канальных сигнала. Устройство осуществляет модуляцию масштаба времени многоканального аудиосигнала. Изобретение также относится к соответствующему способу и компьютерной программе.
Изменение масштаба времени (TSM) относится к обработке для замедления или ускорения воспроизведения аудиосигнала без влияния на его основной тон. TSM совместно с преобразованием частоты дискретизации также позволяет изменять основной тон, не изменяя темп. Проблема для TSM состоит в поддержании всех остальных характеристик аудиосигнала (кроме либо темпа, либо основного тона) и, в частности, качества звучания. Обработка не должна создавать слышимые артефакты.
Для одноканальных входных сигналов, наиболее важной характеристикой является тембр. Для сигналов, имеющих более одного канала, также должны поддерживаться пространственные характеристики. Пространственные характеристики содержат положение и ширину источника прямого звука и диффузность внешнего звука. Их можно количественно выражать межканальными разностями уровней (ICLD), межканальными разностями времен (ICTD), межканальными разностями фаз (ICPD) или межканальной когерентностью (ICC).
Существуют два принципиально разных подхода к изменению масштаба времени. Один применяется во временной области, и другой применяется в частотной области.
Обработка во временной области использует схему синхронизированного перекрытия с добавлением (SOLA). Сигнал разрезается на перекрывающиеся кадры и эти кадры сдвигаются и объединяются для растяжения или сжатия сигнала. Положение сдвига обычно вычисляется путем максимизации меры подобия, например, корреляции между кадром сигнала и его сдвинутой копией.
Этот способ во временной области имеет низкую вычислительную сложность. Он дает хорошие результаты для монофонических (в отличие от полифонических) сигналов, например, речи или тонов, издаваемых флейтой, поскольку смещение сдвига можно определять как целое кратное периода основной частоты во избежание нарушений непрерывности и деструктивной интерференции в выходном сигнале. Другими словами, сдвинутые кадры сигнала добавляются фазокогерентным образом. Для полифонических входных сигналов с множественными тонами, имеющими разные основные частоты, сдвиг невозможно определить, в связи с чем, подобие форм волны имеет место для всех тонов (основных тонов).
Для многих музыкальных сигналов, лучшие результаты в отношении качества звучания получаются путем применения обработки в частотной области. Этот способ использует, например, схему фазового вокодера [1] как показано в блок-схеме, изображенной на фиг. 1 и кратко объяснено ниже.
Входной аудиосигнал x(n) преобразуется в частотную область с использованием кратковременного преобразования Фурье (STFT). Эквивалентно, можно использовать другой тип банка фильтров или преобразования для которого может применяться обратная обработка с достаточно малой ошибкой реконструкции.
В упомянутом варианте осуществления входной сигнал x(n) разрезается на перекрывающиеся кадры, и дискретное преобразование Фурье (DFT) вычисляется для каждого кадра согласно следующему уравнению (1), давая представление кратковременного преобразования Фурье (STFT) сигнала, также именуемое коэффициентами STFT (или спектральными коэффициентами), согласно
(1)
a
k
k
a
Индекс временного кадра обозначается m, k - дискретный индекс частоты, удовлетворяющий условию 0≤k≤N-1, и w - вырезающая функция. Нормализованная угловая частота Ω задается как Ω=2πk/N. DFT имеет размер N, и R является размером скачка анализа.
Индексы для времени и частоты по возможности исключены из описания для краткости.
Выходной сигнал временной области y(n) вычисляется из выходных спектральных коэффициентов Y(m, k) на стадии синтеза посредством преобразования, обратного STFT, которое осуществляется в два этапа:
во-первых, обратное дискретное преобразование Фурье вычисляется для каждого из M кадров согласно
(2)
во-вторых, применяется процедура перекрытия с добавлением согласно
(3)
s
s
где w(n) - необязательное окно синтеза, и R - размер скачка синтеза.
s
a
a
s
a
s
Изменение масштаба времени достигается путем установления размера R скачка синтеза и размера R скачка анализа на разные значения: сигнал растягивается по времени, если R<R, и сжимается, если R>R.
a
s
a
s
Окно w анализа и окно w синтеза выбираются таким образом, что если R=R и Y(m,k)=X(m,k), то входной и выходной сигналы идентичны.
x
Коэффициенты X(m,k) кратковременного преобразования Фурье для действительнозначных входных сигналов (что справедливо для рассматриваемых здесь аудиосигналов) являются комплекснозначными числами, которые можно выражать в полярных координатах их модулем |X| и фазой Φ как
x
X=|X|exp(jΦ), (4)
x
Φ=argX, (5)
где j=√-1.
a
s
a
s
Если два размера скачка R и R отличаются, т.е. если R≠R, то фазы Y(m,k) должны изменяться таким образом, чтобы достигалась «горизонтальная фазовая когерентность». Это означает, что для синусоиды постоянной частоты, последовательные кадры перекрываются когерентно без нарушений непрерывности или фазовой нейтрализации (деструктивной интерференции).
Подход фазового вокодера подходит для полифонических входных сигналов, например, музыкальных записей. Его недостаток состоит в том, что изменение фазы может создавать артефакт, известный как «переходное размытие», т.е. временная огибающая сигнала изменяется таким образом, что нотные вступления восприниматься как имеющие меньшую атаку и менее ударный звук. Дополнительная обработка может применяться к выходной фазе для ослабления переходного размытия, например, путем применения так называемого способа «фазовой синхронизации» [2] или путем переустановления фазы в течение периодов тишины [3].
y
y
y
После пригодной процедуры изменения фазы получается выходной сигнал. Спектральные коэффициенты выходного сигнала можно выражать в полярных координатах как Y=|Y|exp(jΦ) где Φ обозначает измененную фазу. Процесс вычисления фазы Φ в дальнейшем именуется фазовой адаптацией (PA).
Известны различные способы обработки входных двухканальных аудиосигналов:
Один вариант предполагает понижающее микширование многоканального сигнала до одноканального сигнала, т.е. сложение масштабированных версий всех каналов и обработку одноканального (монофонического) сигнала. Обработка монофонического результата микширования входного сигнала имеет недостаток в том, что стереофоническая информация утрачивается, и, таким образом, снижается качество звучания.
Другой вариант предполагает независимую обработку разделенных входных канальных сигналов. Основной недостаток раздельной обработки каждого канального сигнала состоит в том, что вносится произвольная декорреляция между каналами, которая искажает стереофонической образ. Поскольку фазовая адаптация изменения масштаба времени является сигналозависимой обработкой, соотношения между фазами отдельных каналов не сохраняются, когда соответствующие канальные сигналы отличаются. Искажения пространственной информации могут восприниматься как размывание или расширение стереофонического образа источников прямого звука (например, певцов или солиста).
Задачей изобретения является усовершенствование существующих способов изменения масштаба времени в отношении качества пространственных характеристик, например, стереофонического образа, обработанного сигнала.
Задача достигается посредством устройства а также посредством способа.
Задача достигается посредством устройства для обработки многоканального аудиосигнала. Многоканальный аудиосигнал содержит множество, по меньшей мере два, канальных сигналов. Устройство выполнено с возможностью осуществления модуляции масштаба времени многоканального аудиосигнала, т.е. многоканальный аудиосигнал замедляется или ускоряется без влияния на его основной тон. Устройство содержит блок фазовой адаптации и блок разделения. Блок фазовой адаптации выполнен с возможностью обеспечения по меньшей мере одного обработанного сигнала путем изменения фазы сигнала на основании комбинаций канальных сигналов. Блок разделения выполнен с возможностью обеспечения разделенных сигналов на основании по меньшей мере одного обработанного сигнала.
Изобретение улучшает обработку сигналов и в особенности аудио или речевых сигналов. Особое внимание уделяется проблеме обработки стереофонических входных сигналов, имеющих два или более каналов.
Преимущество изобретения состоит в том, что пространственные характеристики входного аудиосигнала сохраняются таким образом, что воспринимаемый стереофонической образ не искажается. В частности, положения и диффузность источников звука не изменяются вследствие обработки TSM.
Таким образом, изобретение решает проблему существенного искаженная пространственных характеристик выходного сигнала в уровне техники, что особенно заметно при прослушивании источников звука, панорамированных к центру стереофонического образа.
Устройство осуществляет изменение масштаба времени многоканального аудиосигнала путем осуществления фазовой адаптации. В уровне техники известны разные процедуры изменения фазы (в том числе, фазовая синхронизация и другие средства).
s
a
a
s
Один вариант осуществления для изменения фазы предусматривает изменение фазы таким образом, что распространение фазы между соседними кадрами с размером R скачка синтеза идентично распространению фазы входного сигнала для размера R скачка анализа. Это гарантирует, что поддерживается горизонтальная фазовая когерентность (т.е. временная эволюция фазы в каждом частотном бине). Это достигается путем вычисления мгновенной частоты во временном кадре m на основании фазы входного сигнала текущего и предыдущего временного кадра и размера R скачка анализа и параметров STFT (кратковременного преобразования Фурье). Желаемое распространение фазы вычисляется с использованием мгновенной частоты и размера R скачка синтеза.
В дополнительном варианте осуществления, вышеизложенный способ дополняется способом, содержащим «фазовую синхронизацию». Фазовая синхронизация призвана повышать вертикальную фазовую когерентность, т.е. поддерживать соотношение фазы между соседними частотными бинами в каждом кадре. Это повышает качество звучания, что, например, заметно при обработке музыкальных сигналов, содержащих переходные сигналы или ударные ноты.
Блок фазовой адаптации выполнен с возможностью адаптации фазы по меньшей мере одной комбинации канальных сигналов, содержащихся в многоканальном аудиосигнале. Для этого сигналы, подлежащие обработке блоком фазовой адаптации, задаются в полярных координатах модулем и фазой.
Блок разделения, следующий за блоком фазовой адаптации, обеспечивает разделенные сигналы на основании обработанного сигнала, т.е. на основании сигнала с измененной фазой. Блок разделения реверсирует комбинацию сигналов и извлекает или формирует разделенные сигналы.
Следовательно, устройство изменяет фазу по меньшей мере одной комбинации канальных сигналов и обеспечивает отдельные измененные сигналы путем разделения адаптированной по фазе комбинации канальных сигналов на разделенные сигналы.
Фазовая адаптация согласно изобретению наиболее пригодна как дополнение к изменению масштаба времени с использованием фазового вокодера, т.е. обработки в частотной области. Однако ее также можно применять как дополнение к TSM во временной области. Для этого TSM временной области позволяет обрабатывать по меньшей мере один сигнал, который получается путем объединения канальных сигналов, содержащихся в многоканальном аудиосигнале. Блок разделения, следующий за TSM временной области, обеспечивает разделенные сигналы на основании обработанного сигнала.
Согласно варианту осуществления, блок фазовой адаптации выполнен с возможностью обеспечения N обработанных сигналов путем изменения фаз N сигналов на основании комбинаций N канальных сигналов. Блок разделения выполнен с возможностью обеспечения N разделенных сигналов на основании обработанных сигналов. N - количество канальных сигналов, содержащихся в многоканальном аудиосигнале и является целым числом, большим или равным двум. Согласно варианту осуществления, N - количество всех канальных сигналов, содержащихся в многоканальном аудиосигнале. Следовательно, N канальных сигналов преобразуются в N объединенных сигналов, которые после фазовой адаптации делятся на N сигналов.
Согласно варианту осуществления, N комбинаций канальных сигналов являются линейными комбинациями канальных сигналов. Согласно варианту осуществления, блок фазовой адаптации оперирует различными комбинациями канальных сигналов, тогда как комбинации являются линейными комбинациями, например, суммой или разностью канальных сигналов.
Согласно варианту осуществления, N равно двум (N=2) и две комбинации двух канальных сигналов являются суммарным и разностным сигналом. В другом варианте осуществления, N больше двух.
В дополнительном варианте осуществления, устройство содержит блок преобразования. Блок преобразования выполнен с возможностью обеспечения преобразованных сигналов путем преобразования сигналов из временной области в частотную область. Блок преобразования позволяет преобразовывать сигналы из временной в частотную область и, затем, обрабатывать эти сигналы в частотной области. Сигналы, подлежащие преобразованию, в одном варианте осуществления являются канальными сигналами, содержащимися в многоканальном аудиосигнале.
Согласно варианту осуществления, блок преобразования выполнен с возможностью обеспечения преобразованных сигналов путем применения кратковременного преобразования Фурье. Кратковременное преобразование Фурье или, альтернативно, кратковременное преобразование Фурье (STFT), является преобразованием Фурье локальных секций сигнала по мере его изменения со временем. На практике, более длинный сигнал делится на более короткие сегменты равной длины, и преобразование Фурье вычисляется раздельно на каждом сегменте.
В дополнительном варианте осуществления, устройство содержит блок объединения, причем блок объединения выполнен с возможностью обеспечения объединенных сигналов на основании канальных сигналов. Блок преобразования выполнен с возможностью обеспечения преобразованных сигналов на основании объединенных сигналов путем применения преобразования. Здесь, канальные сигналы объединяются, и комбинации преобразуются в частотную область.
В другом варианте осуществления, последовательность блока объединения и блока преобразования является обратной. В этом варианте осуществления, блок объединения, содержащийся в устройстве, выполнен с возможностью обеспечения объединенных сигналов на основании преобразованных сигналов, обеспеченных блоком преобразования. В этом варианте осуществления, блок объединения принимает преобразованные сигналы от блока преобразования и объединяет их для обеспечения объединенных сигналов. Таким образом, канальные сигналы по отдельности преобразуются в частотную область и объединяются в этой области блоком объединения.
В дополнительном варианте осуществления, блок объединения выполнен с возможностью обеспечения суммарного сигнала в качестве объединенного сигнала путем вычисления суммы двух преобразованных сигналов. В этом варианте осуществления, линейная комбинация канальных сигналов через их преобразованные сигналы в форме суммирования используется для обеспечения по меньшей мере одного объединенного сигнала. Если многоканальный аудиосигнал содержит, например, два канальных сигнала в качестве стереосигналов, то оба канальных сигнала суммируются друг с другом для получения одного объединенного сигнала, который является суммарным сигналом. В другом варианте осуществления, блок объединения вычисляет сумму канальных сигналов из по меньшей мере двух канальных сигналов.
Согласно варианту осуществления, блок объединения выполнен с возможностью обеспечения разностного сигнала в качестве объединенного сигнала путем вычисления разности между двумя преобразованными сигналами. В этом варианте осуществления, линейная комбинация сигналов является разностью между двумя сигналами. Сигналы, подлежащие объединению, являются здесь преобразованными сигналами. В другом варианте осуществления, блок объединения вычисляет разность между двумя канальными сигналами.
g
Согласно варианту осуществления, блок объединения выполнен с возможностью обеспечения объединенных сигналов путем применения матрицы смешивания, обозначенной , имеющей размеры N×N, к многоканальному сигналу, содержащему N преобразованных сигналов, согласно
N - количество канальных сигналов, содержащихся в многоканальном аудиосигнале, и  - матрицированный многоканальный сигнал на основании преобразованных сигналов и представляет, таким образом, объединенные сигналы в общей форме.
Другими словами: блок объединения выполнен с возможностью обеспечения объединенных сигналов путем применения матрицы смешивания имеющий размеры N×N к N преобразованным сигналам, предпочтительно в матрицированном формате, в котором преобразованные сигналы основаны на N канальных сигналах, принадлежащих многоканальному аудиосигналу.
Поскольку матрица смешивания имеет одинаковое количество столбцов и строк, количество сигналов, подлежащих объединению, равно количеству объединенных сигналов, как показано в следующем уравнении:
Применение матрицы смешивания эквивалентно вычислению k-го канального сигнала объединенного сигнала путем суммирования всех канальных сигналов многоканального аудиосигнала, умноженных на соответствующие элементы k-ой строки матрицы, как показано в следующем уравнении:
В другом варианте осуществления, заданная матрица смешивания применяется к сигналу на основании N канальных сигналов. Матрица смешивания позволяет объединять любое заданное количество сигналов, которые являются либо преобразованными, либо канальными сигналами.
В дополнительном варианте осуществления, блок фазовой адаптации выполнен с возможностью изменения фаз путем применения способа фазового вокодера. Фазовый вокодер является вокодером, масштабирующим оба частотную и временную области аудиосигналов с использованием информации фазы.
s
d
s/d
s/d
s/d
s/d
s/d
Согласно варианту осуществления, блок фазовой адаптации выполнен с возможностью обеспечения обработанных сигналов их полярными координатами, имеющими амплитуды и измененные фазы. Таким образом, в одном варианте осуществления с N=2 канальные сигналы Y, Y, обработанные сигналы задаются следующим образом: Y=|Y|exp(jΦ), где Φ=argY и j=√-1.
Блок разделения обеспечивает одиночные сигналы на основании обработанных сигналов, которые основаны на объединенных сигналов. Сигналы, обеспеченные блоком разделения, подлежат использованию в качестве канальных сигналов с измененным масштабом времени. Следовательно, согласно варианту осуществления, если многоканальный аудиосигнал содержит N канальных сигналов, то блок разделения обеспечивает N разделенных сигналов.
Согласно варианту осуществления, блок разделения выполнен с возможностью обеспечения разделенного сигнала на основании разности между двумя из обработанных сигналов.
В дополнительном варианте осуществления, блок разделения выполнен с возможностью обеспечения разделенного сигнала на основании суммы двух обработанных сигналов.
Согласно варианту осуществления, блок разделения применяет коэффициент, например, 0,5, к амплитуде соответствующей комбинации обработанных сигналов.
Согласно варианту осуществления, блок разделения выполнен с возможностью обеспечения N разделенных сигналов путем применения обратной матрицы смешивания имеющий размеры N×N к матрицированному сигналу на основании N обработанных сигналов. N - количество канальных сигналов, содержащихся в многоканальном аудиосигнале. Этот вариант осуществления позволяет обрабатывать любое заданное количество обработанных сигналов и обеспечивать соответствующее количество разделенных сигналов. Обратная матрица смешивания является обратной матрице смешивания, используемой для получения объединенных сигналов.
Согласно варианту осуществления, устройство содержит блок коррекции, причем блок коррекции выполнен с возможностью изменения разделенных сигналов путем замены амплитуд разделенных сигналов амплитудами на основании амплитуд канальных сигналов, содержащихся в многоканальном аудиосигнале.
Этот вариант осуществления предусматривает обработку линейной комбинации канальных сигналов и применение процедуру коррекции модуля после изменения сигналов в частотной области.
Таким образом, новизна представленного способа, в этом варианте осуществления, является двойной:
1) применение обработки TSM, предпочтительно, к линейным комбинациям, например, к суммарному сигналу и разностному сигналу и
2) применение обработки для восстановления модуля выходного сигнала в частотно-временной области для восстановления межканальных разностей уровней (ICLD).
В дополнительном варианте осуществления, блок коррекции выполнен с возможностью замены амплитуд разделенных сигналов амплитудами соответствующих преобразованных сигналов, обеспеченных блоком преобразования, т.е. амплитудами канальных сигналов в частотной области.
Блок коррекции, таким образом, заменяет амплитуды разделенных сигналов, имеющих адаптированную фазу амплитудами соответствующих сигналов до адаптации. Следовательно, исходные амплитуды восстанавливаются.
Нижеследующие варианты осуществления имеют дело с сигналами в частотной области и позволяют обрабатывать их во временной области.
Согласно варианту осуществления, устройство содержит обратный блок преобразования. Обратный блок преобразования выполнен с возможностью обеспечения измененных канальных сигналов на основании разделенных сигналов путем применения обратного преобразования. Это обратное преобразование преобразует согласно варианту осуществления сигналы из частотной во временную область.
Согласно другому варианту осуществления, устройство содержит обратный блок преобразования. Обратный блок преобразования выполнен с возможностью обеспечения измененных и скорректированных канальных сигналов на основании скорректированных сигналов, обеспеченных блоком коррекции путем применения обратного преобразования.
Согласно другому варианту осуществления, обратный блок преобразования выполнен с возможностью применения обратного кратковременного преобразования Фурье.
Таким образом, обратный блок преобразования выполнен с возможностью обращать разновидность преобразования, осуществляемого на этапе, предшествующем фазовой адаптации.
Согласно варианту осуществления, устройство содержит блок извлечения, причем блок извлечения выполнен с возможностью обеспечения канальных сигналов, содержащихся в многоканальном аудиосигнале. В этом варианте осуществления, устройство, например, принимает многоканальный аудиосигнал, и блок извлечения обеспечивает отдельные канальные сигналы. В другом варианте осуществления, канальные сигналы раздельно подаются на устройство.
Следующий вариант осуществления позволяет облегчать вычислительные этапы и требования к блокам.
Согласно варианту осуществления, устройство выполнено с возможностью осуществления этапов на комбинациях канальных сигналов на основании разности с меньшей точностью, чем на различных комбинациях канальных сигналов.
Задача также решается посредством способа обработки многоканального аудиосигнала.
Способ содержит по меньшей мере следующие этапы:
обеспечение по меньшей мере одного объединенного сигнала на основании канальных сигналов, содержащихся в многоканальном аудиосигнале,
обеспечение обработанного сигнала путем осуществления модуляции масштаба времени объединенного сигнала, и
обеспечение измененных канальных сигналов на основании разделения обработанных сигналов.
Модуляция масштаба времени в одном варианте осуществления осуществляется посредством фазовой адаптации.
Согласно варианту осуществления, способ дополнительно содержит изменение амплитуды измененных канальных сигналов путем замены амплитуд амплитудами на основании амплитуд соответствующих канальных сигналов.
В этом варианте осуществления выполняются следующие этапы: канальные сигналы объединяются в объединенные сигналы. Объединенные сигналы или сигналы на основании объединенных сигналов претерпевают фазовую адаптацию для осуществления изменения масштаба времени. Адаптированные по фазе сигналы разделяются на отдельные сигналы. Сигналы содержат фазы и амплитуды. Амплитуды/модули этих сигналов заменяются амплитудами на основании канальных сигналов.
Варианты осуществления устройства также могут осуществляться на этапах способа и в соответствующих вариантах осуществления способа. Таким образом, приведенные объяснения вариантов осуществления устройства также относятся и к способу.
Задача также решается посредством компьютерной программы для осуществления, при выполнении на компьютере или процессоре, способа любого из предыдущих вариантов осуществления.
Изобретение будет объяснено далее со ссылкой на прилагаемые чертежи и варианты осуществления, изображенные в прилагаемых чертежах, в которых:
фиг. 1 - блок-схема способа изменения масштаба времени в частотной области согласно уровню техники,
фиг. 2 - блок-схема способа изменения масштаба времени согласно изобретению для входных аудиосигналов с двумя каналами,
фиг. 3 - схема варианта осуществления устройства,
фиг. 4 - другой вариант осуществления устройства и
фиг. 5 - общая версия варианта осуществления на фиг. 4.
Блок-схема варианта осуществления способа согласно изобретению изображена на фиг. 2 на примере входных сигналов, имеющих два канала (например, левый и правый каналы стереозвука).
x
1
2
1
2
1
2
1
2
T
Входной аудиосигнал представляет собой =[x x], где x обозначает первый канальный сигнал, и x обозначает второй канальный сигнал. Представление кратковременного преобразования Фурье (STFT) вычисляется для x и x, давая X и X, соответственно, на этапе STFT.
s
d
1
2
Согласно изобретению, суммарный сигнал X и разностный сигнал X вычисляются на этапе, именуемом MS, из канальных сигналов - в данном случае: преобразованных канальных сигналов X и X - многоканального аудиосигнала согласно
s
1
2
X=(X+X), (6)
d
1
2
X=(X-X). (7)
В другом варианте осуществления, порядок STFT и объединения сигналов на этапе MS переключается. При этом предполагается, что вычисление суммарных и разностных сигналов также может осуществляться во временной области, и что STFT можно вычислять из суммарных и разностных сигналов временной области. Однако преимущественно применять порядок, показанный на фиг. 2, для снижения вычислительной нагрузки.
s
d
s
d
Затем суммарный сигнал X и разностный сигнал X обрабатываются посредством способа фазовой адаптации (PA), например, с использованием способа фазового вокодера, описанного в [2], или любого другого способа изменения масштаба времени. Обработанные суммарный сигнал и разностный сигнал обозначаются Y и Y, соответственно.
s
d
После этого следует обратное преобразование на этапе обратного MS, например, путем преобразования сигналов Y и Y посредством обратного кратковременного преобразования Фурье.
Обработанные сигналы для первого и второго каналов получаются в показанном варианте осуществления путем применения нижеследующих уравнений (8) и (9), т.е. обратной обработки уравнений (6) и (7).
1
2
Следовательно, два разделенных сигнала Y и Y задаются в показанном варианте осуществления в виде:
1
s
d
Y=0,5(Y+Y), (8)
2
s
d
Y=0,5(Y-Y). (9)
В общей форме, вычисление суммарного сигнала и разностного сигнала (в качестве примеров объединенных сигналов) выражаются в матричной форме как
(10)
X
g
1
N
T
где=[X … X] - коэффициенты STFT входного сигнала, N - количество каналов,  - коэффициенты STFT матрицированного сигнала, и - матрица смешивания размером N×N.
s
d
Например, суммарный сигнал X и разностный сигнал X, заданные уравнениями (6) и (7), получаются для N=2 путем установления  и .
Y
1
N
T
Обратная обработка матричной операции, т.е. вычисление канальных сигналов =[Y … Y] из матрицированного сигнала  получается из
(11)
g
g
-1
где  - результат обработки PA, применяемой к  и  - матрица, обратная . Согласно этому обобщению, предложенный способ также можно применять к сигналам, имеющим более двух каналов.
1
2
Очень преимущественный этап показанного варианта осуществления состоит в коррекции модуля спектральных коэффициентов таким образом, что полученные комплекснозначные спектральные коэффициенты имеют фазу результата этапа разделения с использованием уравнений (8) и (9) и модуль X и X преобразованных канальных сигналов.
Разделенные сигналы задаются в полярных координатах как:
1/2
1/2
y,1/2
y,1/2
1/2
Y=|Y|exp(jΦ), где Φ=argY и j=√-1.
1
2
Следовательно, для показанных двухканальных входных сигналов, скорректированные сигналы Z и Z после этапа MC задаются как:
1
1
y,1
Z=|X|exp(jΦ), (12)
2
2
y,2
Z=|X|exp(jΦ). (13)
Этот этап гарантирует сохранение межканальных разностей уровней (ICLD) аудиосигнала.
Следовательно, на этом этапе модули обработанных сигналов заменяются исходными амплитудами преобразованных канальных сигналов.
В общем случае входных сигналов, имеющих более двух каналов, каждый выходной сигнал после обратной матричной операции, т.е. после разделения в разделенных сигналах после адаптации отдельных фаз, изменяется согласно варианту осуществления таким образом, что его модуль заменяется модулем соответствующего, предпочтительно, преобразованного канального сигнала (до матрицирования, т.е. до вычисления комбинаций разных канальных сигналов).
Обработка PA имеет значительную вычислительную сложность. Это предусматривает различные этапы обработки, которые могут быть реализованы со сниженной точностью для снижения вычислительной нагрузки.
Например, вычисление полярных координат (модуля и фазы) комплексного числа, заданного его декартовыми координатами (действительной и мнимой составляющими) может быть реализовано с более низкой или более высокой точностью. Часто, вычисления с более низкой точностью имеют более низкие вычислительные затраты, но вносят ошибку.
d
s
Вычислительная нагрузка может снижаться с учетом того факта, что для типичных аудиосигналов (например, музыкальных записей или широковещательных сигналов) суммарный сигнал имеет более высокую энергию, чем разностный сигнал. Ошибки, обусловленные приближениями в вычислении, оказывают меньшее влияние, когда они вносятся в разностный сигнал и большее влияние, когда они возникают в суммарном сигнале. Это можно использовать путем применения способов с меньшей точностью для вычисления разностного сигнала Y и способов с большей точностью при вычислении суммарного сигнала Y.
d
d
Другое средство для снижения вычислительной нагрузки состоит в пропуске некоторых этапов обработки. Например, фазовая синхронизация может пропускаться при вычислении разностного сигнала Y. Фазовая синхронизация относится к дополнительному этапу обработки для повышения качества звучания. Для снижения вычислительной нагрузки, фазы разностного сигнала Y вычисляются таким образом, что распространение фазы поддерживается без применения обработки фазовой синхронизации.
Другое средство для снижения вычислительной нагрузки состоит в применении обработки высокого качества (большой точности на всех этапах обработки наподобие фазовой синхронизации) только до максимального значения частоты. Для цифрового сигнала, дискретизированного с частотой, например 48 кГц, обработка высокого качества применяется только к частотным диапазонам до максимального значения 10 кГц. Максимальная частота, до которой применяется обработка с наилучшим возможным качеством, может дополнительно снижаться для вычисления разностного сигнала.
На фиг. 3 показан вариант осуществления устройства 1, которое осуществляет изменение масштаба времени многоканального аудиосигнала 100. Многоканальный аудиосигнал 100 может содержать более двух канальных сигнала. Изменение масштаба времени является достигается посредством фазовой адаптации.
1
2
Блок 2 извлечения извлекает канальные сигналы x, x, содержащиеся в многоканальном аудиосигнале 100. В показанном варианте осуществления, существует только два канальных сигнала. Тем не менее, изобретение не ограничивается двумя канальными сигналами.
1
2
В другом, не показанном, варианте осуществления, канальные сигналы x, x по отдельности поступают на устройство 1. Следовательно, для такого варианта осуществления блок извлечения не требуется.
1
2
1
2
1
2
Канальные сигналы x, x являются сигналами во временной области и, в показанном варианте осуществления, поступают на блок 3 преобразования. Блок 3 преобразования преобразует канальные сигналы x, x в частотную область, и, таким образом, обеспечивает преобразованные сигналы X, X.
1
2
1
2
s
d
Преобразованные сигналы X, X подаются на блок 4 объединения. Блок 4 объединения объединяет преобразованные сигналы X, X, в данном примере, путем применения их линейных комбинаций, например, путем вычисления суммы X преобразованных сигналов и разности X между ними. Количество объединенных сигналов в одном варианте осуществления равно количеству канальных сигналов.
В другом, не показанном, варианте осуществления, последовательность блока 3 преобразования и блока 4 объединения является обратной. Это означает, что блок 4 объединения объединяет канальные сигналы, и блок 3 преобразования преобразует объединенные сигналы в этом другом, не показанном, варианте осуществления.
s
d
В изображенном варианте осуществления, объединенные сигналы, а именно, объединенные преобразованные канальные сигналы X и X, подаются на блок 5 фазовой адаптации.
s
d
s
d
s
d
s
d
Блок 5 фазовой адаптации изменяет фазы объединенных сигналов X и X и обеспечивает обработанные сигналы Y и Y. Обработанные сигналы Y и Y имеют адаптированные фазы, отражающие подходящее изменение масштаба времени объединенных сигналов X и X. Следовательно, объединенные сигналы замедляются или ускоряются.
s
d
1
2
1
2
Для получения канальных сигналах с измененным масштабом времени, обработанные сигналы Y и Y разделяются блоком 6 разделения, обеспечивающим разделенные сигналы Y и Y, которые претерпевают обратное преобразование блоком 7 обратного преобразования. Полученные измененные канальные сигналы Y и Y являются временными сигналами и имеют желаемый масштаб времени.
На фиг. 4 показан другой вариант осуществления устройства 1.
Конструкция устройства 1, показанного на фиг. 4, аналогична варианту осуществления, показанному на фиг. 3. Различие между обоими вариантами осуществления заключается в блоках, следующих за блоком 6 разделения. Объяснение других элементов приведено в описании фиг. 3.
1
2
1
2
Блок 6 разделения в варианте осуществления, показанном на фиг. 4, также обеспечивает разделенные сигналы Y и Y. Эти сигналы частотной области Y и Y подаются в этом варианте осуществления на блок 8 коррекции, предшествующий блоку 7 обратного преобразования.
1
2
1
2
Блок 8 коррекции заменяет амплитуды разделенных сигналов Y и Y амплитудами соответствующих преобразованных сигналов X и X, т.е. амплитудами или модулями до фазовой адаптации и, в особенности, до объединения канальных сигналов.
1
2
1
2
Полученные сигналы Z и Z, скорректированные или измененные по амплитуде (ср. уравнения (12) и (13)) подаются на блок 7 обратного преобразования и преобразуются во временную область как измененные и скорректированные канальные сигналы z, z.
Для обеспечения коррекции, блок 3 преобразования соединён с блоком 8 коррекции.
1
2
1
2
В дополнительном, не показанном, варианте осуществления, последовательность блока 3 преобразования и блока 4 объединения переключается, и блок 3 преобразования, таким образом, преобразует объединенные сигналы. Для коррекции разделенных сигналов Y, Y блок 8 коррекции обращается, таким образом, к дополнительным преобразованиям соответствующих канальных сигналов x, x.
Вариант осуществления, представленный на фиг. 5, является обобщенной версией показанного на фиг. 4.
1
2
N
Здесь, многоканальный аудиосигнал 100 содержит N канальных сигналов x, x, …, x, где N - целое число, большее двух.
1
2
N
1
2
N
X
Канальные сигналы x, x, …, x, которые являются временными сигналами, извлеченными блоком 2 извлечения, подаются на блок 3 преобразования, обеспечивающий преобразованные сигналы в частотной области X, X, …, X, которые задаются здесь вектором  (альтернативно, задаются как ).
Затем блок 4 объединения обеспечивает вектор линейных комбинаций  путем применения уравнения (10).
1
2
N
1
2
N
1
2
N
После этого блок 5 фазовой адаптации обеспечивает обработанные сигналы (здесь заданные вектором: ), которые разделяются блоком 6 разделения. Разделенные сигналы Y, Y, …, Y (здесь заданный вектором ) корректируются в отношении их амплитуд блоком 8 коррекции. Скорректированные сигналы Z, Z, …, Z (заданные здесь вектором ), подаются на блок 7 обратного преобразования, давая N измененных и скорректированных канальных сигналов z, z, …, z. Переход от верхнего регистра к нижнему регистру, указывает преобразование из частотной во временную область.
Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа также представляют описание соответствующего блока или элемента или признака соответствующего устройства. Некоторые или все этапы способа могут выполняться аппаратным устройством (или с его помощью), например, микропроцессором, программируемым компьютером или электронной схемой. В некоторых вариантах осуществления, некоторые один или более из наиболее важных этапов способа могут выполняться таким устройством.
Передаваемый или кодированный сигнал согласно изобретению может сохраняться на цифровом носителе данных или может передаваться по среде передачи, например, беспроводной среде передачи или проводной среде передачи, например, интернете.
В зависимости от некоторых требований реализации, варианты осуществления изобретения могут быть реализованы аппаратными средствами или программными средствами. Реализация может осуществляться с использованием цифрового носителя данных, например, флоппи-диска, DVD, Blu-Ray, CD, ROM, PROM и EPROM, EEPROM или флеш-памяти, на котором хранятся электронно считываемые сигналы управления, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой, благодаря чему, осуществляется соответствующий способ. Таким образом, цифровой носитель данных может считываться компьютером.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронно считываемые сигналы управления, которые способны взаимодействовать с программируемой компьютерной системой, благодаря чему, осуществляется один из описанных здесь способов.
В общем случае, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код позволяет осуществлять один из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может, например, храниться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из описанных здесь способов, хранящихся на машиночитаемом носителе.
Другими словами, вариант осуществления способа согласно изобретению, таким образом, представляет собой компьютерную программу, имеющую программный код для осуществления одного из описанных здесь способов, когда компьютерная программа выполняется на компьютере.
Таким образом, дополнительный вариант осуществления способа согласно изобретению представляет собой носитель данных (или постоянный носитель данных, например, цифровой носитель данных или машиночитаемый носитель), на котором записана компьютерная программа для осуществления одного из описанных здесь способов. Носитель данных, цифровой носитель данных или записанный носитель обычно является материальным и/или постоянным.
Таким образом, дополнительный вариант осуществления изобретения способа представляет собой поток данных или последовательность сигналов, представляющую компьютерную программу для осуществления одного из описанных здесь способов. Поток данных или последовательность сигналов может, например, быть выполнена с возможностью переноса через соединение для передачи данных, например, через интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для осуществления одного из описанных здесь способов.
Дополнительный вариант осуществления содержит компьютер, на котором установлена компьютерная программа для осуществления одного из описанных здесь способов.
Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью переноса (например, электронного или оптического) компьютерной программы для осуществления одного из описанных здесь способов на приемник. Приемником может быть, например, компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система может, например, содержат файловый сервер для переноса компьютерной программы на приемник.
В некоторых вариантах осуществления, программируемое логическое устройство (например, вентильная матрица, программируемая пользователем) может использоваться для осуществления некоторых или всех из функциональных возможностей описанных здесь способов. В некоторых вариантах осуществления, вентильная матрица, программируемая пользователем может взаимодействовать с микропроцессором для осуществления одного из описанных здесь способов. В общем случае, способы, предпочтительно, осуществляются любым аппаратным устройством.
Вышеописанные варианты осуществления призваны лишь иллюстрировать принципы настоящего изобретения. Следует понимать, что описанные здесь модификации и вариации конфигураций и подробностей будут очевидны специалистам в данной области техники. Таким образом, предполагается ограничение лишь объемом нижеследующей формулы изобретения, но не конкретными подробностями, представленными в настоящем документе в качестве описания и пояснения вариантов осуществления.
Список литературы
[1] M. Dolson, ʺThe Phase Vocoder: A Tutorialʺ, Computer Music Journal, vol. 10, pp. 14-27, 1986.
[2] J. Laroche and M. Dolson, ʺImproved Phase Vocoder Time-Scale Modification of Audioʺ, IEEE Transaction on Speech and Audio Processing, vol. 7, no. 3, pp. 323-332, 1999.
[3] T. Karrer, E. Lee, and J. Borchers, ʺPhaVoRIT: A Phase Vocoder for Real-Time Interactive Time-Stretching,ʺ in Proc. of ICMC, 2006.