УСТРАНЕНИЕ ЗАДЕРЖЕК ПО ВРЕМЕНИ НА ТРАКТАХ ОБРАБОТКИ СИГНАЛА
ELIMINATION OF TIME DELAYS ON SIGNAL PROCESSING CHANNELS

Область техники, к которой относится изобретение
Раскрытые варианты осуществления относятся, в целом, к обработке сигнала.
Уровень техники
Многоканальное аудиокодирование (обычно именуемое пространственным аудиокодированием) заключает пространственное изображение многоканального аудиосигнала в компактный набор пространственных параметров, которые можно использовать для синтеза высококачественного многоканального представления из переданного низведенного сигнала (сигнала, полученного путем понижающего микширования).
В многоканальной аудиосистеме, поддерживающей несколько схем кодирования, низведенный сигнал может испытывать задержку по времени относительно других низведенных сигналов и/или соответствующих пространственных параметров вследствие обработки сигнала (например, преобразований из временного измерения в частотное).
Сущность изобретения
Цели настоящего изобретения можно добиться, обеспечив способ обработки аудиосигнала, содержащий этапы, на которых: принимают аудиосигнал, включающий в себя низведенный сигнал и пространственную информацию; преобразуют низведенный сигнал из первого измерения во второе измерение для обеспечения первого преобразованного низведенного сигнала; преобразуют первый преобразованный низведенный сигнал из второго измерения в третье измерение для обеспечения второго преобразованного низведенного сигнала; и объединяют второй преобразованный низведенный сигнал и пространственную информацию, в котором объединенная пространственная информация задержана на промежуток времени, который включает в себя истекшее время преобразования.
Краткое описание чертежей
В прилагаемых чертежах, которые призваны обеспечивать лучшее понимание изобретения и составляют часть данной заявки, представлен(ы) вариант(ы) осуществления изобретения и, совместно с описанием, служат для пояснения принципов изобретения. На чертежах:
фиг.1-3 - блок-схемы устройств декодирования аудиосигнала согласно вариантам осуществления настоящего изобретения, соответственно;
фиг.4 - блок-схема блока многоканального декодирования, показанного на фиг. 1, для пояснения способа обработки сигнала;
фиг.5 - блок-схема блока многоканального декодирования, показанного на фиг.2, для пояснения способа обработки сигнала; и
фиг.6-10 - блок-схемы для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.
Предпочтительные варианты осуществления изобретения
Обратимся к подробному описанию предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах. По возможности, одинаковые или сходные детали обозначены на чертежах одинаковыми позициями.
Поскольку обработка сигнала для аудиосигнала возможна в нескольких измерениях и, в частности, во временном измерении, аудиосигнал подлежит соответствующей обработке с учетом выравнивания по времени.
Таким образом, при обработке аудиосигнала можно преобразовывать измерение аудиосигнала. Преобразование измерения аудиосигнала может включать в себя преобразование T/F (временного/частотного) измерения и комплексное преобразование измерения. Преобразование T/F измерения включает в себя, по меньшей мере, одно из преобразования сигнала во временном измерении в сигнал в частотном измерении и преобразования сигнала в частотном измерении в сигнал во временном измерении. Комплексное преобразование измерения означает преобразование измерения согласно сложности операции обработки аудиосигнала. Кроме того, комплексное преобразование измерения включает в себя преобразование сигнала в действительном частотном измерении в сигнал в комплексном частотном измерении, сигнала в комплексном частотном измерении в сигнал в действительном частотном измерении и т.д. Если аудиосигнал обрабатывается без учета выравнивания по времени, качество звучания может ухудшаться. Для выравнивания может осуществляться обработка задержки. Обработка задержки может включать в себя, по меньшей мере, одну из задержки кодирования и задержки декодирования. Задержка кодирования означает, что сигнал задерживается на величину задержки, учитываемую при кодировании сигнала. Задержка декодирования означает задержку в реальном времени, вносимую при декодировании сигнала.
'Входное измерение низведенного сигнала' означает измерение низведенного сигнала, поступающего на блок многоканального декодирования, который генерирует многоканальный аудиосигнал.
'Входное измерение остаточного сигнала' означает измерение остаточного сигнала, поступающего на блок многоканального декодирования.
'Данные временного ряда' означают данные, нуждающиеся в синхронизации по времени с многоканальным аудиосигналом или в выравнивании по времени. Некоторые примеры 'данных временного ряда' включает в себя данные движущихся изображений, неподвижных изображений, текста и т.д.
'Опережение' означает процесс продвижения сигнала на указанное время.
'Отставание' означает процесс задерживания сигнала на указанное время.
'Пространственная информация' означает информацию для синтеза многоканальных аудиосигналов. Пространственная информация может представлять собой пространственные параметры, включающие в себя, но без ограничения: CLD (разность уровней каналов), указывающую различие в энергии между двумя каналами, ICC (межканальную когерентность), указывающую корреляцию между двумя каналами), CPC (коэффициент прогнозирования канала), который представляет собой коэффициент прогнозирования, используемый при генерации трех каналов из двух каналов, и т.д.
Описанное здесь декодирование аудиосигнала является одним примером обработки сигнала, которую можно осуществлять согласно настоящему изобретению. Настоящее изобретение применимо также к другим типам обработки сигнала (например, обработке видеосигнала). Описанные здесь варианты осуществления можно видоизменить так, чтобы они включали в себя любое количество сигналов, которые можно представить в измерении любого вида, в том числе, но без ограничения: времени, квадратурного зеркального фильтра (QMF), модифицированного дискретного косинусного преобразования (MDCT), сложности и т.д.
Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя генерацию многоканального аудиосигнала путем объединения низведенного сигнала и пространственной информации. Может существовать совокупность измерений для представления низведенного сигнала (например, временное измерение, QMF, MDCT). Поскольку преобразования между измерениями может вносить задержку по времени на тракте обработки низведенного сигнала, необходим этап компенсации разницы в синхронизации по времени между низведенным сигналом и пространственной информацией, соответствующей низведенному сигналу. Компенсация разницы в синхронизации по времени может включать в себя задерживание, по меньшей мере, одного из низведенного сигнала и пространственной информации. Несколько вариантов осуществления компенсации разницы в синхронизации по времени между двумя сигналами и/или между сигналами и параметрами описано ниже со ссылкой на прилагаемые чертежи.
Любое упоминание здесь термина "устройство" не предусматривает ограничения описанного варианта осуществления аппаратной реализацией. Описанные здесь варианты осуществления можно реализовать посредством оборудования, программного обеспечения, программно-аппаратного обеспечения или любой их комбинации.
Описанные здесь варианты осуществления можно реализовать в виде команд на компьютерно-считываемом носителе, которые при выполнении на процессоре (например, компьютерном процессоре) предписывают процессору осуществлять операции, которые обеспечивают различные аспекты настоящего описанного здесь изобретения. Термин "компьютерно-считываемый носитель" означает любой носитель, который участвует в обеспечении команд для выполнения процессором, в том числе, но без ограничения, энергонезависимые носители (например, оптические или магнитные диски), энергозависимые носители (например, память) и среды связи. Среды связи включает в себя, без ограничения, коаксиальные кабели, медные провода и оптические волокна. Среды связи также могут иметь вид акустических, световых или радиоволн.
На фиг.1 показана схема устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.
Согласно фиг.1, устройство декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя блок 100 низводящего декодирования и блок 200 многоканального декодирования.
Блок 100 низводящего декодирования включает в себя блок преобразования в другое измерение 110. В показанном примере, блок 100 низводящего декодирования передает низведенный сигнал XQ1, обработанный в измерении QMF, на блок 200 многоканального декодирования без дополнительной обработки. Блок 100 низводящего декодирования также передает низведенный сигнал во временном измерении XT1 на блок 200 многоканального декодирования, который генерируется путем преобразования низведенного сигнала XQ1 из измерения QMF во временное измерение с использованием блока 110 преобразования. Методы преобразования аудиосигнала из измерения QMF во временное измерение общеизвестны и включены в общедоступные стандарты обработки аудиосигнала (например, MPEG).
Блок 200 многоканального декодирования генерирует многоканальный аудиосигнал XM1 с использованием низведенного сигнала XT1 или XQ1 и пространственной информации SI1 или SI2.
На фиг.2 показана схема устройства декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.
Согласно фиг.2, устройство декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения включает в себя блок 100a низводящего декодирования, блок 200a многоканального декодирования и блок 300a преобразования в другое измерение.
Блок 100a низводящего декодирования включает в себя блок 110a преобразования в другое измерение. В показанном примере блок низводящего декодирования 100a выводит низведенный сигнал Xm, обработанный в измерении MDCT. Блок 100a низводящего декодирования также выводит низведенный сигнал XT2 во временном измерении, который генерируется путем преобразования Xm из измерения MDCT во временное измерение с использованием блока 110a преобразования.
Низведенный сигнал XT2 во временном измерении передается на блок 200a многоканального декодирования. Низведенный сигнал Xm в измерении MDCT проходит через блок 300a преобразования в другое измерение, где он преобразуется в низведенный сигнал XQ2 в измерении QMF. Преобразованный низведенный сигнал XQ2 затем передается на блок 200a многоканального декодирования.
Блок 200a многоканального декодирования генерирует многоканальный аудиосигнал XM2 с использованием переданного низведенного сигнала XT2 или XQ2 и пространственной информации SI3 или SI4.
На фиг.3 показана схема устройства декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.
Согласно фиг.3, устройство декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения включает в себя блок 100b низводящего декодирования, блок 200b многоканального декодирования, блок 400b остаточного декодирования и блок 500b преобразования в другое измерение.
Блок 100b низводящего декодирования включает в себя блок 110b преобразования в другое измерение. Блок низводящего декодирования 100b передает низведенный сигнал XQ3, обработанный в измерении QMF, на блок 200b многоканального декодирования без дополнительной обработки. Блок 100b низводящего декодирования также передает низведенный сигнал XT3 на блок 200b многоканального декодирования, который генерируется путем преобразования низведенного сигнала XQ3 из измерения QMF во временное измерение с использованием блока 110b преобразования.
В некоторых вариантах осуществления кодированный остаточный сигнал RB поступает в блок 400b остаточного декодирования и затем обрабатывается. В этом случае, обработанный остаточный сигнал RM является сигналом в измерении MDCT. Остаточный сигнал может представлять собой, например, сигнал ошибки прогнозирования, широко используемый в приложениях аудиокодирования (например, MPEG).
Затем остаточный сигнал RM в измерении MDCT преобразуется в остаточный сигнал RQ в измерении QMF блоком 500b преобразования в другое измерение и затем передается на блок 200b многоканального декодирования.
Если измерение остаточного сигнала, обработанного и выведенного на блоке 400b остаточного декодирования, является входным измерением остаточного сигнала, обработанный остаточный сигнал может передаваться на блок 200b многоканального декодирования, не подвергаясь процессу преобразования в другое измерение.
На фиг.3 показано, что в некоторых вариантах осуществления блок 500b преобразования в другое измерение преобразует остаточный сигнал RM в измерении MDCT в остаточный сигнал RQ в измерении QMF. В частности, блок 500b преобразования в другое измерение способен преобразовывать остаточный сигнал RM, выводимый из блока 400b остаточного декодирования, в остаточный сигнал RQ в измерении QMF.
Как отмечено в вышеприведенном описании, может существовать совокупность измерений низведенного сигнала, что может приводить к разнице в синхронизации по времени между низведенным сигналом и пространственной информацией, которую, возможно, потребуется компенсировать. Ниже описаны различные варианты осуществления компенсации разницы в синхронизации по времени.
При обработке аудиосигнала согласно одному варианту осуществления настоящего изобретения генерируется многоканальный аудиосигнал путем декодирования кодированного аудиосигнала, включающего в себя низведенный сигнал и пространственную информацию.
В ходе декодирования низведенный сигнал и пространственная информация подвергаются различным процессам, которые могут создавать разные задержки по времени.
В ходе кодирования низведенный сигнал и пространственная информация могут кодироваться с синхронизацией по времени.
В таком случае низведенный сигнал и пространственную информацию можно синхронизировать по времени исходя из того, в каком измерении низведенный сигнал, обработанный на блоке 100, 100a или 100b низводящего декодирования, передается на блок 200, 200a или 200b многоканального декодирования.
В некоторых вариантах осуществления в кодированный аудиосигнал может быть включен идентификатор низводящего кодирования для идентификации измерения, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией. В таком случае идентификатор низводящего кодирования может указывать схему декодирования низведенного сигнала.
Например, если идентификатор низводящего кодирования указывает схему декодирования «усовершенствованное аудиокодирование» (AAC), то кодированный аудиосигнал можно декодировать AAC-декодером.
В некоторых вариантах осуществления идентификатор низводящего кодирования также можно использовать для определения измерения, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией.
В способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения низведенный сигнал можно обрабатывать в измерении, отличном от измерения, в котором установлена синхронизация по времени, и затем передавать на блок 200, 200a или 200b многоканального декодирования. В этом случае блок 200, 200a или 200b декодирования компенсирует синхронизацию по времени между низведенным сигналом и пространственной информацией для генерации многоканального аудиосигнала.
Способ компенсации разницы в синхронизации по времени между низведенным сигналом и пространственной информацией объяснен ниже со ссылкой на фиг.1 и фиг.4.
На фиг.4 показана блок-схема блока 200 многоканального декодирования, показанного на фиг.1.
Согласно фиг.1 и фиг.4, в способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, низведенный сигнал, обработанный на блоке 100 низводящего декодирования (фиг.1), может передаваться на блок 200 многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что низведенный сигнал и пространственная информация согласованы друг с другом посредством синхронизации по времени в измерении QMF. Возможны и другие измерения.
В примере, показанном на фиг.4, низведенный сигнал XQ1, обработанный в измерении QMF, передается на блок 200 многоканального декодирования для обработки сигнала.
Переданный низведенный сигнал XQ1 объединяется с пространственной информацией SI1 на блоке 230 многоканальной генерации для генерации многоканального аудиосигнала XM1.
В этом случае пространственная информация SI1 объединяется с низведенным сигналом XQ1 после задержки на время, соответствующее синхронизации по времени при кодировании. Задержка может представлять собой задержку кодирования. Поскольку пространственная информация SI1 и низведенный сигнал XQ1 синхронизированы по времени при кодировании, многоканальный аудиосигнал можно генерировать без особого процесса согласования синхронизации. Таким образом, в этом случае пространственная информация ST1 не испытывает задержку, равную задержке декодирования.
Помимо XQ1, низведенный сигнал XT1, обработанный во временном измерении, передается на блок 200 многоканального декодирования для обработки сигнала. Согласно фиг.1, низведенный сигнал XQ1 в измерении QMF преобразуется в низведенный сигнал XT1 во временном измерении блоком 110 преобразования в другое измерение, и низведенный сигнал XT1 во временном измерении передается на блок 200 многоканального декодирования.
Согласно фиг.4, переданный низведенный сигнал XT1 преобразуется в низведенный сигнал XQ1 в измерении QMF блоком 210 преобразования в другое измерение.
При передаче низведенного сигнала XT1 во временном измерении на блок 200 многоканального декодирования, по меньшей мере, один из низведенного сигнала XQ1 и пространственной информации SI2 может передаваться на блок 230 многоканальной генерации по завершении компенсации задержки по времени.
Блок 230 многоканальной генерации может генерировать многоканальный аудиосигнал XM1 путем объединения переданного низведенного сигнала XQ1' и пространственной информации SI2'.
Компенсация задержки по времени должна осуществляться на, по меньшей мере, одном из низведенного сигнала XQ1 и пространственной информации SI2, поскольку синхронизация по времени между пространственной информацией и низведенным сигналом установлена в измерении QMF при кодировании. Преобразованный в другое измерение низведенный сигнал XQ1 может поступать на блок 230 многоканальной генерации после компенсации разницы рассогласования синхронизации по времени на блоке 220 обработки задержки сигнала.
Способ компенсации разницы в синхронизации по времени предусматривает обеспечение опережения низведенного сигнала XQ1 на величину разницы в синхронизации по времени. В этом случае разница в синхронизации по времени может быть суммой времени задержки, создаваемой блоком 110 преобразования в другое измерение, и времени задержки, создаваемой блоком 210 преобразования в другое измерение.
Разницу в синхронизации по времени также можно компенсировать путем компенсации задержки по времени для пространственной информации SI2. В этом случае на блоке 240 обработки задержки пространственной информации обеспечивается отставание пространственной информации SI2 на величину разницы в синхронизации по времени, после чего эта информация передается на блок 230 многоканальной генерации.
Значение задержки существенно задержанной пространственной информации соответствует сумме рассогласованной разницы в синхронизации по времени и времени задержки, для которого синхронизация по времени была согласована. Таким образом, задержанная пространственная информация задерживается на величину задержки кодирования и задержки декодирования. Эта сумма также соответствует суммарному значению разницы в синхронизации по времени между низведенным сигналом и пространственной информацией, создаваемой на блоке 100 низводящего декодирования (фиг.1), и разницы в синхронизации по времени, создаваемой на блоке 200 многоканального декодирования.
Значение задержки существенно задержанной пространственной информации SI2 можно определить исходя из производительности и задержки фильтра (например, QMF, смешанного блока фильтров).
Например, значение задержки пространственной информации, с учетом производительности и задержки фильтра, может составлять 961 временных выборок. В случае анализа значения задержки пространственной информации разница в синхронизации по времени, создаваемая на блоке 100 низводящего декодирования, составляет 257 временных выборок, и разница в синхронизации по времени, создаваемая на блоке 200 многоканального декодирования, составляет 704 временных выборок. Хотя значение задержки выражается в количестве временных выборок, его также можно выражать в количестве квантов времени.
На фиг.5 показана блок-схема блока 200a многоканального декодирования, показанного на фиг.2.
Согласно фиг.2 и фиг.5, в способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения низведенный сигнал, обработанный на блоке 100a низводящего декодирования, может передаваться на блок 200a многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что низведенный сигнал и пространственная информация согласованы друг с другом посредством синхронизации по времени в измерении QMF. Возможны и другие измерения. Аудиосигнал, низведенный сигнал и пространственная информация которого согласованы в измерении отличном от временного измерения, можно обрабатывать.
Согласно фиг.2, низведенный сигнал XT2, обработанный во временном измерении, передается на блок 200a многоканального декодирования для обработки сигнала.
Низведенный сигнал Xm в измерении MDCT преобразуется в низведенный сигнал XT2 во временном измерении блоком 110a преобразования в другое измерение.
Затем преобразованный низведенный сигнал XT2 передается на блок 200a многоканального декодирования.
Переданный низведенный сигнал XT2 преобразуется в низведенный сигнал Xq2 в измерении QMF блоком 210a преобразования в другое измерение и затем передается на блок 230a многоканальной генерации.
Переданный низведенный сигнал Xq2 объединяется с пространственной информацией SI3 на блоке 230a многоканальной генерации для генерации многоканального аудиосигнала XM2.
В этом случае пространственная информация SI3 объединяется с низведенным сигналом Xq2 после задержки на время, соответствующее синхронизации по времени при кодировании. Задержка может представлять собой задержку кодирования. Поскольку пространственная информация SI3 и низведенный сигнал Xq2 синхронизированы по времени при кодировании, многоканальный аудиосигнал можно генерировать без особого процесса согласования синхронизации. Таким образом, в этом случае пространственная информация SI3 не испытывает задержку, равную задержке декодирования.
В некоторых вариантах осуществления низведенный сигнал XQ2, обработанный в измерении QMF, передается на блок 200a многоканального декодирования для обработки сигнала.
Низведенный сигнал Xm, обработанный в измерении MDCT, выводится из блока 100a низводящего декодирования. Выведенный низведенный сигнал Xm преобразуется в низведенный сигнал XQ2 в измерении QMF блоком 300a преобразования в другое измерение. Преобразованный низведенный сигнал XQ2 затем передается на блок 200a многоканального декодирования.
Когда низведенный сигнал XQ2 в измерении QMF передается на блок 200a многоканального декодирования, по меньшей мере, один из низведенного сигнала XQ2 и пространственной информации SI4 может передаваться на блок 230a многоканальной генерации по завершении компенсации задержки по времени.
Блок 230a многоканальной генерации может генерировать многоканальный аудиосигнал XM2 путем объединения переданного низведенного сигнала XQ2' и пространственной информации SI4'.
Компенсация задержки по времени должна осуществляться на, по меньшей мере, одном из низведенного сигнала XQ2 и пространственной информации SI4 потому, что синхронизация по времени между пространственной информацией и низведенным сигналом установлена во временном измерении при кодировании. Преобразованный в другое измерение низведенный сигнал XQ2 может поступать на блок 230a многоканальной генерации после компенсации рассогласованной разницы в синхронизации по времени на блоке 220a обработки задержки сигнала.
Способ компенсации разницы в синхронизации по времени предусматривает обеспечение отставания низведенного сигнала XQ2 на величину разницы в синхронизации по времени. В этом случае разница в синхронизации по времени может быть разностью между временем задержки, создаваемой блоком 300a преобразования в другое измерение, и суммой времени задержки, создаваемой блоком 110a преобразования в другое измерение, и времени задержки, создаваемой блоком 210a преобразования в другое измерение.
Разницу в синхронизации по времени также можно компенсировать путем компенсации задержки по времени для пространственной информации SI4. В этом случае для пространственной информации SI4 устанавливается опережение на величину разницы в синхронизации по времени на блоке 240a обработки задержки пространственной информации, после чего эта информация передается на блок 230a многоканальной генерации.
Значение задержки существенно задержанной пространственной информации соответствует сумме рассогласованной разницы в синхронизации по времени и времени задержки, для которого синхронизация по времени была согласована. Таким образом, задержанная пространственная информация SI4' задерживается на величину задержки кодирования и задержки декодирования.
Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя кодирование аудиосигнала, для которого синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается согласно конкретной схеме декодирования, и декодирование кодированного аудиосигнала.
Существует несколько примеров схем декодирования, которые базируются на качестве (например, AAC высокого качества) или базируются на мощности (например, AAC низкой сложности). Схема декодирования с высоким качеством выводит многоканальный аудиосигнал, имеющий более высокое качество звучания, по сравнению с выходным сигналом схемы декодирования с пониженной мощностью. Схема декодирования с пониженной мощностью имеет сравнительно более низкое энергопотребление вследствие своей конфигурации, которая менее сложна по сравнению со схемой декодирования с высоким качеством.
В нижеследующем описании схемы декодирования с высоким качеством и с низкой мощностью используются в качестве примеров для пояснения настоящего изобретения. Другие схемы декодирования в равной степени применимы к вариантам осуществления настоящего изобретения.
На фиг.6 показана блок-схема для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.
Согласно фиг.6, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100c низводящего декодирования и блок 200c многоканального декодирования.
В некоторых вариантах осуществления низведенный сигнал XT4, обработанный на блоке 100c низводящего декодирования, передается на блок 200c многоканального декодирования, где сигнал объединяется с пространственной информацией SI7 или SI8 для генерации многоканального аудиосигнала M1 или M2. В этом случае обработанный низведенный сигнал XT4 является низведенным сигналом во временном измерении.
Кодированный низведенный сигнал DB передается на блок 100c низводящего декодирования и обрабатывается. Обработанный низведенный сигнал XT4 передается на блок 200c многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.
В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT4 передается и декодируется на тракте P2. Обработанный низведенный сигнал XT4 преобразуется в сигнал XRQ в действительном измерении QMF блоком 240c преобразования в другое измерение.
Преобразованный низведенный сигнал XRQ преобразуется в сигнал XQC2 в комплексном измерении QMF блоком преобразования в другое измерение 250c. Преобразование низведенного сигнала XRQ в низведенный сигнал XQC2 является примером комплексного преобразования измерения.
Затем сигнал XQC2 в комплексном измерении QMF объединяется с пространственной информацией SI8 на блоке 260c многоканальной генерации для генерации многоканального аудиосигнала M2.
Таким образом, при декодировании низведенного сигнала XT4 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала. Таким образом, в этом случае низведенный сигнал XRQ не испытывает задержку, равную задержке декодирования.
В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT4 передается и декодируется на тракте P1. Обработанный низведенный сигнал XT4 преобразуется в сигнал XCQ1 в комплексном измерении QMF блоком 210c преобразования в другое измерение.
Затем преобразованный низведенный сигнал XCQ1 задерживается на величину разницы в задержке по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 на блоке 220c обработки задержки сигнала.
Затем задержанный низведенный сигнал XCQ1' объединяется с пространственной информацией SI7 на блоке многоканальной генерации 230c, который генерирует многоканальный аудиосигнал M1.
Таким образом, низведенный сигнал XCQ1 проходит через блок 220c обработки задержки сигнала. Причина в том, что разница в синхронизации по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 создается вследствие кодирования аудиосигнала исходя из того, что будет использоваться схема декодирования с низкой мощностью.
Разница в синхронизации по времени - это разница в задержке по времени, которая зависит от используемой схемы декодирования. Например, разница в задержке по времени появляется потому, что процесс декодирования, например, согласно схеме декодирования с низкой мощностью, отличается от процесса декодирования согласно схеме декодирования с высоким качеством. Разница в задержке по времени учитывается до момента времени объединения низведенного сигнала и пространственной информации, поскольку нет необходимости синхронизировать низведенный сигнал и пространственную информацию после момента времени объединения низведенного сигнала и пространственной информации.
Согласно фиг.6, разница в синхронизации по времени равна разности между первым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ2 и пространственной информации SI8, и вторым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ1' и пространственной информации SI7. В этом случае временную выборку или квант времени можно использовать в качестве единицы задержки по времени.
Если время задержки, имеющее место на блоке преобразования в другое измерение 210c, равно времени задержки, имеющему место на блоке преобразования в другое измерение 240c, блоку 220c обработки задержки сигнала достаточно задержать низведенный сигнал XCQ1 на время задержки, имеющее место на блоке 250c преобразования в другое измерение.
Согласно варианту осуществления, показанному на фиг.6, две схемы декодирования используются на блоке 200c многоканального декодирования. Альтернативно, одна схема декодирования может использоваться на блоке 200c многоканального декодирования.
Согласно вышеописанному варианту осуществления настоящего изобретения синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с низкой мощностью. Однако настоящее изобретение дополнительно включает в себя случай, когда синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с высоким качеством. В этом случае обеспечивается опережение низведенного сигнала в отличие от случая установления синхронизации по времени согласно схеме декодирования с низкой мощностью.
На фиг.7 показана блок-схема для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.
Согласно фиг.7, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100d низводящего декодирования и блок 200d многоканального декодирования.
Низведенный сигнал XT4, обработанный на блоке 100d низводящего декодирования, передается на блок многоканального декодирования 200d, где низведенный сигнал объединяется с пространственной информацией SI7' или SI8 для генерации многоканального аудиосигнала M3 или M2. В этом случае обработанный низведенный сигнал XT4 является сигналом во временном измерении.
Кодированный низведенный сигнал DB передается на блок 100d низводящего декодирования и обрабатывается. Обработанный низведенный сигнал XT4 передается на блок 200d многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.
В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT4 передается и декодируется на тракте P4. Обработанный низведенный сигнал XT4 преобразуется в сигнал XRQ в действительном измерении QMF блоком 240d преобразования в другое измерение.
Преобразованный низведенный сигнал XRQ преобразуется в сигнал XQC2 в комплексном измерении QMF блоком 250d преобразования в другое измерение. Преобразование низведенного сигнала XRQ в низведенный сигнал XCQ2 является примером комплексного преобразования измерения.
Затем сигнал XQC2 в комплексном измерении QMF объединяется с пространственной информацией SI8 на блоке 260d многоканальной генерации для генерации многоканального аудиосигнала M2.
Таким образом, при декодировании низведенного сигнала XT4 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала. Таким образом, в этом случае пространственная информация SI8 не испытывает задержку, равную задержке декодирования.
В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT4 передается и декодируется на тракте P3. Обработанный низведенный сигнал XT4 преобразуется в сигнал XCQ1 в комплексном измерении QMF блоком 210d преобразования в другое измерение.
Преобразованный низведенный сигнал XCQ1 передается на блок многоканальной генерации 230d, где он объединяется с пространственной информацией SI7' для генерации многоканального аудиосигнала M3. В этом случае пространственная информация SI7' является пространственной информацией, чья задержка по времени компенсируется, когда пространственная информация SI7 проходит через блок обработки 220d задержки пространственной информации.
Таким образом, пространственная информация SI7 проходит через блок 220d обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 возникает вследствие кодирования аудиосигнала исходя из того, что будет использоваться схема декодирования с низкой мощностью.
Разница в синхронизации по времени - это разница в задержке по времени, которая зависит от используемой схемы декодирования. Например, разница в задержке по времени появляется потому, что процесс декодирования, например, согласно схеме декодирования с низкой мощностью, отличается от процесса декодирования согласно схеме декодирования с высоким качеством. Разница в задержке по времени учитывается до момента времени объединения низведенного сигнала и пространственной информации, поскольку нет необходимости синхронизировать низведенный сигнал и пространственную информацию после момента времени объединения низведенного сигнала и пространственной информации.
Согласно фиг.7, разница в синхронизации по времени равна разности между первым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ2 и пространственной информации SI8, и вторым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ1 и пространственной информации SI7'. В этом случае временная выборка или квант времени может использоваться в качестве единицы задержки по времени.
Если время задержки, имеющее место на блоке 210d преобразования в другое измерение, равно времени задержки, имеющему место на блоке 240d преобразования в другое измерение, блоку 220d обработки задержки пространственной информации достаточно обеспечить опережение пространственной информации SI7 на время задержки, имеющее место на блоке 250d преобразования в другое измерение.
В показанном примере две схемы декодирования используются на блоке 200d многоканального декодирования. Альтернативно, одна схема декодирования может использоваться на блоке 200d многоканального декодирования.
Согласно вышеописанному варианту осуществления настоящего изобретения синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с низкой мощностью. Однако настоящее изобретение дополнительно включает в себя случай, когда синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с высоким качеством. В этом случае низведенный сигнал задерживается, в отличие от случая установления синхронизации по времени согласно схеме декодирования с низкой мощностью.
Хотя на фиг.6 и фиг.7 показано, что один из блока 220c обработки задержки сигнала и блока 220d обработки задержки пространственной информации входит в состав блока 200c или 200d многоканального декодирования, настоящее изобретение включает в себя вариант осуществления, где блок 220d обработки задержки пространственной информации и блок 220c обработки задержки сигнала входят в состав блока 200c или 200d многоканального декодирования. В этом случае сумма времени компенсации задержки на блоке 220d обработки задержки пространственной информации и времени компенсации задержки на блоке 220c обработки задержки сигнала должна быть равна разнице в синхронизации по времени.
В вышеприведенном описании объяснены способ компенсации разницы в синхронизации по времени вследствие наличия совокупности входных измерений низведенного сигнала и способ компенсации разницы в синхронизации по времени вследствие наличия совокупности схем декодирования.
Далее следует объяснение способа компенсации разницы в синхронизации по времени вследствие наличия совокупности входных измерений низведенного сигнала и наличия совокупности схем декодирования.
На фиг.8 показана блок-схема для пояснения способа декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.
Согласно фиг.8, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100e низводящего декодирования и блок 200e многоканального декодирования.
В способе обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения низведенный сигнал, обработанный на блоке 100e низводящего декодирования, может передаваться на блок 200e многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что синхронизация по времени между низведенным сигналом и пространственной информацией установлена в измерении QMF согласно схеме декодирования с низкой мощностью. Альтернативно, настоящее изобретение предусматривает различные модификации осуществления.
Перейдем к описанию способа, согласно которому низведенный сигнал XQ5, обработанный в измерении QMF, обрабатывается путем передачи на блок 200e многоканального декодирования. В этом случае низведенный сигнал XQ5 может быть одним из сигнала XCQ5 в комплексном QMF и сигнала XRQ5 в действительном QMF. XCQ5 обрабатывается согласно схеме декодирования с высоким качеством на блоке 100e низводящего декодирования. XRQ5 обрабатывается согласно схеме декодирования с низкой мощностью на блоке 100e низводящего декодирования.
Согласно настоящему варианту осуществления предполагается, что сигнал, обработанный согласно схеме декодирования с высоким качеством на блоке 100e низводящего декодирования, поступает на блок 200e многоканального декодирования схемы декодирования с высоким качеством, и сигнал, обработанный согласно схеме декодирования с низкой мощностью на блоке 100e низводящего декодирования, поступает на блок 200e многоканального декодирования схемы декодирования с низкой мощностью. Альтернативно, настоящее изобретение предусматривает различные модификации осуществления.
В случае, когда обработанный низведенный сигнал XQ5 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XQ5 передается и декодируется на тракте P6. В этом случае XQ5 является низведенным сигналом XRQ5 в действительном измерении QMF.
Низведенный сигнал XRQ5 объединяется с пространственной информацией SI10 на блоке 231e многоканальной генерации для генерации многоканального аудиосигнала M5.
Таким образом, при декодировании низведенного сигнала XQ5 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала.
В случае, когда обработанный низведенный сигнал XQ5 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XQ5 передается и декодируется на тракте P5. В этом случае XQ5 является низведенным сигналом XCQ5 в комплексном измерении QMF. Низведенный сигнал XCQ5 объединяется с пространственной информацией SI9 на блоке 230e многоканальной генерации для генерации многоканального аудиосигнала M4.
Теперь рассмотрим случай, когда низведенный сигнал XT5, обработанный во временном измерении, передается на блок 200e многоканального декодирования для обработки сигнала.
Низведенный сигнал XT5, обработанный на блоке 100e низводящего декодирования, передается на блок 200e многоканального декодирования, где он объединяется с пространственной информацией SI11 или SI12 для генерации многоканального аудиосигнала M6 или M7.
Низведенный сигнал XT5 передается на блок 200e многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.
В случае, когда обработанный низведенный сигнал XT5 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT5 передается и декодируется на тракте P8. Обработанный низведенный сигнал XT5 преобразуется в сигнал XR в действительном измерении QMF блоком 241e преобразования в другое измерение.
Преобразованный низведенный сигнал XR преобразуется в сигнал XC2 в комплексном измерении QMF блоком преобразования в другое измерение 250e. Преобразование низведенного сигнала XR в низведенный сигнал XC2 является примером комплексного преобразования измерения.
Затем сигнал XC2 в комплексном измерении QMF объединяется с пространственной информацией SI12' на блоке 233e многоканальной генерации, который генерирует многоканальный аудиосигнал M7.
В этом случае пространственная информация SI12' является пространственной информацией, чья задержка по времени компенсируется, когда пространственная информация SI12 проходит через блок 240e обработки задержки пространственной информации.
Таким образом, пространственная информация SI12 проходит через блок 240e обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XC2 и пространственной информацией SI12 генерируется вследствие кодирования аудиосигнала, осуществляемого согласно схеме декодирования с низкой мощностью, исходя из того, что измерение, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией, является измерением QMF. При этом задержанная пространственная информация SI12' задерживается на величину задержки кодирования и задержки декодирования.
В случае, когда обработанный низведенный сигнал XT5 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT5 передается и декодируется на тракте P7. Обработанный низведенный сигнал XT5 преобразуется в сигнал XC1 в комплексном измерении QMF блоком 240e преобразования в другое измерение.
Преобразованный низведенный сигнал XC1 и пространственная информация SI11 компенсируются в отношении задержки по времени на величину разницы в синхронизации по времени между низведенным сигналом XC1 и пространственной информацией SI11 на блоке 250e обработки задержки сигнала и блоке 260e обработки задержки пространственной информации соответственно.
Затем низведенный сигнал XC1', скомпенсированный в отношении задержки по времени, объединяется с пространственной информацией, скомпенсированной отношении задержки по времени, SI11' на блоке многоканальной генерации 232e, который генерирует многоканальный аудиосигнал M6.
Таким образом, низведенный сигнал XC1 проходит через блок 250e обработки задержки сигнала, и пространственная информация SI11 проходит через блок 260e обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XC1 и пространственной информацией SI11 генерируется вследствие кодирования аудиосигнала исходя из того, что его декодирование будет осуществляться согласно схеме декодирования с низкой мощностью, а также исходя из того, что измерение, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией, является измерением QMF.
На фиг.9 показана блок-схема для пояснения способа декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.
Согласно фиг.9, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100f низводящего декодирования и блок 200f многоканального декодирования.
Кодированный низведенный сигнал DB1 передается на блок 100f низводящего декодирования и затем обрабатывается. Низведенный сигнал DB1 кодируется с учетом двух схем низводящего декодирования, включающих в себя первую схему низводящего декодирования и вторую схему низводящего декодирования.
Низведенный сигнал DB1 обрабатывается согласно одной схеме низводящего декодирования на блоке низводящего 100f декодирования. Одна схема низводящего декодирования может быть первой схемой низводящего декодирования.
Обработанный низведенный сигнал XT6 передается на блок 200f многоканального декодирования, который генерирует многоканальный аудиосигнал Mf.
Обработанный низведенный сигнал XT6' задерживается на величину задержки декодирования на блоке 210f обработки сигнала. Низведенный сигнал XT6' может задерживаться на величину задержки декодирования. Низведенный сигнал XT6 задерживается потому, что схема низводящего декодирования, предполагаемая при кодировании, отличается от схемы низводящего декодирования, используемой при декодировании.
Поэтому в ряде случаев может потребоваться повышающая дискретизация низведенного сигнала XT6'.
Задержанный низведенный сигнал XT6' подвергается повышающей дискретизации на блоке 220f повышающей дискретизации. Низведенный сигнал XT6' подвергается повышающей дискретизации потому, что количество выборок низведенного сигнала XT6' отличается от количества выборок пространственной информации SI13.
Обработку задержки низведенного сигнала XT6 и обработку повышающей дискретизации низведенного сигнала XT6' можно производить в любом порядке.
Измерение низведенного сигнала UXT6 с повышенной дискретизацией преобразуется на блоке 230f обработки измерения. Преобразование низведенного сигнала UXT6 в другое измерение может включать в себя преобразование измерения F/T и комплексное преобразование измерения.
Затем низведенный сигнал UXTD6, преобразованный в другое измерение, объединяется с пространственной информацией SI13 на блоке 260d многоканальной генерации, который генерирует многоканальный аудиосигнал Mf.
В вышеприведенном описании объяснен способ компенсации разницы в синхронизации по времени, генерируемой между низведенным сигналом и пространственной информацией.
В нижеследующем описании объяснен способ компенсации разницы в синхронизации по времени, генерируемой между данными временного ряда и многоканальным аудиосигналом, сгенерированным одним из вышеописанных способов.
На фиг.10 показана блок-схема устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.
Согласно фиг.10, устройство декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя блок 10 декодирования данных временного ряда и блок 20 обработки многоканального аудиосигнала.
Блок 20 обработки многоканального аудиосигнала включает в себя блок 21 низводящего декодирования, блок 22 многоканального декодирования и блок 23 компенсации задержки по времени.
Низведенный битовый поток IN2, который является примером кодированного низведенного сигнала, поступает на блок 21 низводящего декодирования для декодирования.
В этом случае низведенный битовый поток IN2 можно декодировать и выводить в двух видах измерений. Доступные выходные измерения включают в себя временное измерение и измерение QMF. Обозначение '50' указывает низведенный сигнал, декодированный и выведенный во временном измерении, и обозначение '51' указывает низведенный сигнал, декодированный и выведенный в измерении QMF. Согласно настоящему варианту осуществления описаны два вида измерений. Однако настоящее изобретение включает в себя низведенные сигналы, декодированные и выведенные в других видах измерений.
Низведенные сигналы 50 и 51 передаются на блок многоканального декодирования 22 и затем декодируются согласно двум видам схем декодирования 22H и 22L соответственно. В этом случае обозначение '22H' указывает схему декодирования с высоким качеством, и обозначение '22L' указывает схему декодирования с низкой мощностью.
В этом варианте осуществления настоящего изобретения применяются только два вида схем декодирования. Однако настоящее изобретение допускает применение большего количества схем декодирования.
Низведенный сигнал 50, декодированный и выведенный во временном измерении, декодируется согласно выбору одного из двух трактов P9 и P10. В этом случае тракт P9 указывает тракт для декодирования согласно схеме декодирования с высоким качеством 22H, и тракт P10 указывает тракт для декодирования согласно схеме декодирования с низкой мощностью 22L.
Низведенный сигнал 50, передаваемый на тракте P9, объединяется с пространственной информацией SI согласно схеме декодирования с высоким качеством 22H для генерации многоканального аудиосигнала MHT. Низведенный сигнал 50, передаваемый на тракте P10, объединяется с пространственной информацией SI согласно схеме декодирования с низкой мощностью 22L для генерации многоканального аудиосигнала MLT.
Другой низведенный сигнал 51, декодированный и выведенный в измерении QMF, декодируется согласно выбору одного из двух трактов P11 и P12. В этом случае тракт P11 указывает тракт для декодирования согласно схеме декодирования с высоким качеством 22H, и тракт P12 указывает тракт для декодирования согласно схеме декодирования с низкой мощностью 22L.
Низведенный сигнал 51, передаваемый на тракте P11, объединяется с пространственной информацией SI согласно схеме декодирования с высоким качеством 22H для генерации многоканального аудиосигнала MHQ. Низведенный сигнал 51, передаваемый на тракте P12, объединяется с пространственной информацией SI согласно схеме декодирования с низкой мощностью 22L для генерации многоканального аудиосигнала MLQ.
По меньшей мере, один из многоканальных аудиосигналов MHT, MHQ, MLT и MLQ, генерируемых вышеописанными способами, проходит процесс компенсации задержки по времени на блоке 23 компенсации задержки по времени и затем выводится как OUT2, OUT3, OUT4 или OUT5.
Согласно настоящему варианту осуществления процесс компенсации задержки по времени способен предотвращать возникновение задержки по времени путем сравнения многоканального аудиосигнала MHQ, MLT или MKQ с нарушенной синхронизацией по времени с многоканальным аудиосигналом MHT, исходя из того, что синхронизация по времени между данными временного ряда OUT1, декодированными и выведенными на блоке 10 декодирования временного ряда, и вышеупомянутым многоканальным аудиосигналом MHT согласована. Конечно, если синхронизация по времени между данными временного ряда OUT1 и одним из многоканальных аудиосигналов MHQ, MLT и MLQ за исключением вышеупомянутого многоканального аудиосигнала MHT согласована, синхронизацию по времени с данными временного ряда OUT1 можно установить путем компенсации задержки по времени для одного из оставшихся многоканальных аудиосигналов, у которых синхронизация по времени нарушена.
Вариант осуществления также может предусматривать процесс компенсации задержки по времени в случае, когда данные временного ряда OUT1 и многоканальный аудиосигнал MHT, MHQ, MLT или MLQ не обрабатываются совместно. Например, задержка по времени многоканального аудиосигнала компенсируется и ее возникновение предотвращается с использованием результата сравнения с многоканальным аудиосигналом MLT. Это можно диверсифицировать по-разному.
Специалистам в данной области очевидно, что в настоящем изобретении можно предложить различные модификации и вариации, не отходя от сущности или объема изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и вариации этого изобретения при условии, что они согласуются с объемом прилагаемой формулы изобретения и ее эквивалентов.
Промышленное применение
Соответственно, настоящее изобретение обеспечивает следующие эффекты и преимущество.
Во-первых, если возникает разница в синхронизации по времени между низведенным сигналом и пространственной информацией, настоящее изобретение препятствует ухудшению качества звучания за счет компенсации разницы в синхронизации по времени.
Во-вторых, настоящее изобретение позволяет компенсировать разницу в синхронизации по времени между данными временного ряда и многоканальным аудиосигналом, подлежащим обработке совместно с данными временного ряда движущегося изображения, текста, неподвижного изображения и пр.