КОНЦЕПЦИЯ ДЛЯ ОБЪЕДИНЕННОГО СЖАТИЯ ДИНАМИЧЕСКОГО ДИАПАЗОНА И УПРАВЛЯЕМОГО ПРЕДОТВРАЩЕНИЯ ОТСЕЧЕНИЯ ДЛЯ АУДИОУСТРОЙСТВ
CONCEPT FOR COMBINED DYNAMIC RANGE COMPRESSION AND GUIDED CLIPPING PREVENTION FOR AUDIO DEVICES

Настоящее изобретение относится к концепции для объединенного сжатия динамического диапазона и направляемого предотвращения отсечения для аудиоустройств. В частности, настоящее изобретение относится к аудиокодеру, к способу работы аудиокодера, к компьютерной программе для выполнения способа работы аудиокодера, к аудиодекодеру, к способу работы аудиодекодера и к компьютерной программе для выполнения способа работы аудиодекодера.
Изобретение обеспечивает аудиокодер для формирования битового аудиопотока, содержащего один или более аудиоканалов и/или один или более аудиообъектов, аудиокодер содержит кодер метаданных для формирования битового потока метаданных, аудиокодер выполнен с возможностью:
принимать по меньшей мере одну последовательность коэффициентов усиления управления динамическим диапазоном для аудиокадра, последовательность коэффициентов усиления управления динамическим диапазоном содержит один или более коэффициентов усиления управления динамическим диапазоном для каскада управления динамическим диапазоном аудиодекодера;
принимать по меньшей мере одну последовательность коэффициентов усиления направляемого предотвращения отсечения для аудиокадра, последовательность коэффициентов усиления направляемого предотвращения отсечения содержит один или более коэффициентов усиления направляемого предотвращения отсечения для каскада направляемого предотвращения отсечения аудиодекодера; и
включать по меньшей мере одну из упомянутых последовательностей коэффициентов усиления управления динамическим диапазоном и по меньшей мере одну из упомянутых последовательностей коэффициентов усиления направляемого предотвращения отсечения в битовый поток метаданных.
Идея изобретения основана на комбинации нескольких блоков обработки, которые совместно обеспечивают необходимые функциональные возможности объединенного решения для сжатия динамического диапазона (DRC) и для направляемого предотвращения отсечения (gCP).
Концепция изобретения, в частности, подходит для аудиосистем, в которых соответствующая информация конфигурации, определенная, например, в [M30100, M30101], уже доступна в кодере и декодере. Эта информация может быть включена, например, в заголовок для файловой передачи или в расширение конфигурации унифицированного кодирования речи и звука (USAC). Информация конфигурации может включать в себя схемы расположения каналов, команды понижающего микширования (например, коэффициенты понижающего микширования), команды управления динамическим диапазоном (например, примененная характеристика управления динамическим диапазоном, количество последовательностей коэффициентов усиления управления динамическим диапазоном для дорожки) и информацию уровня громкости (например, программный уровень громкости, якорный уровень громкости, истинное пиковое значение). Более подробные сведения могут быть найдены в [M30100, M30101]. То же самое относится к соответствующим командам направляемого предотвращения отсечения, которые могут быть обработаны таким же образом, как информация блока команд управления динамическим диапазоном.
Аудиокодер в соответствии с изобретением способен формировать битовый поток метаданных, который содержит последовательности коэффициентов усиления управления динамическим диапазоном для каскада управления динамическим диапазоном аудиодекодера, а также последовательности коэффициентов усиления направляемого предотвращения отсечения для каскада направляемого предотвращения отсечения аудиодекодера, причем последовательности коэффициентов усиления управления динамическим диапазоном могут быть переданы отдельно от последовательностей коэффициентов усиления направляемого предотвращения отсечения.
Кодер метаданных использует в качестве входной информации последовательности коэффициентов усиления управления динамическим диапазоном, которые обеспечены извне, например, посредством внешнего инструмента, управляемого поставщиком контента.
Возможное временное разрешение коэффициентов усиления управления динамическим диапазоном может находиться в диапазоне нескольких отсчетов. Значения коэффициента усиления управления динамическим диапазоном обычно могут быть представлены с достаточным разрешением вплоть до 0,125 дБ.
Кроме того, кодер метаданных берет в качестве входной информации последовательности коэффициентов усиления направляемого предотвращения отсечения.
Сжатые последовательности коэффициентов усиления управления динамическим диапазоном и последовательности коэффициентов усиления направляемого предотвращения отсечения могут быть переданы приемнику как вспомогательная информация, включенная в полезную информацию расширения унифицированного кодирования речи и звука.
Следует отметить, что последовательности коэффициентов усиления управления динамическим диапазоном должны включать в себя только коэффициенты усиления управления динамическим диапазоном, чтобы выполнить сжатие динамического диапазона, тогда как коэффициенты усиления направляемого предотвращения отсечения для предотвращения отсечения размещаются в последовательностях коэффициентов усиления направляемого предотвращения отсечения.
Временное разрешение коэффициентов усиления направляемого предотвращения отсечения может совпадать с временным разрешением для коэффициентов усиления управления динамическим диапазоном.
Отсечение сигнала на стороне декодера может произойти, например, вследствие нормализации уровня громкости, понижающего микширования, инструментов параметрического кодирования и т.д.
Предотвращение отсечения согласно предшествующему уровню техники может быть достигнуто посредством размещения пикового ограничителя в самом конце цепи обработки декодера. Пиковый ограничитель обнаруживает во входном сигнале звуковые отсчеты, которые превышают заданное максимальное значение, и применяет сокращение уровня к соответствующим участкам сигнала таким образом, чтобы отсчеты выходного сигнала всегда оставались ниже заданного максимального значения. Чтобы предотвратить слышимые искажения, сокращение уровня должно выполняться постепенно, т.е. коэффициент усиления, применяемый к сигналу, может изменяться лишь медленно в течение времени, что обеспечивается фильтром сглаживания коэффициента усиления. Также используется предварительная задержка входного сигнала перед применением коэффициента усиления, чтобы дать возможность плавного сокращения коэффициента усиления уже перед резким сигнальным пиком. Поскольку пиковым ограничителем на стороне декодера обычно не управляют со стороны кодера (создатель контента не имеет влияния на обработку пикового ограничителя), это формирует последовательность коэффициентов усиления не направляемого предотвращения отсечения, которая непосредственно применяется к аудиосигналу. Пиковый ограничитель на стороне декодера всегда служит причиной дополнительной предварительной задержки (приблизительно 5 мс или больше) и вычислительной сложности на стороне декодера.
В отличие от этого, последовательности коэффициентов усиления направляемого предотвращения отсечения, используемые в соответствии с изобретением, позволяют полностью управлять генерированием коэффициентов усиления предотвращения отсечения на стороне кодера (при желании создатель контента может влиять на характеристики коэффициентов усиления). После генерирования последовательности коэффициентов усиления предотвращения отсечения передаются на сторону декодера. Если подходящая последовательность коэффициентов усиления направляемого предотвращения отсечения для текущей конфигурации декодера доступна в битовом потоке метаданных, в большинстве случаев можно отказаться от пикового ограничителя на стороне декодера. Таким образом, можно избежать дополнительной предварительной задержки и вычислительной сложности на стороне декодера.
Последовательности коэффициентов усиления направляемого предотвращения отсечения могут быть переданы для разных конфигураций декодера, например, для заданных целевых уровней громкости или для заданных конфигураций понижающего микширования. Если конфигурация декодера сопоставлена, подходящая последовательность коэффициентов усиления направляемого предотвращения отсечения может быть применена к выходному сигналу декодера. Во многих случаях последовательности коэффициентов усиления направляемого предотвращения отсечения могут опционально масштабироваться для сопоставления с несоответствующим целевым уровнем громкости (запас по динамическому диапазону сигнала используется в максимально возможной степени).
Последовательности коэффициентов усиления направляемого предотвращения отсечения используются, чтобы гарантировать, что на выходе аудиодекодера не происходит отсечение отсчетов для заданного целевого уровня и конфигурации преобразователя понижающего микширования/формата. Каждая последовательность коэффициентов усиления направляемого предотвращения отсечения может быть оптимизирована для комбинации заданной конфигурации преобразователя понижающего микширования/формата, заданного целевого уровня и заданной последовательности коэффициентов усиления управления динамическим диапазоном для каналов вместе с заданными последовательностями коэффициентов усиления управления динамическим диапазоном для объектов. Информация о том, какая последовательность коэффициентов усиления направляемого предотвращения отсечения связана с какой последовательностью коэффициентов усиления управления динамическим диапазоном, может быть включена в команду направляемого предотвращения отсечения, содержащуюся в заголовке файла расширения конфигурации унифицированного кодирования речи и звука. Она также может включать в себя информацию, относящуюся к целевому уровню, для которого в кодере были определены коэффициенты усиления направляемого предотвращения отсечения.
Описанная выше идея изобретения для обработки динамического диапазона представляет подход к управлению на стороне кодера всей цепи обработки аудиосигналов. Разделение метаданных, используемых для управления динамическим диапазоном и направляемого предотвращения отсечения, допускает отдельную модификацию (масштабирование или отображение) каждого из коэффициентов усиления, упомянутая модификация зависит от конфигурации декодера и сценария воспроизведения.
С помощью идеи изобретения возможно изменять лежащую в основе характеристику управления динамическим диапазоном последовательности коэффициентов усиления управления динамическим диапазоном от сильного сжатия до слабого сжатия, если коэффициенты усиления управления динамическим диапазоном передаются отдельно от коэффициентов усиления направляемого предотвращения отсечения. Это может быть достигнуто посредством подходящего масштабирования или отображения значений последовательности коэффициентов усиления управления динамическим диапазоном.
Идея изобретения дает поставщику контента полный контроль над окончательным выводом аудиодекодер, чтобы отвечать заданным требованиям к уровню качества. В этом случае и последовательности коэффициентов усиления управления динамическим диапазоном, и последовательности коэффициентов усиления направляемого предотвращения отсечения могут быть включены для заданных конфигураций декодера, которые рассматриваются как наиболее важные. Пиковый ограничитель может быть опущен во многих случаях вследствие объединенного использования последовательностей коэффициентов усиления управления динамическим диапазоном и последовательностей коэффициентов усиления направляемого предотвращения отсечения. Следует отметить, что направляемое предотвращение отсечения на стороне аудиодекодера, которое достигается посредством простого применения коэффициентов усиления направляемого предотвращения отсечения, в вычислительном отношении более эффективно, чем использование пикового ограничителя.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать по меньшей мере две последовательности коэффициентов усиления управления динамическим диапазоном для одного и того же аудиокадра, содержащие разные коэффициенты усиления управления динамическим диапазоном, и включать по меньшей мере две последовательности коэффициентов усиления управления динамическим диапазоном, содержащие разные коэффициенты усиления управления динамическим диапазоном, в битовый поток метаданных.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
Посредством этих признаков возможно обеспечить несколько последовательностей коэффициентов усиления управления динамическим диапазоном для каналов звуковой дорожки, чтобы обеспечить выходные сигналы в декодере, которые имеют разные характеристики сжатия.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать последовательность коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам и/или к разным аудиообъектам, кодер метаданных выполнен с возможностью включать по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам и/или к разным аудиообъектам, и опционально взаимосвязи коэффициентов усиления управления динамическим диапазоном с аудиоканалами и/или с аудиообъектами в битовый поток метаданных.
В пределах каждой последовательности управления динамическим диапазоном возможно определить набор разных коэффициентов усиления управления динамическим диапазоном для разных аудиоканалов или групп аудиоканалов, причем каждый аудиоканал обычно связан точно с одной группой каналов. Например, в многоканальном звуке кинофильма часто желательно применить заданный коэффициент усиления управления динамическим диапазоном к каналу диалога. Остальные каналы, такие как передний левый, передний правый, задний левый, задний правый, например, могут быть обработаны посредством использования другого коэффициента усиления управления динамическим диапазоном.
По аналогии со случаем каналов могут поддерживаться несколько последовательностей управления динамическим диапазоном, которые связаны с аудиообъектами или группами аудиообъектов. Эти относящиеся к объектам последовательности управления динамическим диапазоном также могут рассматриваться как связанные с заданной группой каналов в пределах относящегося к каналам набора коэффициентов усиления управления динамическим диапазоном. Термин "аудиообъекты" в настоящем документе относится к звукам из одного источника, таким как дверной звонок.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать последовательность коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным полосам частот аудиодекодера, кодер метаданных выполнен с возможностью включать по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным полосам частот декодера, и опционально взаимосвязи коэффициентов усиления управления динамическим диапазоном с полосами частот декодера в битовый поток метаданных.
В опциональном расширении, поддерживающем управление многополосным динамическим диапазоном, возможности кодера метаданных могут быть расширены, чтобы в качестве входной информации также принимать последовательности коэффициентов усиления управления динамическим диапазоном, имеющие разные коэффициенты усиления управления динамическим диапазоном для разных полос частот.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать по меньшей мере две последовательности коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения, и включать по меньшей мере две последовательности коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения, в битовый поток метаданных.
В соответствии с предпочтительным вариантом осуществления изобретения каждая последовательность управления динамическим диапазоном относится к одной из последовательностей коэффициентов усиления направляемого предотвращения отсечения, кодер метаданных выполнен с возможностью включать взаимосвязи между последовательностями управления динамическим диапазоном и последовательностями коэффициентов усиления направляемого предотвращения отсечения в битовый поток метаданных.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать последовательность коэффициентов усиления направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам и/или к разным аудиообъектам, кодер метаданных выполнен с возможностью включать последовательность направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам и/или к разным аудиообъектам, и опционально взаимосвязи коэффициентов усиления направляемого предотвращения отсечения с аудиоканалами и/или с аудиообъектами в битовый поток метаданных.
Как и в случае коэффициентов усиления управления динамическим диапазоном, возможно задать набор разных коэффициентов усиления направляемого предотвращения отсечения для разных аудиоканалов или групп аудиоканалов в пределах каждой последовательности направляемого предотвращения отсечения, причем каждый аудиоканал обычно связан точно с одной группой аудиоканалов. В типичных режимах работы одинаковые коэффициенты усиления направляемого предотвращения отсечения применяются ко всем каналам.
Определения последовательностей коэффициентов усиления направляемого предотвращения отсечения для аудиообъектов аналогичны случаю управления динамическим диапазоном.
В другом аспекте изобретение обеспечивает способ работы аудиокодера для формирования битового аудиопотока, содержащего один или более аудиоканалов и/или один или более аудиообъектов, аудиокодер содержит кодер метаданных для формирования битового потока метаданных, способ содержит этапы:
приема на стороне кодера метаданных по меньшей мере одной последовательности коэффициентов усиления управления динамическим диапазоном, содержащей один или более коэффициентов усиления управления динамическим диапазоном, для каскада управления динамическим диапазоном аудиодекодера;
приема на стороне кодера метаданных по меньшей мере одной последовательности коэффициентов усиления направляемого предотвращения отсечения, содержащей один или более коэффициентов усиления направляемого предотвращения отсечения, для каскада направляемого предотвращения отсечения аудиодекодера; и
включения на стороне кодера метаданных по меньшей мере одной из упомянутых последовательностей коэффициентов усиления управления динамическим диапазоном и по меньшей мере одной из упомянутых последовательностей коэффициентов усиления направляемого предотвращения отсечения в битовый поток метаданных.
В дополнительном аспекте изобретение обеспечивает компьютерную программу для выполнения упомянутого выше способа при ее исполнении на компьютере или процессоре.
В дополнительном аспекте изобретение обеспечивает аудиодекодер для декодирования битового аудиопотока и битового потока метаданных, относящегося к битовому аудиопотоку, которые сформированы, в частности, аудиокодером в соответствии с настоящим изобретением, аудиодекодер содержит:
цепь обработки аудиосигналов, выполненную с возможностью принимать декодированный аудиосигнал, извлеченный из битового аудиопотока, и регулировать характеристики выходного аудиосигнала цепи обработки аудиосигналов, цепь обработки аудиосигналов содержит множество каскадов регулировки, включающих в себя каскад управления динамическим диапазоном для регулировки динамического диапазона выходного аудиосигнала и каскад направляемого предотвращения отсечения для предотвращения отсечения выходного аудиосигнала; и
декодер метаданных, выполненный с возможностью принимать битовый поток метаданных и извлекать последовательности коэффициентов усиления управления динамическим диапазоном и последовательности коэффициентов усиления направляемого предотвращения отсечения из битового потока метаданных, по меньшей мере часть последовательностей коэффициентов усиления управления динамическим диапазоном подаются на каскад управления динамическим диапазоном, и по меньшей мере часть последовательностей коэффициентов усиления направляемого предотвращения отсечения подаются на каскад направляемого предотвращения отсечения.
Декодер метаданных принимает битовый поток метаданных, содержащий сжатые последовательности коэффициентов усиления управления динамическим диапазоном и последовательности коэффициентов усиления направляемого предотвращения отсечения, например, от декодера унифицированного кодирования речи и звука.
Декодер метаданных генерирует желаемую последовательность коэффициентов усиления управления динамическим диапазоном из сжатого битового потока метаданных. Кроме того, могут быть применены масштабирование или отображение полученных в результате коэффициентов усиления управления динамическим диапазоном.
Декодер метаданных дополнительно генерирует желаемую последовательность коэффициентов усиления направляемого предотвращения отсечения из битового потока, содержащего сжатые метаданные направляемого предотвращения отсечения. Могут быть применены масштабирование или отображение коэффициентов усиления направляемого предотвращения отсечения. Это особенно полезно, если целевой уровень аудиодекодера ниже, чем целевой уровень, который использовался для определения последовательности коэффициентов усиления направляемого предотвращения отсечения в аудиокодере. Затем возможно отображение коэффициентов усиления направляемого предотвращения отсечения, которое оптимально восстанавливает запас по динамическому диапазону сигнала, по-прежнему гарантируя, в выходном сигнале аудиодекодера не происходит никакого отсечения.
Каскад управления динамическим диапазоном принимает несжатые и опционально масштабированные или отображенные последовательности коэффициентов усиления управления динамическим диапазоном для каждого аудиокадра прямо или косвенно от декодера метаданных. Декодер метаданных также может гарантировать, что окончательные значения коэффициентов усиления управления динамическим диапазоном во временной области интерполированы с временным разрешением, соответствующим временному разрешению звуковых отсчетов. Эти окончательные коэффициенты усиления управления динамическим диапазоном затем применяются к декодированному аудиосигналу, причем соблюдается присвоение конкретной последовательности управления динамическим диапазоном корректным каналам и/или объектам.
Каскад направляемого предотвращения отсечения принимает несжатые и опционально масштабированные или отображенные последовательности коэффициентов усиления направляемого предотвращения отсечения для каждого аудиокадра прямо или косвенно от декодера метаданных. Декодер метаданных также может гарантировать, что окончательные значения коэффициентов усиления направляемого предотвращения отсечения во временной области интерполированы с временным разрешением, соответствующим временному разрешению звуковых отсчетов. Эти окончательные коэффициенты усиления направляемого предотвращения отсечения затем применяются к декодированным аудиосигналам, причем соблюдается присвоение конкретной последовательности направляемого предотвращения отсечения корректной группе каналов.
Изобретение обеспечивает гибкость на стороне аудиодекодера, оставляя управление всей цепи обработки на стороне кодера. Разделение метаданных, используемых для управления динамическим диапазоном и направляемого предотвращения отсечения, допускает раздельную модификацию (масштабирование или отображение) каждого из коэффициентов усиления, упомянутая модификация зависит от конфигурации аудиодекодера и сценария воспроизведения.
Изобретение позволяет изменять лежащую в основе характеристику управления динамическим диапазоном последовательности коэффициентов усиления управления динамическим диапазоном от сильного сжатия до слабого сжатия, если коэффициенты усиления управления динамическим диапазоном передаются отдельно от коэффициентов усиления направляемого предотвращения отсечения. Это может быть достигнуто посредством подходящего масштабирования или отображения значений последовательности коэффициентов усиления управления динамическим диапазоном.
В случае, когда целевой уровень декодера ниже целевого уровня, используемого для вычисления коэффициентов усиления для направляемого предотвращения отсечения в кодере, в декодере может быть допущено уменьшенное ослабление сигнальных пиков посредством должного масштабирования коэффициентов усиления направляемого предотвращения отсечения. Тогда уровень сильных пиков сигнала может быть поддержан или по меньшей мере увеличен по сравнению со случаем применения коэффициентов усиления направляемого предотвращения отсечения неизмененным образом, и это означает, что доступный запас по динамическому диапазону может быть сохранен.
В соответствии с предпочтительным вариантом осуществления изобретения декодер метаданных выполнен с возможностью извлекать из битового потока метаданных по меньшей мере две последовательности коэффициентов усиления управления динамическим диапазоном для одного и того же аудиокадра, содержащие разные коэффициенты усиления управления динамическим диапазоном.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
Посредством этих признаков возможно обеспечить несколько последовательностей коэффициентов усиления управления динамическим диапазоном для каналов звуковой дорожки, чтобы обеспечить выходные аудиосигналы в декодере, которые имеют разные характеристики сжатия.
В соответствии с предпочтительным вариантом осуществления изобретения декодер метаданных выполнен с возможностью извлекать из битового потока метаданных последовательность коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам и/или к разным аудиообъектам.
В пределах каждой последовательности управления динамическим диапазоном возможно определить набор разных коэффициентов усиления управления динамическим диапазоном для разных каналов или групп каналов, причем каждый канал обычно связан точно с одной группой каналов. Например, в многоканальном звуке кинофильма часто желательно применить заданный коэффициент усиления управления динамическим диапазоном к каналу диалога. Остальные каналы, такие как передний левый, передний правый, задний левый, задний правый, например, могут быть обработаны посредством использования другого коэффициента усиления управления динамическим диапазоном.
По аналогии со случаем каналов могут поддерживаться несколько последовательностей управления динамическим диапазоном, которые связаны с аудиообъектами или группами объектов. Эти относящиеся к объектам последовательности управления динамическим диапазоном также могут рассматриваться как связанные с заданной группой каналов в пределах относящегося к каналам набора коэффициентов усиления управления динамическим диапазоном. Термин "аудиообъекты" в настоящем документе относится к звукам из одного источника, таким как дверной звонок.
В соответствии с предпочтительным вариантом осуществления изобретения декодер метаданных выполнен с возможностью извлекать из битового потока метаданных последовательность коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным полосам частот аудиодекодера.
В опциональном расширении, поддерживающем управление многополосным динамическим диапазоном, возможности кодера метаданных могут быть расширены, чтобы в качестве входной информации также принимать последовательности коэффициентов усиления управления динамическим диапазоном, имеющие разные коэффициенты усиления управления динамическим диапазоном для разных полос частот.
В случае расширения управления многополосным динамическим диапазоном аудиосигнал во временной области должен быть преобразован в подходящее представление в частотной области перед применением коэффициентов усиления управления многополосным динамическим диапазоном.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения декодер метаданных выполнен с возможностью извлекать из битового потока метаданных по меньшей мере две последовательности коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения.
Посредством этих признаков возможно обеспечить несколько последовательностей коэффициентов усиления направляемого предотвращения отсечения для звуковой дорожки, чтобы они сопоставлялись с соответствующими последовательностями коэффициентов усиления управления динамическим диапазоном.
В соответствии с предпочтительным вариантом осуществления изобретения декодер метаданных выполнен с возможностью извлекать из битового потока метаданных последовательность коэффициентов усиления направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам и/или к разным аудиообъектам.
Как и в случае коэффициентов усиления управления динамическим диапазоном, возможно задать набор разных коэффициентов усиления направляемого предотвращения отсечения для разных каналов или групп каналов в пределах каждой последовательности направляемого предотвращения отсечения, причем каждый канал обычно связан точно с одной группой каналов. В типичных режимах работы одинаковые коэффициенты усиления направляемого предотвращения отсечения применяются ко всем каналам.
Определения последовательностей коэффициентов усиления направляемого предотвращения отсечения для объектов аналогичны случаю управления динамическим диапазоном.
В соответствии с предпочтительным вариантом осуществления изобретения аудиодекодер дополнительно содержит каскад управления метаданными и параметрами, выполненный с возможностью обеспечивать метаданные и параметры по меньшей мере в один из каскадов регулировки на основе информации конфигурации, принятой от каскада обеспечения конфигурации.
Каскад управления метаданными и параметрами в аудиодекодере может выбрать корректную часть битового потока метаданных в соответствии с желаемыми последовательностями коэффициентов усиления управления динамическим диапазоном. Информация масштабирования и отображения также может являться частью информации конфигурации декодера или может быть извлечена из информации конфигурации декодера.
По аналогии каскад управления метаданными и параметрами в аудиодекодере выбирает корректную часть битового потока в соответствии с желаемыми последовательностями коэффициентов усиления направляемого предотвращения отсечения.
В соответствии с предпочтительным вариантом осуществления изобретения каскад управления метаданными и параметрами в случае, когда принято множество последовательностей коэффициентов усиления управления динамическим диапазоном, выполнен с возможностью выбирать, какая из множества последовательностей коэффициентов усиления управления динамическим диапазоном подается на каскад управления динамическим диапазоном. Выбор из последовательностей управления динамическим диапазоном на стороне каскада управления метаданными и параметрами может быть основан на информации конфигурации декодера, такой как схема расположения каналов, команды понижающего микширования, метаданные объектов, команды управления динамическим диапазоном, информация уровня громкости и целевой уровень декодера.
В соответствии с предпочтительным вариантом осуществления изобретения каскад управления метаданными и параметрами в случае, когда принято множество последовательностей GS коэффициентов усиления направляемого предотвращения отсечения, выполнен с возможностью выбирать, какая из множества последовательностей коэффициентов усиления направляемого предотвращения отсечения подается на каскад направляемого предотвращения отсечения.
Выбор последовательности коэффициентов усиления направляемого предотвращения отсечения на стороне блока управления метаданными и параметрами обычно основан на информации конфигурации аудиодекодера, описанной выше.
В соответствии с предпочтительным вариантом осуществления изобретения каскад управления динамическим диапазоном в направлении сигнального потока является первым каскадом цепи регулировки аудиосигнала.
Обработка управления динамическим диапазоном для каналов может быть выполнена перед потенциальным понижающим микшированием или преобразованием формата декодированных аудиоканалов, чтобы обеспечить возможность разных коэффициентов усиления для групп каналов. В соответствии с этим коэффициенты усиления управления динамическим диапазоном применяются к объектам перед рендерингом. В случае, когда присутствуют и каналы, и объекты, местоположение обработки управления динамическим диапазоном остается тем же самым: относящееся к каналам управление динамическим диапазоном должно быть выполнено непосредственно перед каскадом конвертера формата, тогда как относящееся к объектам управление динамическим диапазоном выполняется перед блоком рендеринга объектов.
В соответствии с предпочтительным вариантом осуществления изобретения цепь регулировки аудиосигнала содержит каскад конвертера формата, выполненный с возможностью регулировать конфигурацию канала выходного аудиосигнала. Каскад конвертера формата, также называемый блоком понижающего микширования (DMX), выполнен с возможностью адаптировать конфигурацию канала выходного аудиосигнала AOS к преобразователям, используемым для воспроизведения. Например, каскад конвертера формата может преобразовать сигнал окружающего звука 5.1 в стереосигнал.
В соответствии с предпочтительным вариантом осуществления изобретения цепь регулировки аудиосигнала содержит каскад нормализации уровня громкости, выполненный с возможностью нормализовать уровень громкости выходного аудиосигнала.
Каскад нормализации уровня громкости может масштабировать входящий в него аудиосигнал, в результате чего выходной сигнал имеет корректный целевой уровень громкости. Коэффициент масштабирования выводится из разности между программным опорным уровнем (PRL) и целевым уровнем (DTL) декодера и обеспечивается посредством каскада управления метаданными и параметрами декодера для каскада нормализации уровня громкости. Программный опорный уровень может быть получен из информации уровня громкости, включенной, например, в заголовок файла, тогда как целевой уровень декодера является параметром конфигурации декодера. Возможно, что в информации уровня громкости обеспечены несколько значений программного опорного уровня, причем каждый из них соответствует заданной конфигурации применяемой последовательности управления динамическим диапазоном и/или применяемого понижающего микширования. В этом случае каскад управления метаданными и параметрами выбирает корректное значение программного опорного уровня, учитывая заданную конфигурацию аудиодекодера. Местоположение этапа обработки уровня громкости зависит от фактической конфигурации вывода аудиодекодера. В целом нормализацию уровня громкости при необходимости следует выполнять на выходных каналах аудиодекодера, например, после микшера или после каскада преобразования формата.
В соответствии с предпочтительным вариантом осуществления изобретения цепь регулировки аудиосигнала содержит каскад пикового ограничителя, выполненный с возможностью ограничивать пики выходного аудиосигнала, если порог превышен.
В соответствии с предпочтительным вариантом осуществления изобретения каскад пикового ограничителя в направлении сигнального потока является последним каскадом регулировки цепи регулировки аудиосигнала.
Имеется много потенциальных источников неизбежного отсечения отсчетов в цепи 4 обработки аудиосигналов типичного аудиодекодера, в том числе:
- Инструменты параметрического кодирования
- Бинауральная обработка
- Понижающее микширование, преобразование формата, рендеринг
- Нормализация уровня громкости (специально для высоких целевых уровней)
- Квантование на выходе декодера
Таким образом, каскад пикового ограничителя помещен в самый конец цепи обработки аудиодекодера, чтобы предотвратить какое-либо нежелательное отсечение звуковых отсчетов, например, непосредственно перед тем, как выходной сигнал во временной области преобразуется из формата с плавающей запятой в формат импульсно-кодовой модуляции (формат PCM) с фиксированной запятой. Это также означает, что каждый каскад из каскадов управления динамическим диапазоном и каскадов нормализации уровня громкости, описанных в предыдущем разделе, расположен перед каскадом пикового ограничителя. В контексте стандарта MPEG-H 3D Audio [M30324] каскад пикового ограничителя принимает разные сигналы в качестве входной информации в зависимости от фактической конфигурации воспроизведения. В случае бинаурального рендеринга два выходных канала для наушников могут быть обработаны посредством каскада пикового ограничителя. Если выходные каналы микшера воспроизводятся непосредственно, каскад пикового ограничителя может обработать соответствующие каналы громкоговорителей (динамиков). То же самое применяется, если выходные каналы микшера сначала преобразовываются в другую конфигурацию громкоговорителей (например, подвергнутую понижающему микшированию) посредством конвертера формата.
Каскад пикового ограничителя может обнаруживать звуковые отсчеты в сигнале во временной области, которые превышают ограничивающий порог, и применяет сокращение уровня к соответствующим участкам сигнала, чтобы отсчеты выходного аудиосигнала всегда оставались ниже ограничивающего порога. Чтобы предотвратить слышимые искажения, сокращение уровня должно выполняться постепенно, т.е. коэффициент усиления, применяемый к сигналу, может изменяться лишь медленно в течение времени, что обеспечивается фильтром сглаживания коэффициента усиления. Также используется предварительная задержка входного сигнала каскада пикового ограничителя перед применением коэффициента усиления ограничителя, чтобы дать возможность плавного сокращения коэффициента усиления уже перед резкими пиками сигнала. Задержка может быть отрегулирована до заданного требования, на практике выбор составляет 5 мс. В случае многоканального звука ко всем аудиоканалам может быть применен общий коэффициент усиления, чтобы сократить вычислительную сложность.
Информация о максимальном пике аудиосигнала, которая может быть включена в информацию уровня громкости заголовка файла, может использоваться, чтобы отказаться от каскада пикового ограничителя, если конфигурация декодера подразумевает, что в цепи обработки аудиосигналов не может происходить отсечение. От каскада пикового ограничителя также можно отказаться, например, если аудиодекодер выдает звуковые отсчеты с точностью плавающей запятой, и предотвращение отсечения выполняется в более поздний момент в цепи аудиосигнала устройства воспроизведения. Очевидно, если конфигурация декодера для заданного сценария воспроизведения дает возможность применения корректных коэффициентов усиления направляемого предотвращения отсечения, каскад пикового ограничителя также может быть отключен, если не происходит никакого дополнительного отсечения кодека.
Пиковый ограничитель может рассматриваться как важный компонент на практике. Имеются многочисленные источники отсечения в пределах цепи обработки аудиосигналов декодера. Специальные конфигурации могут быть охвачены посредством обеспечения последовательностей коэффициентов усиления направляемого предотвращения отсечения. Однако для гибкой работы декодера пиковый ограничитель может быть обеспечен, чтобы гарантировать, что не происходит никакого отсечения.
В соответствии с предпочтительным вариантом осуществления изобретения цепь регулировки аудиосигнала содержит каскад блока рендеринга объектов, выполненный с возможностью микшировать аудиообъекты в каналы выходного аудиосигнала.
В соответствии с предпочтительным вариантом осуществления изобретения цепь регулировки аудиосигнала содержит каскад адаптации к преобразователю, выполненный с возможностью регулировать характеристики выходного аудиосигнала для системы преобразователя, используемой для воспроизведения выходного аудиосигнала.
Чтобы сократить необходимую степень ограничения каскада пикового ограничителя, в цепь обработки может быть включена обработка частотно-зависимой адаптации к преобразователю, например, реализованная посредством выравнивающего фильтра.
Каскад адаптации к преобразователю принимает входной аудиосигнал и информацию о характеристиках преобразователя, используемого для воспроизведения (громкоговорителя или наушников).
Задача каскада адаптации к преобразователю состоит в том, чтобы адаптировать выходной аудиосигнал к характеристикам преобразователя, особенно когда преобразователи имеют ограниченный диапазон частот и тем самым будут ограничивать диапазон частот выходного аудиосигнала. Посредством ограничения диапазона частот при помощи подходящих фильтров, подражающих передаточной функции преобразователя перед каскадом пикового ограничителя, сокращается уровень входного сигнала каскада пикового ограничителя. Как следствие, сокращается уровень сигнальных пиков, которые превышают ограничивающие пороги. Следовательно, эффект каскада пикового ограничителя менее серьезен. Это выгодно, поскольку
- пиковое ограничение может слышимым образом изменить сигнал, тогда как адаптация к преобразователю не вносит слышимые изменения в сигнал, и
- когда сигналы модифицированы, в результате чего максимальный пиковый уровень становится ниже ограничивающего порога, пиковый ограничитель внесет меньше вычислительной нагрузки.
В дополнение к фильтрации каскад адаптации к преобразователю может также включать в себя сигнально-адаптивную обработку, в результате чего компенсируется ограничение полосы преобразователя. Очень маленькие преобразователи не способны к воспроизведению низкочастотных сигналов.
Это может быть компенсировано посредством увеличения воспринимаемой характеристики пропускания низких частот преобразователя, например, посредством искусственного генерирования и добавления к сигналу гармоник нот низкой частоты.
В дополнительном аспекте изобретение обеспечивает способ работы аудиодекодера, в частности, аудиодекодера в соответствии с формулой изобретения, для декодирования битового аудиопотока и битового потока метаданных, относящегося к битовому аудиопотоку, которые сформированы, в честности, аудиокодером по одному из пунктов 1-9 формулы изобретения, способ содержит этапы:
извлечения декодированного аудиосигнала из битового аудиопотока;
использования цепи обработки аудиосигналов, имеющей множество каскадов регулировки, для регулировки характеристик выходного аудиосигнала цепи обработки аудиосигналов, включающей в себя регулировку динамического диапазона выходного аудиосигнала посредством каскада управления динамическим диапазоном, который является каскадом регулировки цепи регулировки, и предотвращение отсечения выходного аудиосигнала посредством каскада направляемого предотвращения отсечения, который является каскадом регулировки цепи регулировки;
приема на стороне декодера метаданных битового потока метаданных и извлечения последовательностей коэффициентов усиления управления динамическим диапазоном и последовательностей коэффициентов усиления направляемого предотвращения отсечения из битового потока метаданных;
подачи по меньшей мере части последовательностей коэффициентов усиления управления динамическим диапазоном на каскад управления динамическим диапазоном; и
подачи по меньшей мере части последовательностей коэффициентов усиления направляемого предотвращения отсечения на каскад направляемого предотвращения отсечения.
В дополнительном аспекте изобретение обеспечивает компьютерную программу для выполнения упомянутого выше способа при ее исполнении на компьютере или процессоре.
Предпочтительные варианты осуществления изобретения будут описаны далее со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 иллюстрирует вариант осуществления аудиокодера в соответствии с изобретением на схематическом изображении;
Фиг. 2 иллюстрирует первый вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении;
Фиг. 3 иллюстрирует второй вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении;
Фиг. 4 иллюстрирует третий вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении; и
Фиг. 5 иллюстрирует четвертый вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении.
Фиг. 1 иллюстрирует вариант осуществления аудиокодера 1 в соответствии с изобретением на схематическом изображении. Фиг. 1 иллюстрирует кодирование последовательностей коэффициентов усиления управления динамическим диапазоном и последовательностей коэффициентов усиления направленного предотвращения отсечения.
Аудиокодер 1 выполнен с возможностью формировать битовый аудиопоток, содержащий один или более аудиоканалов AC и/или один или более аудиообъектов АО, аудиокодер 1 содержит кодер 2 метаданных для формирования битового потока MBS метаданных, выполненный с возможностью:
принимать по меньшей мере одну последовательность DS коэффициентов усиления управления динамическим диапазоном для аудиокадра, содержащую один или более коэффициентов усиления управления динамическим диапазоном для каскада 5 управления динамическим диапазоном (см. фиг. 2) аудиодекодера 3 (см. фиг. 2);
принимать по меньшей мере одну последовательность GS коэффициентов усиления направляемого предотвращения отсечения для аудиокадра, упомянутая последовательность GS коэффициентов усиления направляемого предотвращения отсечения содержит один или более коэффициентов усиления направляемого предотвращения отсечения для каскада 6 направляемого предотвращения отсечения (см. фиг. 2) аудиодекодера 3; и
включать по меньшей мере одну из упомянутых последовательностей DS коэффициентов усиления управления динамическим диапазоном и по меньшей мере одну из упомянутых последовательностей GS коэффициентов усиления направляемого предотвращения отсечения в битовый поток MBS метаданных.
Идея изобретения основана на комбинации нескольких блоков обработки, которые совместно обеспечивают необходимые функциональные возможности объединенного решения для сжатия динамического диапазона (DRC) и направляемого предотвращения отсечения (gCP).
Идея изобретения, в частности, подходит для аудиосистем, в которых соответствующая информация конфигурации, определенная, например в [M30100, M30101], уже доступна в аудиокодере 1 и в аудиодекодере 3. Эта информация может быть включена, например, в заголовок для файловой передачи или в расширение конфигурации унифицированного кодирования речи и аудиосигналов (USAC). Информация конфигурации может включать в себя схемы расположения каналов, команды понижающего микширования (например, коэффициенты понижающего микширования), команды управления динамическим диапазоном (например, примененная характеристика управления динамическим диапазоном, количество последовательностей коэффициентов усиления управления динамическим диапазоном для дорожки) и информацию об уровне громкости (например, программный уровень громкости, якорный уровень громкости, истинное пиковое значение). Более подробные сведения могут быть найдены в [M30100, M30101]. То же самое относится к соответствующим командам направляемого предотвращения отсечения, которые могут быть обработаны таким же образом, как информация блока команд управления динамическим диапазоном.
Аудиокодер 1 в соответствии с изобретением способен формировать битовый поток MBS метаданных, который содержит последовательности DS коэффициентов усиления управления динамическим диапазоном для каскада 5 управления динамическим диапазоном аудиодекодера 3, а также последовательности GS коэффициентов усиления направляемого предотвращения отсечения для каскада 6 направляемого предотвращения отсечения аудиодекодера 3, причем последовательности DS коэффициентов усиления управления динамическим диапазоном могут быть переданы отдельно от последовательностей GS коэффициентов усиления направляемого предотвращения отсечения.
Кодер метаданных использует в качестве входной информации последовательности DS коэффициентов усиления управления динамическим диапазоном, которые обеспечены извне, например, посредством внешнего инструмента, управляемого поставщиком контента.
Возможное временное разрешение коэффициентов усиления управления динамическим диапазоном может находиться в диапазоне нескольких отсчетов. Значения коэффициента усиления управления динамическим диапазоном обычно могут быть представлены с достаточным разрешением вплоть до 0,125 дБ.
Кроме того, кодер метаданных берет в качестве входной информации последовательности GS коэффициентов усиления направляемого предотвращения отсечения.
Сжатые последовательности DS коэффициентов усиления управления динамическим диапазоном и последовательности GS коэффициентов усиления направляемого предотвращения отсечения могут быть переданы приемнику как вспомогательная информация, включенная в полезную информацию расширения унифицированного кодирования речи и звука.
Следует отметить, что последовательности DS коэффициентов усиления управления динамическим диапазоном должны включать в себя только коэффициенты усиления управления динамическим диапазоном, чтобы выполнить сжатие динамического диапазона, тогда как коэффициенты усиления направляемого предотвращения отсечения для предотвращения отсечения размещаются в последовательностях GS коэффициентов усиления направляемого предотвращения отсечения.
Временное разрешение коэффициентов усиления направляемого предотвращения отсечения может совпадать с временным разрешением для коэффициентов усиления управления динамическим диапазоном.
Последовательности GS коэффициентов усиления направляемого предотвращения отсечения используются, чтобы гарантировать, что в выходном аудиосигнале AOS (см. фиг. 2) аудиодекодера 3 не происходит отсечение отсчетов для заданного целевого уровня и конфигурации преобразователя понижающего микширования/формата. Каждая последовательность GS коэффициентов усиления направляемого предотвращения отсечения может быть оптимизирована для комбинации заданной конфигурации преобразователя понижающего микширования/формата, заданного целевого уровня и заданной последовательности коэффициентов усиления управления динамическим диапазоном для каналов вместе с заданными последовательностями коэффициентов усиления управления динамическим диапазоном для объектов. Информация о том, какая последовательность GS коэффициентов усиления направляемого предотвращения отсечения связана с какой последовательностью DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду направляемого предотвращения отсечения, содержащуюся в заголовке файла расширения конфигурации унифицированного кодирования речи и звука. Она также может включать в себя информацию, относящуюся к целевому уровню, для которого в аудиокодере 1 были определены коэффициенты усиления направляемого предотвращения отсечения.
Описанная выше идея изобретения для обработки динамического диапазона представляет подход к управлению на стороне аудиокодера всей цепи 4 обработки аудиосигналов (см. фиг. 2). Разделение метаданных, используемых для управления динамическим диапазоном и направляемого предотвращения отсечения, допускает отдельную модификацию (масштабирование или отображение) каждого из коэффициентов усиления, упомянутая модификация зависит от конфигурации аудиодекодера и сценария воспроизведения.
С помощью идеи изобретения возможно изменять лежащую в основе характеристику управления динамическим диапазоном последовательности DS коэффициентов усиления управления динамическим диапазоном от сильного сжатия до слабого сжатия, если коэффициенты усиления управления динамическим диапазоном передаются отдельно от коэффициентов GS усиления направляемого предотвращения отсечения. Это может быть достигнуто посредством подходящего масштабирования или отображения значений последовательности DS коэффициентов усиления управления динамическим диапазоном.
Идея изобретения дает поставщику контента полный контроль над окончательным выходным аудиосигналом AOS аудиодекодера 3, чтобы отвечать заданным требованиям к уровню качества. В этом случае и последовательности DS коэффициентов усиления управления динамическим диапазоном, и последовательности GS коэффициентов усиления направляемого предотвращения отсечения могут быть включены для заданных конфигураций аудиодекодера, которые рассматриваются как наиболее важные. Каскад 12 пикового ограничителя может быть опущен во многих случаях вследствие объединенного использования последовательностей DS коэффициентов усиления управления динамическим диапазоном и последовательностей GS коэффициентов усиления направляемого предотвращения отсечения. Следует отметить, что направляемое предотвращение отсечения на стороне аудиодекодера, которое достигается посредством простого применения коэффициентов усиления направляемого предотвращения отсечения, в вычислительном отношении более эффективно, чем использование пикового ограничителя 12.
В соответствии с предпочтительным вариантом осуществления изобретения кодер 2 метаданных выполнен с возможностью принимать по меньшей мере две последовательности DS коэффициентов усиления управления динамическим диапазоном для одного и того же аудиокадра, содержащие разные коэффициенты усиления управления динамическим диапазоном, и включать по меньшей мере две последовательности DS коэффициентов усиления управления динамическим диапазоном, содержащие разные коэффициенты усиления управления динамическим диапазоном, в битовый поток MBS метаданных.
Информация от том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
Посредством этих признаков возможно обеспечить несколько последовательностей DS коэффициентов усиления управления динамическим диапазоном для каналов звуковой дорожки, чтобы обеспечить выходные сигналы в аудиодекодере 3, которые имеют разные характеристики сжатия.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать последовательность DS коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам AC и/или к разным аудиообъектам АО, кодер 2 метаданных выполнен с возможностью включать по меньшей мере два коэффициента DS усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам AC и/или к разным аудиообъектам АО, и опционально взаимосвязи коэффициентов усиления управления динамическим диапазоном с аудиоканалами AC и/или с аудиообъектами АО в битовый поток MBS метаданных.
В пределах каждой последовательности DS управления динамическим диапазоном возможно определить набор разных коэффициентов усиления управления динамическим диапазоном для разных аудиоканалов AC или групп аудиоканалов AC, причем каждый аудиоканал AC обычно связан точно с одной группой каналов. Например, в многоканальном звуке кинофильма часто желательно применить заданный коэффициент усиления управления динамическим диапазоном к каналу диалога. Остальные каналы, такие как передний левый, передний правый, задний левый, задний правый, например, могут быть обработаны посредством использования другого коэффициента усиления управления динамическим диапазоном.
По аналогии со случаем каналов могут поддерживаться несколько последовательностей DS управления динамическим диапазоном, которые связаны с аудиообъектами AO или группами аудиообъектов АО. Эти относящиеся к объектам последовательности DS управления динамическим диапазоном также могут рассматриваться как связанные с заданной группой каналов в пределах относящегося к каналам набора коэффициентов усиления управления динамическим диапазоном. Термин "аудиообъекты" в настоящем документе относится к звукам из одного источника, таким как дверной звонок.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения кодер 2 метаданных выполнен с возможностью принимать последовательность DS коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным полосам частот аудиодекодера, кодер 2 метаданных выполнен с возможностью включать по меньшей мере два коэффициента DS усиления управления динамическим диапазоном, относящиеся к разным полосам частот аудиодекодера 3, и опционально взаимосвязи коэффициентов усиления управления динамическим диапазоном с полосами частот аудиодекодера 3 в битовый поток MBS метаданных.
В опциональном расширении, поддерживающем управление многополосным динамическим диапазоном, возможности кодера 2 метаданных могут быть расширены, чтобы в качестве входной информации также принимать последовательности DS коэффициентов усиления управления динамическим диапазоном, имеющие разные коэффициенты усиления управления динамическим диапазоном для разных полос частот.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки файлов или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать по меньшей мере две последовательности GS коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения, и включать по меньшей мере две последовательности GS коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения, в битовый поток MBS метаданных.
В соответствии с предпочтительным вариантом осуществления изобретения каждая последовательность DS управления динамическим диапазоном относится к одной из последовательностей GS коэффициентов усиления направляемого предотвращения отсечения, кодер 2 метаданных выполнен с возможностью включать взаимосвязи между последовательностями DS управления динамическим диапазоном и последовательностями GS коэффициентов усиления направляемого предотвращения отсечения в битовый поток MBS метаданных.
В соответствии с предпочтительным вариантом осуществления изобретения кодер метаданных выполнен с возможностью принимать последовательность GS коэффициентов усиления направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам AC и/или к разным аудиообъектам AO, кодер 2 метаданных выполнен с возможностью включать последовательность GS направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам AC и/или к разным аудиообъектам AO, и опционально взаимосвязи коэффициентов усиления направляемого предотвращения отсечения с аудиоканалами AC и/или с аудиообъектами AO в битовый поток MBS метаданных.
Как и в случае коэффициентов усиления управления динамическим диапазоном, возможно задать набор разных коэффициентов усиления направляемого предотвращения отсечения для разных аудиоканалов AC или групп аудиоканалов AC в пределах каждой последовательности GS направляемого предотвращения отсечения, причем каждый аудиоканал AC обычно связан точно с одной группой аудиоканалов. В типичных режимах работы одинаковые коэффициенты усиления направляемого предотвращения отсечения применяются ко всем аудиоканалам AC.
Определения последовательностей коэффициентов усиления направляемого предотвращения отсечения для аудиообъектов AO аналогичны случаю управления динамическим диапазоном.
В другом аспекте изобретение обеспечен способ работы аудиокодера 1 для формирования битового аудиопотока, содержащего один или более аудиоканалов и/или один или более аудиообъектов, аудиокодер содержит кодер 2 метаданных для формирования битового потока MBS метаданных, способ содержит этапы:
приема на стороне кодера 2 метаданных по меньшей мере одной последовательности DS коэффициентов усиления управления динамическим диапазоном, содержащей один или более коэффициентов усиления управления динамическим диапазоном, для каскада 5 управления динамическим диапазоном аудиодекодера 3;
приема на стороне кодера 2 метаданных по меньшей мере одной последовательности GS коэффициентов усиления направляемого предотвращения отсечения, содержащей один или более коэффициентов усиления направляемого предотвращения отсечения для каскада 6 направляемого предотвращения отсечения аудиодекодера 3; и
включения на стороне кодера 2 метаданных по меньшей мере одной из упомянутых последовательностей DS коэффициентов усиления управления динамическим диапазоном и по меньшей мере одной из упомянутых последовательностей GS коэффициентов усиления направляемого предотвращения отсечения в битовый поток MBS метаданных.
В дополнительном аспекте изобретение обеспечивает компьютерную программу для выполнения упомянутого выше способа при ее исполнении на компьютере или процессоре.
Следующие фигуры для обработки на стороне декодера основаны на предложении для подхода к кодированию объемного (3D) звука, как представлено в [M30324].
Фиг. 2 иллюстрирует первый вариант осуществления аудиодекодера 3 в соответствии с изобретением на схематическом изображении.
Аудиодекодер 3 для декодирования битового аудиопотока и битового потока MBS метаданных, относящегося к битовому аудиопотоку, который сформирован, в частности, аудиокодером 1 в соответствии с настоящим изобретением, аудиодекодер 3 содержит:
цепь 4 обработки аудиосигналов, выполненную с возможностью принимать декодированный аудиосигнал DAS, извлеченный из битового аудиопотока, и выполненную с возможностью регулировать характеристики выходного аудиосигнала AOS цепи 4 обработки аудиосигналов, цепь 4 обработки аудиосигналов содержит множество каскадов 5, 6, 10, 11, 12, 13, 14 регулировки (см. также фиг. 3, 4, 5), включающих в себя каскад 5 управления динамическим диапазоном для регулировки динамического диапазона выходного аудиосигнала AOS и каскад 6 направляемого предотвращения отсечения для предотвращения отсечения выходного аудиосигнала AOS; и
декодер 7 метаданных, выполненный с возможностью принимать битовый поток MBS метаданных и выполненный с возможностью извлекать последовательности DS коэффициентов усиления управления динамическим диапазоном и последовательности GS коэффициентов усиления направляемого предотвращения отсечения из битового потока MBS метаданных, по меньшей мере часть последовательностей DS коэффициентов усиления управления динамическим диапазоном подается на каскад 5 управления динамическим диапазоном, и по меньшей мере часть последовательностей GS коэффициентов усиления направляемого предотвращения отсечения подается на каскад 6 направляемого предотвращения отсечения.
Декодер 7 метаданных принимает битовый поток MBS метаданных, содержащий сжатые последовательности DS коэффициентов усиления управления динамическим диапазоном и последовательности GS коэффициентов усиления направляемого предотвращения отсечения, например, от декодера унифицированного кодирования речи и звука.
Декодер 7 метаданных генерирует несжатую последовательность DS коэффициентов усиления управления динамическим диапазоном из сжатого битового потока MBS метаданных. Кроме того, могут быть применены масштабирование или отображение полученных в результате коэффициентов усиления управления динамическим диапазоном.
Декодер 7 метаданных дополнительно генерирует несжатые последовательности GS коэффициентов усиления направляемого предотвращения отсечения из битового потока MBS, содержащего сжатые метаданные направляемого предотвращения отсечения. Могут быть применены масштабирование или отображение коэффициентов усиления направляемого предотвращения отсечения. Это особенно полезно, если целевой уровень аудиодекодера ниже, чем целевой уровень, который использовался для определения последовательности GS коэффициентов усиления направляемого предотвращения отсечения в аудиокодере 1. Затем возможно отображение коэффициентов усиления направляемого предотвращения отсечения, которое оптимально восстанавливает запас по динамическому диапазону сигнала, по-прежнему гарантируя, что не происходит отсечение в выходном сигнале AOS аудиодекодера.
Каскад 5 управления динамическим диапазоном принимает несжатые и опционально масштабированные или отображенные последовательности DS коэффициентов усиления управления динамическим диапазоном для каждого аудиокадра прямо или косвенно из декодера 7 метаданных. Декодер 7 метаданных также может гарантировать, что окончательные значения коэффициентов усиления управления динамическим диапазоном во временной области интерполированы с временным разрешением, соответствующим временному разрешению звуковых отсчетов. Эти окончательные коэффициенты усиления управления динамическим диапазоном затем могут быть применены к декодированному аудиосигналу DAS, причем соблюдается присвоение конкретной последовательности управления динамическим диапазоном каналам и/или объектам.
Каскад 6 направляемого предотвращения отсечения принимает несжатые и опционально масштабированные или отображенные последовательности GS коэффициентов усиления направляемого предотвращения отсечения для каждого аудиокадра прямо или косвенно из декодера 7 метаданных. Декодер 7 метаданных также может гарантировать, что окончательные значения коэффициентов усиления направляемого предотвращения отсечения во временной области интерполированы с временным разрешением, соответствующим временному разрешению звуковых отсчетов. Эти окончательные коэффициенты усиления направляемого предотвращения отсечения затем могут быть применены к декодированным аудиосигналам или к сигналам ISG (или IGS на фиг. 3, 4 и 5), полученным из декодированных аудиосигналов DAS, причем соблюдается присвоение конкретной последовательности направляемого предотвращения отсечения каналам и/или объектам.
Изобретение обеспечивает гибкость на стороне аудиодекодера, оставляя управление всей цепи обработки на стороне кодера. Разделение метаданных, используемых для управления динамическим диапазоном и направляемого предотвращения отсечения, допускает раздельную модификацию (масштабирование или отображение) каждого из коэффициентов усиления, упомянутая модификация зависит от конфигурации аудиодекодера и сценария воспроизведения.
Изобретение позволяет изменять лежащую в основе характеристику управления динамическим диапазоном последовательности DS коэффициентов усиления управления динамическим диапазоном от сильного сжатия до слабого сжатия, если коэффициенты усиления управления динамическим диапазоном передаются отдельно от коэффициентов усиления направляемого предотвращения отсечения. Это может быть достигнуто посредством подходящего масштабирования или отображения значений последовательности DS коэффициентов усиления управления динамическим диапазоном.
В случае, когда целевой уровень декодера ниже целевого уровня, используемого для вычисления коэффициентов усиления для направляемого предотвращения отсечения в аудиокодере 1, в аудиодекодере 3 может быть допущено уменьшенное ослабление сигнальных пиков посредством должного масштабирования коэффициентов усиления направляемого предотвращения отсечения. Тогда уровень сильных пиков сигнала может быть поддержан или по меньшей мере увеличен по сравнению со случаем применения коэффициентов усиления направляемого предотвращения отсечения неизмененным образом, и это означает, что доступный запас по динамическому диапазону может быть сохранен.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных по меньшей мере две последовательности DS коэффициентов усиления управления динамическим диапазоном для одного и того же аудиокадра, содержащие разные коэффициенты усиления управления динамическим диапазоном.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
Посредством этих признаков возможно обеспечить несколько последовательностей DS коэффициентов усиления управления динамическим диапазоном для каналов звуковой дорожки, чтобы обеспечить выходные аудиосигналы AOS в декодере 1, которые имеют разные характеристики сжатия.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных последовательность DS коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным полосам частот аудиодекодера 3.
В опциональном расширении, поддерживающем управление многополосным динамическим диапазоном, декодер 7 метаданных может быть расширен, чтобы также принимать в качестве входной информации последовательности DS коэффициентов усиления управления динамическим диапазоном, имеющие разные коэффициенты усиления управления динамическим диапазоном для разных полос частот.
В случае расширения управления многополосным динамическим диапазоном аудиосигнал во временной области должен быть преобразован в подходящее представление в частотной области перед применением коэффициентов усиления управления многополосным динамическим диапазоном.
Информация о том, какие характеристики управления динамическим диапазоном связаны с разными последовательностями DS коэффициентов усиления управления динамическим диапазоном, может быть включена в команду управления динамическим диапазоном, содержащуюся в заголовке файла в случае файловой доставки или в расширениях конфигурации унифицированного кодирования речи и звука.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных по меньшей мере две последовательности GS коэффициентов усиления направляемого предотвращения отсечения, содержащие разные коэффициенты усиления направляемого предотвращения отсечения.
Посредством этих признаков возможно обеспечить несколько последовательностей GS коэффициентов усиления направляемого предотвращения отсечения для звуковой дорожки, чтобы они сопоставлялись с соответствующими последовательностями DS коэффициентов усиления управления динамическим диапазоном.
В дополнительном аспекте изобретение обеспечивает способ работы аудиодекодера 3, в частности, аудиодекодера 3 в соответствии с изобретением для декодирования битового аудиопотока и битового потока MBS метаданных, относящегося к битовому аудиопотоку, которые сформированы, в частности, аудиокодером в соответствии с изобретением, способ содержит этапы:
извлечения декодированного аудиосигнала DAS из битового аудиопотока;
использования цепи обработки аудиосигналов, имеющей множество каскадов 5, 6, 10, 11, 12, 13, 14 регулировки, для регулировки характеристик выходного аудиосигнала AOS цепи 4 обработки аудиосигналов, включающей в себя регулировку динамического диапазона выходного аудиосигнала AOS посредством каскада 5 управления динамическим диапазоном, который является каскадом 5 регулировки цепи 4 регулировки, и предотвращение отсечения выходного аудиосигнала AOS посредством каскада 6 направляемого предотвращения отсечения, который является каскадом 6 регулировки цепи 4 регулировки;
приема на стороне декодера 7 метаданных битового потока MBS метаданных и извлечения последовательностей DS коэффициентов усиления управления динамическим диапазоном и последовательностей GS коэффициентов усиления направляемого предотвращения отсечения из битового потока MBS метаданных;
подачи по меньшей мере части последовательностей DS коэффициентов усиления управления динамическим диапазоном на каскад 5 управления динамическим диапазоном; и
подачи по меньшей мере части последовательностей GS коэффициентов усиления направляемого предотвращения отсечения на каскад 6 направляемого предотвращения отсечения.
В дополнительном аспекте изобретение обеспечивает компьютерную программу для выполнения упомянутого выше способа при ее исполнении на компьютере или процессоре.
Фиг. 3 иллюстрирует второй вариант осуществления аудиодекодера 3 в соответствии с изобретением на схематическом изображении.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных последовательность DS коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиоканалам.
В пределах каждой последовательности DS управления динамическим диапазоном возможно определить набор разных коэффициентов усиления управления динамическим диапазоном для разных каналов или групп каналов, каждый канал обычно связан точно с одной группой каналов. Например, в многоканальном звуке кинофильма часто желательно применить заданный коэффициент усиления управления динамическим диапазоном к каналу диалога. Остальные каналы, такие как передний левый, передний правый, задний левый, задний правый, например, могут быть обработаны посредством использования другого коэффициента усиления управления динамическим диапазоном.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных последовательность GS коэффициентов усиления направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящиеся к разным аудиоканалам.
Как и в случае коэффициентов усиления управления динамическим диапазоном, возможно задать набор разных коэффициентов усиления направляемого предотвращения отсечения для разных каналов или групп каналов в пределах каждой последовательности направляемого предотвращения отсечения, причем каждый канал обычно связан точно с одной группой каналов. В типичных режимах работы одинаковые коэффициенты усиления направляемого предотвращения отсечения применяются ко всем каналам.
В соответствии с предпочтительным вариантом осуществления изобретения аудиодекодер 3 дополнительно содержит каскад 8 управления метаданными и параметрами для обеспечения метаданных и параметров DS, GS, CLA, DI, DTL, PRL, OMD, ICT по меньшей мере в один из каскадов 5, 6, 10, 11, 12, 13, 14 регулировки на основе информации конфигурации, принятой от каскада 9 обеспечения конфигурации (см. также фиг. 4 и 5).
Каскад 8 управления метаданными и параметрами в аудиодекодере может выбрать корректную часть битового потока MBS метаданных в соответствии с желаемыми последовательностями DS коэффициентов усиления управления динамическим диапазоном посредством отправки сигнала GSS выбора последовательности коэффициентов усиления декодеру 7 метаданных. Информация масштабирования и отображения также может являться частью информации CI конфигурации декодера или может быть извлечена из информации CI конфигурации декодера.
По аналогии каскад 8 управления метаданными и параметрами в аудиодекодере 3 выбирает корректную часть битового потока MBS в соответствии с желаемыми последовательностями GS коэффициентов усиления направляемого предотвращения отсечения.
В соответствии с предпочтительным вариантом осуществления изобретения каскад 8 управления метаданными и параметрами в случае, когда принято множество последовательностей DS коэффициентов усиления управления динамическим диапазоном, выполнен с возможностью выбирать, какая из множества последовательностей DS коэффициентов усиления управления динамическим диапазоном подается на каскад 5 управления динамическим диапазоном. Выбор из последовательностей DS управления динамическим диапазоном на стороне каскада 8 управления метаданными и параметрами может быть основан на информации CI конфигурации декодера, такой как схема CLA расположения каналов, команды DI понижающего микширования, метаданные OMD объектов (см. фиг. 4), команды управления динамическим диапазоном, информация PRL уровня громкости и целевой уровень DTL декодера, и может быть исполнен посредством отправки сигнала GSS выбора последовательности коэффициентов усиления декодеру 7 метаданных.
В соответствии с предпочтительным вариантом осуществления изобретения каскад 8 управления метаданными и параметрами в случае, когда принято множество последовательностей GS коэффициентов усиления направляемого предотвращения отсечения, выполнен с возможностью выбирать, какая из множества последовательностей GS коэффициентов усиления направляемого предотвращения отсечения подается на каскад 6 направляемого предотвращения отсечения.
Выбор последовательности GS коэффициентов усиления направляемого предотвращения отсечения на стороны блока 8 управления метаданными и параметрами обычно основан на информации CI конфигурации аудиодекодера, описанной выше.
В соответствии с предпочтительным вариантом осуществления изобретения каскад 5 управления динамическим диапазоном в направлении сигнального потока является первым каскадом цепи 4 регулировки аудиосигнала.
Обработка управления динамическим диапазоном для каналов может быть выполнена перед потенциальным понижающим микшированием или преобразованием формата декодированных аудиоканалов AC, чтобы обеспечить возможность разных коэффициентов усиления для групп каналов. В соответствии с этим коэффициенты усиления управления динамическим диапазоном применяются к объектам АО перед рендерингом (см. фиг. 4). В случае, когда присутствуют и каналы AC, и объекты АО, местоположение обработки управления динамическим диапазоном остается тем же самым: относящееся к каналам управление динамическим диапазоном должно быть выполнено непосредственно перед каскадом 10 конвертера формата (см. фиг. 4), тогда как относящееся к объектам управление динамическим диапазоном выполняется перед блоком 13 рендеринга объектов (см. фиг. 4).
В соответствии с предпочтительным вариантом осуществления изобретения цепь 4 регулировки аудиосигнала содержит каскад 10 конвертера формата, выполненный с возможностью регулировать конфигурацию канала выходного аудиосигнала AOS. Каскад 10 конвертера формата, также называемый блоком понижающего микширования (DMX), выполнен с возможностью адаптировать конфигурацию канала выходного аудиосигнала AOS к преобразователям, используемым для воспроизведения. Например, каскад конвертера формата может преобразовать сигнал окружающего звука 5.1 в стереосигнал.
В соответствии с предпочтительным вариантом осуществления изобретения цепь 4 регулировки аудиосигнала содержит каскад 11 нормализации уровня громкости, выполненный с возможностью нормализовать уровень громкости выходного аудиосигнала AOS.
Каскад 11 нормализации уровня громкости может масштабировать входящий в него аудиосигнал OCF, в результате чего выходной сигнал IGS имеет корректный целевой уровень громкости. Коэффициент масштабирования выводится из разности между программным опорным уровнем PRL и целевым уровнем DTL декодера и обеспечивается посредством каскада 8 управления метаданными и параметрами декодера для каскада 11 нормализации уровня громкости. Программный опорный уровень PRL может быть получен из информации уровня громкости, включенной, например, в заголовок файла, тогда как целевой уровень декодера является параметром конфигурации декодера. Возможно, что в информации уровня громкости обеспечены несколько значений программного опорного уровня PRL, причем каждый из них соответствует заданной конфигурации применяемой последовательности DS управления динамическим диапазоном и/или применяемого понижающего микширования. В этом случае каскад 8 управления метаданными и параметрами выбирает корректное значение программного опорного уровня PRL, учитывая заданную конфигурацию аудиодекодера. Местоположение этапа обработки уровня громкости зависит от фактической конфигурации вывода аудиодекодера 3. В целом нормализацию уровня громкости при необходимости следует выполнять на выходных каналах аудиодекодера 3, например, после микшера или после каскада 10 преобразования формата.
В соответствии с предпочтительным вариантом осуществления изобретения цепь 4 регулировки аудиосигнала содержит каскад 12 пикового ограничителя, выполненный с возможностью ограничивать пики выходного аудиосигнала AOS, если порог превышен.
В соответствии с предпочтительным вариантом осуществления изобретения каскад 12 пикового ограничителя в направлении сигнального потока является последним каскадом регулировки цепи 4 регулировки аудиосигнала.
Имеется много потенциальных источников неизбежного отсечения отсчетов в цепи 4 обработки аудиосигналов типичного аудиодекодера, в том числе:
- Инструменты параметрического кодирования
- Бинауральная обработка
- Понижающее микширование, преобразование формата, рендеринг
- Нормализация уровня громкости (специально для высоких целевых уровней)
- Квантование на выходе декодера
Таким образом, каскад 12 пикового ограничителя помещен в самый конец цепи 4 обработки аудиодекодера 3, чтобы предотвратить какое-либо нежелательное отсечение звуковых отсчетов, например, непосредственно перед тем, как выходной сигнал во временной области преобразуется из формата с плавающей запятой в формат импульсно-кодовой модуляции (формат PCM) с фиксированной запятой. Это также означает, что каждый каскад из каскадов 5 управления динамическим диапазоном и каскадов 11 нормализации уровня громкости, описанных в предыдущем разделе, расположен перед каскадом 12 пикового ограничителя. В контексте стандарта MPEG-H 3D Audio [M30324] каскад пикового ограничителя принимает разные сигналы IPL в качестве входной информации в зависимости от фактической конфигурации воспроизведения. В случае бинаурального рендеринга два выходных канала для наушников могут быть обработаны посредством каскада 12 пикового ограничителя. Если выходные каналы микшера воспроизводятся непосредственно, каскад 12 пикового ограничителя может обработать соответствующие каналы громкоговорителей. То же самое применяется, если выходные каналы микшера сначала преобразовываются в другую конфигурацию громкоговорителей (например, подвергнутую понижающему микшированию) посредством конвертера 10 формата.
Каскад 12 пикового ограничителя может обнаруживать звуковые отсчеты в сигнале во временной области, которые превышают ограничивающий порог, и применяет сокращение уровня к соответствующим участкам сигнала, чтобы отсчеты выходного аудиосигнала AOS всегда оставались ниже ограничивающего порога. Чтобы предотвратить слышимые искажения, сокращение уровня должно выполняться постепенно, т.е. коэффициент усиления, применяемый к сигналу, может изменяться лишь медленно в течение времени, что обеспечивается фильтром сглаживания коэффициента усиления. Также используется предварительная задержка входного сигнала каскада пикового ограничителя перед применением коэффициента усиления ограничителя, чтобы дать возможность плавного сокращения коэффициента усиления уже перед резкими пиками сигнала. Задержка может быть отрегулирована до заданного требования, на практике выбор составляет 5 мс. В случае многоканального звука ко всем аудиоканалам может быть применен общий коэффициент усиления, чтобы сократить вычислительную сложность.
Информация IS о максимальном пике аудиосигнала, которая может быть включена в информацию уровня громкости заголовка файла, может использоваться, чтобы отказаться от каскада 12 пикового ограничителя, если конфигурация декодера подразумевает, что в цепи обработки аудиосигналов не может происходить отсечение. От каскада 12 пикового ограничителя также можно отказаться, например, если аудиодекодер 3 выдает звуковые отсчеты с точностью плавающей запятой, и предотвращение отсечения выполняется в более поздний момент в цепи аудиосигнала устройства воспроизведения. Очевидно, если конфигурация декодера для заданного сценария воспроизведения дает возможность применения корректных коэффициентов усиления направляемого предотвращения отсечения, каскад пикового ограничителя также может быть отключен, если не происходит никакого дополнительного отсечения кодека.
Пиковый ограничитель 12 может рассматриваться как важный компонент на практике. Имеются многочисленные источники отсечения в пределах цепи обработки аудиосигналов аудиодекодера 3. Специальные конфигурации могут быть охвачены посредством обеспечения последовательностей коэффициентов усиления направляемого предотвращения отсечения. Однако для гибкой работы декодера пиковый ограничитель может быть обеспечен, чтобы гарантировать, что не происходит никакого отсечения.
Как показано на фиг. 3, обработка направляемого предотвращения отсечения может быть выполнена после преобразования формата и нормализации уровня громкости аудиоканалов. Если преобразование формата не применяется, коэффициенты усиления направляемого предотвращения отсечения могут быть применены непосредственно к выходному ISG каскада 5 управления динамическим диапазоном.
Фиг. 4 иллюстрирует третий вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении. Фиг. 4 изображает конфигурацию обработки управления динамическим диапазоном для аудиообъектов AO. Обработка управления динамическим диапазоном выполняется над сигналами аудиообъекта перед рендерингом. Нормализация уровня громкости и предотвращение отсечения выполняются после рендеринга объектов в каналы.
В соответствии с предпочтительным вариантом осуществления изобретения цепь 4 регулировки аудиосигнала содержит каскад 13 блока рендеринга объектов, выполненный с возможностью микшировать аудиообъекты AO в каналы выходного аудиосигнала AOS.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных последовательность DS коэффициентов усиления управления динамическим диапазоном, содержащую по меньшей мере два коэффициента усиления управления динамическим диапазоном, относящиеся к разным аудиообъектам AO.
По аналогии со случаем каналов могут поддерживаться несколько последовательностей DS управления динамическим диапазоном, которые связаны с аудиообъектами или группами объектов. Эти относящиеся к объектам последовательности управления динамическим диапазоном также могут рассматриваться как связанные с заданной группой каналов в пределах относящегося к каналам набора коэффициентов усиления управления динамическим диапазоном. Термин "аудиообъекты AO" в настоящем документе относится к звукам из одного источника, таким как дверной звонок.
В соответствии с предпочтительным вариантом осуществления изобретения декодер 7 метаданных выполнен с возможностью извлекать из битового потока MBS метаданных последовательность GS коэффициентов усиления направляемого предотвращения отсечения, содержащую по меньшей мере два коэффициента усиления направляемого предотвращения отсечения, относящихся к разным аудиообъектам.
Как и в случае коэффициентов усиления управления динамическим диапазоном, возможно задать набор разных коэффициентов усиления направляемого предотвращения отсечения для разных аудиообъектов или групп аудиообъектов в пределах каждой последовательности направляемого предотвращения отсечения, причем каждый канал обычно связан точно с одним аудиообъектом. В типичных режимах работы одинаковые коэффициенты усиления направляемого предотвращения отсечения применяются ко всем аудиообъектам.
Определения последовательностей коэффициентов усиления направляемого предотвращения отсечения для объектов аналогичны случаю управления динамическим диапазоном.
Фиг. 5 иллюстрирует четвертый вариант осуществления аудиодекодера в соответствии с изобретением на схематическом изображении.
Другая реализация концепции показана на фиг. 5, на которой дополнительный блок 14 адаптации к преобразователю включен перед пиковым ограничителем 12. Каскад 10 конвертера формата относится к этапу обработки понижающего микширования или к преобразованию формата между разными конфигурациями входных/выходных каналов. По аналогии блок адаптации к преобразователю может быть включен в относящуюся к объектам цепь обработки в соответствии с фиг. 4.
В соответствии с предпочтительным вариантом осуществления изобретения цепь 4 регулировки аудиосигнала содержит каскад 14 адаптации к преобразователю, выполненный с возможностью регулировать характеристики выходного аудиосигнала AOS для системы преобразователя, используемой для воспроизведения выходного аудиосигнала.
Чтобы сократить необходимую степень ограничения каскада 12 пикового ограничителя, в цепь 4 обработки может быть включена обработка частотно-зависимой адаптации к преобразователю, например, реализованная посредством выравнивающего фильтра.
Каскад 14 адаптации к преобразователю принимает входной аудиосигнал ITA и информацию ICT о характеристиках преобразователя, используемого для воспроизведения (громкоговорителя или наушников).
Задача каскада 14 адаптации к преобразователю состоит в том, чтобы адаптировать выходной аудиосигнал AOS к характеристикам преобразователя, особенно когда преобразователи имеют ограниченный диапазон частот и тем самым будут ограничивать диапазон частот выходного аудиосигнала. Посредством ограничения диапазона частот при помощи подходящих фильтров, подражающих передаточной функции преобразователя перед каскадом 12 пикового ограничителя, сокращается уровень входного сигнала IPL каскада пикового ограничителя. Как следствие, сокращается уровень сигнальных пиков, которые превышают ограничивающие пороги. Следовательно, эффект каскада 12 пикового ограничителя менее серьезен. Это выгодно, поскольку
- пиковое ограничение может слышимым образом изменить сигнал, тогда как адаптация к преобразователю не вносит слышимые изменения в сигнал, и
- когда сигналы модифицированы, в результате чего максимальный пиковый уровень становится ниже ограничивающего порога, пиковый ограничитель внесет меньше вычислительной нагрузки.
В дополнение к фильтрации каскад 14 адаптации к преобразователю может также включать в себя сигнально-адаптивную обработку, в результате чего компенсируется ограничение полосы преобразователя. Очень маленькие преобразователи не способны к воспроизведению низкочастотных сигналов.
Это может быть компенсировано посредством увеличения воспринимаемой характеристики пропускания низких частот преобразователя, например, посредством искусственного генерирования и добавления к сигналу гармоник нот низкой частоты.
Относительно декодера, кодера и способов описанных вариантов осуществления следует отметить следующее:
Хотя некоторые аспекты были описаны в контексте устройства, понятно, что эти аспекты также представляют описание соответствующего способа, причем блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока, элемента или признака соответствующего устройства.
В зависимости от некоторых требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например, дискеты, цифрового универсального диска (DVD), компакт-диска (CD), постоянного запоминающего устройства (ПЗУ; ROM), программируемого постоянного запоминающего устройства (ППЗУ; PROM), стираемого программируемого постоянного запоминающего устройства (СППЗУ; EPROM), электрически стираемого программируемого постоянного запоминающего устройства (ЭСППЗУ; EEPROM) и флеш-памяти, имеющего сохраненные на нем считываемые электронным образом сигналы, которые взаимодействуют (или способны к взаимодействию) с программируемой компьютерной системой, в результате чего выполняется соответствующий способ.
Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий считываемые электронным образом управляющие сигналы, которые способны к взаимодействию с программируемой компьютерной системой, в результате чего выполняется один из описанных здесь способов.
В целом варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, программный код способен функционировать для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных в настоящем документе способов, которая хранится на машиночитаемом носителе или на непереходном запоминающем носителе.
Другими словами, вариант осуществления способа изобретения, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из описанных здесь способов, когда компьютерная программа выполняется на компьютере.
Дополнительный вариант осуществления способов изобретения, таким образом, представляет собой носитель информации (или цифровой запоминающий носитель, или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов.
Дополнительный вариант осуществления способа изобретения, таким образом, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов могут быть выполнены с возможностью передаваться через соединение передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью выполнять один из описанных здесь способов.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных в настоящем документе способов.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей описанных здесь способов. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнять один из описанных здесь способов. В целом способы предпочтительно выполняются любым аппаратным устройством.
Хотя это изобретение было описано в отношении нескольких вариантов осуществления, существуют изменения, перестановки и эквиваленты, которые находятся в пределах объема этого изобретения. Также следует отметить, что существует много альтернативных методов реализации способов и композиций настоящего изобретения. Таким образом, подразумевается, что последующая приложенная формула изобретения должна интерпретироваться как включающая в себя все такие изменения, перестановки и эквиваленты, находящиеся в пределах истинной сущности и объема настоящего изобретения.
Ссылочные позиции
1 аудиокодер
2 кодер метаданных
3 аудиодекодер
4 цепь обработки аудиосигналов
5 каскад управления динамическим диапазоном
6 каскад направляемого предотвращения отсечения
7 декодер метаданных
8 каскад управления метаданными и параметрами
9 каскад обеспечения конфигурации
10 каскад конвертера формата
11 каскад нормализации уровня громкости
12 каскад пикового ограничителя
13 каскад блока рендеринга объектов
14 каскад адаптации к преобразователю
MBS битовый поток метаданных
DS последовательность коэффициентов усиления управления динамическим диапазоном
GS последовательность коэффициентов усиления направляемого предотвращения отсечения
DAS декодированный аудиосигнал
AOS выходной аудиосигнал
ISG сигнал, извлеченный из декодированного аудиосигнала
CI информация конфигурации
AC аудиоканал
AO аудиообъект
IPL входной сигнал каскада пикового ограничителя
ITA входной сигнал каскада адаптации к преобразователю
ICT информация о характеристиках преобразователя
IGS выходной сигнал каскада нормализации уровня громкости
OCF выходная информация каскада конвертера формата или каскада блока рендеринга объекта
GSS сигнал выбора последовательности коэффициентов усиления
CLA схема расположения каналов
DI команды понижающего микширования
PRL программный опорный уровень
IS максимальное пиковое значение для каскада пикового ограничителя
DTL целевой уровень декодера
OMD метаданные объектов
Литература
[M30100] ISO/IEC JTC1/SC29/WG11 M30100, " Proposed Revision of Audio aspects of WD: Addition of Sample aspect ratio and further audio code-points ", July 2013, Vienna.
[M30101] ISO/IEC JTC1/SC29/WG11 M30101, "Editors draft of 14496-12 PDAM 3 - Enhanced audio and other improvements", July 2013, Vienna.
[M30324] ISO/IEC JTC1/SC29/WG11 M30324, "Description of the Fraunhofer IIS Submission for the 3D-Audio CfP ", July 2013, Vienna.
[M28901] ISO/IEC JTC1/SC29/WG11 M28901, "Enhanced Metadata for Dynamic Range Compression", April 2013, Incheon, Korea.