СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ И/ИЛИ ДЕКОДИРОВАНИЯ АУДИОСИГНАЛОВ ПОГРУЖЕНИЯ

1. Способ (700) для кодирования многоканального входного сигнала (201), при этом способ (700) содержит этапы, на которых:
определяют (701) множество канальных сигналов (203) понижающего микширования из многоканального входного сигнала (201);
выполняют (702) энергетическое уплотнение множества канальных сигналов (203) понижающего микширования таким образом, чтобы предоставлять множество уплотненных канальных сигналов (404);
определяют (703) метаданные (205) объединенного кодирования на основе множества уплотненных канальных сигналов (404) и на основе многоканального входного сигнала (201), при этом метаданные (205) объединенного кодирования являются такими, что они обеспечивают возможность повышающего микширования множества уплотненных канальных сигналов (404) в аппроксимацию многоканального входного сигнала (201); и
кодируют (704) множество уплотненных канальных сигналов (404) и метаданных (205) объединенного кодирования.
2. Способ (700) по п. 1, в котором энергетическое уплотнение выполняется таким образом, что энергия уплотненного канального сигнала (404) ниже энергии соответствующего канального сигнала (203) понижающего микширования.
3. Способ (700) по любому из предшествующих пунктов, в котором выполнение (702) энергетического уплотнения содержит этапы, на которых:
прогнозируют первый канальный сигнал (203) понижающего микширования из второго канального сигнала (203) понижающего микширования таким образом, чтобы предоставлять первый прогнозированный канальный сигнал; и
вычитают первый прогнозированный канальный сигнал из первого канального сигнала (203) понижающего микширования, чтобы предоставлять первый уплотненный канальный сигнал (404).
4. Способ (700) по п. 3, в котором
прогнозирование первого канального сигнала (203) понижающего микширования из второго канального сигнала (203) понижающего микширования содержит этап, на котором определяют коэффициент масштабирования для масштабирования второго канального сигнала (203) понижающего микширования; и
первый прогнозированный канальный сигнал соответствует второму канальному сигналу (203) понижающего микширования, масштабируемому согласно коэффициенту масштабирования.
5. Способ (700) по п. 4, в котором коэффициент масштабирования определяется таким образом, что:
энергия первого уплотненного канального сигнала (404) уменьшается по сравнению с энергией первого канального сигнала (203) понижающего микширования; и/или
энергия первого уплотненного канального сигнала (404) минимизируется.
6. Способ (700) по любому из пп. 3-5, в котором выполнение (702) энергетического уплотнения содержит этапы, на которых:
определяют несколько уплотненных канальных сигналов (404) на основе прогнозирования из второго канального сигнала (203) понижающего микширования; и
применяют преобразование Карунена-Лоэва, преобразование на основе анализа главных компонентов и/или преобразование на основе разложения по сингулярным значениям к нескольким уплотненным канальным сигналам (404).
7. Способ (700) по любому из предшествующих пунктов, в котором:
множество канальных сигналов (203) понижающего микширования представляют собой амбиофонический сигнал первого порядка, а именно, в B-формате или в A-формате; и/или
множество уплотненных канальных сигналов (404) представляются в формате амбиофонического сигнала первого порядка, а именно, в B-формате или в A-формате.
8. Способ (700) по п. 7, в котором выполнение (702) энергетического уплотнения содержит этапы, на которых:
прогнозируют X-канальный сигнал, Y-канальный сигнал и Z-канальный сигнал из W-канального сигнала из множества канальных сигналов (203) понижающего микширования таким образом, чтобы предоставлять прогнозированный X-канальный сигнал, прогнозированный Y-канальный сигнал и прогнозированный Z-канальный сигнал;
вычитают прогнозированный X-канальный сигнал из X-канального сигнала, чтобы определять X'-канальный сигнал;
вычитают прогнозированный Y-канальный сигнал из Y-канального сигнала, чтобы определять Y'-канальный сигнал;
вычитают прогнозированный Z-канальный сигнал из Z-канального сигнала, чтобы определять Z'-канальный сигнал; и
определяют множество уплотненных канальных сигналов (404) на основе W-канального сигнала, X'-канального сигнала, Y'-канального сигнала и Z'-канального сигнала.
9. Способ (700) по п. 8, в котором выполнение (702) энергетического уплотнения содержит этапы, на которых:
применяют преобразование Карунена-Лоэва, преобразование на основе анализа главных компонентов и/или преобразование на основе разложения по сингулярным значениям к X'-канальному сигналу, Y'-канальному сигналу и Z'-канальному сигналу, чтобы предоставлять X''-канальный сигнал, Y''-канальный сигнал и Z''-канальный сигнал; и
определяют множество уплотненных канальных сигналов (404) на основе W-канального сигнала, X''-канального сигнала, Y''-канального сигнала и Z''-канального сигнала.
10. Способ (700) по любому из предшествующих пунктов, в котором выполнение (702) энергетического уплотнения содержит этап, на котором применяют преобразование Карунена-Лоэва, преобразование на основе анализа главных компонентов и/или преобразование на основе разложения по сингулярным значениям, по меньшей мере, к некоторым из множества канальных сигналов (203) понижающего микширования.
11. Способ (700) по любому из предшествующих пунктов, в котором метаданные (205) объединенного кодирования содержат:
данные повышающего микширования, а именно, матрицу повышающего микширования, обеспечивающую повышающее микширование множества уплотненных канальных сигналов (404) в аппроксимацию многоканального входного сигнала (201), содержащего число каналов, идентичное числу каналов многоканального входного сигнала (201); и/или
декорреляционные данные, обеспечивающие восстановление ковариации многоканального входного сигнала (201).
12. Способ (700) по любому из предшествующих пунктов, в котором метаданные (205) объединенного кодирования определяются для множества различных подполос частот многоканального входного сигнала (201).
13. Способ (700) по любому из предшествующих пунктов, в котором кодирование (704) множества уплотненных канальных сигналов (404) содержит этап, на котором выполняют кодирование на основе формы сигналов каждого из множества уплотненных канальных сигналов (404), в частности, с использованием монокодера для каждого уплотненного канального сигнала (404).
14. Способ (700) по любому из предшествующих пунктов, в котором метаданные (205) объединенного кодирования кодируются с использованием энтропийного кодера.
15. Способ (700) по любому из предшествующих пунктов, в котором:
многоканальный входной сигнал (201) содержит один или более объектных сигналов одного или более аудиообъектов (303); и
способ (700) содержит этап, на котором кодируют, в частности, с использованием энтропийного кодера, метаданные (202) объектов для одного или более аудиообъектов (303).
16. Способ (700) по любому из предшествующих пунктов, в котором:
многоканальный входной сигнал (201) содержит сигнал представления звукового поля, называемого "SR", а именно, амбиофонический сигнал L-ого порядка, при L≥1, и один или более объектных сигналов одного или более аудиообъектов (303); и
множество канальных сигналов (203) понижающего микширования определяются посредством понижающего микширования многоканального входного сигнала (201) в SR-сигнал, а именно, в амбиофонический сигнал K-го порядка, при L≥K.
17. Способ (700) по п. 16, в котором:
определение (701) множества канальных сигналов (203) понижающего микширования содержит этап, на котором сводят один или более объектных сигналов одного или более аудиообъектов (303) в SR-сигнал многоканального входного сигнала (201) в зависимости от метаданных (202) объектов одного или более аудиообъектов (303); и
метаданные (202) объектов аудиообъекта (303) указывают пространственную позицию аудиообъекта (303).
18. Способ (700) по любому из предшествующих пунктов, в котором:
способ (700) содержит этап, на котором определяют то, что многоканальный входной сигнал (201) должен кодироваться с использованием второго режима; и
во втором режиме, метаданные (205) объединенного кодирования определяются на основе множества уплотненных канальных сигналов (404) и на основе множества канальных сигналов (203) понижающего микширования таким образом, что метаданные (205) объединенного кодирования обеспечивают возможность восстановления множества канальных сигналов (203) понижающего микширования из множества уплотненных канальных сигналов (404).
19. Способ (700) по п. 18, в котором:
определение метаданных (205) объединенного кодирования на основе множества уплотненных канальных сигналов (404) и на основе многоканального входного сигнала (201) соответствует первому режиму;
многоканальный входной сигнал (201) содержит последовательность кадров; и
способ (700) содержит этап, на котором определяют, для каждого кадра из последовательности кадров, то, следует использовать первый режим или второй режим.
20. Способ (700) по любому из пп. 17-19, при этом способ (700) содержит этапы, на которых:
формируют поток (101) битов на основе кодированных аудиоданных (206), извлекаемых посредством кодирования (704) множества уплотненных канальных сигналов (404), и на основе кодированных метаданных (207), извлекаемых посредством кодирования (704) метаданных (205) объединенного кодирования; и
вставляют в поток (101) битов индикатор, который указывает то, использован или нет второй режим.
21. Способ (800) для определения восстановленного многоканального сигнала (311) из кодированных аудиоданных (206), указывающих множество восстановленных канальных сигналов (314), и из кодированных метаданных (207), указывающих метаданные (205) объединенного кодирования, при этом способ (800) содержит этапы, на которых:
декодируют (801) кодированные аудиоданные (206), чтобы предоставлять множество восстановленных канальных сигналов (314), и декодируют кодированные метаданные (207), чтобы предоставлять метаданные (205) объединенного кодирования; и
определяют (802) восстановленный многоканальный сигнал (311) из множества восстановленных канальных сигналов (314) с использованием метаданных (205) объединенного кодирования.
22. Способ (800) по п. 21, в котором множество восстановленных канальных сигналов (314) представляют собой амбиофонический сигнал первого порядка, а именно, в B-формате или в A-формате.
23. Способ (800) по любому из пп. 21-22, в котором метаданные (205) объединенного кодирования содержат:
данные повышающего микширования, а именно, матрицу повышающего микширования, обеспечивающую повышающее микширование множества восстановленных канальных сигналов (404) в восстановленный многоканальный сигнал (311); и/или
декорреляционные данные, обеспечивающие возможность формировать восстановленный многоканальный сигнал (311), имеющий предварительно определенную ковариацию.
24. Способ (800) по любому из пп. 21-23, в котором метаданные (205) объединенного кодирования содержат различные метаданные для различных подполос частот восстановленного многоканального сигнала (311).
25. Способ (800) по любому из пп. 21-24, в котором декодирование (801) кодированных аудиоданных (206) содержит этап, на котором декодируют на основе формы сигналов каждый из множества восстановленных канальных сигналов (314), в частности, с использованием монодекодера для каждого восстановленного канального сигнала (314).
26. Способ (800) по любому из пп. 21-25, в котором кодированные метаданные (207) декодируются с использованием энтропийного декодера.
27. Способ (800) по любому из пп. 21-26, в котором:
восстановленный многоканальный сигнал (311) содержит один или более восстановленных объектных сигналов одного или более аудиообъектов (303); и
способ (800) содержит этап, на котором декодируют, в частности, с использованием энтропийного декодера, метаданные (202) объектов для одного или более аудиообъектов (303) из кодированных метаданных (207).
28. Способ (800) по любому из пп. 21-27, в котором:
множество восстановленных канальных сигналов (314) формируют сигнал представления звукового поля, называемого "SR", а именно, амбиофонический сигнал K-го порядка, при K≥1;
восстановленный многоканальный сигнал (311) определяется посредством повышающего микширования множества восстановленных канальных сигналов (314) с использованием метаданных (205) объединенного кодирования; и
восстановленный многоканальный сигнал (311) содержит восстановленный SR-сигнал, а именно, амбиофонический сигнал L-ого порядка, при L≥K, и один или более восстановленных объектных сигналов одного или более аудиообъектов (303).
29. Способ (800) по любому из пп. 21-28, в котором:
метаданные (205) объединенного кодирования выполнены с возможностью выполнять инверсию операции энергетического уплотнения для множества восстановленных канальных сигналов (314); и/или
метаданные (205) объединенного кодирования выполнены с возможностью выполнять операцию обратного прогнозирования, по меньшей мере, для некоторых из множества восстановленных канальных сигналов (314); и/или
метаданные (205) объединенного кодирования выполнены с возможностью выполнять инверсию преобразования Карунена-Лоэва, преобразования на основе анализа главных компонентов и/или преобразования на основе разложения по сингулярным значениям, по меньшей мере, для некоторых из множества восстановленных канальных сигналов (314).
30. Способ (800) по любому из пп. 21-29, в котором:
способ (800) содержит этап, на котором определяют то, что восстановленный многоканальный сигнал (311) должен определяться с использованием второго режима;
во втором режиме, метаданные (205) объединенного кодирования содержат прогнозирующие данные и/или данные преобразования, выполненные с возможностью перераспределять энергию между различными восстановленными канальными сигналами (314);
во втором режиме, определение (802) восстановленного многоканального сигнала (311) содержит этап, на котором перераспределяют энергию между различными восстановленными канальными сигналами (314) с использованием прогнозирующих данных и/или данных преобразования; и
во втором режиме, восстановленный многоканальный сигнал (311) содержит число каналов, идентичное числу каналов множества восстановленных канальных сигналов (314).
31. Способ (800) по п. 30, в котором данные преобразования указывают инверсию преобразования Карунена-Лоэва, преобразования на основе анализа главных компонентов и/или преобразования на основе разложения по сингулярным значениям, которое должно применяться, по меньшей мере, к некоторым из множества восстановленных канальных сигналов (314) для определения восстановленного многоканального сигнала (311).
32. Способ (800) по любому из пп. 30-31, в котором:
восстановленный многоканальный входной сигнал (311) содержит последовательность кадров; и
способ (800) содержит этап, на котором определяют, для каждого кадра из последовательности кадров, то, должен или нет использоваться второй режим.
33. Способ (800) по любому из пп. 30-32, при этом способ (800) содержит этапы, на которых:
извлекают кодированные аудиоданные (206) и кодированные метаданные (207) из потока (101) битов; и
извлекают из потока (101) битов индикатор, который указывает то, должен или нет использоваться второй режим.
34. Способ (800) по любому из пп. 30-33, при этом способ (800) содержит этап, на котором подготавливают посредством рендеринга восстановленный многоканальный сигнал (311).
35. Блок (200) кодирования для кодирования многоканального входного сигнала (201), при этом блок (200) кодирования выполнен с возможностью:
определять множество канальных сигналов (203) понижающего микширования из многоканального входного сигнала (201);
выполнять энергетическое уплотнение множества канальных сигналов (203) понижающего микширования таким образом, чтобы предоставлять множество уплотненных канальных сигналов (404);
определять метаданные (205) объединенного кодирования на основе множества уплотненных канальных сигналов (404) и на основе многоканального входного сигнала (201), при этом метаданные (205) объединенного кодирования являются такими, что они обеспечивают возможность повышающего микширования множества уплотненных канальных сигналов (404) в аппроксимацию многоканального входного сигнала (201); и
кодировать множество уплотненных канальных сигналов (404) и метаданных (205) объединенного кодирования.
36. Блок (350) декодирования для определения восстановленного многоканального сигнала (311) из кодированных аудиоданных (206), указывающих множество восстановленных канальных сигналов (314), и из кодированных метаданных (207), указывающих метаданные (205) объединенного кодирования, при этом блок (350) декодирования выполнен с возможностью:
декодировать кодированные аудиоданные (206), чтобы предоставлять множество восстановленных канальных сигналов (314);
декодировать кодированные метаданные (207), чтобы предоставлять метаданные (205) объединенного кодирования; и
определять восстановленный многоканальный сигнал (311) из множества восстановленных канальных сигналов (314) с использованием метаданных (205) объединенного кодирования.