ПРЕДСТАВЛЕНИЕ ПРОСТРАНСТВЕННОГО ЗВУКА ПОСРЕДСТВОМ ЗВУКОВОГО СИГНАЛА И АССОЦИИРОВАННЫХ С НИМ МЕТАДАННЫХ

1. Способ представления пространственного звука, при этом пространственный звук представляет собой комбинацию направленного звука и рассеянного звука, при этом упомянутый способ включает в себя:
создание одноканального или многоканального звукового сигнала понижающего микширования посредством понижающего микширования входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука, захватывающем пространственный звук;
определение параметров первых метаданных, ассоциированных со звуковым сигналом понижающего микширования, при этом параметры первых метаданных указывают одно или более из: значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом; и
объединение созданного звукового сигнала понижающего микширования и параметров первых метаданных в представление пространственного звука.
2. Способ по п. 1, в котором объединение созданного звукового сигнала понижающего микширования и параметров первых метаданных в представление пространственного звука дополнительно включает в себя:
включение параметров вторых метаданных в представление пространственного звука, при этом параметры вторых метаданных указывают конфигурацию понижающего микширования для входных звуковых сигналов.
3. Способ по п. 1 или 2, в котором параметры первых метаданных определяют для одной или более полос частот входных звуковых сигналов микрофона.
4. Способ по любому из пп. 1-3, в котором понижающее микширование для создания одноканального или многоканального звукового сигнала x понижающего микширования описывается следующим образом:
D
где представляет собой матрицу понижающего микширования, содержащую коэффициенты понижающего микширования, задающие веса для каждого входного звукового сигнала от множества микрофонов, и
m
представляет собой матрицу, представляющую входные звуковые сигналы от множества микрофонов.
5. Способ по п. 4, в котором коэффициенты понижающего микширования выбирают для выбора входного звукового сигнала микрофона, имеющего в настоящее время наилучшее отношение сигнал/шум по отношению к направленному звуку, и для отбрасывания входных звуковых сигналов от любых других микрофонов.
6. Способ по п. 5, в котором выбор выполняют для каждой частотно-временной (TF) ячейки.
7. Способ по п. 5, в котором выбор выполняют для всех полос частот конкретного аудиокадра.
8. Способ по п. 4, в котором коэффициенты понижающего микширования выбирают таким образом, чтобы максимизировать отношение сигнал/шум по отношению к направленному звуку при объединении входных звуковых сигналов от различных микрофонов.
9. Способ по п. 8, в котором максимизацию выполняют для конкретной полосы частот.
10. Способ по п. 8, в котором максимизацию выполняют для конкретного аудиокадра.
11. Способ по любому из пп. 1-10, в котором определение параметров первых метаданных включает в себя анализ одного или более из следующего: характеристик задержки, усиления и фазы входных звуковых сигналов от множества микрофонов.
12. Способ по любому из пп. 1-11, в котором параметры первых метаданных определяют для каждой частотно-временной (TF) ячейки.
13. Способ по любому из пп. 1-12, в котором по меньшей мере часть понижающего микширования происходит в блоке захвата звука.
14. Способ по любому из пп. 1-12, в котором по меньшей мере часть понижающего микширования происходит в кодировщике.
15. Способ по любому из пп. 1-14, дополнительно включающий в себя в ответ на обнаружение более одного источника направленного звука определение первых метаданных для каждого источника.
16. Способ по любому из пп. 1-15, в котором представление пространственного звука включает в себя по меньшей мере один из следующих параметров: индекс направления, отношение прямой энергии к общей; когерентность распространения; время прихода, усиление и фаза для каждого микрофона; отношение рассеянной энергии к общей; объемная когерентность; отношение остатка к общей энергии; и расстояние.
17. Способ по любому из пп. 1-16, в котором параметр метаданных параметров вторых или первых метаданных указывает, генерируется ли созданный звуковой сигнал понижающего микширования из: левых и правых стереофонических сигналов, плоскостных амбиофонических сигналов первого порядка (FOA) или компонентных амбиофонических сигналов первого порядка.
18. Способ по любому из пп. 1-17, в котором представление пространственного звука содержит параметры метаданных, организованные в поле определения и поле селектора, при этом поле определения задает по меньшей мере один набор параметров компенсации задержки, ассоциированный с множеством микрофонов, и поле селектора задает выбор набора параметров компенсации задержки.
19. Способ по п. 18, в котором поле селектора задает, какой набор параметров компенсации задержки применяется к любой заданной частотно-временной ячейке.
20. Способ по любому из пп. 1-19, в котором значение относительной временной задержки находится приблизительно в интервале [-2,0 мс, 2,0 мс].
21. Способ по п. 18, в котором параметры метаданных в представлении пространственного звука дополнительно содержат поле, задающее применяемую настройку усиления, и поле, задающее настройку фазы.
22. Способ по п. 21, в котором настройка усиления находится приблизительно в интервале [+ 10 дБ, -30 дБ].
23. Способ по любому из пп. 1-22, в котором по меньшей мере части элементов первых и/или вторых метаданных определяют в устройстве захвата звука с использованием справочных таблиц, хранящихся в памяти.
24. Способ по любому из пп. 1-23, в котором по меньшей мере части элементов первых и/или вторых метаданных определяют на удаленном устройстве, подключенном к устройству захвата звука.
25. Система для представления пространственного звука, содержащая:
компонент приема, сконфигурированный для приема входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука, захватывающем пространственный звук;
компонент понижающего микширования, сконфигурированный для создания одноканального или многоканального звукового сигнала понижающего микширования посредством понижающего микширования принятых звуковых сигналов;
компонент определения метаданных, сконфигурированный для определения параметров первых метаданных, ассоциированных со звуковым сигналом понижающего микширования, при этом параметры первых метаданных указывают одно или более из: значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом; и
компонент объединения, сконфигурированный для объединения созданного звукового сигнала понижающего микширования и параметров первых метаданных в представление пространственного звука.
26. Система по п. 25, в которой компонент объединения дополнительно сконфигурирован для включения параметров вторых метаданных в представление пространственного звука, при этом параметры вторых метаданных указывают конфигурацию понижающего микширования для входных звуковых сигналов.
27. Формат данных для представления пространственного звука, включающий в себя:
одноканальный или многоканальный звуковой сигнал понижающего микширования, являющийся результатом понижающего микширования входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука, захватывающем пространственный звук; и
параметры первых метаданных, указывающие одно или более из: конфигурации понижающего микширования для входных звуковых сигналов, значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом.
28. Формат данных по п. 27, дополнительно включающий в себя параметры вторых метаданных, указывающие конфигурацию понижающего микширования для входных звуковых сигналов.
29. Компьютерный программный продукт, содержащий машиночитаемый носитель с инструкциями для выполнения способа по любому из пп. 1-24.
30. Кодировщик, сконфигурированный для:
приема представления пространственного звука, содержащего:
одноканальный или многоканальный звуковой сигнал понижающего микширования, созданный посредством понижающего микширования входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука, захватывающем пространственный звук, и
параметры первых метаданных, ассоциированные со звуковым сигналом понижающего микширования, при этом параметры первых метаданных указывают одно или более из: значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом; и
выполнения одного из:
кодирования одноканального или многоканального звукового сигнала понижающего микширования в битовый поток с использованием первых метаданных, и
кодирования одноканального или многоканального звукового сигнала понижающего микширования и первых метаданных в битовый поток.
31. Кодировщик по п. 30, в котором:
представление пространственного звука дополнительно включает в себя параметры вторых метаданных, указывающие конфигурацию понижающего микширования для входных звуковых сигналов; и
кодировщик сконфигурирован для кодирования одноканального или многоканального звукового сигнала понижающего микширования в битовый поток с использованием параметров первых и вторых метаданных.
32. Кодировщик по п. 30, в котором часть понижающего микширования происходит в блоке захвата звука, и часть понижающего микширования происходит в кодировщике.
33. Декодировщик, сконфигурированный для:
приема битового потока, указывающего кодированное представление пространственного звука, при этом упомянутое представление включает в себя:
одноканальный или многоканальный звуковой сигнал понижающего микширования, созданный посредством понижающего микширования входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука (202), захватывающего пространственный звук, и
параметры первых метаданных, ассоциированные со звуковым сигналом понижающего микширования, при этом параметры первых метаданных указывают одно или более из: значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом; и
декодирования битового потока в аппроксимацию пространственного звука с использованием параметров первых метаданных.
34. Декодировщик по п. 33, в котором:
представление пространственного звука дополнительно включает в себя параметры вторых метаданных, указывающие конфигурацию понижающего микширования для входных звуковых сигналов; и
декодировщик сконфигурирован для декодирования битового потока в аппроксимацию пространственного звука с использованием параметров первых и вторых метаданных.
35. Декодировщик по п. 33 или 34, дополнительно включающий использование параметра первых метаданных для восстановления межканальной разницы во времени или для настройки величины или фазы декодированного выходного звука.
36. Декодировщик по п. 34, дополнительно включающий использование параметра вторых метаданных для определения матрицы повышающего микширования для восстановления сигнала направленного источника или восстановления сигнала окружающего звука.
37. Средство рендеринга, сконфигурированное для:
приема представления пространственного звука, причем упомянутое представление включает в себя:
одноканальный или многоканальный звуковой сигнал понижающего микширования, созданный посредством понижающего микширования входных звуковых сигналов от множества микрофонов (m1, m2, m3) в блоке захвата звука, захватывающем пространственный звук, и
параметры первых метаданных, ассоциированные со звуковым сигналом понижающего микширования, при этом параметры первых метаданных указывают одно или более из: значения относительной временной задержки, значения усиления и значения фазы, ассоциированных с каждым входным звуковым сигналом; и
рендеринга пространственного звука с использованием первых метаданных.
38. Средство рендеринга по п. 37, в котором:
представление пространственного звука дополнительно включает в себя параметры вторых метаданных, указывающие конфигурацию понижающего микширования для входных звуковых сигналов; и
средство рендеринга сконфигурировано для рендеринга пространственного звука с использованием параметров первых и вторых метаданных.