ОБРАБОТКА ЗВУКА В ЗВУКОВЫХ УСЛУГАХ С ЭФФЕКТОМ ПРИСУТСТВИЯ

1. Устройство, содержащее микрофонную систему (302), содержащую один или более микрофонов для захвата звука, или соединенное с ней, при этом устройство содержит:
блок (304) приема, выполненный с возможностью:
приема (S13) направленного звука (320), захваченного микрофонной системой;
приема (S14) метаданных (322), связанных с микрофонной системой, при этом метаданные содержат пространственные данные микрофонной системы, при этом пространственные данные характеризуют пространственную ориентацию и/или пространственное положение микрофонной системы и содержат по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты микрофонной системы;
вычислительный блок (306), выполненный с возможностью:
модификации по меньшей мере некоторой части направленного звука для получения модифицированного направленного звука, при этом направленность звука модифицирована на основании пространственной ориентации и/или пространственного положения микрофонной системы;
кодирования модифицированного направленного звука в цифровые аудиоданные (328);
блок (308) передачи, выполненный с возможностью передачи цифровых аудиоданных.
2. Устройство по п. 1, отличающееся тем, что пространственная ориентация микрофонной системы представлена параметрами, описывающими поворотное движение/ориентацию с помощью одной степени свободы, DoF, в пространственных данных.
3. Устройство по п. 1, отличающееся тем, что пространственная ориентация микрофонной системы представлена параметрами, описывающими поворотное движение/ориентацию с помощью трех DoF, в пространственных данных.
4. Устройство по любому из пп. 1 или 3, отличающееся тем, что пространственные данные микрофонной системы представлены в шести DoF.
5. Устройство по любому из пп. 1–4, отличающееся тем, что принятый направленный звук содержит звук, содержащий направленные метаданные.
6. Устройство по любому из пп. 1–5, отличающееся тем, что вычислительный блок дополнительно выполнен с возможностью кодирования по меньшей мере частей метаданных, содержащих пространственные данные микрофонной системы, в указанные цифровые аудиоданные.
7. Устройство по п. 6, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема (S11) первых команд (334), указывающих вычислительному блоку, включать ли по меньшей мере части метаданных, содержащих пространственные данные микрофонной системы, в указанные цифровые аудиоданные, за счет чего вычислительный блок действует соответственно.
8. Устройство по любому из пп. 6–7, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема (S12) вторых команд (334), указывающих вычислительному блоку, какой параметр или параметры пространственных данных микрофонной системы включать в цифровые аудиоданные, за счет чего вычислительный блок действует соответственно.
9. Устройство по любому из пп. 7–8, отличающееся тем, что блок передачи выполнен с возможностью передачи цифровых аудиоданных в дополнительное устройство (400), при этом указания относительно первых и/или вторых команд приняты от указанного дополнительного устройства.
10. Устройство по любому из пп. 1–9, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема метаданных, содержащих временную отметку, указывающую время захвата направленного звука, при этом вычислительный блок выполнен с возможностью кодирования указанной временной отметки в указанные цифровые аудиоданные.
11. Устройство по любому из пп. 1–10, отличающееся тем, что кодирование модифицированного направленного звука включает понижающее микширование модифицированного направленного звука, при этом понижающее микширование выполнено с учетом пространственной ориентации микрофонной системы, и кодирование результата понижающего микширования и матрицы понижающего микширования, использованной в понижающем микшировании, в указанные цифровые аудиоданные.
12. Устройство по п. 11, отличающееся тем, что понижающее микширование включает формирование луча.
13. Устройство по любому из пп. 1–12, отличающееся тем, что реализовано в оборудовании (602a–e) виртуальной реальности, VR, или оборудовании (602 a–e) дополненной реальности, AR, содержащем микрофонную систему и устройство отслеживания положения головы, выполненное с возможностью определения пространственных данных устройства в 3–6 DoF.
14. Устройство (400) для воспроизведения звуковых сигналов, при этом устройство содержит:
блок (402) приема, выполненный с возможностью приема (S21) цифровых аудиоданных (328);
блок (404) декодирования, выполненный с возможностью:
декодирования (S22) принятых цифровых аудиоданных в направленный звук (420) и в метаданные (422), при этом метаданные содержат пространственные данные, содержащие по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты;
блок (406) воспроизведения, выполненный с возможностью:
модификации (S23) направленности направленного звука с применением пространственных данных; и
воспроизведения (S24) модифицированного направленного звука (424).
15. Устройство по п. 14, отличающееся тем, что пространственные данные указывают пространственную ориентацию и/или пространственное положение микрофонной системы (302), содержащей один или более микрофонов, захватывающих направленный звук, при этом блок воспроизведения модифицирует направленность направленного звука с по меньшей мере частичным воспроизведением звуковой среды микрофонной системы.
16. Устройство по любому из пп. 14–15, отличающееся тем, что пространственные данные содержат параметры, описывающие поворотное движение/ориентацию с помощью одной степени свободы, DoF.
17. Устройство по любому из пп. 14–15, отличающееся тем, что пространственные данные содержат параметры, описывающие поворотное движение/ориентацию с помощью трех DoF.
18. Устройство по любому из пп. 14–17, отличающееся тем, что декодированный направленный звук содержит звук, содержащий направленные метаданные.
19. Устройство по любому из пп. 14–18, отличающееся тем, что дополнительно содержит блок (306) передачи, выполненный с возможностью передачи команд (334) в дополнительное устройство (300), с которого принят оцифрованный звук, при этом команды указывают дополнительному устройству, какой параметр или параметры данные поворота должны содержать.
20. Устройство по любому из пп. 14–19, отличающееся тем, что блок декодирования дополнительно выполнен с возможностью извлечения временной отметки, указывающей время захвата направленного звука, из цифровых аудиоданных.
21. Устройство по любому из пп. 14–20, отличающееся тем, что декодирование принятых цифровых аудиоданных в направленный звук блоком декодирования включает:
декодирование принятых цифровых аудиоданных в подвергнутый понижающему микшированию звук;
повышающее микширование посредством блока декодирования подвергнутого понижающему микшированию звука в направленный звук с применением матрицы понижающего микширования, включенной в принятые цифровые аудиоданные.
22. Устройство по любому из пп. 14–21, отличающееся тем, что пространственные данные содержат пространственные координаты, и при этом блок воспроизведения дополнительно выполнен с возможностью регулирования громкости воспроизведенного звука на основании пространственных координат.
23. Устройство по любому из пп. 14–22, отличающееся тем, что реализовано в оборудовании (602a-e) виртуальной реальности, VR, или оборудовании (602a-e) дополненной реальности, AR, содержащем устройство отслеживания положения головы, выполненное с возможностью измерения пространственной ориентации и пространственного положения устройства в шести DoF.
24. Устройство по любому из пп. 14–23, отличающееся тем, что блок воспроизведения выполнен для бинаурального воспроизведения звука.
25. Система, содержащая:
первое устройство (300) по любому из пп. 1–13, выполненное с возможностью передачи цифровых аудиоданных во второе устройство (400) по любому из пп. 14–24, при этом система выполнена с возможностью проведения аудио- и/или видеоконференций.
26. Система по п. 25, отличающаяся тем, что первое устройство дополнительно содержит блок записи видео и выполнено с возможностью кодирования записанного видео в цифровые видеоданные и передачи цифровых видеоданных во второе устройство, при этом второе устройство дополнительно содержит дисплей для отображения декодированных цифровых видеоданных.
27. Система, содержащая первое устройство (300) по любому из пп. 1–13, выполненное с возможностью передачи цифровых аудиоданных во второе устройство, при этом второе устройство содержит:
блок приема, выполненный с возможностью приема цифровых аудиоданных;
блок декодирования, выполненный с возможностью:
декодирования принятых цифровых аудиоданных в направленный звук и в метаданные, при этом метаданные содержат пространственные данные, содержащие по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты;
блок воспроизведения для воспроизведения звука;
при этом блок воспроизведения выполнен с возможностью при последующем получении вторым устройством кодированных видеоданных от первого устройства:
модификации направленности направленного звука с применением пространственных данных, и
воспроизведения модифицированного направленного звука;
при этом блок воспроизведения выполнен с возможностью при неполучении вторым устройством кодированных видеоданных от первого устройства:
воспроизведения направленного звука.
28. Постоянный машиночитаемый носитель, на котором сохранены команды, которые при выполнении одним или более процессорами приводят к выполнению одним или более процессорами операций по любому из предыдущих пунктов.