ПРИЕМ ЗВУКА ПОСРЕДСТВОМ ВЫДЕЛЕНИЯ ГЕОМЕТРИЧЕСКОЙ ИНФОРМАЦИИ ИЗ ОЦЕНОК НАПРАВЛЕНИЯ ЕГО ПОСТУПЛЕНИЯ

1. Устройство для создания выходного аудиосигнала для имитации записи выходного аудиосигнала виртуальным микрофоном у конфигурируемого виртуального места его расположения в окружающей среде, причем устройство содержит:
блок (110) оценки местоположения звуковых событий для оценки местоположения звукового события, указывающий местоположение звукового события в упомянутой окружающей среде, где звуковое событие активизировано в определенный момент времени или в определенном частотно-временном бине, где звуковое событие представляет собой реальный источник звука или источник зеркального отображения, где блок (110) оценки местоположения звуковых событий сконфигурирован для оценки местоположения звукового события, указывающего местоположение источника зеркального отражения в упомянутой окружающей среде, когда звуковым событием является источник зеркального отражения, и где блок (110) оценки местоположения звуковых событий адаптирован для оценки местоположения звукового события на основе информации о первом направлении, обеспечиваемой первым реальным пространственным микрофоном, который расположен по месту расположения первого реального микрофона в данной окружающей среде, и на основе информации о втором направлении, обеспечиваемой вторым реальным пространственным микрофоном, который расположен по месту расположения второго реального микрофона в данной окружающей среде, где первый реальный пространственный микрофон и второй реальный пространственный микрофон представляют собой физически существующие пространственные микрофоны и где первый реальный пространственный микрофон и второй реальный пространственный микрофон являются устройствами для приема пространственного звука, способные извлекать информацию о направлении поступления звука, и
модуль (120) вычисления информации для создания выходного аудиосигнала на основе первого записанного входного аудиосигнала, на основе местоположения первого реального микрофона, на основе виртуального местоположения виртуального микрофона и на основе местоположения звукового события;
где первый реальный пространственный микрофон сконфигурирован для записи первого записанного входного аудиосигнала или где третий микрофон сконфигурирован для записи первого записанного входного аудиосигнала,
где блок (110) оценки местоположения звуковых событий адаптирован для оценки местоположения звукового события на основе первого направления поступления звуковой волны, излучаемой звуковым событием у места расположения первого реального микрофона, в качестве информации о первом направлении и на основе второго направления поступления звуковой волны у места расположения второго реального микрофона в качестве информации о втором направлении, и
где модуль (120) вычисления информации содержит компенсатор (500) распространения,
где компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала путем модификации первого записанного входного аудиосигнала на основе первого затухания амплитуды между звуковым событием и первым реальным пространственным микрофоном и на основе второго затухания амплитуды между звуковым событием и виртуальным микрофоном путем регулировки значения амплитуды, значения магнитуды или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала; или
где компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала путем компенсации первой временной задержки между поступлением звуковой волны, излучаемой звуковым событием у первого реального пространственного микрофона, и поступлением звуковой волны у виртуального микрофона путем регулировки значения амплитуды, значения магнитуды или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала.
2. Устройство по п. 1, в котором модуль (120) вычисления информации содержит модуль (507) вычисления дополнительной пространственной информации для вычисления дополнительной пространственной информации;
в котором модуль (120) вычисления информации адаптирован для оценки направления поступления или интенсивности активного звука у виртуального микрофона в качестве дополнительной пространственной информации на основе вектора местоположения виртуального микрофона и на основе вектора местоположения звукового события.
3. Устройство по п. 1,
в котором компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала путем модификации первого записанного входного аудиосигнала на основе первого затухания амплитуды между звуковым событием и первым реальным пространственным микрофоном и на основе второго затухания амплитуды между звуковым событием и виртуальным микрофоном путем регулировки значения амплитуды, значения величины или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала,
в котором компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала в частотно-временной области на основе первого затухания амплитуды между звуковым событием и первым реальным пространственным микрофоном и на основе второго затухания амплитуды между звуковым событием и виртуальным микрофоном путем регулировки указанного значения магнитуды первого записанного входного аудиосигнала, представляемого в частотно-временной области.
4. Устройство по п. 1,
в котором компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала путем компенсации первой временной задержки между поступлением звуковой волны, излучаемой звуковым событием у первого реального пространственного микрофона и поступлением звуковой волны у виртуального микрофона путем регулировки значения амплитуды, значения магнитуды или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала,
в котором компенсатор (500) распространения адаптирован для создания первого модифицированного аудиосигнала в частотно-временной области путем компенсации первой временной задержки между поступлением звуковой волны, излучаемой звуковым событием у первого реального пространственного микрофона, и поступлением звуковой волны у виртуального микрофона путем регулировки указанного значения магнитуды первого записанного входного аудиосигнала, представляемого в частотно-временной области.
5. Устройство по п. 1, в котором компенсатор (500) распространения адаптирован для выполнения компенсации распространения путем создания модифицированного значения магнитуды первого модифицированного аудиосигнала с применением формулы
1
где d(k,n) представляет собой расстояние между местоположением первого реального пространственного микрофона и местоположением звукового события,
s(k,n) - расстояние между виртуальным местоположением виртуального микрофона и местоположением звукового события,
ref
P(k,n) - значение магнитуды первого записанного входного аудиосигнала, представляемого в частотно-временной области, и
v
P(k,n) - модифицированное значение магнитуды, соответствующее сигналу виртуального микрофона,
k обозначает индекс частоты и
n обозначает индекс времени.
6. Устройство по п. 1, в котором модуль (120) вычисления информации, кроме того, содержит объединитель (510), где компенсатор (500) распространения, кроме того, адаптирован для модификации второго записанного входного аудиосигнала, записываемого вторым реальным пространственным микрофоном, путем компенсации второй временной задержки или второго затухания амплитуды между поступлением звуковой волны, излучаемой звуковым событием у второго реального пространственного микрофона, и поступлением звуковой волны у виртуального микрофона, путем регулировки значения амплитуды, значения величины или значения фазы второго записанного входного аудиосигнала для получения второго модифицированного аудиосигнала, и
где объединитель (510) адаптирован для создания объединенного сигнала путем объединения первого модифицированного аудиосигнала и второго модифицированного аудиосигнала для получения выходного аудиосигнала.
7. Устройство по п. 6, в котором компенсатор (500) распространения, кроме того, адаптирован для модификации одного или нескольких дополнительных записанных входных аудиосигналов, записываемых одним или несколькими дополнительными реальными пространственными микрофонами путем компенсации временных задержек или затуханий амплитуды между поступлением звуковой волны у виртуального микрофона и поступлением звуковой волны, излучаемой звуковым событием у каждого из дополнительных реальных пространственных микрофонов, где компенсатор (500) распространения адаптирован для компенсации каждой из временных задержек или каждого из затуханий амплитуды путем регулировки значения амплитуды, значения магнитуды или значения фазы каждого из дополнительно записанных входных аудиосигналов для получения множества третьих модифицированных аудиосигналов, и
где объединитель (510) адаптирован для создания объединенного сигнала путем объединения первого модифицированного аудиосигнала и второго модифицированного аудиосигнала и множества третьих модифицированных аудиосигналов для получения выходного аудиосигнала.
8. Устройство по п. 1, в котором модуль (120) вычисления информации содержит блок (520) спектрального взвешивания для создания взвешенного аудиосигнала путем модификации первого модифицированного аудиосигнала, зависящего от направления поступления звуковой волны у виртуального местоположения виртуального микрофона и зависящего от единичного вектора, описывающего ориентацию виртуального микрофона, для получения выходного аудиосигнала, где первый модифицированный аудиосигнал модифицируют в частотно-временной области.
9. Устройство по п. 6, в котором модуль (120) вычисления информации содержит блок (520) спектрального взвешивания для создания взвешенного аудиосигнала путем модификации объединенного сигнала, зависящего от направления поступления звуковой волны у виртуального местоположения виртуального микрофона и зависящего от единичного вектора, описывающего ориентацию виртуального микрофона, для получения выходного аудиосигнала, где объединенный сигнал модифицируют в частотно-временной области.
10. Устройство по п. 8, в котором блок (520) спектрального взвешивания адаптирован для применения весового коэффициента
v
α+(1-α)cos(φ(k,n)) или
весового коэффициента
v
0,5+0,5cos(φ(k,n))
для взвешенного аудиосигнала,
v
где φ(k,n) указывает угол, задающий направления поступления звуковой волны, излучаемой звуковым событием в виртуальном месте расположения виртуального микрофона,
k обозначает индекс частоты и
n обозначает индекс времени.
11. Устройство по п. 1, в котором компенсатор (500) распространения, кроме того, адаптирован для создания третьего модифицированного аудиосигнала путем модификации третьего записанного входного аудиосигнала, записанного четвертым микрофоном, путем компенсации третьей временной задержки или третьего затухания амплитуды между поступлением звуковой волны, излучаемой звуковым событием, у четвертого микрофона и поступлением звуковой волны у виртуального микрофона, путем регулировки значения амплитуды, значения магнитуды или значения фазы третьего записанного входного аудиосигнала для получения выходного аудиосигнала.
12. Устройство по п. 1, в котором блок (110) оценки местоположения звуковых событий адаптирован для оценки местоположения звукового события в трехмерной окружающей среде.
13. Устройство по п. 1, в котором модуль (120) вычисления информации, кроме того, содержит блок (801) вычисления диффузности, адаптируемый для оценки диффузной звуковой энергии у виртуального микрофона или прямой звуковой энергии у виртуального микрофона;
в котором блок (801) вычисления диффузности адаптирован для оценки диффузной звуковой энергии у виртуального микрофона на основе диффузных звуковых энергий у первого и второго реального пространственного микрофона.
<mrow><msubsup><mi>E</mi><mrow><mi>d</mi><mi>i</mi><mi>f</mi><mi>f</mi></mrow><mrow><mo stretchy="false">(</mo><mi>V</mi><mi>M</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow>
14. Устройство по п. 13, в котором блок (801) вычисления диффузности адаптирован для оценки диффузной звуковой энергии
у виртуального микрофона путем применения формулы
где N - количество реальных пространственных микрофонов из множества реальных пространственных микрофонов, содержащего первый и второй реальные пространственные микрофоны, и
<mrow><msubsup><mi>E</mi><mrow><mi>d</mi><mi>i</mi><mi>f</mi><mi>f</mi></mrow><mrow><mo stretchy="false">(</mo><mi>S</mi><msub><mi>M</mi><mi>i</mi></msub><mo stretchy="false">)</mo></mrow></msubsup></mrow>
- диффузная звуковая энергия у i-го реального пространственного микрофона.
15. Устройство по п. 13, в котором блок (801) вычисления диффузности адаптирован для оценки прямой звуковой энергии путем применения формулы
где «расстояние SMi-IPLS» - расстояние между местоположением i-го реального пространственного микрофона и местоположением звукового события,
«расстояние VM-IPLS» - расстояние между виртуальным местоположением и местоположением звукового события и
<mrow><msubsup><mi>E</mi><mrow><mi>d</mi><mi>i</mi><mi>r</mi></mrow><mrow><mo stretchy="false">(</mo><mi>S</mi><msub><mi>M</mi><mi>i</mi></msub><mo stretchy="false">)</mo></mrow></msubsup></mrow>
- прямая энергия у i-го реального пространственного микрофона.
16. Устройство по п.13, в котором блок (801) вычисления диффузности адаптирован для оценки диффузности у виртуального микрофона путем оценки диффузной звуковой энергии у виртуального микрофона и прямой звуковой энергии у виртуального микрофона и путем применения формулы
(VM)
где ψуказывает диффузность у оцениваемого виртуального микрофона,
<mrow><msubsup><mi>E</mi><mrow><mi>d</mi><mi>i</mi><mi>f</mi><mi>f</mi></mrow><mrow><mo stretchy="false">(</mo><mi>V</mi><mi>M</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow>
указывает оцениваемую диффузную звуковую энергию и
<mrow><msubsup><mi>E</mi><mrow><mi>d</mi><mi>i</mi><mi>r</mi></mrow><mrow><mo stretchy="false">(</mo><mi>V</mi><mi>M</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow>
указывает оцениваемую прямую звуковую энергию.
17. Способ создания выходного аудиосигнала для имитации записи выходного аудиосигнала виртуальным микрофоном у конфигурируемого виртуального места его расположения в окружающей среде, причем способ содержит:
оценку местоположения звукового события, указывающего местоположение звукового события в упомянутой окружающей среде, где звуковое событие активизировано в определенный момент времени или в определенном частотно-временном блоке, где звуковое событие представляет собой реальный источник звука или источник зеркального отображения, где шаг оценки местоположения звукового события содержит оценку местоположения звукового события, указывающего местоположение источника зеркального отражения в упомянутой окружающей среде, когда звуковым событием является источник зеркального отражения, и где шаг оценки местоположения звукового события основан на информации о первом направлении, обеспечиваемой первым реальным пространственным микрофоном, который расположен по месту расположения первого реального микрофона в данной окружающей среде, и на основе информации о втором направлении, обеспечиваемой вторым реальным пространственным микрофоном, который расположен по месту расположения второго реального микрофона в данной окружающей среде, где первый реальный пространственный микрофон и второй реальный пространственный микрофон представляют собой физически существующие пространственные микрофоны; и где первый реальный пространственный микрофон и второй реальный пространственный микрофон являются устройствами для приема пространственного звука, способные извлекать информацию о направлении поступления звука, и
создание выходного аудиосигнала на основе первого записанного входного аудиосигнала, на основе местоположения первого реального микрофона, на основе виртуального местоположения виртуального микрофона и на основе местоположения звукового события;
где первый реальный пространственный микрофон сконфигурирован для записи первого записанного входного аудиосигнала, или где третий микрофон сконфигурирован для записи первого записанного входного аудиосигнала,
где оценку местоположения звукового события выполняют на основе первого направления поступления звуковой волны, излучаемой звуковым событием у места расположения первого реального микрофона в качестве информации о первом направлении и на основе второго направления поступления звуковой волны у места расположения второго реального микрофона в качестве информации о втором направлении,
где шаг создания выходного аудиосигнала содержит создание первого модифицированного аудиосигнала путем модификации первого записанного входного аудиосигнала на основе первого затухания амплитуды между звуковым событием и первым реальным пространственным микрофоном и на основе второго затухания амплитуды между звуковым событием и виртуальным микрофоном путем регулировки значения амплитуды, значения магнитуды или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала; или где шаг создания выходного аудиосигнала содержит создание первого модифицированного аудиосигнала путем компенсации первой временной задержки между поступлением звуковой волны, излучаемой звуковым событием, у первого реального пространственного микрофона и поступлением звуковой волны у виртуального микрофона путем регулировки значения амплитуды, значения магнитуды или значения фазы первого записанного входного аудиосигнала для получения выходного аудиосигнала.
18. Компьютерная программа для реализации способа по п. 17 при ее выполнении на компьютере или процессоре сигналов.