БИНАУРАЛЬНАЯ ВИЗУАЛИЗАЦИЯ МУЛЬТИКАНАЛЬНОГО ЗВУКОВОГО СИГНАЛА

1
N
1. Устройство для бинауральной визуализации многоканального звукового сигнала (21) в бинауральный выходной сигнал (24); многоканальный звуковой сигнал (21) включает сигнал стереопонижающего микширования (18), в который микшируется с понижением множество звуковых сигналов (14-14), и дополнительная информация (20) включает информацию о понижающем микшировании (DMG, DCLD), показывающую, для каждого звукового сигнала, до какой степени соответствующий звуковой сигнал был микширован в первый канал (L0) и второй канал (R0) сигнала стереопонижающего микширования (18) соответственно, а также информацию об уровне объекта (OLD) множества звуковых сигналов и информацию о межобъектной взаимной корреляции (IOC), описывающую сходство между парами звуковых сигналов множества звуковых сигналов; устройство предназначено для
l,m
вычисления (47), основанного на первом предписании визуализации (G), зависящем от информации о межобъектной взаимной корреляции, информации об уровне объекта, информации о понижающем микшировании, информации о визуализации, связывающей каждый звуковой сигнал с положением виртуального громкоговорителя и параметрами HRTF, предварительным бинауральным сигналом (54) из первого и второго каналов сигнала стереопонижающего микширования (18);
генерирования (50) декоррелированного сигнала  в качестве перцепционного эквивалента монопонижающего микширования (58) первого и второго каналов сигнала стереопонижающего микширования (18), являющегося, однако, декоррелированным до монопонижающего микширования (58);
вычисления (52), зависящего от второго предписания визуализации  зависящего от информации о межобъектной взаимной корреляции, информации об уровне объекта, информации о понижающем микшировании, информации о визуализации и параметров HRTF, корректирующего бинаурального сигнала (64) из декоррелированного сигнала (62); и
микширования (53) предварительного бинаурального сигнала (54) с корректирующим бинауральным сигналом (64) для получения бинаурального выходного сигнала (24).
2. Устройство по п.1, где устройство далее предназначается, при генерировании декоррелированного сигнала , для суммирования первого и второго канала сигнала стереопонижающего микширования (18) и для декоррелирования суммы для получения декоррелированного сигнала (62).
3. Устройство по п.1 далее предназначено для:
оценки (80) действительной величины бинауральной межканальной когерентности предварительного бинаурального сигнала (54);
определения (82) заданной (целевой) величины бинауральной межканальной когерентности; и
установки (84) отношения смеси, определяющего до какой степени бинауральный входной сигнал (24) подвергается воздействию первого и второго каналов сигнала стереопонижающего микширования (18) в качестве обработанного посредством вычисления (47) предварительного бинаурального сигнала (54), и первого и второго каналов сигнала стереопонижающего микширования (18) в качестве обработанного посредством генерирования (50) декоррелированного сигнала и вычисления (52) корректирующего бинаурального сигнала (64) соответственно, основанного на действительной величине бинауральной межканальной когерентности и величины заданной (целевой) бинауральной межканальной когерентности.
l,m
4. Устройство по п.3, где устройство далее предназначается, при установке отношения смеси, для установки отношения смеси; установка отношения смеси посредством установки первого предписания визуализации (G) и второго предписания визуализации , основанного на действительной величине бинауральной межканальной когерентности и величине заданной (целевой) бинауральной межканальной когерентности.
∗
∗
5. Устройство по п.3, где устройство далее предназначается, при определении величины заданной (целевой) бинауральной межканальной когерентности, для выполнения определения, основанного на компонентах заданной (целевой) матрицы ковариантности F=А Е А, при «», обозначающем сопряженную транспозицию, А - обозначающем заданную (целевую) бинауральную матрицу визуализации, связывающую звуковые сигналы с первым и вторым каналами бинаурального выходного сигнала соответственно и являющуюся однозначно определенной при помощи информации о визуализации и параметров HRTF, и E - обозначающем матрицу, однозначно определенную при помощи информации о межобъектной взаимной корреляции и информации об уровне объекта.
6. Устройство по п.5, где устройство далее предназначается, при вычислении предварительного бинаурального сигнала (54), для выполнения вычисления так, чтобы
где X - 2×1 вектор, компоненты которого соответствуют первому и второму каналам сигнала стереопонижающего микширования (18);  вектор, компоненты которого соответствуют первому и второму каналам предварительного бинаурального сигнала (54) G - первая матрица визуализации, представляющая первое предписание визуализации и имеющая размер 2×2 при
где, при х∈{1,2},
(если первое условие применяется иначе),
x
x
x
∗
где ,  и  - коэффициенты матриц подцелевой ковариантности F размера 2×2 при F=A E A,
x
x
ij
где  - коэффициенты N×N матрицы E; N - число звуковых сигналов; е - коэффициенты матрицы Е, имеющей размер N×N, и d, однозначно определяются при помощи информации о понижающем микшировании, где  показывают степень, до которой звуковой сигнал i был микширован в первый канал сигнала стереопонижающего микширования (18); и  определяет, до какой степени звуковой сигнал i был микширован во второй канал выходного стереосигнала (18),
х
x
где V - скаляр при  и D - 1×N матрица, коэффициентами которой являются ,
где устройство далее предназначается, при вычислении корректирующего бинаурального выходного сигнала (64), для выполнения вычисления так, чтобы
d
2
где X - декодированный сигнал  вектор, компоненты которого соответствуют первому и второму каналам корректирующего бинаурального сигнала (64); и Р - вторая матрица визуализации, представляющая второе предписание визуализации и имеющая размер 2×2, при
L
R
где коэффициенты усиления P и P определяются как
11
22
где с и c - коэффициенты 2×2 матрицы ковариантности С предварительного бинаурального сигнала (54), при
∗
где V - скаляр при V=W E W+ε; W - матрица монопонижающего микширования размера 1×N, коэффициенты которой однозначно определены посредством ,  и  -
где устройство далее предназначается, при оценке величины действительной бинауральной межканальной когерентности, для определения величины действительной бинауральной межканальной когерентности как
где устройство далее предназначается, при определении величины заданной (целевой) бинауральной межканальной когерентности, для определения величины заданной (целевой) бинауральной межканальной когерентности как
где устройство далее предназначается, при установке отношения смеси, для определения углов ротатора α и β согласно
при ε, обозначающем маленькую константу для того, чтобы избежать деления на ноль соответственно.
7. Устройство по п.1, где устройство далее предназначается, при вычислении предварительного бинаурального сигнала (54), для выполнения вычисления так, чтобы
где Х - 2×1 вектор, компоненты которого соответствуют первому и второму каналам сигнала стереопонижающего микширования (18);  вектор, компоненты которого соответствуют первому и второму каналам предварительного бинаурального сигнала (54); G - первая матрица визуализации, представляющая первое предписание визуализации и имеющая размер 2×2, при
∗
∗
-1
G=AED(DED),
где Е - матрица, однозначно определяемая при помощи информации о межобъектной взаимной корреляции и информации об уровне объекта;
ij
1j
2j
D - 2×N матрица, коэффициенты d однозначно определяются при помощи информации о понижающем микшировании, где d показывает степень, до которой звуковой сигнал j был микширован в первый канал сигнала стереопонижающего микширования (18), и d определяет, до какой степени звуковой сигнал j был микширован во второй канал выходного стереосигнала (18);
А - заданная (целевая) бинауральная матрица визуализации, связывающая звуковые сигналы с первым и вторым каналами бинаурального выходного сигнала, соответственно, и однозначно определяемая при помощи информации о визуализации и параметров HRTF,
где устройство далее предназначается, при вычислении корректирующего бинаурального выходного сигнала (64), для выполнения вычисления так, чтобы
d
0
0
0
∗
∗
∗
∗
где X - декоррелированный сигнал  вектор, компоненты которого соответствуют первому и второму каналам корректирующего бинаурального сигнала (64); и Р - вторая матрица визуализации, представляющая второе предписание визуализации, и имеющая размер 2×2, и определяется так, что РР =ΔR, при ΔR=АЕА-GDEDG , при G=G.
8. Устройство по п.1, где устройство далее предназначается, при вычислении предварительного бинаурального сигнала (54), для выполнения вычисления так, чтобы
где Х - 2×1 вектор, компоненты которого соответствуют первому и второму каналам сигнала стереопонижающего микширования (18);  вектор, компоненты которого соответствуют первому и второму каналам предварительного бинаурального сигнала (54); G - первая матрица визуализации, представляющая первое предписание визуализации, и имеющая размер 2×2, при
0
0
0
0
0
0
0
0
0
*
*
-1
*
*
*
*
*
1/2
*
*
-1
G=(GDEDG )(GDEDG AEAGDEDG )(GDEDG )G,
0
*
*
-1
при G=AED(DED),
где E - матрица, однозначно определяемая при помощи информации о межобъектной взаимной корреляции и информации об уровне объекта;
ij
1j
2j
D - 2×N матрица, коэффициенты d, однозначно определяемые при помощи информации о понижающем микшировании, где d показывает степень, до которой звуковой сигнали j был микширован в первый канал сигнала стереопонижающего микширования (18), и d, определяет, до какой степени звуковой сигнал j был микширован во второй канал выходного стереосигнала (18);
А - заданная (целевая) бинауральная матрица визуализации, связывающая звуковые сигналы с первым и вторым каналами бинаурального выходного сигнала соответственно и однозначно определяемая при помощи информации о визуализации и параметров HRTF, где устройство далее предназначается, при вычислении корректирующего бинаурального выходного сигнала (64), для выполнения вычисления так, чтобы
d
*
*
*
*
где X - декоррелированный сигнал  вектор, компоненты которого соответствуют первому и второму каналам корректирующего бинаурального сигнала (64) и Р - вторая матрица визуализации, представляющая второе предписание визуализации, и имеющая размер 2×2, и определяемая так, что РР =(АЕА-GDEDG)/V, при V, являющейся скаляром.
9. Устройство по п.1, где информация о понижающем микшировании (DMG, DCLD) является зависящей от времени, и информация об уровне объекта (OLD) и информация о межобъектной взаимной корреляции (IOC) являются зависящими от частоты и времени.
1
N
10. Способ бинауральной визуализации многоканального звукового сигнала (21) в бинауральный выходной сигнал (24); многоканальный звуковой сигнал (21) включает сигнал стереопонижающего микширования (18), в который микшируется с понижением множество звуковых сигналов (14-14); и дополнительная информация (20) включает информацию о понижающем микшировании (DMG, DCLD), показывающую, для каждого звукового сигнала, до какой степени соответствующий звуковой сигнал был микширован в первый канал (L0) и второй канал (R0) сигнала стереопонижающего микширования (18) соответственно, а также информацию об уровне объекта (OLD) множества звуковых сигналов и информацию о межобъектной взаимной корреляции (IOC), описывающую сходство между парами звуковых сигналов множества звуковых сигналов; способ включает:
l,m
вычисление, основанное на первом предписании визуализации (G), зависящем от информации о межобъектной взаимной корреляции, информации об уровне объекта, информации о понижающем микшировании, информации о визуализации, связывающей каждый звуковой сигнал с положением виртуального громкоговорителя и параметрами HRTF, предварительным бинауральным сигналом (54) из первого и второго каналов сигнала стереопонижающего микширования (18);
генерирование декоррелированного сигнала  в качестве перцепционного эквивалента монопонижающего микширования (58) первого и второго каналов сигнала стереопонижающего микширования (18), являющегося, однако, декоррелированным до монопонижающего микширования (58);
вычисление, зависящее от второго предписания визуализации , зависящего от информации о межобъектной взаимной корреляции, информации об уровне объекта, информации о понижающем микшировании, информации о визуализации и параметров HRTF, корректирующего бинаурального сигнала (64) из декоррелированного сигнала (62); и
микширование предварительного бинаурального сигнала (54) с корректирующим бинауральным сигналом (64) для получения бинаурального выходного сигнала (24).
11. Компьютерная программа, содержащая код по выполнению, когда она запущена на компьютере, способа по п.10.