Модель декомпозиции речевых сигналов

Д.А. Леднов

МОДЕЛЬ ДЕКОМПОЗИЦИИ РЕЧЕВЫХ СИГНАЛОВ

Зачастую в задачах обработки речи возникают события, когда два и более диктора говорят одновременно в одном передающем тракте или параллельно с беседой дикторов звучит музыкальное произведение. Здесь, термин - передающий тракт - можно понимать в широком смысле, т.е. это может быть акустическая среда, телефонный канал, микрофон или любое другое пригодное для передачи речи устройство. В связи с этим возникает проблема декомпозиции (расслоения) одновременных сигналов, порожденных двумя или более источниками звука и полученными в одном передающем тракте.

Рассматриваемый класс задач возник недавно и назван Computational Auditory Scene Analysis (CASA) [1]. В рамках этого класса задач возникли два подхода к их решению. Один из них назван bottom-up и предполагает проведение декомпозиции смешанных сигналов на основе только акустических данных, а другой подход, названный top-down, предполагает сепарацию сигналов на основе предварительного обучения и признаков информационного характера [2,3].

Основное внимание работы сосредоточено на трех аспектах проблемы декомпозиции:

1. Построить модель речевого тракта и выяснить, как отражается динамика речевого тракта на спектральных компонентах выходного сигнала.

2. Сформировать спектр, возникающий в результате суперпозиции колебаний от пары источников.

3. Рассмотреть алгоритм, который позволяет сепарировать два смешанных сигнала [4,7].

В монографии [5] были исследованы вопросы распределения давления в речевом тракте при статических геометрических формах тракта и различных граничных условиях (абсолютно твердых и податливых стенках тракта) и получены характерные спектры для большого класса вокализованных и невокализованных звуков. Автором [5] было показано, что для речевого тракта справедливо приближение «очень узких труб» и применение уравнения Вебстера:

где £(х, ґ) - сечение речевого тракта, которое изменяется с координатой и течением времени, р( х, t) - давление.

Рассмотрим модель речевого тракта, составленную из двух рупоров (см. рис. 1), с абсолютно упругими стенками. У рупора [хьх2] в точке хі находится мембрана - источник колебаний вида и = и0 ехр{-іюґ}/ґ. Сечение рупоров увеличивается со временем по законам £1(х,ґ) = а(х + х0)2(ґ + ґ0)2 и Б2(х,ґ) = /Х2(ґ + ґ0)2, а, в - скорости изменения сечений первого и второго рупоров, соответственно, причем в > а , ґ0 -начальный момент времени.

Координата точки сочленения рупоров х2 вычисляется из условия равенства сечений в этой точке:

а-в

Рис.1. Модельная форма речевого тракта

Уравнения Вебстера (1) для первого и второго рупора и граничные условия можно записать в виде

\

-+-

2 д_

і + і0 ді у

( д2 ді2

2д і + Ґ0 ді

Рі( х, і) =

Л

д2

дх2

+

2д х + х0 дх

\

Рі( х, і) :

Р2 (х, і) =

д2

дх2

2д

+

х дх

Р2 (х, і ).

Граничные условия для этой системы уравнений:

ди

ді

і др1 р дх

Рі( хі, і) = Р2 (хі, і),

дрі

дх

дР2

дх

, Р2

Решения уравнений (2) можно получить методом разделения переменных, который приводит (2) к паре обыкновенных дифференциальных уравнений с известными решениями:

Рі( х, і) =-

е

еш I

Рі( х, і) =

еікх + Ь1е-‘кх\

+ Ь2е~ікх ).

х

Известно, что АЧХ волновода можно рассчитать по формуле [6]

А(а) = -Г]--------* ,

Х3 1 и3 1

где и3 - скорость колебаний элементов воздуха с координатой х3. Получить аналитическое выражение для АЧХ (5) трудно, поскольку аналитические выражения для свободных коэффициентов решений (4), которые определяются граничными условиями (3), очень громоздки. Воспользуемся численным расчетом АЧХ, результаты которого приведены на рис. 2.

При увеличении длинны речевого тракта максимумы АЧХ смещаются в область высоких частот. Модуляция максимумов, которая видна на рис. 2, это лишь эффект построения графика на дискретной сетке с равным шагом. Построение этой же функции с большей точностью приводит к исчезновению модуляции.

Качественно полученный результат понятен, с изменением геометрической формы волновода меняется его АЧХ. Однако изменение формы АЧХ это не един-

х=х

х=х

х=х

х—х

ственный источник изменений, которые наблюдаются в спектре речевого сигнала. Другим источником является основной тон.

Рис. 2. Динамика АЧХволновода при изменении его геометрической формы. Здесь приведена функция 1п(Л(а>}}

Известно, что речевой тракт возбуждается с помощью основного тона и(Г), который генерируется голосовыми складками. Если считать основной тон периодической функцией с медленно меняющимся периодом Т(1), то его функцию можно представить в виде

и

.=0

2п

где а. (?) =-] = а0. + е(?), е(1) - функция, модулирующая значения гармоник

Т

основного тона, которая зависит от формы речевого тракта.

Разлагая (1) в ряд по е и удерживая члены первого порядка малости, получим форму амплитудной модуляции гармоник спектра при динамике речевого тракта:

Ь.(?) = е(/)Л.а. .

Таким образом, нам качественно удалось выяснить, что амплитудная модуляция спектральных компонентов определяется динамикой речевого тракта, а их частотная модуляция определена изменениями в работе голосовых связок.

Рассмотрим способ декомпозиции смеси периодических сигналов, заданных в виде

мп ,2л

.1 ~п

где вп - период п-го элемента смеси, выраженный в количестве дискретных отсчетов, N - количество компонентов разложения п-го элемента смеси, 1 - номер отсчета и | а(п) \ф 0, V = 1...Ып, Ып >> 1. Рассмотрим процедуру измерения комплексных компонентов спектра этой функции с произвольного номера отсчета, то есть т, с помощью ДПФ, ограниченного прямоугольным окном длительностью Т, которая не кратна величине вп:

/

T- 1 N 1 - W

FT = £ f,(n) exp{-/—q = -£af exp{/ —ajT}i j

t=о T T j=1 T 1 - Ria

/ 2 ^ где введены обозначения ап = , ^;(п) = ехр{/'2пап у}, = ехр{/—(а у - д)},

/ип Т

причем ап >> 1, Уп .

Очевидно, что при выполнении условия приближенного равенства амплитуд спектральных компонентов а(") наибольший вклад в q-й компонент спектра дос-

тавляет член суммы, в последнем сомножителе которого у =

q

где [.]-

операция округления числа. Тогда для декомпозиции смеси двух сигналов необходимо решить множество систем уравнений

а(1) Л 1 + а(2) Л 1 = Т^

a(1) A 1

Г q+1 П I ?+1

+ a

+ a(2) A

q+1t I£+il l — | ,q+1, T

“1 J | a1 I La2] I a,

= TF„

где введено обозначение

A

, 2n = exp{i-^

ar}

1 - exp{i 2 na q an_ }

1 - exp{i -ljr(an q an J - q)}

Построить множество систем вида (9) можно, если выполняется условие, что для каждого номера тип спектральных компонентов из множеств

fc”} • У? I

наидется такое q, что

q_ q +1 q

= m , = m и

a1 a1 a2

= n ,

q +1

a,

= п. Эти условия равносильны условиям а1, а2 > 2.

Для комплексно сопряженных спектральных компонентов смеси возможно построить аналогичное (9) множество систем линейных уравнений.

Для расчета коэффициентов систем линейных уравнений (10) требуется определить значение неизвестных а1 и а2. Целочисленную оценку а1 и а2 можно выполнить, если найти последовательность положений максимумов спектра

и = а^тах|. Далее, если предположить, что целочисленные значения равны

ч

у1, у2, из последовательности и = {м1,и2,...,ив}, где В - количество максимумов в спектре, можно получить две новые последовательности

D = <! sign

f > , sign f u, U1 > ,..., sign f 1 Si to 1 1 Si to 1 1

V _ V1 _ _ V1 _ J V _ V1 _ _ V1 _ J V _ V1. _ V1 . J

H = < sign

f u1 1 1 ^ 0 1 > , sign f u2 u1 > ,..., sign f uto uto-1

V _ V2 _ _ V2 _ J V _ V2 _ _ V2 _ J V _ V2 _ _ V2 _ J

здесь

q

и

11, І/ X = 1

'"я"(Х) = 1.0, еке .

Построенные последовательности позволяют классифицировать принадлежность того или иного спектрального максимума функции определенного периода. Таким образом, если спектр порожден смесью двух функций, то наилучшая оценка целочисленных периодов этих функций определяется выражением

(У1) Л Н1(У2) - в) =тіп.

Далее, после того как проведено оценивание округленных значений а1 и а2, можно провести уточнение их значений. Пусть округленное значение а1 равно у1, тогда соответственно этому в линейчатом спектре смеси мы должны находить максимумы на частотах яу1, где 8=1..К Но благодаря мантиссе числа а1 происходит смещение линий спектра. Если максимум, который должен был находиться в позиции яу1, найден в позиции яу1+1 или в позиции яу1-1, тогда поправку у легко

ж ж ± 1 1

вычислить из условия 5--------=--------5 , откуда следует у = ±—.

V + у V + у 25

Таким образом, аі=Уі+у. Аналогичные вычисления проводятся и для а2. Подстановка значений а1 и а2 в (10) позволяет вычислить значение коэффициентов множества линейных уравнений (9) и провести декомпозицию смеси двух периодических сигналов вида (7).

Рассмотрим метод декомпозиции смеси двух сигналов с меняющимся во времени периодом.

Пусть общий вид компонентов смеси сигналов задан в форме N

/

* = 1 £п

где функции єп (ґ) являются ступенчатыми и меняют свои значения на случайную

£

величину в дискретные моменты времени 4п) = ґ^ +---------; здесь т=1,2,3...

1 + Єп

Для величин изменения функций для любых 1 и п справедливо | єп (ґ) |< в , где в -малый параметр.

Разложим (11) в ряд Тейлора по параметру є(ґ). Как это уже делалось ранее, приведем измерение спектра результата разложения в ряд Тейлора с произвольного номера отсчета т с помощью ДПФ, ограниченного прямоугольным окном длительностью Т, которая не кратна величине вп:

^п) 1 ^ (п) 2п .(1 - Wjn 2п * + (тЯ*и) -Т-1>* Л

= ~Еа?' ехр{і —-ап]т} 1 — *> У * Гз

і • • * \ *

- + УЄп--------------*-------------

1 - пСп [1 - яп ]

5

V м г "м

где еп среднее значение функции еп (/) на интервале спектрального окна Т.

Безусловно, как и в предшествующем случае, наибольший вклад в q-й ком-

Ч

понент спектра вносит компонент функции с номером * =

ап

Метод декомпозиции компонентов смеси сигналов с меняющимся периодом подобен методу, описанному ранее для смеси сигналов с постоянным периодом. Во-первых, необходимо найти положения максимумов спектра, которые позволят оценить округленные значения и а2. Во-вторых, поиск смещений спектральных

максимумов от положений, предсказанных целочисленными значениями а: и а2,

позволит найти поправки к этим значениям. Последняя задача состоит в оценке значений є .

Пусть в точке q найден спектральный максимум, который принадлежит определенной части смеси. Предполагая, что влияние другой части смеси на точку q+1 пренебрежимо мало, то для є к получим

1 - Wг

Fq

q + 1

1 - R

1 - Wr

a

q 1 _ Rr

q

q+1

i q _ zq)

a G V qq

где

R

TR

_ T _1

W

q q

a I

TRr n _ T _ 1

a q

W

- - 2 + q = q - -

1 _ R L И"'. 1 _! Ъ ],q.

h = F -

qq

Усредняя значения (12), найденные по всем спектральным максимумам данного элемента смеси, найдем оценку среднего отклонения от основной частоты сигнала.

Очевидно, что понятие среднего отклонения не дает информации о поведении основной частоты сигнала во времени. Безусловно, это приведет к потере точности выделенного сигнала относительно исходного элемента смеси.

Резюмируя проделанную работу можно сказать, что обосновано представление речевых сигналов, образующих смесь в условиях передачи по одному каналу. Рассмотрены методы, позволяющие проводить декомпозицию периодичных сигналов и сигналов со слабо меняющимся периодом. Очевидна перспектива развития данных теоретических методов, которая строится на основе корреляции амплитудных модуляций частотных компонентов сигналов и способна увеличить точность сепарации элементов смеси.

БИБЛИОГРАФИЧЕСКИМ СПИСОК

1. Dave Rosenthal and Hiroshi Okuno (Eds.) Computational Auditory Scene Analysis. Mahwah.NJ:Lawrence Erlbaum Associates, 1997

2. Malcolm Slaney, Daniel Naar, and Richard F. Lyon Auditory Model Inversion For Sound Separation.- Proceedings of the ICASSP 94 1994 International Conference on Acoustics, Speech, and Signal Processing, Adelaide, Australia, 19-22 April 1994.

3. Laura Ottaviani and Davide Rocchesso Separation of Speech Signal From Complex Auditory Scenes.-Proc. Of the COST G-6 Conf. on Digital Audio Effects (DAFX-01). Limerick, Ireland, December 6-8, 2001

4. А.В.Аграновский, Л. С.Куликов, Д.А.Леднов Цифровая обработка сигналов и формирование вектора признаков в задачах классификации речи. Ростов н/Д: Изд-во СКНЦ ВШ, 2004.

5. В.Н. Сорокин Теория речеобразования. М.: Изд-во Наука, 1985.

6. Ландау Л.Д., Лифщиц Е.М. Теоретическая физика. Т. VI Гидродинамика. -М.: Физматлит,2003.

7. А.В. Аграновский, Л.С. Куликов, Д.А. Леднов. Цифровая обработка сигналов и формирование вектора признаков в задачах классификации речи. Ростов н/Д: Изд-во. СКНЦ ВШ, 2004.

q

q

+

а

а