Обзор и классификация методов обработки речевых сигналов в системах распознавания речи

УДК 004.934:681.391

2015,№ 2

27

А. К. Алимурадов, П. П. Чураков

ОБЗОР И КЛАССИФИКАЦИЯ МЕТОДОВ ОБРАБОТКИ РЕЧЕВЫХ СИГНАЛОВ В СИСТЕМАХ РАСПОЗНАВАНИЯ РЕЧИ

A. K. Alimuradov, P. P. Churakov

REVIEW AND CLASSIFICATION METHODS FOR PROCESSING SPEECH SIGNALS IN THE SPEECH RECOGNITION SYSTEMS

Аннотация. Актуальность и цели. Работа в области обработки речевых сигналов ведется достаточно активно. Представлены аналитический обзор и классификация существующих методов обработки, применяемых в системах распознавания речи. Материалы и методы. Обзор выполнен на основе аналитического исследования методов обработки, использующих различные виды анализа речевых сигналов. Результаты. Представлена классификация методов обработки в частотной, временной и частотно-временной областях, применяемых в задачах фильтрации, сегментации, определения и распознавания речевых сигналов. Выводы. Проведенный обзор и представленная классификация позволяют объективно оценить возможности существующих методов обработки; предварительно дать оценку возможности применения новых математических аппаратов в задачах обработки речевых сигналов в системах распознавания речи.

Abstract. Background. Work in the field of speech signals processing is quite active. The article presents an analytical review and classification of the existing processing methods applied in speech recognition systems. Materials and methods. A review is made on the basis of an analytical study of processing methods that use different types of speech signals analysis. Results. The classification of processing techniques in frequency, temporary and temporary-frequency areas used in filtering, segmentation, detection and recognition of speech signals is presented. Conclusions. The review and the presented classification allow to objectively estimate the capabilities of existing processing methods, to evaluate the potential application of new mathematical apparatus in speech signals processing tasks in speech recognition systems.

Ключевые слова: обработка речевых сигналов, распознавание речи, голосовое управление.

Key words: speech signal processing, speech recognition, voice control.

Введние

Конец ХХ и начало XXI в. ознаменовались началом истории развития речевых технологий, важную роль в которых получили системы распознавания речи. Наиболее известными в этой области являются работы следующих авторов: Б. М. Лобанов, Т. К. Винцюк, А. В. Фролов, Л. Р. Рабинер, Р. В. Шафер, У. А. Ли, Д. Х. Клетт, Xuedong D. Huang, Hsiao-Wuen Hon, Alex Acero. Тот период стал знаменательным для решения множества фундаментальных и прикладных задач в области обработки речевых сигналов - достаточно сослаться на далеко не полный перечень трудов зарубежных и российских ученых. Однако это не стало причиной притупления интереса, и работа в области обработки речевых сигналов ведется достаточно активно и в настоящее время.

Данная статья посвящена аналитическому обзору и классификации существующих методов обработки речевых сигналов, применяемых в системах распознавания речи, и является продолжением ранее опубликованных работ авторов [1, 2].

28

Измерение. Мониторинг. Управление. Контроль

Обработка речевых сигналов в системах распознавания речи

Обработка речевых сигналов - это область науки, в которой осуществляются фильтрация, усиление и извлечение информации, кодирование, сжатие и восстановление речи. Обработка в системах распознавания речи включает следующие задачи:

- фильтрация и подавление шума;

- сегментация на информативные участки;

- определение информативных параметров;

- распознавание.

Каждая задача обработки речевых сигналов может быть реализована только с помощью определенных методов. В зависимости от области обработки методы следует разделить на три области: частотная, временная и частотно-временная.

Методы обработки во временной области заключаются в определении характерных точек речевого сигнала с последующим использованием их для анализа. С точки зрения технической реализации в качестве характерных точек могут быть выбраны явные максимумы (минимумы) и моменты пересечения нулевой оси времени функцией сигнала. Главный недостаток методов обработки во временной области заключается в неоднозначности выделения характерных точек, вызванной шумами и смещениями нулевого уровня.

Методы обработки в частотной области заключаются в использовании всех отсчетов данных, зарегистрированных в речевом сигнале. Многие речевые сигналы имеют специфический частотный состав и занимают характерные спектральные области. Использование методов в частотной области позволяет обрабатывать речевые сигналы с достаточно высокой точностью. К недостаткам обработки в частотной области относятся низкая адаптивность к локальным свойствам сигналов, недостаточно высокое спектральное разрешение и сравнительно большие вычислительные затраты.

Методы обработки в частотно-временной области представляют собой методы, включающие все преимущества временного и частотного анализов с минимальными проявлениями их недостатков.

Методы обработки речевых сигналов

Проведенный обзор известных методов обработки речевых сигналов [3-10] и собственные исследования выявили, что в зависимости от обработки методы следует разделить на группы, реализованные различными видами анализа:

- с использованием преобразования Фурье (ПФ);

- с использованием вейвлет-преобразования (ВП);

- с использованием декомпозиции на эмпирические моды (ДЭМ) и преобразования Гильберта - Хуанга (ПГХ);

- с использованием кепстра (кепстральный анализ - КА);

- с использованием линейного предсказания (ЛП);

- с использованием корреляционной функции (корреляционный анализ - КрА);

- с использованием нейронных сетей (НС);

- с использованием скрытых марковских моделей (СММ);

- с использованием динамического трансформирования времени (ДТВ).

Рассмотрим подробнее методы обработки с различными видами анализа.

Анализ с использованием преобразования Фурье. ПФ используется во многих областях науки, в том числе и в речевых технологиях. В области обработки речевых сигналов ПФ рассматривается как преобразование сигнала из временной в частотную область и разложение его на частотные составляющие:

+ТО

S

—ТО ^ +ТО

s

2% J

—ТО

где S(ш) - сигнал в частотной области; s(t) - сигнал во временной области; J - мнимая еди-

ница.

29

2015,№2(12J

В задачах цифровой обработки часто используют дискретное преобразование Фурье, так как речевой сигнал часто представляют в дискретном виде, как сумму гармонических составляющих:

N-1

S (k) = X s(nT )e-jkanT,

n=0

где k - номер гармоники; га = ——1^ ~ частота первой гармоники; 0 < n < N - дискретные

отсчеты времени; T - период частоты дискретизации.

Построение спектра с использованием ДПФ позволяет компактно и наглядно представить информацию о речевом сигнале. Однако в спектральном виде невозможно детально анализировать кратковременные локальные особенности, что является серьезным недостатком ДПФ [11].

Анализ с использованием вейвлет-преобразования. Несмотря на широкую практическую популярность ПФ, в последнее время многие задачи в области обработки речевых сигналов реализуются с использованием ВП. Вейвлетом (материнским вейвлетом) называется некоторая функция, хорошо локализованная (т.е. сосредоточенная в небольшой окрестности некоторой точки и резко убывающая до нуля по мере удаления от нее) как во временной, так и в частотной области. К материнскому вейвлету применяются две операции: сдвиг (перемещение области локализации во времени) и масштабирование (растяжение или сжатие, т.е. перемещение области его локализации по частоте):

, . 1 Л - и.

Vu ,s

Vs s

где и , s - параметры сдвига.

Сущность ВП заключается в разбиении сигнала на масштабированные и сдвинутые по оси времени версии материнского вейвлета и вычислении коэффициентов корреляции участков исходного сигнала и версий вейвлета на заданном масштабе. В результате получается набор коэффициентов, показывающих, насколько поведение сигнала в данный момент времени похоже на поведение вейвлета на данном масштабе, т.е. вейвлет-коэффициенты отражают близость сигнала к вейвлету данного масштаба. Чем ближе вид анализируемого сигнала в окрестности данного момента времени к виду вейвлета, тем большое абсолютное значение имеет соответствующий коэффициент.

Использование сдвига и масштабирования в частотно-временной области позволяет анализировать речевые сигналы на различных масштабах и точно определять положение их характерных особенностей во времени. Наиболее часто встречающиеся вейвлет-функции в задачах обработки речевых сигналов: вейвлет Хаара, вейвлет Добеши, вейвлет «Мексиканская шляпа», вейвлет Марлета (комплексный базис).

Вейвлет-преобразование обладает существенными преимуществами по сравнению с преобразованием Фурье. Это следует из возможности анализировать кратковременные локальные особенности сигналов, например, короткие всплески или провалы, разрывы и ступеньки и т.д.

Анализ с использованием декомпозиции на эмпирические моды и преобразования Гильберта — Хуанга. Известно, что для адаптивного анализа речевых сигналов с помощью ВП необходимо использовать априорную информацию - функцию материнского вейвлета. Вопрос о выборе подходящей функции вейвлета на основе характеристик анализируемого сигнала не всегда является однозначным. Для решения проблемы адаптивности используется новый метод обработки, основанный на ПГХ. Основным преимуществом данного метода является высокая адаптивность, проявляющаяся в том, что базисные функции, используемые при разложении звука, извлекаются непосредственно из самого исходного сигнала и позволяют учитывать только ему свойственные особенности.

ПГХ включает два основных этапа:

1. Разложение сигнала на компоненты - декомпозиция на эмпирические моды [12, 13]:

s

i=1

где imft(t) - эмпирические моды (ЭМ); rI (t) - остаток разложения, i = 1, 2,..., I - номер ЭМ.

30

Измерение. Мониторинг. Управление. Контроль

2. Формирование по полученным ЭМ спектра Гильберта [14]:

HHT

i=1

где ai (t) = yjimfj (t)2 + IMF] (t)2 - модуль мгновенного значения амплитуды сигнала каждой

1 f imf, (х),

%

, ч 1 <• imj,

ЭМ; imft (t) - ЭМ сигнала; IMFt (t) = — I-— dх - сопряженный по Гильберту сигнал ЭМ;

% J t-х

х - временной сдвиг, пропорциональный фазе сигнала; (t) = 2%fj - циклические частоты каждой ЭМ; j - мнимая единица.

Значения a(t) и ro(t) определяются из аналитического сигнала Zi (t) = imf (t) + jIMFi (t) каждой ЭМ.

В результате ПГХ речевой сигнал представляется в частотно-энергетически-временной области, что позволяет выявить скрытые модуляции и области концентрации энергии, которые позволяют анализировать как глобальные, так и локальные свойства сигналов и требуют меньших вычислительных затрат.

Анализ с использованием кепстра. В области обработки речевых сигналов КА получил широкую популярность, которую можно объяснить достоинством сжатия информации о речевом сигнале при переходе в частотную область обработки.

Известно, что при преобразовании сигнала из временной области в частотную информация оказывается более подробной, наглядной и компактной. Исходя из указанных достоинств спектрального представления информации и родилась идея КА: замена в спектре оси частоты на ось времени, другими словами, представить, что спектр является просто сигналом. Таким образом, появится возможность представить исходную спектральную информацию еще более компактно, когда каждый гармонический ряд исходного спектра будет представлен всего одной составляющей в кепстре.

На сегодняшний день общепринято считать, что кепстр - это спектр логарифма спектра исходного сигнала, т.е. первоначальный спектр должен быть представлен в логарифмическом масштабе [15]:

^ +ТО

С,

—ТО

где S(ю) - амплитудный спектр сигнала s(t) .

Из формулы (7) видно, что S2 (ю) имеет смысл спектральной плотности энергии сигнала

s(t) . Тогда Gs (q) интерпретируется как энергетический спектр функции ln(S(ю))2 .

КА в задачах обработки речевых сигналов основан на выделении кепстральных коэффициентов на мел-шкале, называемых мел-частотно кепстральными коэффициентами (МЧКК). Метод получения МЧКК основан на модели функционирования органов слуха человека и использует частотную шкалу в мелах, которая моделирует частотную чувствительность человеческого уха [10].

Анализ с использованием линейного предсказания. ЛП является одним из самых используемых методов в задачах обработки речевых сигналов. Модель ЛП основывается на предположении, что любой отсчет речевого сигнала s(n) можно приближенно оценить линейной комбинацией некоторого числа p предшествующих ему отсчетов, что приводит к следующему соотношению:

p

s

i=1

где a1,a2,...,ap - коэффициенты предсказания; u(n) - нормализованная последовательность возбуждения (ошибка предсказания); G - коэффициент усиления [16].

31

2015,№2(12J

Ошибка предсказания u(n) определяется как разность между исходными и приближенно вычисленными (предсказанными) отсчетами:

p

u

k=1

Основная задача линейного предсказания - определение набора коэффициентов предсказания, которые минимизируют u(n).

Существуют два основных метода определения ЛП, которые называются автокорреляционным и ковариационным методами решения соответственно. Оба метода используют представление сигнала во временной области. Коэффициенты предсказания определяют частотную характеристику фильтра, характеризующего состояние голосового тракта в определенный момент времени. C одной стороны, данный момент не может быть точно локализован, с другой стороны, точность сильно зависит от стационарности исследуемого сигнала. Другими словами, данные методы вычисления обеспечивают получение некоторой средней оценки анализируемого участка сигнала в частотно-временной области.

Анализ с использованием корреляционной функции. КрА - это определение взаимосвязи статических двух или нескольких величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). Математической мерой корреляции двух величин служит коэффициент корреляции. КрА статистических данных достаточно популярен в обработке речевых сигналов. Популярность метода обусловлена двумя моментами: коэффициенты корреляции относительно просты в подсчете и их применение не требует специальной математической подготовки. Применительно к задачам обработки речевых сигналов ключевыми понятиями корреляционного анализа становятся автокорреляционная и взаимнокорреляционная функции [17].

Автокорреляционная функция определяет статистическую взаимосвязь между величинами из одного речевого сигнала, разложенного в ряд, но взятых со сдвигом:

A = j s

где s(t) - речевой сигнал; т - сдвиг во времени.

Взаимнокорреляционная функция определяет степень корреляции двух последовательностей значений речевых сигналов, разложенных в ряды, также взятых со сдвигом:

B = j s1

где s1(t), s2(t) - речевые сигналы.

Анализ с использованием нейронных сетей. Одним из наиболее эффективных методов распознавания речевых сигналов является метод с использованием НС, структурно состоящих из нейронов и с организованными между ними связями. Нейрон представляет собой ячейку НС. По аналогии с нервными клетками головного мозга он может быть в двух состояниях: возбуждения или заторможенности. Нейроны обладают различными связями между собой: синапсы - однонаправленные входные связи, аксоны - выходные связи нейрона, по которым сигналы (возбуждения или торможения) поступают на синапсы последующих нейронов. На рис. 1 представлен общий вид нейрона.

Рис. 1. Общий вид нейрона

32

Измерение. Мониторинг. Управление. Контроль

Каждая однонаправленная связь характеризуется весом wt (величиной синаптической связи), который по физическому смыслу эквивалентен электрической проводимости. Положительные и отрицательные значения wt соответствуют возбужденному или заторможенному состоянию синапсов. Сумма всех входов определяет текущее состояние нейрона [18]:

* = Z x.w, .

i=1

Выход нейрона есть функция его состояния:

У = f

При использовании НС в задаче распознавания речевых сигналах необходимо построить соответствующую определенную для этой задачи сеть, далее обучить ее множеству речевых сигналов - подобрать весовые коэффициенты синапсов для достижения минимизации количества ошибок.

Анализ с использованием скрытых марковских моделей. Одним из наиболее эффективных методов обработки (распознавания) речевых сигналов является метод с использованием СММ. СММ - статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами. Главной задачей СММ является определение (разгадывание) неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов.

Применение СММ в распознавании основывается на следующих предположениях [19]:

- речевой сигнал может быть сегментирован на фрагменты (состояния), внутри которых сигнал может рассматриваться как стационарный. Переход между этими состояниями осуществляется мгновенно;

- вероятность появления символа, порождаемого моделью, зависит только от текущего состояния модели и не зависит от предыдущих порожденных символов.

Существует несколько типов СММ, различающихся по своей топологии. Подробно топологии СММ рассмотрены в [20].

Для примера на рис. 2 представлена топология подобной СММ с тремя состояниями. СММ представляет собой конечный автомат, изменяющий свое состояние в каждый дискретный момент времени п. Переход из состояния St в состояние Sj осуществляется случайным

образом с вероятностью aj. В каждый дискретный момент времени модель порождает вектор наблюдений Оп с вероятностью bj (On).

Рис. 2. Топология СММ с тремя состояниями

Анализ с использованием динамического трансформирования времени. Известно, что речевой сигнал быстро изменяется во времени. Различные произношения одного и того же слова обычно имеют разную длительность, а произношения одного и того же слова одинаковой длительности отличаются в середине из-за различных частей слова, произносимых с разной скоростью. Чтобы получить оценку расхождения между двумя речевыми сигналами, представленными как векторы, должно быть выполнено выравнивание по времени, которое можно реализовать с помощью ДТВ [21].

ДТВ является методом эластичного сравнения вектора наблюдений с хранящимся шаблоном. Вектор наблюдений и шаблон лежат на соответствующих осях сетки (рис. 3). Для каж-

33

2015,№2(12J

дой ячейки сетки высчитывается разность между соответствующими фрагментами вектора наблюдений и шаблона. Оптимальное выравнивание между вектором наблюдений и шаблоном показано маршрутом, проходящим по сетке.

Рис. 3. Работа метода динамического программирования

Метод ДТВ работает с фрагментами, т.е. анализ признаков состоит из обработки вектора признаков в регулярных интервалах. Так как вектор признаков может иметь множество фрагментов, требуются средства расчета локальной оценки расстояния. Оценка расстояния между двумя векторами признаков рассчитывается с помощью Евклидового расстояния:

d

где xi, yi - сравниваемые фрагменты; i - номер фрагмента.

Хотя вычисление Евклидового расстояния в вычислительном отношении не выгодно по сравнению с любой другой операцией, оно дает наилучшие результаты для распознавания.

На рисунке шаблон показан вертикально, а наблюдаемый сигнал - горизонтально. Входящий сигнал «SsPEEhH» - это зашумленная версия шаблона «SPEECH». Идея метода заключается в том, что «h» - это ближайшее совпадение с «Н» по сравнению с чем-нибудь еще в шаблоне. Входящий сигнал «SsPEEhH» сравнивается со всеми шаблонами, хранящимися в шаблоне. Результатом сравнения будет шаблон, для которого было найдено минимальное расхождение между входящим сигналом и шаблоном. Глобальная оценка расхождения для маршрута - это просто сумма локальных расстояний между фрагментами сигнала и шаблона.

В соответствии с вышеупомянутым материалом на рис. 4 авторами представлена классификация методов обработки речевых сигналов с использованием различных видов анализа.

Рис. 4. Классификация методов обработки речевых сигналов

34

Измерение. Мониторинг. Управление. Контроль

Приведенные в классификации методы нашли широкое применение в системах распознавания речи. Данная классификация не претендует на полноту - она демонстрирует многообразие видов анализа, их достоинства и недостатки для решения широкого круга задач обработки речевых сигналов.

Заключение

На основе аналитического обзора представлена классификация существующих методов обработки речевых сигналов, применяемых в системах распознавания речи. Данная классификация позволяет объективно оценить возможности существующих методов обработки речевых сигналов и предварительно дать оценку возможности применения новых математических аппаратов в задачах обработки речевых сигналов в системах распознавания речи.

Список литературы

1. Алимурадов, А. К. Параметры и классификация систем распознавания речи /

А. К. Алимурадов // Модели, системы, сети в экономике, технике, природе и обществе. - 2013. - № 1 (9). - С. 79-84.

2. Алимурадов, А. К. Обработка речевых команд в системах голосового управления /

А. К. Алимурадов // Измерение. Мониторинг. Управление. Контроль. - 2014. - № 1 (7). -С. 50-57.

3. Лобанов, Б. М. Анализ и синтез речи : сб. науч. тр. / Б. М. Лобанов. - Минск : АН БССР, 1991. - 47 с.

4. Винцюк, Т. К. Анализ, распознавание и интерпретация речевых сигналов / Т. К. Вин-тюк. - Киев : Наукова думка, 1987. - 264 с.

5. Фролов, А. В. Синтез и распознавание речи. Современные решения / Г. В. Фролов. -М. : Связь, 2003. - 216 с.

6. Рабинер, Л. Р. Цифровая обработка речевых сигналов : пер. с англ. / Л. Р. Рабинер,

Р. В. Шафер. - М. : Радио и связь, 1981. - 496 с.

7. Михайлов, В. Г. Измерение параметров речи / В. Г. Михайлов, Л. В. Златоусова ; под ред. М. А. Сапожникова. - М. : Радио и связь, 1987. - 168 с.

8. Методы автоматического распознавания речи : в 2 кн. : пер. с англ. / У. А. Ли,

Э. П. Нейбург, Т. Б. Мартин [и др.] ; под ред. У. Ли. - М. : Мир, 1983. - Кн. 1. - 328 с.

9. Методы автоматического распознавания речи : в 2 кн. : пер. с англ. / Д. Х. Клетт,

Дж. А. Барнет, М. И. Бернстейн [и др.] ; под ред. У. Ли. - М. : Мир, 1983. - Кн. 2. - 392 с.

10. Huang, X. Spoken Language Processing. Guide to Algorithms and System Developmen /

X. Huang, A. Acero, H.-W. Hon. - Prentice Hall, 2001. - 980 p.

11. Сергиенко, А. Б. Цифровая обработка сигналов / А. Б. Сергиенко. - СПб. : Питер,

2002. - 608 с.

12. Huang, N. E. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis / N. E. Huang, Shen Zheng, R. L. Steven // Proceedings of the Royal Society of London A. - 1998. - Vol. 454. - P. 903-995.

13. Tychkov, A. Yu. The software solutions of the problems of the biomedical information processing / A. Yu. Tychkov // Модели, системы, сети в экономике, технике, природе и обществе. - 2013. - № (5). - С. 114-116.

14. Huang E. Huang. Hilbert-Huang Transform and its application. Interdisciplinary mathematical sciences / Huang E. Huang, Samuel S. P. Shen // Interdisciplinary Mathematical Sciences.

Book 5. World Scientific Publishing Company. - Sep. 2005. - 324 p.

15. Козлов, А. С. Кепстральный анализ в задачах слепой оценки скорости передачи цифровых данных / А. С. Козлов, В. Н. Малышев // Радиотехника. - 2012. - № 7. - С. 67-71.

16. Любимов, А. Линейное предсказание речи - это просто / А. Любимов, М. Евсиков // Монитор. - 1995. - № 4. - С. 30-35.

17. Баскаков, С. И. Радиотехнические цепи и сигналы / С. И. Баскаков. - М. : Высш. шк.,

2001. - 214 с.

18. Изучение методов анализа и обработки сигналов : учеб. пособие : в 2 ч. Ч. 1. Современные методы обработки речевых сигналов / П. П. Чураков, А. Ю. Тычков,

А. К. Алимурадов. - Пенза : Изд-во ПГУ, 2014. - 72 с.

19. Огнев, И. В. Распознавание речи методами скрытых марковских моделей в ассоциативной осцилляторной среде / И. В. Огнев, П. А. Парамонов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2013. - № 3 (27). - С. 115-126.

35

2015,№2(12J

20. Моттль, В. Скрытые марковские модели в структурном анализе сигналов / В. Моттль, И. Мучник. - М. : Физматлит, 1999. - 352 с.

21. Goldenstein, S. Time warping of audio signals / S. Goldenstein, J. Gomes // Computer Graphics International, 1999. Proceedings. - 1999. - P. 52-57.

Алимурадов Алан Казанферович

соискатель,

кафедра информационно-измерительной техники и метрологии,

Пензенский государственный университет E-mail: alansapfir@yandex.ru

Alimuradov Alan Kazanferovich

applicant,

sub-department of information

and measuring equipment and metrology,

Penza State University

Чураков Петр Павлович

доктор технических наук, профессор,

кафедра информационно-измерительной техники

и метрологии,

Пензенский государственный университет E-mail: iit@pnzgu.ru

Churakov Petr Pavlovich

doctor oftechnical sciences, professor, sub-department of information and measuring equipment and metrology, Penza State University

УДК 004.934:681.391 Алимурадов, А К.

Обзор и классификация методов обработки речевых сигналов в системах распознавания речи / А. К. Алимурадов, П. П. Чураков // Измерение. Мониторинг. Управление. Контроль. - 2015. -№ 2 (12). - С. 27-35.