Постановка и решение основной задачи линейной оптимальной фильтрации

Драница Ю.П. и др. Постановка и решение основной задачи линейной...

УДК 517.958 + 517.962.2

Постановка и решение основной задачи линейной оптимальной фильтрации

12 2

Ю.П. Драница , А.Ю. Драница , О.В. Алексеевская

1 Политехнический факультет МГТУ, кафедра высшей математики и программного обеспечения ЭВМ

2 ЗАО "Ланит ”, г. Москва

Аннотация. Рассматривается интерпретация временных последовательностей с точки зрения динамического моделирования. Разработанная методика может использоваться для решения достаточно широкого круга задач, а именно: при конструировании линейных оптимальных фильтров; сепарации (разделении) смеси сигналов на компоненты; исследовании динамических параметров временных рядов; частотном анализе и других. В частности, при разработке линейных оптимальных фильтров на сигнал накладывается единственное ограничение - инвариантность во времени его статистик второго порядка. Отметим, что классический подход при решении этой задачи накладывает на исследуемый сигнал существенные априорные ограничения, которые фактически выполняются только для очень узкого класса данных.

Abstract. In the work interpretation of time sequences from the viewpoint of dynamic modeling has been considered. The developed technique can be used for the decision of rather wide range of problems, namely: at designing linear optimum filters; separation (division) of mix of signals on components; research of dynamic parameters of time numbers; the frequency analysis and others. In particular, by working out linear optimum filters on a signal unique restriction - invariance in time of its statistician of the second order has been imposed. It can be noticed that the classical approach at the decision of this problem imposes on an investigated signal essential aprioristic restrictions which are actually carried out only for a very narrow class of data.

Ключевые слова: оптимальные линейные фильтры, белый шум, цветной шум, функция автокорреляции, функция взаимной корреляции, интеграл свертки, фильтр Колмогорова-Винера, сепарация сигналов, динамические параметры

Keywords: optimum linear filters, white noise, color noise, autocorrelation function, function of mutual correlation, convolution integral, Kolmogorov-Wiener's filter, separation of signals, dynamic parameters

1. Введение

Классическим фильтром сглаживания и воспроизведения является линейный оптимальный фильтр Колмогорова-Винера. Поскольку для реализации оптимального фильтра нужно знать сам восстанавливаемый объект, алгоритм его построения представляет главным образом теоретический интерес. Исключение составляет анализ временных рядов, которому и были посвящены исследования А.Н. Колмогорова и Н. Винера (Теребиж, 2005).

Но и в случае фильтрации временных рядов для оценки восстанавливаемого объекта в классической постановке на сигналы помехи приходится накладывать очень серьезные априорные ограничения. Фактически эти ограничения сужают класс фильтруемых помех до сигналов типа белого шума. Во многих случаях эти ограничения оправдываются на практике и позволяют конструировать оптимальные фильтры. Однако в более общей постановке, вероятно, эта задача до сих пор не ставилась и не решалась.

В то же время практические потребности обработки сигналов требуют решения этой задачи в более общей постановке при минимальных априорных ограничениях, накладываемых на фильтруемые данные. Например, часто требуется иметь представление о внутренней структуре сигнала, динамических свойствах его компонент и т.д. В связи с этим нами выполнена постановка и решение более общей задачи, формулировка которой приводится ниже. Что касается задачи фильтрации данных, то разработанная методика в рамках линейного моделирования позволяет рассматривать сигнал как некоторую смесь компонент и выделять (подавлять) любую совокупность смеси. При постановке задачи единственным ограничением является стационарность во времени статистик второго порядка анализируемого сигнала.

Разработанная теория основана на представлении временной анализируемой последовательности выходом некоторой абстрактной линейной системы, описываемой неоднородным обыкновенным линейным дифференциальным уравнением (ОДУ). В работе (Драница, Драница, 2009) поставлена и решена задача оценки коэффициентов этого ОДУ по экспериментальным данным. Эти оценки позволяют сформулировать естественный базис разложения, основанный на фундаментальной системе решений (ФСР) однородной части этого ОДУ. Теоретическое обоснование предложенного подхода изложено в работе (Драница и др., 2010).

1008

Вестник МГТУ, том 13, №4/2, 2010 г.

стр.1008-1014

Принятая концепция позволяет рассматривать измеренные данные как результат свертки сигнала, воздействующего на вход линейной модели, и ее импульсной переходной характеристики (ИПХ), или весовой функции. С точки зрения линейного подхода, ИПХ является частным решением неоднородного линейного ОДУ, поэтому оценка коэффициентов ОДУ позволяет аппроксимировать составляющие ИПХ. В результате появляется возможность корреляционных оценок как отдельных составляющих смеси, так и некоторой их совокупности.

2. Общая постановка проблемы

В процессе конструирования оптимальных линейных фильтров сглаживания и воспроизведения возникает следующая задача. Пусть фильтруемый сигнал y(t) состоит из аддитивной смеси двух сигналов, т.е. y(t)=yi(t)+y2(t). Обычно предполагается, что один из сигналов является полезным, а другой - помехой или шумом наблюдений. Чтобы отфильтровать помеху линейным оптимальным фильтром (Кулаханек, 1981), необходимо знание функции автокорреляции (ФАК) измеренного сигнала и функции взаимной корреляции (ФВК) между измеренным сигналом y(t) и помехой (допустим, y2(t)). Отметим, что без оценок ФАК и соответствующей ФВК линейный фильтр построить невозможно.

Так как ни один из сигналов смеси непосредственно не измеряем, то проблема относится к так называемой задаче интерпретации результатов косвенных экспериментов (Вапник и др., 1984). Для решения этой задачи в классической постановке на сигналы смеси приходится накладывать довольно жесткие ограничения. Обычно предполагается, что полезный сигнал и помеха не коррелируют друг с другом. И хотя эта априорная информация часто позволяет решить задачу, она резко сужает класс фильтруемых сигналов. Кроме того, накладываемые ограничения часто не выполняются на практике, что также снижает ценность фильтрации.

В то же время практическая необходимость диктует постановку и решение данной проблемы в более широком плане. Поэтому будем считать, что никакой априорной информации о статистиках сигнала и шума не имеется, есть только некоторая выборка наблюденных данных. При этом на данные будем накладывать единственное требование стационарности во времени статистик второго порядка. В рамках линейной модели будем считать, что наблюденный сигнал представляет суперпозицию (смесь) некоторых сигналов. Требуется рассчитать динамические параметры смеси (частоты, коэффициенты затухания) и на этой основе выполнить оценки статистик второго порядка для любой комбинации сигналов суперпозиции. Такая постановка является элементом более общей задачи о сепарации (выделении) компонент сигнала с определенными динамическими свойствами из смеси.

2.1. Классическая теория построения векторов ФВК в смеси сигналов

Будем рассматривать наблюденные данные y(t) как выход некоторой линейной динамической системы. Будем предполагать, что наблюдаемый выход центрирован, т.е. E[y(t)]=0, где £(•) - оператор вычисления математического ожидания. Классическая постановка и решение задачи оценки функций корреляций заключается в следующем. Пусть центрированный сигнал y(t) представляет сумму двух компонент, т.е. y(t)=y1(t)+y2(t) и на выходе фильтра требуется получить желаемый сигнал, например, y1(t). Для построения линейного оптимального фильтра необходимо оценить ФАК суммарного сигнала и ФВК между сигналами y1(t) и y(t) (Никитин, 1986), которые по определению представляют следующие оценки

Ryy

Очевидно, что оценка функции Ryy(T) не представляет каких-либо затруднений, т.к. она является непосредственно вычисляемой по наблюденным данным. Проблемы возникают при оценке функции Ryiy(T), т.к. сигнал yi(t) не является непосредственно измеряемым, и прямая оценка этой функции невозможна. Рассмотрим методику оценки ФВК Ry1y(t) с точки зрения классического подхода (Кулаханек, 1981). Учитывая, что наблюдаемый сигнал является аддитивной смесью, распишем формулы (1) более подробно

Ryy(T) = E[y(t)y(t + т)] = E{[y1 (t) + y2(t)][Mt + т) + y2(t + т)]} = E[y1(t)y1(t + т)] + E[y1(t)y2(t + т)] +

+ E[y2

Ry1y(z) = E[y1 (t)y(t + т)] = E{y1(t)[y1(t + т) + y2(t + т)]} = E[y1(t)y1(t + т)] +

+ E[y1

В классическом варианте предполагается, что сигналы y1 и y2 между собой не коррелируют, т.е. Ry1y2(т)=Ry2y1(т)=0. В этом случае формулы (2, 3) упрощаются и принимают следующий вид

Ryy^) = Ry1y1

1009

Драница Ю.П. и др. Постановка и решение основной задачи линейной...

Условие Яу\у2

Как показано в работе (Губанов, 1997), дисперсию белого шума с^у2у2 можно оценить непосредственно по эмпирической ФАК наблюденного сигнала. В этом случае формулы (4) дают решение проблемы оценки нужной ФВК. Анализ литературных источников показывает, что, вероятно, не существует методик, позволяющих выполнять оценки ФВК для сигналов, имеющих более сложную природу, чем белый шум.

Таким образом, класс фильтруемых помех в классической постановке ограничивается белым шумом. В общем случае фильтруемый шум может иметь любую природу с неизвестным законом распределения. Другой аспект проблемы заключается в том, что для повышения разрешающей способности записи возникает необходимость выделения из полезных данных наиболее высокочастотных составляющих. Необходимость декомпозиции данных возникает и при диагнозе работы сложной системы - так называемая проблема сепарации данных. Все это приводит к необходимости постановки и решения следующей более общей задачи.

Пусть наблюденный сигнал представляет аддитивную смесь некоторого количества сигналов. Ни количество сигналов в смеси, ни их корреляционные свойства априорно не известны. Имея только наблюденные данные, требуется: 1) оценить число сигналов в смеси; 2) рассчитать их основные динамические характеристики; 3) сделать оценки ФВК отдельных компонент смеси с измеренным сигналом, или их произвольной комбинации; 4) построить алгоритм фильтрации как отдельных компонент смеси, так и их произвольной комбинации.

Первая задача связана с определением оптимального лага регрессионной модели. Эта задача в литературе хорошо известна, некоторые рекомендации по ее решению можно найти, например, в (Марпл-мл, 1990). Расчет собственных частот и постоянных затухания сигналов смеси на основе теории линейных динамических систем излагается в (Драница, Драница, 2009). Данная статья посвящена решению третьей задачи с позиций теории линейных динамических систем. Решение четвертой задачи, в концепции построения оптимальных линейных фильтров, автоматически следует из решения третьей задачи.

3. Предлагаемая теория оценки ФВК смеси сигналов

3.1. Основы теории интеграла свертки

Рассмотрим задачу оценки ФВК для аддитивной суммы произвольных сигналов с позиции теории линейных динамических систем (Кулаханек, 1981). Пусть некоторая динамическая система возбуждается внешним воздействием x(t), и на ее выходе регистрируется сигнал y(t). Положим, что система линейна и инвариантна во времени по статистикам второго порядка, а входные и выходные сигналы являются стационарными случайными процессами. Пусть линейная система описывается ИПХ, которую обозначим функцией u(t).

На ИПХ наложим условие физической осуществимости, т.е. будем предполагать, что u

где t - параметр времени, X - переменная интегрирования типа времени. Правая часть уравнения (5) называется интегралом свертки, характеризующим систему с помощью интегрального оператора. На основании принципа причинности уравнение (5) может быть записано в другой форме. Действительно, функция u(t-X)=0 для X>t, следовательно, она не будет вносить вклада в значение интеграла (5) на интервале t<X<^. Поэтому можно заменить верхний предел интегрирования на бесконечность:

Ry2y2(T) = 0y2y2^(т),

где о2у2у2 — дисперсия белого шума; д(г) — дельта-функция следующего вида

y(t) = ju(t - Я)х(Я)йЯ ,

1010

Вестник МГТУ, том 13, №4/2, 2010 г.

стр.1008-1014

y

Другую форму интеграла свертки можно получить простой заменой т — t-X

y

Принцип причинности позволяет получить еще одну полезную форму записи интеграла свертки. Нижний предел интегрирования в выражении (5) можно заменить на ноль, поскольку величина интеграла не зависит от значений сигнала для т<0. Следовательно, для выходного сигнала можно записать

y

0

Уравнения (5-8) показывают различные возможности записи выходного сигнала y(t) во временной области через функции x(t) и u(t) При практическом применении интеграла свертки будем выбирать некоторые из них. Отметим также, что уравнение свертки широко используется в теории линейной фильтрации. В теории фильтрации решающее значение приобретает устойчивость фильтров. В (Кулаханек, 1981) показано, что абсолютная интегрируемость ИПХ является условием устойчивости фильтра

Jи2(T)dT < ж

0

Отметим, что это соотношение является также условием устойчивости любой линейной системы.

3.2. Оценка ФВК между входным и выходным сигналами ЛС

Итак, рассмотрим случайный сигнал y(t) на выходе линейной системы, возбуждаемой на входе сигналом x(t). Согласно изложенному выше, имеем

y

По определению (Кулаханек, 1981), ФВК между входным и выходным сигналами определяется следующим предельным выражением

1 т

Rxy

Подставляя в уравнение (10) соотношение (9) и меняя порядок интегрирования, получим

ж 1 T

Rxy(T) — [ u(u)[lim— [x(t)x(t +T - jl)dt\d^

-Ж т ^ж 2T -T

По определению, величина в квадратных скобках является ФАК входного сигнала Rxx(T-y). Поэтому

Rxy(T) — Ju(^)Rxx(т - H)d^  (1

Из выражения (11) видно, что ФВК между входным и выходным сигналами ЛС есть результат свертки ИПХ системы и ФАК входного сигнала. Другими словами, при возбуждении линейной системы сигналом Rxx(T) на ее выходе получается отклик Rxy(T).

3.3. Оценка ФВК между компонентами смеси

Рассмотрим сигнал выхода линейной системы, задержанного относительно сигнала (9) на время т Согласно формуле (9) имеем

y

где переменные т, у имеют смысл времени. Найдем ФАК выхода системы Ryy(T) По определению ФАК и с учетом того, что Ryy(T) — Ryy(-T), имеем

1 T 1 т ж ж

Ryy

T i 2T t T i 2 T t

Меняя порядок интегрирования, находим:

Ryy

J и(Я)^Я J u(p)[ lim

1 T

2T tx('

- Я)х(1 - т - y/)dt ]dp

1011

Драница Ю.П. и др. Постановка и решение основной задачи линейной...

Величина в квадратных скобках в пределе является ФАК Rxx(-r+X-p) возбуждающего систему сигнала, следовательно, ФАК выходного сигнала будет равна

Ryy

С учетом (11) уравнение (15) перепишется в следующем эквивалентном виде

Ryy

Для ФВК имеет место следующее соотношение Rxy(t) = Ryx(-t) (Клаербоут, 1981), которое позволяет переписать соотношение (16) в следующей форме

Ryy

Следовательно, ФАК выходного сигнала линейной системы представляет свертку ФВК между возбуждающим шумом и выходом системы и ее ИПХ. Уравнение (17) выражает зависимость, аналогичную соотношениям (7) для временных функций x(t), u(t), y(t) Интересно, что ФАК выходного сигнала выражается через ИПХ системы и ФАК входного сигнала без знания самого выходного сигнала.

Предположим, что ИПХ системы является суперпозицией некоторого числа отдельных составляющих, т.е. может быть представлена суммой

m

u

i =1

где m — число составляющих разложения.

Подставляя сумму (18) в выражение (17), будем иметь:

m m ^ m ^

Ryy

i=1 i=1 —^ i=1

Анализ формулы (19) показывает, что ФАК выходного сигнала представляет суперпозицию отдельных слагаемых, связанных с отдельными составляющими ИПХ ЛС Таким образом, с каждой составляющей ИПХ системы можно связать аддитивные компоненты y1(t), формирующих выходной сигнал системьг Действительно, если ИПХ допускает разложение на компоненты, то сигнал на входе, вследствие принципа линейности, подвергается независимому преобразованию по каждой из этих компонент

3.4. Алгоритм вычисления ФВК

Покажем, что слагаемое R,(t) суммы выражения (19) является Ryiy(T)^ Действительно, представим, что требуется оценить взаимную корреляцию между сигналом y(t) и его частью yi(t), связанной с u1(t) компонентой импульсной функции Рассмотрим сигнал, полученный согласно соотношению (9), и задержанный сигнал

y,(t+T) = J щ (1) x(t + т — l)dl

По аналогии с выражением (10), ФВК между сигналами y;(t) и y(t) будет описываться следующим выражением:

1 т 1 Т ™ ™

Ryiy(T)=Ryyi(-T) = Т™^ — J y(t) у, (t+^>dt = = 2T Jdt Ju(X) x(t—X)dX Jщ 1 x(t—т—Ddi

и, повторяя цепочку рассуждений (12-17), в результате получим следующее выражение

Ryiy(T) = J ut (X) Rxy (—т + X)dX = J u (X) Ryx (т — X)dX = J ut (т — X) RyX (X)dX

Сопоставляя выражения (19) и (20), видим, что действительно ФАК выходного сигнала системы представляет суперпозицию ФВК между отдельными компонентами смеси и сигналом в целом^ Таким образом, нам удалось связать с каждой компонентой ИПХ линейной системы некоторый выходной сигнал^ В этом случае выходной сигнал ЛС в целом представляет суперпозицию сигналов, связанных с отдельными составляющими ИПХ. С точки зрения примененной модели, никаких других сигналов в смеси быть не может

Известно (Калиткин, 1978), что выражение (19) является интегральным уравнением Фредгольма первого рода с ядром Ryx(т-X) Для перехода от непрерывного интегрального уравнения (19) к его дискретной форме введем: матрицу ядра интегрального преобразования Ryx, размерностью nxn, вектора-

1012

Вестник МГТУ, том 13, №4/2, 2010 г.

стр.1008-1014

столбцы составляющих ИПХ U, размерностью n и вектор-столбец ФАК Ryy, размерностью п. В этом случае дискретная форма интегрального уравнения (20) будет иметь следующий вид

Ryy = £:, r „и •

Таким образом, интегральное уравнение (19) в дискретном представлении свелось к системе линейных алгебраических уравнений (21). Отметим, что известным в этой системе является лишь вектор левой части Ryy. С другой стороны, систему (21) можно интерпретировать как разложение вектора Ryy по системе некоторых пока неизвестных функций.

3.5. Задача аппроксимации ФАК в рамках линейной модели

В работе (Драница, Драница, 2009) поставлена и решена задача аппроксимации дискретной временной последовательности ОДУ /-го порядка. Там же показано, что решением однородного ОДУ является сумма затухающих экспонент и затухающих по экспоненте гармоник различных частот, которые в совокупности составляют ФСР однородного ОДУ. Показано, что компоненты ФСР, с точки зрения ЛС, являются также компонентами ее ИПХ. В этих же работах разработан математический аппарат, позволяющий выполнять оценки динамических параметров ФСР (коэффициентов затухания и собственных частот гармоник) по натурным данным.

Таким образом, в рамках линейной модели определяются вектора U, правой части системы (21). Обозначим совокупность, составленную из вектор-столбцов ФСР матрицей U. В работе (Драница и др., 2009) изложена методика аппроксимации ФАК по системе функций ФСР, в результате которой эта функция может быть представлена следующим разложением

m m

Ryy = £R = Uz = £ ^и,, (

i=1 i=1

где z - вектор весов разложения ФАК по системе функций ФСР. Учитывая формулу (21), разложение (22) может быть представлено в следующем виде

m

Ryy - £ Ri - £"=,R,u,

i=1

Рассмотрим i-ый компонент разложения

uz - £ zU,.

Ryyi = RyxUi - zUi .

С точки зрения линейной алгебры, уравнение (24) представляет собой задачу на отыскание собственных чисел и собственных векторов линейного преобразования, заданного матрицей Ryx. И хотя матрица линейного преобразования Ryx нам не известна, в рамках принятой модели удалось косвенным образом оценить ее собственные числа и вектора. В частности, из выражения (24) следует, что ФВК между измеренным сигналом и его i-ой компонентой равно соответствующей функции ФСР, умноженной на весовой коэффициент разложения (22).

4. Алгоритм вычисления ФВК группы сигналов

Выражение (24) позволяет оценить ФВК между одиночным сигналом смеси yi и измеренным сигналом y. Однако вследствие аддитивности ФАК смеси может быть поставлена и решена более общая задача, а именно: задача вычисления ФВК между произвольной группой сигналов смеси и выходным сигналом y. Для решения этой задачи рассмотрим следующий алгоритм.

Для исходных данных подбирается модель регрессии оптимальной сложности, согласованной с объемом выборки (Марпл-мл., 1990). Согласно работе (Драница, Драница, 2009), по полученной регрессии рассчитывается набор динамических параметров (частоты, коэффициенты затухания). Пары сортируются по возрастанию частот, и каждой присваивается порядковый номер. Полученная таким образом информация используется для расчета функций ФСР U, заполнения матрицы U и вычисления весов разложения ФАК по системе ФСР, т.е. вектора z (Драница и др., 2010). Полученное разложение представляет ФВК Ryiy(z), (i-1, 2,..., m) между компонентами смеси и измеренным сигналом.

Допустим, что необходимо оценить ФВК между произвольным набором компонент смеси а-(аь a2,...,as) и выходным сигналом (а - номер i-ой компоненты смеси, входящей в набор). Сформируем мультииндекс Ja, в который включим порядковые функций ФСР, входящих в набор а. Построим вектор весов заданного набора компонент смеси za-(zab za2,..., zas). Для этого обнулим все веса вектора z, не входящие в мультииндекс Ja. Тогда, вследствие аддитивности ФАК, выражение (24) преобразуется к виду

1013

Драница Ю.П. и др. Постановка и решение основной задачи линейной...

Gs

Ray

i=Gx

Выражение (25) и представляет ФВК между заданной группой компонент смеси и выходным сигналом. Отметим, что мультииндекс Ja может содержать произвольную комбинацию компонент смеси. Единственным требованием к этому набору является условие: любой порядковый номер входит в набор не более одного раза. В частности, можно выделить наиболее информационную часть процесса, шумовую компоненту и т.д. Таким образом, разработана методика, позволяющая полностью получить необходимую информацию по наблюденным данным, требуемую при конструировании линейных оптимальных фильтров сглаживания и воспроизведения.

5. Заключение

Успешное решение поставленной проблемы, вероятно, можно связать с удачной факторизацией задачи. В большинстве случаев обрабатываемая информация рассматривается абстрактно, как некоторая данность. В нашем подходе анализируемые данные были представлены выходом некоторой линейной системы. Такой подход вполне очевиден, т.к. наблюденная информация по своей природе является результатом многочисленных преобразований, оценки которых, вероятно, нам никогда полностью не будут доступны.

Тем не менее, такой методический прием позволил рассматривать измеренную информации с позиций теории линейных систем. Переход от уравнения авторегрессии к ОДУ позволил сделать оценки компонент ИПХ линейной системы и решить поставленную выше задачу. Следующим этапом развития данного направления работ являются более тонкие статистические оценки исследуемых сигналов. Так, например, может быть поставлена задача оценки ФВК между входным сигналом ЛС и ее выходом, или оценка ФАК входного сигнала.

Литература

Вапник В.Н., Глазкова Т.Г., Кощеев В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и

программы восстановления зависимостей. Подред. В.Н. Вапника. М., Наука, 816 с., 1984.

Губанов В.С. Обобщенный метод наименьших квадратов. СПб., Наука, 318 c., 1997.

Драница Ю.П., Драница А.Ю. Некоторые постановки задач интерпретации временных последовательностей на основе линейного моделирования. Электронный журнал "Дифференциальные уравнения и процессы управления", № 4, с.1-41, 2009.

Драница Ю.П., Драница А.Ю., Алексеевская О.В. Задача корректной оценки и алгоритмы манипулирования функцией автокорреляции на основе линейной модели. Вестник ТВГУ, серия: прикладная математика, № 28, с.67-74, 2009.

Драница Ю.П., Драница А.Ю., Алексеевская О.В. О связи непрерывной и дискретной моделей для линейных динамических систем. Электронный журнал "Дифференциальные уравнения и процессы управления", № 3, с.1-38, 2010.

Калиткин Н.Н. Численные методы. М., Наука, 412 с., 1978.

Клаербоут Ф. Теоретические основы обработки геофизической информации. М., Недра, 304 c., 1981. Кулаханек О. Введение в цифровую фильтрацию в геофизике. М., Недра, 200 с., 1981.

Марпл-мл. С.Л. Цифровой спектральный анализ и его приложения. М., Мир, 584 c., 1990.

Никитин А.А. Теоретические основы обработки геофизической информации. М., Недра, 342 c., 1986. Теребиж В.Ю. Введение в статистическую теорию обратных задач. М., Физматлит, 376 с., 2005.

1014