Структурные и функциональные характеристики дескрипторных нейронных сетей

В целом процедура использования имитатора сигнала HP показывает, что при ширине спектра рассеяния в 10 кГц, образуемой в случае использования несущей 150 МГц, и при дискретности элементов спектра не более 50 Гц можно получить достаточную точность оценки работоспособности технических систем радиолокатора HP. Погрешность не превышает одного процента при длительности зондирующего импульса порядка 1 мс и незначительно увеличивается с ростом задержки т .

Полученные выводы можно отнести и к радиолокаторам HP, работающим на других частотах, если использовать шаг по частоте 0,5 % от полосы, а длительность импульсов будет соответствовать интервалу корреляции флуктуаций электронной плотности.

Выводы

Таким образом, применение имитаторов, позволяющих формировать входные сигналы длярадиолокато-ров HP при произвольном векторе ионосферных параметров, даёт возможность контролировать правильность функционирования его алгоритмического обеспечения.

Научная новизна приведенных в статье результатов состоит в том, что получила дальнейшее развитие процедура контроля состояния такого сложного объекта, как измерительный радиолокационный комплекс, предназначенный для определения параметров околоземной космической плазмы.

Практическая значимость результатов исследований связана с полученной возможностью иметь с помощью имитатора псевдослучайного сигнала HP дополнительную информацию, необходимую для принятия решений о достоверности расчёта параметров ионосферы.

Дальнейшее направление исследований состоит в разработке информационных технологий, позволяющих в реальном времени оценивать методические погрешности измерений и автоматизировать процесс обработки ионосферной информации

УДК 517.922+517.958

СТРУКТУРНЫЕ И ФУНКЦИОНАЛЬНЫЕ ХАРАКТЕРИСТИКИ ДЕСКРИПТОРНЫХ НЕЙРОННЫХ СЕТЕЙ

РУТКАС А.А., ХАХАНОВ В.И.__________________

Дескрипторные нейронные сети конструируются из динамических и статических нейронов. Они являются логическими схемами полулинейных дифференциально-алгебраических (дескрипторных) систем. Нейросетевая модель дескрипторной динамической системы строится по нормальной форме уравнений системы и качественно характеризует ее эволюцию.

Литература: 1. Dougherty J.P, Farley D.T. A theory of incoherent scattering of radio waves by a plasma // Proc. Roy. Soc. A259. 1960. P. 79-99. 2. Farley D. 71, Dougherty J. P., Barron D. W. A theory of incoherent scattering of radio waves by a plasma // Proc.Roy. Soc. 1961. V. A263. P. 238258. 3. Эванс Дж. Теоретические и практические вопросы исследования ионосферы методом некогерентного рассеяния радиоволн//ПТИЭР. 1969. Т. 57, №4. С. 139177. 4. Рогожкин Е.В. Измерение параметров ионосферной плазмы по корреляционной функции сигнала некогерентного рассеяния // Ионосферные исследования. М.: Наука, 1979. № 27. С. 46-59. 5. Зондирующие сигналы для исследования ионосферы методом некогерентного рассеяния /7 Рогожкин Е.В., Пуляев В.А., Лысенко B.FI. Харьков: НТУ «ХПИ». 2008. 256 с. 6. Рогожкин Е.В., Пуляев В.А., Белозёров Д 77. Моделирование сигнала некогерентного рассеяния с заданными корреляционными свойствами // Радиотехника. Харьков: ХНУРЭ. 2007. № 149. С. 38-42.

Поступила в редколлегию 22. 02. 2009 Рецензент: д-р. техн. наук, проф. Дмитриенко В. Д.

Белозёров Дмитрий Петрович, м. н. с. Института ионосферы НАН и МОН Украины. Научные интересы: автоматизация процесса обработки ионосферной информации. Адрес: Украина, 61082, Харьков, пр. Московский, 232А, кв. 48.

Пуляев Валерий Александрович, д-р техн. наук, профессор, зам. директора Института ионосферы НАН и МОН Украины. Научные интересы: информационные технологии оценки параметров ионосферы. Адрес: Украина, 61055,Харьков,ул. 2Пятилетки, 59,кв. 65,тел. 94-37-41.

Рогожкин Евгений Васильевич, д-р физ.-мат. наук, профессор кафедры «Радиоэлектроника» НТУ «ХПИ». Научные интересы: исследование ионосферы методом некогерентного рассеяния. Адрес: Украина, 61174, Харьков, пр. Победы, 57Г, кв. 40, тел. 33-76-146.

1. Введение

Дескрипторные системы управления описываются системами дифференциально-алгебраических уравнений, векторная форма которых имеет вид

~

где (n x n) - матрица А может быть необратимой:

det A = 0 [1]. Разностная аппроксимация уравнения (1) приводит к дескрипторной системе с дискретным временем [2, 3]:

Ax

Существует много исследований линейных динамических систем (1), (2), см. например [3, 4].

РИ, 2009, № 1

37

Здесь мы не рассматриваем задачу оптимального управления ([1, 2]), поэтому управляющее воздействие в правых частях уравнений (1),( 2) не выписываем в явном виде. В работах [5,6] некоторые классы дескрипторных систем (2) моделировались с помощью дескрипторных нейронных сетей, сконструированных как специальные соединения динамических и статических нейронов, именно классических нейронов типа Хопфилда и Маккалоха-Питтса [8,9] или их векторных обобщений. При этом рассматривались те и только те нейронные сети, которые моделируют дескрипторные системы (2) индекса 1. Это означает, что для больших значений спектрального (частотного) параметра X матрица-функция R(X) = (ХА + В)-1 существует и ограничена:

(ХА + В)-1

sc-fefcCX) <с0,

X > г.

В настоящей работе ограничение (3) снимается. Мы получаем структуру и анализируем функциональные и параметрические свойства нейронной сети, моделирующей дескрипторную систему (2) с произвольным регулярным характеристическим пучком матриц ХА + В • Регулярность означает, что характеристический многочлен не является тождественно нулевым:

det

2. Нормализация дескрипторной системы

Для любого регулярного пучка ХА0 +В0 квадратных матриц существуют две обратимые квадратные матрицы P.W . приводящие пучок ХА0 +В0 к нормальной форме К.Вейерштрасса [4]:

Р(ХА0 + B0)W =ХА + В, А

Е 0 . В = J 0

_ 0 н Е

Здесь матрицы А, В нормальной формы записаны в блочно-диагональной форме, где Ej - единичная матрица размерности j х j, j - матрица размерности mxm. Матрица Н размерности (п-щ)х(п-т) является блочно-диагональной, причем ее диагональные блоки являются нильпотентными клетками Жордана Nj размеров Sj, так что Xsi =n-m.

N; =

0 1 0 . . о"

0 0 1 . . 0

. N-' =0, Nji_1^0

0 0 0 . . 1

0 0 0 . . 0

Число р = maxs; назътваетсяиндексомпучкаматриц І

ХА о + В0 и пучка ХА + В • Ясно, что индекс р пучка совпадает с индексом нилъпотентност и матричного блока Н в (5): Нр-1 t- 0. Нр =0. Дескрипторная система с дискретным временем

38

A0z

приводится к эквивалентной «нормализованной» системе

Ax(k + 1)+Bx(k) = gk(Qx(k)), k = 0,1,2,...

путем замены состояния z(k) = Wx(k) и умножения уравнения (7) на обратимую матрицу Р. Чтобы избежать чисто технических усложнений и не вводить промежуточных обозначений для вектора состояний и коэффициентных матриц, мы будем считать, что в исходном уравнении (2) матрицы А, В уже имеют нормальную форму (5). Легко показать [4,7], что для пучка ХА + В (и для любого эквивалентного ему пучка) при больших X справедлива оценка

(ХА + В)-1

<С-[Х|Р \

N

> г

Здесь г выбирается так, чтобы г > max|Xk| + є ,где Xk

k

- корни характеристического многочлена (4).

Индекс р пучка ХА + В можно также определить как наименьшее целое число, для которого справедлива степенная оценка (8) для матрицы-функции (ХА + В) 1 = R(X). Если матрица А обратима, в частности при А = Е , то р = md(X А + В) = 0 , система (2) является явной разностной системой. Таким образом, ненулевое значение индекса р > 1 является признаком дескрипторностис исте м ы. Если индекс пучка р = 1, то оценка (8) превращается в оценку (3) и в нормальной форме (5) нильпотентный блок н оказывается нулевым: Н = 0 • Нейросетевые модели дескрипторных систем индекса 1 строились в [5, 6].

3. Структура дескрипторных нейронных сетей произвольного индекса

В соответствии с подходом в теории нейронных сетей [8, 9] нелинейные векторные функции fk(x) в (2) выбираются в форме

fk

где и є Rn - вектор внутренних состояний сети; х є Rn - вектор входов. Элементы Wjk матрицы W трактуются как синаптические веса, компоненты 9; (к) вектора 9(к) - как смещения или внешние воздействия на к -м такте. В соответствии с разбиением нормализованных матриц А, В на блоки (5) разобьем на два блока векторы х,у в уравнении (2):

х =

_ _ - xi М'1 хт+1

V -Ф = Ф ; v = ,ф = ,h =

її

_хт _ _Ч'т_ _ Хп _

'

Для простоты мы предполагаем, что нильпотентный блок Н в (5) состоит из одной нильпотентной клетки Жордана Nj = Н индекса р ; тогда в (6) Sj = р = п - ш.

РИ. 2009. № 1

Это предположение позволяет получить визуально обозримые логические схемы модельных нейронных сетей, сохраняя те особенности их структуры, которые определяются произвольно высоким индексом р = ind(/.A + В). Теперь при каждом к = ОД,... векторное уравнение дескрипторной системы (2) переписывается так:

v

xm+2

xm+3

xn

xn

Здесь уравнения (12), (13) являются скалярными, уравнение (11) - векторным, если m > 1.

Предв арительно рассмотрим примеры с минимальным числом входов п и малыми значениями индекса р .

Пусть р = 1,п = 2 [5, 6]. Уравнения (11)-(13) есть два

такта. После этого значения второй компоненты х2 (k +1) следует искать как явную ф\ нкцию

х2

из неявного уравнения (15), записанного для ]< + і -го такта:

х2(к + 1) = y2(U](k + l),u2(k + 1)),

uj

i=l

Условия на функцию активации

через явную функцию F (16) показано на рис.1 п\ нктирным блоком.

Простейшая нейронная дескрипторная сеть индекса р = 2 изображена на рис.2.

скалярных уравнения при каждом к = 0,1,2, . ..;

x1

х2 (к) = vp2 (uj (к), u2 (к));uj (к) = wj, • Xj(к) +

-f\\ j2 • x21 к i -г 0jі к i

У равнение (14) является явным разностным; уравнение (15) - алгебраическим (статическим).Модельная дескрипторная нейронная сеть изображена на рис. 1.

Рис. 1. Дескрипторная нейронная сеть индекса р = 1 с двумя входами

У равнение (15) задает алгебраическую связь (зависимость) между значениями входов x1(k),x2(k) нак-м такте. Значение первой компоненты выхода х j (k +1) сразу находится из (14) по данным к-го

Рис. 2. Дескрипторная нейронная сеть индекса 2 с тремя входами

Она моделирует дескрипторную систему скалярных уравнений

РИ, 2009, № 1

хДк + 1) + ІхДк) = yjlWxlk) +9

39

х3

х3

Уравнения (18)-(20) являются частным случаем системы (11)-(13), когда п = 3,ш = 1,р = 2;

x = (x1,x2,x3)tr, 0 = (0b02,03)tr

Выражение (20) задает алгебраическую зависимость между компонентами х; (к) входного вектора х(к) на к-м такте. Запишем эту зависимость на (к + 1) -м такте с помощью столбцов W1 матрицы синаптических весов W в виде

x3(k + l) =y3[W1x1(k + l) + W2x2(k+l) +

+ W3x3

При некоторых условиях на функционал y3(u1, u2.u3) и вектор-столбец W2 уравнение (21) имеет единственное явное решение относительно переменной х2 :

х2

Получение второй компоненты х2(к + 1) входа для (к + 1) -го такта по формуле (22) отмечено на рис.2 пунктирным блоком. Статическое равенство (20) на k-м такте отражено в нижней части нейронной сети зацикливанием выходного сигнала активационного

блока \|/3 на шину входного сигнала х3(к) с необходимым реверсом направления (умножением сигнала на -1).

Теперь можно перейти к нейросетевой реализации общей дескрипторной динамической системы (11)-(13) с произвольным индексом р = п - ш. Моделирующая нейронная сеть изображена на рис.З. В верхней части имеется чисто динамический блок с векторным входом v(k), векторным выходом v(k + l) размерности m и активационной векторной функцией <р ;этот блок реализует векторное уравнение (11). Все последующие активационные блоки, отвечающие функционалам vpm+ь••'Ч'п 5 имеют одномерные выходы и участвуют в реализации скалярных уравнений (12, 13) в количестве n - т . При заданных на k-м такте всех входах х; (к) для (к +1) -го такта остается неопределенным только входной сигнал хш+](к + 1). Предполагается, что хт+1 (к +1) можно однозначно найти из уравнения (13), записанного для (к +1) -го такта. Тогда выражение (13) определяет явную функцию F для получения сигнала хш+](к + 1) с использованием опережающего значения смещения 0(к +1), см. пунктирный блок на рис.З и формулу (28) в п.4.

Замечание 1. Для обозримости модельной нейронной сети выше было сделано упрощающее предположение о том, что нильпотентный блок н в нормальной форме (5) состоит из одной нильпотентной клетки Жордана вида (6).

Рис. 3. Дескрипторная нейронная сеть индекса р = п - ш

В общем случае числа q > 1 нильпотентных клеток изменится структура нижней части сети, отвечающей

РИ, 2009, № 1

40

входам xm+j,...,xn . Каждой нильпотентной клетке будет отвечать индивидуальная подсистема скалярных уравнений вида (12), (13). Каждое алгебраическое уравнение типа (13) необходимо будет разрешить

относительно переменной типа xm+1(k) и соответственно в нейронной сети появятся q разрешающих

блоков F] • 1'2.Fq вместо одного пунктирного блока

F на рис.З.

Рассмотрим важную в теории нейронных сетей ситуацию «невзаимной активации», когда каждая скалярная активационная функция зависит только от одноименной компоненты Uj вектора внутренних состояний U = (u1,....un)lr = Wx -r-0 : Уі(и) =4/i(u;),

і = 1,..., n . Тогда реализация подсистемы щ динамических (разностных) уравнений с векторной формой (11) производится с помощью щ классических динамических нейронов Хопфилда с активационными

функциями = 1......щ. Модельная дескрипторная

нейронная сеть изображена на рис. 4. Дескрипторная часть сети преобразует блок (xm+](k)..xn(k)) векто-

ра входов в вектор (xm+2(k + l),...,xn(k + l),0), который является результатом применения операции левого сдвига к вектору (xm+1(k + l),...,xn(k + 1)). Для сетевого моделирования указанного дескрипторного преобразования на рис. 4 использованы р-1 динамических нейронов Хопфилда с переключением на последующий соседний канал выходов их активационных блоков м;т 11 Ч;п-1 • а также один статический

нейрон Маккалоха-Питтса с возвращением реверсированного выходного сигнала активационного блока

\|/п на шин}7 входного сигнала xn(k).

Замечание 2. В дескрипторных нейронных сетях рис. 1 -4 синаптические усиления или ослабления входных сигналов х; (к) учитываются в активационных блоках г|/;, выходы которых не полностью определяют выходы сети уj (k) = xj (k + 1). а лишь аддитивно участвуют в формировании значений х j (к +1). Во вторую аддитивную составляющую выходов сети входные сигналы хДк) включаются с коэффициента-миматрицы (-J) в динамическом блоке для і = l,...,m и с коэффициентами (-1) для і = m + 2,..., n . Властности, при полном синаптическом подавлении входных сигналов, когда W = 0, сеть трансформирует допустимые (распознаваемые) входные сигналы в выходные в соответствии со своей структурой. Ниже мы опишем эту трансформацию как рекурсивное отображение сети.

Рис. 4. Дескрипторная сеть индекса р = п - ш с невзаимной активацией во всех каналах

РИ, 2009, № 1

41

4. Рекурсивное и эволюционное отображения в дескрипторной нейронной сети

Наше предположение «явной дескрипторной разрешимости» состоит в следующем: для дескрипторной системы (11)-(13) индекса р = п-ш>1 последнее статическое алгебраическое уравнение

\\in

однозначно разрешимо относительно компоненты хП1,.|, так что уравнение (23) определяет явную функцию F: R2”-1 —» R по правилу

xm+1=F

Свойство явной дескрипторной разрешимости обеспечивается определенными условиями согласования активационного функционала \|/п и синаптических весов wjjj -коэффициентовматрицы W

Лк = {х = x

имеют размерность п -1: dimAk = п -1. Многообразие Aq называется начальным и описывается выражением (25) при к = 0 .

Рассмотрим операторы (отображения) рекурсии Sk и эволюции Фк , действующие следующим образом:

Sk

Определение этих операторов будеткорректным, если мы точно укажем их области определения и единственность. Выберем любой входной вектор х(к) є Лк на к-м такте. Из уравнений (11), (12) однозначно находится часть выходных компонент

Xj

Явное статическое соотношение (24) для х = x(k +1) имеет вид

хт+1

хп

Подставляя в правую часть (28) значения х; (к +1) из (27), получаем явное выражение для последней вы-

ходной компоненты через вход х(к) и смещения 0(к),0(к + 1):

хт+1

Следовательно, оператор рекурсии Sk+1 определен однозначно на поверхности Лк = {х(к)}(25), действует как отображение Sk+1: Ak —» Ak+1. Доказана

Теорема 1. В предположении явной дескрипторной разрешимости (24) уравнения (23) для дескрипторной сети рис.З корректно определен оператор рекурсии Sk+1 : Ak —> Ak+1. Он зависит от смещений 0(k), 0(к +1) как от параметров:

x

Эволюционный оператор Фк (26) корректно определен на начальном многообразии Л0, действует как отображение Фк : Л0 —> Лк и является суперпозицией операторов рекурсии

фк =sk °sk-i °-°sl-

5. Специальные классы активаций и синаптических преобразований входов

Рассмотрим несколько характерных значений параметров дескрипторных нейронных сетей рис.З, 4.

5.1. Случай линейной активации в статическом нейроне

В этом случае активационная функция v|/n в уравнении (13) является линейной:

П *г

Ч/п(и) = (а,и) = 2>;и;,а = (аь...,ап)- ^

і—1

Поскольку вектор и внутренних состояний равен

п

u = Wx + 0, гц = X wijxj +0;, то уравнение (13) пе-j=i

реписывается в виде

11 П ( 11 Ап

xn = ZaiUi;xn = V xlj + X^j©,

i=l j = LV і = 1 y i=l

Используя обозначение WJ для j -го столбца матрицы синаптических весов W и отделяя слагаемое с компонентой Хш.:_| , из последнего соотношения получаем

(a,Wm+1)xm+1 = xn - x(a;WJ)Xj -(а,0). Vj^m+l

Здесь (а,Ь) обозначает скалярное произведение векторов а. b є R" . Если

i=l

то на каждом такте компонента хш+| вектора входных сигналов х = х(к) выражается через остальные его компоненты по формуле

42

РИ, 2009, № 1

Mil +1

(к):

= (l.Wm+1)"1

Xn

2

Vj ^ mil

£

j^m+l

-

Получен следующий признак явной дескрипторной разрешимости (см.п.4).

Теорема 2. Пусть в дескрипторной нейронной сети рис.З, 4 активационная функция уп последнего (статического) нейрона является линейной в смысле представления (32). Если вектор коэффициентов a и вектор-столбец Wm+1 синаптической матрицы не ортогональны друг другу в пространстве R11, то алгебраическое уравнение (13) ~ (23) явно разрешается относительно компоненты хт+1 и соответствующая явная функция f определяется правой частью формулы (34).

Следствие. При условии (33) в дескрипторной нейронной сети (и соответственно в исходной дескрипторной системе (2) с дискретным временем до ее нормализации) корректно определены оператор рекурсии Sk+1 (30) и оператор эволюции Фк(31).

5.2. Случай линейных активаций всех нейронов

Пусть в дескрипторных сетях рис.З, 4 активационные функции \|/г всех нейронов (г = 1.п) являются ли-

нейными:

4/r(u) = (ar,u)= 2>[иьаг =(aJ....а1)11

і—1

u = Wx(k) + 9(k), u; = ^ WyXj(k) + 9;(k) j=i

Тогда система (11)-(13) переписывается в видеп скалярных линейных урав нений:

xr

(ar, Wx(k) + 0(k))- X JrjXj(k);r = 1.

j=i

m .

xm+2

xn

xn

Здесь в качестве равенства (38) записано алгебраическое уравнение (13) статического нейрона на (k +1) -м такте. Уравнения (36), (3 7) дают явные выражения gr (27) компонент выхода xr (k +1) при г m +1 через компоненты входа х(к). По формуле (34) при а = а11 и (an,Wm+1)^0 получаем явную функцию F (28):

xm+1 (k +1) = (а11, Wm+1 (Г1 [хп (к +1) -

Напомним, что WJ есть j-й столбец синаптической матрицы W • Подставляя в правую часть (39) выражения Xj(k + 1) через х(к) из (36), (37), j?in-rl. получаем явную функцию gm+i (29). С помощью прямых выкладок проверяется, что функция gm+] является линейной относительно своих трех векторных аргументов:

Xm+1 (k +1) = gm+1 (х(к). 0(к). 0(к +1)) = (а, х(к)) +

+

Здесь векторы а, J3, у в скалярных произведениях есть векторы-столбцы из R" . Таким образом, равенства (36), (37), (40) задают рекурсивное отображение Sk+i: Ak -> Ak+] , зависящее от векторных параметров 9(k),9(k + l), так что х(к+ 1) = Sk+1(x(k)). При нулевых смещениях 0 = 0 рекурсивные отображения Sk+i: Лк —> Лк+і и эволюционный оператор Фк :Л0 -> Лк (31) являются линейными и могут быть записаны как (п х п) - матрицы. Несмотря на то, что здесь преобразования Sk+1,k формально можно применять к любым векторам х є Rn, действие Sk+] как рекурсивного отображения нейронной сети имеет смысл только на многообразии Л ^ входных векторов k-го такта:

Ak ={x = x

Аналогично отображение Фк = Sk °...° S2 ° Sj имеет смысл эволюционного оператора (26) для нейронной сети только на распознаваемых векторах х = х(0) из начального многообразия Л0:

Л0 = [х = х

В качестве примера рассмотрим сеть вида (см. рис.З) индекса р = 3 с пятью нейронами: щ = 2, п = 5. Тогда (3 6)-(3 8) являются пятью уравнениями

Х1 (k +1) = (a1. Wx(k) + 0(к)) - Jj jXj (к) - J12x2 (к),

х2(к + 1) = (a2, Wx(k) + 9(к)) - J21X!(k) - J22x2(k),

х4(к + 1) = (а3. Wx(k) + 0(к)) - х3 (к),

х5(к + 1) = (a4, Wx(k) + 0(к))- х4(к),

х5 (к +1) = (а5. Wx(k +1) + 9(к +1)),

х(к) = (x1,x2,x3,x4,x5)tr(k) .

Из первых четырех уравнений получаются следующие рекурсивные представления для компонент xr (k +1), г Ф 3 , т.е. линейные представления функций gr (27) с помощью скалярных произведений:

xi(k + l) =g1(x,0)(k) ее (w*a1 -b1, x(k))+ (a1,0(k));

РИ, 2009, № 1

43

х2(к + 1) = g2(x,0)(k) = (\У*а2 -b2,x(k))+(a2,0(k)); x4(k +1) = g4(x(k).()(k)) = (wV -b'\x(k))+ (a’,0(k)); x5(k 1) = g5(x(k).0(k)) = (w*a4 -b4,x(k))+(a4,0(k)), где введены векторы

b1 = (Ju. J12.0.0.0),r . b2 = (J21. J22.0.0.0),r,

b3 = (o,o,i,o,o)tr . b4=(0,0,0,i0f.

Для дальнейшего обозначим С; = 0Г . W1). В предпо-

5 3

ложении теоремы 2 с3 = (a . W ) ?П) с помощью формулы (39) находим

х3 (k +1) = g3 (х(к), 0(к), 0(к +1)) = — [(oq, Wx(k)) +

сз

+ (a2, х(к)) + (aj,0(к)) - (а5,0(к +1))]. где oq = -Cja1 -с2а2 -с4а3 +(1-с5)а4:

а2 = (С1J11 с2^21-с1^12 +с2^22’с4;(с5

деленной и однозначно преобразует распознаваемые входные векторные сигналы х(к) в выходные х(к + 1). У равнения состояний сети (11)-(13) принимают форму

m

х; (k +1) = - X Jjj • Xj (к) + ц/j (0(к)); і = 1 m

j=i '

xm+2(k + 1) + xm+l(k) = 'l/mM(0(k)) ,

Xm+3(k +1) + xm+2(k) = vpm+2(0(k)) ,

xn (k +1) + xn_! (k) = (0(k)),

xn(k) = v|/n(0(k)),k = O.1.2.

Запишем последнее равенство для (к +1) -го такта и с его помощью исключим из предпоследнего уравнения xn(k + l). Получим выражение xn_j(k) через k-е и (k +1) -е смещения:

Отсюда следует представление функции g3 =gm+| в виде суммы (40) трех скалярных произведений,

1 Lr* 1 1 5

где а = —oq+oc2J|3 = —oq,y =------а

с3 с3 с3

Рекурсивное равенство

x

в векторной форме с матричными коэффициентами выглядит так:

х(к + 1) = А|Х(к) + А20(к) + А30(к + 1).

Здесь квадратные матрицы Ak(nxn) стационарны (не зависят от номера такта к):

1 'jD 1 І» Я і "а1*" "о"

a2*W -b2* О* а 0

* а ; а2 - Р* ; а3 - * У

a3*W-b3* а3* 0

_a4*W -b4*_ 4* а 0

При нулевых смещениях 0 = 0 отображение рекурсии Sk+] = А| является умножением на стационарную матрицу А|. а эволюционный оператор Фк -умножением на матрицу А^ : Фк(х(0)) = А^х(0).

5.3. Функционирование сети при полном синаптическом подавлении входных сигналов

Рассмотрим случай нулевой синаптической матрицы: W = 0 • Эта ситуация является предельной и не реализуется точно при получении системы (1 1)-(13) как нормальной формы динамической системы (7): при эквивалентной замене переменных z = Wx матрица W должна быть обратимой. Однако мы покажем, что «предельная» дескрипторная нейронная сеть с нулевыми синаптическими весами для любой из конструкций (см. рис. 1-4) является полностью опре-

xn-1(k) = v|/n_i(0(k))-vpn(0(k+l)).

Продвигаясь последовательно от нижних}равнений к верхним, мы выразим все входы k-го такта хп (к)..хт+1(к) через опережающие значения сме-

щений:

xi(k) = ZX-1)'Vi+j(0(k +j))-i = т + 1.п. /43ч

j=0 ' '

Здесь индексы принимаютзначения:

п — і = n — in — 1. її — ш - 2.0; і + j = і, і +1.n;

k + j = k.k+l.k + p-1; р = п- щ = ind(XA + В).

Часть h(k) = (xm+1(k)...xn(k))tr вектора входов

x(k) однозначно определяется через смещения 0(k + j):

h

Компоненты x; вектор-функции h есть скалярнозначные функции, записанные в правых частях равенств (43). Используя разбиение (10) вектора входов х(к) на блоки v(k),h(k) ,мыможем описать многообразия Ак входных векторов х(к), распознаваемых сетью:

Ак = Iх = х(к): х = v © h(k), Vv є Rm }

Следовательно, dimAk = щ, Vk = 0,1,2. Действие

отображения рекурсии Sk+1: Ak —> Ak+1 удобно записать в виде (см. (10)):

- Jv(k) + cp(0(k)) h(k + 1) -

где v(k) - любой вектор из Rm; h(k) и h(k + l) -единственные фиксированные векторы (44), компоненты которых определяются формулами (43).

V

h

44

РИ, 2009, № 1

В частности, если активационные функции нормированы так, что v|/(0) = 0, то при нулевых смещениях отображения рекурсии Sk+] и эволюции Фк линейны. Учитывая, что в случае нулевых смещений h(k) = 0, Vk, многообразия распознаваемых входов Л k линейны и стационарны, причем

Лк = Л0 = Rm © 0 = {v  0},

чтит*

6. Выводы

Нейронные сети являются эффективным инструментом анализа динамических объектов сложной структуры. В работе рассмотрены модели нейросетевого типа для дескрипторных динамических систем с дискретным временем или по другой терминологии- для неявных и вырожденных дискретных динамических систем. Построенные логические сетевые модели названы дескрипторными нейронными сетями. Отличительной особенностью их структуры является использование в одной сети одновременно динамических и статических нейронов. Особенностью функционирования дескрипторной нейронной сети является наличие определенной алгебраической зависимости между компонентами векторного входного сигнала в каждый момент времени, т.е. принадлежность входного вектора некоторому допустимому многообразию Л в пространстве входов Rn . Входные векторы, не принадлежащие допустимому многообразию Л, не воспринимаются (не распознаются) дескрипторной нейронной сетью. Если сигналы смещения в сети нестационарны, то допустимое многообразие входов Л = Лk также нестационарно, т.е. индивидуально

для к -го такта, а моделируемая дескрипторная динамическая система неавтономна. В работе показано, что построенная нейронная сеть определяет однозначную рекурсию х(к) —Sb > х(к +1), которая действует как отображение Sk :Ak —>Ak+1 на допустимых многообразиях входных сигналов. Построенные явные формулы для отображений Sk и их суперпозиций содержат важнейшую информацию для анализа моделируемой дескрипторной динамической системы, в том числе неавтономной. При нестационарных векторах смещений 9(к) отображение рекурсии Sk зависит от времени (такта) к иотсмещения 9(к). Зависимость рекурсии Sk от 9(к) имеет место также для явной (недескрипторной) динамической системы

x(k + l)=f[Wx(k) + 9(k)]

и соответствующей недескрипторной нейронной сети, когда Лк = Rn (Vk) и отображение Sk определено на всем пространстве входов Rn . Однако для дескрипторной динамической системы и нейронной сети рекурсия Sk :Лк —>Лк+] на к-м такте зависит не только от смещения 9(к), но и от смещения 9(к+1) на следующем такте (эффект «упреждения»-влияния опережающих значений внешних воздействий). При некотором выборе параметров дескрипторной сети опережение в учете смещений может быть более одного такта, однако оно не превышает индекса дескрипторности.

Литература: 1. Bender D.I., Laub A. The linear-quadratic optimal regulator for descriptor systems, IEE Transactions on Automatic Control. 1987. Vol. AC-32, № 6. P.2062-2077.2. Bender D.I., Laub A. The linear-quadratic optimal regulator for descriptor systems:discrete-time case. Automatica 23(1987). P.71-85. 3. Bondarenko M.F., Rutkas A.G. On a class of implicit difference equations, Dopovidi NAN Ukraine. 1998. №7. C. 11-15. 4. Gantmacher F. R. Theory of matrices. -M.: Nauka, 1966. 576 p. 5. Rutkas A.A. Descriptor Neural Networks And Singular Implicit Dynamic Systems, Proceedings of IEEE East-West Design & Test Symposium (EWDTS’08), Lviv, Ukraine, October9-12,2008. P.429-430.6. Руткас A.. I. О свойствах дескрипторных нейронных сетей //Радиоэлектроника и информатика. 2008.№2. С. 11-16. 7. Vlasenko і... I. Evolutional models with implicit and degenerate differential equations, Dnepropetrovsk: System technologies, 2006. 273 p. 8. Бодянский E.B., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. Харьков, ТЕЛЕТЕХ, 2004. 372 с. 9. Руденко О.Г., Бодянский Е.В. Искусственные нейронные сети, Харьков, «СМИТ», 2005. 408 с. 10. Руткас А.А. Нейромоделирование одного класса динамических систем. Радиоэлектроника и информатика. 2008. № 3. С. 22-27.

Поступила в редколлегию 19.02.2009

Рецензент: д-р техн. наук, проф. Кривуля Г.Ф.

Руткас Андрей Анатольевич, аспирант ХНУРЭ. Научные интересы: машинный перевод, искусственные нейронные сети, динамические системы. Увлечение и хобби: электронное и математическое обеспечение систем GPS, системы безопасности и слежения. Дом. адрес: Украина, 61001,Харьков,ул.Плехановская,2/5,кв.29, дом.тел.: (057) 732-28-35.

Хаханов Владимир Иванович, декан факультета компьютерной инженерии и управления ХНУРЭ, д-р техн. наук, профессор кафедры автоматизации проектирования вычислительной техники, IEEE Computer Society Golden Core Member. Научные интересы: проектирование и диагностика цифровых систем, сетей и программных продуктов. Увлечения: футбол, баскетбол, горные лыжи. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. (057) 70-21-326. E-mail: hahanov@kture.kharkov.ua.

РИ, 2009, № 1

45