Алгоритм обучения вэйвлет-нейрона на основе комбинированного критерия

НЕЙРОШФОРМАТИКА ТА ШТЕЛЕКТУАЛЬШ СИСТЕМИ

НЕЙРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

NEUROINFORMATICS AND INTELLIGENT SYSTEMS

УДК 519.7:007.52

Е. В. Бодянский, Е. А. Винокурова, Н. С. Ламонова, И. П. Плисс

АЛГОРИТМ ОБУЧЕНИЯ ВЭЙВЛЕТ-НЕЙРОНА НА ОСНОВЕ КОМБИНИРОВАННОГО КРИТЕРИЯ

В статье предложены методы прогнозирования и эмуляции на основе гибридных алгоритмов вычислительного интеллекта, а именно гибридных вэйвлет-нейронных сетей. Рассмотрена структура вэйвлет-нейрона и процедура настройки всех его параметров: синаптических весов и параметров растяжения (ширины) вэйвлет-акти-вационной функции - градиентным алгоритмом со сглаживанием, а параметров смещения (центры) вэйвлет-активационной функции - алгоритмом обучения на точках поворота. Алгоритм обучения на точках поворота позволяет минимизировать эффект сдвига сигнала прогноза по отношению к фактическому сигналу.

ВВЕДЕНИЕ

В последние годы для прогнозирования и эмуляции нестационарных временных последовательностей применяют гибридные методы вычислительного интеллекта (Computational Intelligence). Одним из подклассов таких методов являются нейронные сети, использующие различные алгоритмы для обучения моделипре-диктора [1-4]. Возможности стандартных нейронных сетей могут быть усилены за счет применения технологии обработки информации, основанной на теории

вэйвлетов. Теория вэйвлетов является бурно развивающейся областью современной теоретической и прикладной математики, связанной с обработкой сигналов различной природы. Вэйвлет-анализ применяют в тех случаях, когда результат анализа сигнала должен содержать не простое перечисление его характерных частот, но и сведения об определенных локальных координатах, на которых эти частоты проявляют себя [5-11].

На стыке этих двух теорий возникли гибридные системы - вэйвлет-нейросетевые архитектуры, которые сочетают в себе преимущества и теории вэйвлетов, и аппарата искусственных нейронных сетей [4, 12-22].

В большинстве работ вэйвлет-нейронную сеть синтезируют на основе многослойного персептрона с большим числом параметров, а ее обучение реализуют на основе алгоритма обратного распространения ошибок, что не позволяет эту структуру использовать в реальном времени для прогнозирования и эмуляции нестационарных сигналов [16-18].

В статье рассматривается структура вэйвлет-нейрона и предлагаются алгоритмы обучения всех его параметров. Синаптические веса и растяжения (ширины) вэйв-

© Бодянский Е. В., Винокурова Е. А., Ламонова Н. С., Плисс И. П., 2005

лет-активационной функции настраиваются градиентным алгоритмом со сглаживанием, а смещения (центры) вэйвлет-активационной функции - алгоритмом обучения на точках поворота.

1 АРХИТЕКТУРА ВЭЙВЛЕТ-НЕЙРОНА

Для прогнозирования и эмуляции нестационарных временных последовательностей будем использовать структуру вэйвлет-нейрона [23], приведенную на рис. 1Можно видеть, что вэйвлет-нейрон близок по структуре к стандартному п - входовому формальному нейрону, однако вместо обычных настраиваемых синаптических весов содержит вэйвлет-синапсы г = 1, 2, ...п, обучаемыми параметрами которых являются не только веса Wj^, но и параметры растяжений и смещений дочерних вэйвлетов х^ к)).

При подаче на вход вэйвлет-нейрона временной последовательности х( к) = (xi (к ),*2( к) ,...,хп (к)) (здесь к = 0,1,2,. - текущее дискретное время) на его выходе появляется скалярное значение

y

i = 1

£ £ Wji

i = 1 j = 1

определяемое как настраиваемыми синаптическими весами Wji( k), так и используемыми вэйвлет-активацион-ными функциями 9ji( Xi^ (k)).

Для использования в составе нейросетей в качестве материнских вэйвлетов (mother wavelets) весьма привлекательным представляется семейство вэйвлетов RASP на основе рациональных функций (RAtional functions with Second-order Poles - RASP), возникшее из теоремы о вычетах комплексных переменных [5].

На рис. 2 представлен типичный представитель материнских вэйвлетов RASP

(Pji(xi(k)) =

sXi

X2(k)+1

Вэйвлеты RASP являются вещественными, нечетными функциями с нулевым средним.

Дочерним вэйвлетом функции (2) является конструкция

si,i

<Pji( xi( k)) = ~L_ 2

где

Lk)+1

xi(k) - cLi(kk) j k) = -j-,

5 нормализующий коэффициент равный 2,7435 с^(к), к) - параметры, определяющие положение центра

Рисунок 1 - Архитектура вэйвлет-нейрона

Рисунок 2 - Вэйвлет RASP

производные (3) по соответствующим параметрам смещения и растяжения

s p/¿

k)) = 2 2 " d cji (j( k) + 1 )2

(cos( т j i ( k ) ) ( т 2i( k ) - 1) + т ji( k ) sin ( т ji ( k ) ) ( т j k ) + 1 ) ) (j k) + 1 )2

dp

^Li(xi( k)) =

L

-s (x i ( k) - c j i ( k)) (j k) + 1 )2

(j k) + 1)2

(смещения) и ширину (растяжение). Записав можно видеть, что они также являются вэйвлетами.

К

и

д

2 АЛГОРИТМ ОБУЧЕНИЯ ВЭИВЛЕТ-НЕЙРОНА

2.1 Градиентный алгоритм обучения синаптических весов и растяжений (ширин) вэйвлет-активационных функций

Воспользовавшись леммой об обращении суммы двух матриц, алгоритм (9) можно записать в следующей достаточно простой форме, не требующей операции обращения, что делает ее весьма удобной для работы в реальном времени:

В качестве критерия обучения синаптических весов и растяжений (ширин) вэйвлет-нейрона будем использовать традиционную квадратичную функцию ошибки

Е™,а(к) = 1 (й(к) - у(к))2 = 2е2(к)=

(

V

й

г = 11 = 1

(здесь й(к) - внешний обучающий сигнал), производные которого по настраиваемым параметрам имеют вид

д г™, а

д^-Е (к) = -е(к)фуг (х*(к)) = -е(к)-*---

1г

к) + 1

°(к) =-е( к )ж/г( к)—д-1Фуг( хг( к )) = е (к )ж/г( к )х

да/г да/г

5

-'—2~~ х

к) + 1)

(С°8( т,г( к ) ) ( т2г( к)- 1 ) +1 г( к ) 8ш (т , г( к ) ) ( т 2г( к) + 1 ) ) (туг(к)+ 1)2

Проведя ряд несложных преобразований, можно записать процедуру обучения вэйвлет-синапса на основе алгоритма Левенберга-Маркварта в виде

г( к + 1) = г( к ) + (Фг( х*( к ))фТ(Хг( к)) + аж7г)-1 X

X е(к)фг(хг(к)),

а-1( к + 1) = а-1( к) + (ф?(хг( к ))ф"Г(Хг( к)) + аа1*)-1 х

х е(к)ф7(хг(к^

™ с а

где а ,а ,а - малые положительные регуляризую-щие добавки; I* - (й* х й*) - единичная матрица и

а 5

фа

С°8(т г ( к ) )  ( т2 ( к ) - Е ) + т г ( к )  бш ( т г ( к) )  ( т 2 ( к ) + Е ) (т2(к) + Е )2

жг( к + 1) = жг( к) + = жг( к) +

е( к) ф г ( х г ( к ) ) а™ +| |ф*( х*( к ))||2

е

аг

-1(Ь + 1) -1(Ь) + е ( к) ф а ( х г ( к) ) а* (к + 1) = а* (к) + ^ *--

е

= а-Ч к) +

аг

где

а™ (к + 1) = аа™(к) + ||ф* (х* (к ))||2, а" (к + 1) = аа а (к) + Цф? (х*( к))||2,

0 <а< 1

(здесь а - параметр забывания).

Как видно, использование модифицированных алгоритмов обучения второго порядка практически не усложняет численную реализацию процедур настройки параметров вэйвлет-синапсов, обеспечивая при этом повышение их скорости сходимости.

2.2 Алгоритм обучения на точках поворота параметров смещения вэйвлет-активационных функций

В большинстве случаев алгоритмы обучения искусственных нейронных сетей основаны на использовании той или иной функции ошибки обучения и в ситуациях, когда обрабатываемый сигнал или процесс является существенно нестационарным, применение таких критериев приводит к появлению эффекта сдвига, снижающего точность прогнозирования [19].

Для того, чтобы решить эту проблему, необходимо ввести критерий обучения, который смог бы учитывать эффект сдвига сигнала прогноза.

На рис. 3 представлен фрагмент сигнала у( к) с эффектом сдвига прогноза у(к).

Из рисунка видно, что для того, чтобы уменьшить эффект сдвига, необходимо минимизировать расстояние д либо по точкам перегиба сигнала, либо по точкам пересечения с осью к с учетом того, что точки перегиба у(к) и у(к) являются осями пересечения Ау(к) и Ду(к) соответственно (здесь Д - символ первой разности).

Рисунок 3 - Фрагмент сигнала с эффектом сдвига прогноза

signal( k) =

1, если y (k) - d (k - 1)> 0, -1,если y (k) - d (k - 1)< 0, 0, в других случаях,

й(к) - фактическое значение прогнозируемого процесса; у (к) - прогноз; N -длина обучающей выборки.

В связи с тем, что сигнум-функция не дифференцируема, ее можно заменить функцией гиперболического тангенса (см. рис. 4) с большим параметром крутизны

signal( к)« 1апЬу( у (к) - й (к - 1)) =

_ 1 - ехр ( - 2 у ( у ( к ) - й ( к - 1 ) ) ) 1 + ехр(-2у(у(к) - й(к - 1))),

где у - параметр крутизны, у » 1.

Исходя из этого предположения, можно ввести критерий обучения, который будет учитывать эффект сдвига прогноза, вида

signal

1- f / ^ 7 ^ 7

/ 0 ^

Л

s /1 — 1

Рисунок 4 - Сигнум-функция

В теории прогнозирования экономических рядов, в немецкоязычной литературе принят такой критерий качества прогнозирования как Wegstreke [24, 25], представляющий собой оценку качества прогнозирующей модели, при этом значение +1 соответствует оптимальной прогнозирующей модели, а значение -1 - неверному прогнозу. Данный критерий имеет вид

£ signal

Wegstreke = k = 1 N-,

£ \d(k) - d(k - 1 )|

k = 1

где signal(k) - сигнум-функция вида 86

Ec = (tanh (y ( k ) - d ( k - 1) ) ) ( d ( k) - d ( k - 1 ) ) E (k) |d(k) - d(k - 1 )| ,

при этом производная по настраиваемому параметру С:;(к) имеет вид

д -Ec(k) = уsign(d(k) - d(k - 1)) x

dcji

x (1 - tanh2(y(y(k) - d(k - 1))))Wji(k)шдj-^Li(-i(k)),

С учетом (4) алгоритм обучения на точках поворота смещений вэйвлет-активационных функций на основе градиентного алгоритма имеет вид

с.г(к + 1) = с.г(к) - ПсYsign(ё(к) - й(к - 1 ))х

где

x

c, k)

V;ci

X n ,

22

Wji(k) - синаптические веса вэйвлет-нейрона;

9ji(-i(k)) - вэйвлет-активацонная функция; nc - скалярный параметр скорости обучения, nc > 0.

Данный алгоритм обучения обладает достаточным быстродействием и вычислительной простотой, а основным его преимуществом является возможность ми-

Рисунок 5 - Прогнозирование временного ряда с помощью одного вэйвлет-нейрона

нимизации сдвига между фактическим сигналом и получаемым его прогнозом, что весьма важно при решении многих практических задач.

3 ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ

Эффективность работы вэйвлет-нейрона и предложенного алгоритма обучения (10), (11) и (15) исследовалась в процессе решения задачи прогнозирования и эмуляции сигнала вида

x(k) = sin(k) + sin(2, 3k).

Обучающая выборка содержит 10000 значений, а проверочная - 500 значений. Вэйвлет-нейрон имеет 5 синапсов, соответствующих 5 входам (x (k - 4 ), x( k - 3 ), x ( k - 2 ), x ( k - 1 ), x (k ), n = 5 ), и 10 вэйвлетов в каждом синапсе ( hi = 10, i = 1...5). Начальные значения синаптических весов генерировались случайным образом от -0, 1 до +0,1.

В качестве оценки качества прогноза использовалось несколько критериев:

среднеквадратичная ошибка

N

RMSE = N X

k = 1

- ТгеИегди°1е [24, 25] представляет собой процентное отношение правильно спрогнозированных направлений по отношению к фактическому направлению сигнала

Trefferquote =

N

N - 2Xsign(y (k) - d(k - 1 )) - sign(d(k) - d(k - 1 ))|

k = 1

N

x 100%,

- Wegstrecke, описываемый выражением (12).

На рис. 5 представлены результаты прогнозирования данных из тестового множества после 15 эпох обучения с параметрами а = 0, 99, nc = 0, 99. При этом обучение синаптических весов, смещений и растяже-

Таблица 1 — Результаты прогнозирования временного ряда

Алгоритм обучения вэйвлет-нейрона Количество параметров RMSE Wegstrecke Trefferquote

Алгоритмы обучения параметров вэйвлет-синапса (10), (11), (15) 450 0.043 0.953 92.6 %

Градиентный алгоритм обучения параметров вэйвлет-синапса 450 0.080 0.745 82.2 %

ний вэйвлет-активационных функций проводилось следующим образом: синаптические веса настраивались в (2b - 1 ) эпохах, смещения вэйвлет-активационных функций настраивались в (4b - 2) эпохах, растяжения вэйвлет-активационных функций настраивались в ( 4 b) эпохах, где b = 1.(— количество эпох обучения).

Результаты прогнозирования на основе алгоритма обучения на точках поворотов сравнивались с результатами прогнозирования вэйвлет-нейрона, обученного стандартным градиентным алгоритмом обучения. Результаты приведены в таблице 1.

Таким образом при одинаковом количестве настраиваемых параметров, вэйвлет-нейрон с предложенным алгоритмом обучения на точках поворота обладает более высоким качеством прогноза и скоростью обучения.ВЫВОДЫ

Предложен новый алгоритм обучения вэйвлет-нейрона, позволяющий настраивать все его параметры и обладающий как следящими, так и фильтрующими свойствами, а также позволяющий частично справиться с эффектом сдвига сигнала прогноза. Метод обучения прост в реализации и обеспечивает высокое качество обработки сигналов, что подтверждено результатами экспериментов. Возможность работы в реальном времени расширяет функциональные свойства вэйвлет-нейроных сетей.

ПЕРЕЧЕНЬ ССЫЛОК

1. Shepherd, A. J. Second-Order Methods for Neural Networks. - London: Springer-Verlag, 1997. - 145 p.

2. Goodwin G. C, Ramadge P. J., Caines P. E. A globally convergent adaptive predictor // Automatica. - 1981. -

№ 17. - P. 135-140.

3. Bodyanskiy Ye., Vorobyov S., Stephan A. Detection of NARMA sequence order using recurrent artificial neural networks // Proc. European Control Conference ECC'99. - Karlsruhe, Germany, 1999. - P. 495-500.

4. Дзядык В. К. Введение в теорию равномерного приближения функций полиномами. - М.: Наука, 1977. -

511 с.

5. ImhoffS. A., Roeum D. Y, Rosiek M. R. New classes of frame wavelets for applications, / In «Wavelet Applications II.» Ed. by H. H. Szu. - Proc. SPIE - The International Society for Optical Engineering. - 1995. - Vol. 2491.-

P. 923-934.

6. Rioul O., Vetterli M. Wavelets and signal processing // IEEE Signal Processing Mag. - 1991. - № 8. - P. 14-38.

7. Resnikoff H. L. Wavelets and adaptive signal processing / Adaptive Signal Processing. Ed. by S. Haykin. - Proc. SPIE-Int. Soc. Optical Engineering. - 1991. - Vol. 155. -

P. 370-382.

8. Zhang B. L, Coggins R, Jabri M. A, Dersch D, Flower B. Multiresolution forecasting for futures trading using wavelet decomposition // IEEE Trans. on Neural Networks. - 2001. - № 12. - P. 765-774.

9. Daubechies I. The wavelet transform, time-frequency localization and signal analysis // IEEE Trans. on Information Theory. - 1990. - № 36. - P. 961-1005.

10. Mallat S. G. A theory for multiresolution signal decomposition: The wavelet representation // IEEE Trans. on Pattern Anal. Machine Intell. - 1989. - № 11. - P. 674693.

11. MararJ. F, Filho E. C, Vasconcelos G. C. Function approximation by polynomial wavelet generated from powers of sigmoids / Wavelet Applications III. Ed. by H. H. Szu. -Proc. SPIE-The International Society for Optical Engineering. - 1996. - Vol. 2762. - P. 365-374.

12. Jiao L., Pan J., Fang Ya. Multiwavelet neural network and its approximation properties // IEEE Trans. on Neural Networks. - 2001. - 12. - P. 1060-1066.

13. Szu H. H., Telfer B. A., Kadambe S. Neural network adaptive wavelets for signal representatin and classification // Optical Engineering. - 1992. - 31. - № 9. - P. 19071916.

14. Zhang Q., Benveniste A. Wavelet networks // IEEE Trans. on Neural Networks. - 1992. - № 3. - P. 889-898.

15. Chang P. - R., Yeh B. - F. Nonlinear communication channel equalization using wavelet neural networks // IEEE Tran. on Neural Networks. - 1995. - № 6. -P. 923-934.

16. Aussem A, Campbell J., Murtagh F. Wavelet-based feature extraction and decomposition strategies for financial forecasting // J. Comput. Intell. Finance. - 1998. -

march. - P. 5-12.

17. Aussem A., Murtagh F. Combining neural networks forecasts on wavelet transformed time series // Connection Science. - 1997. - № 9. - P. 113-121.

18. Kobayashi K., Torioka T. A wavelet neural network for function approximation and network optimization / Intelligent Engineering Systems Through Artificial Neural Networks. Ed. byC. H. Dagli, B. R. Fernandez, J. Ghosh, R. T. S. Kumara. - 1994. - Vol. 4. - P. 505-510.

19. Lekutai G., van Landingham H. F. Self-tuning control of nonlinear systems using neural network adaptive frame wavelets // Proc. IEEE Int. Conf. on Systems, Man and Cybernetics. - Piscataway, N. J. - 1997. - Vol. 2. -

P. 1017-1022.

20. Бодянский E. В., Винокурова E. А. Обучение искусственных всплеск-нейронных сетей при обработке нестационарных стохастических сигналов // Радиоэлектроника и информатика, 2003. - № 1 (22). -С. 85-89.

21. Бодянский E. В., Винокурова E. А., Плисс И. П. Адаптивный алгоритм обучения полиномиального вэйвлет-нейрона // Автоматика 2003: Материалы 10-й международной конференции по автоматическому управлению, г. Севастополь, 15-19 сентября 2003 г.: в 3-х т., - Севастополь: Изд-во СевНТУ, 2003. - Т. 3. -С. 32-34.

22. Винокурова Е. А., Ламонова Н. С. Обучение вэйвлет-нейронной сети на скользящем окне // Междунар. научно-практическая конф. «Интеллектуальные системы принятия решений и информационные технологи»: Сб. научн. трудов. - Черновцы: ЧФЮИ, 2004. - С. 58-59.

23. Бодянский Е. В., Винокурова Е. А. Адаптивный вэйв-лет-нейронный предиктор // Проблемы бионики. - 2003. - Вып. 58. - С. 10-17.

24. Baumann M. Nutzung neuronaler Netze zur Prognose von Aktienkursen. - Report Nr. 2/96, TU Ilmenau, 1996. -

113 p.

25. Fueser K. Neuronale Netze in der Finanzwirtshaft. -Wiesbaden: Gabler, 1995. -437 p.

Надшшла 21.10.05

В cmammi запропоновано методы прогнозування та емуляцп на оcновi гiбрuднux алгор-umMie обчжлювалъного iнmелекmу, а саме глбридних вейвлет-нейронних мережах. Розглянуто cmрукmуру вейвлеm-нейрону i процедуру нас-mроювaння уcix його пaрaмеmрiв: cuнaпmuчнux ваг ma па-

раметр1в розтягання (ширини) вейвлет-активацшноЧ функцИ - град1ентним алгоритмом зг згладжуванням, а параметр1в зсуву (центри) вейвлет-активацшноЧ функ-цп - алгоритмом навчання на точках повороту. Алгоритм навчання на точках повороту дозволяв м1тм1зу-вати ефект зсуву сигнала прогнозу в{дносно фактичного сигналу.

In the paper, the prediction and emulation methods based on hybrid algorithms of computational intelligence are proposed. The structure wavelet neuron and the learning procedure of all its parameters: the synaptic weight and the dilation factors of wavelet activation function using gradient algorithm with smoothing, and translation factors of wa-veet activation function using learning algorithm on the turning-points are considered. The turning-points learning algorithm allows minimize an effect of prognosis signal shifts with respect to the real signal.

УДК 681.5

С. А. Качур

МЕТОДОЛОГИЯ ПОСТРОЕНИЯ МОДЕЛИ НЕЙРОКОМПЬЮТЕРА НА ОСНОВЕ СЕТЕЙ ПЕТРИ КАК АДАПТИВНОЙ СИСТЕМЫ

УПРАВЛЕНИЯ

Предложена методика построения нейрокомпьютера на основе понятий и методов следующих областей знаний: 1) физиологии человека; 2) теории автоматического управления; 3) искусственного интеллекта; 4) теории сетей Петри; 5) теории системного анализа.

ВВЕДЕНИЕ

Под нейрокомпьютером (НК) будем понимать «искусственный мозг», который строится и функционирует по аналогии с мозгом человека [1]. Хотя еще не созданы такого типа нейрокомпьютеры, попытки их разработки являются актуальными. Аналогия нейрокомпьютера с человеческим мозгом условна, т. к. процесс мышления является духовной деятельностью и в целом присущ только человеческому мозгу [2]. Несмотря на это, представления о принципах организации человеческого сознания дают ключ к построению нейрокомпьютера, способного выполнять обработку информации и принимать решение при определенных ограничениях. Такие организационные принципы были выдвинуты американским физиологом В. Маункаслом [2]. В настоящее время ученые пытаются найти способы проверки этой концепции.

© Качур С. А., 2005

1 ПОСТАНОВКА ПРОБЛЕМЫ СОЗДАНИЯ

СОВРЕМЕННОГО НК

Проблема состоит в построении таких моделей и (или) проведении таких экспериментов, при которых сознание рассматривается целостно, а не расчленяется на отдельные структурные или функциональные составляющие.

Для решения данной проблемы предлагается:

1) выделить блоки нейронных сетей по глобальному характеру функционирования в рамках НК;

2) определить модель иерархии управления (алгоритмов управления) как основу для реализации интеллектуального управления;

3) описать все блоки НК и их взаимосвязи на базе СП.

2 ОСНОВНЫЕ ПОЛОЖЕНИЯ

МЕТОДОЛОГИИ ПОСТРОЕНИЯ НК

С точки зрения теории автоматического управления в некотором приближении организацию сознания можно представить в следующем виде. С одной стороны, человеческий мозг является оптимальной адаптивной