Использование дельта-преобразований при обучении нейронных сетей

УДК 681.327.22:007.52

Кравченко П.П., Таранов А.Ю.

ИСПОЛЬЗОВАНИЕ ДЕЛЬТА-ПРЕОБРАЗОВАНИЙ ПРИ ОБУЧЕНИИ НЕЙРОННЫХ СЕТЕЙ

В настоящее время активно развивается новая прикладная область математики, специализирующаяся на искусственных нейросетях. Актуальность таких исследований подтверждается массой различных применений нейросетей: распознавание образов, прогнозирование, сжатие информации и так далее.

В настоящее время известно достаточно большое количество методов обучения нейросетей: правило Хебба, метод имитации отжига (машина Больцмана) и другие. Однако большинство данных методов не отличаются высокой скоростью обучения нейронных сетей. Кроме того, существует проблема попадания в локальные минимумы в процессе поиска весовых коэффициентов нейронной сети.

При использовании одного из самых простых методов обучения нейросети (так называемого дельта-правила), используется, по своей сути, дельтапреобразования первого порядка, которые, как известно, не дают достаточной (то есть высокой) скорости обработки данных [1,2]. В связи с этим представляет интерес рассмотрение вопроса использования теории более высокопроизводительных оптимизированных дельта-преобразований второго порядка [1].

В данной теории рассматриваются методы оптимизации переходных и установившихся процессов на базе дельта-преобразований второго порядка, характеризующихся широкими возможностями управления характеристиками переходных процессов. Поскольку процесс обучения нейронной сети в общем и процесс корректировки весовых коэффициентов в частности, являются переходными процессами, можно предположить: использование дельта-

преобразований второго порядка должно позволить сократить время переходных процессов и, как следствие, время обучения нейронной сети.

Применение теории оптимизированных дельта-преобразований второго порядка также перспективно и для решения проблемы попадания в локальные минимумы, характерной для процессов обучения нейронных сетей.

1. Кравченко П.П. Основы теории оптимизированных дельтапреобразований второго порядка. Цифровое управление, сжатие и параллельная обработка информации: Монография. Таганрог: Изд-во ТРТУ, 1997. - 200 с.

2. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. Таганрог: Изд-во ТРТУ, 1997. - 192 с.