Способ управления реакцией нейропроцессора на входные сигналы
CONTROL METHOD OF NEUROPROCESSOR RESPONSE TO INPUT SIGNALS

Известна техническая и математическая модель искусственного нейрона [1-4]. Первая модель предложена в работе [1]. Позже [2], на основе таких моделей нейронов, реализованы первые искусственные нейронные сети (персептроны) для решения задач распознавания изображений букв. Подобные искусственные нейроны используются в качестве функциональной единицы всех современных искусственных нейронных сетей [3, 4] и представляют собой устройства с несколькими входами и одним выходом. Входные сигналы, поступая на входы, перемножаются с соответствующими весовыми коэффициентами, суммируются и преобразуются функцией передачи, в качестве которой может использоваться пороговая, линейная, сигмоидальная, гиперболическая и др. [3, 4]. Такая модель нейрона позволяет, хотя и достаточно грубо, воспроизводить некоторые из функций естественного нейрона. Объединяя искусственные нейроны в слои и сети, в совокупности с алгоритмами обучения, можно добиться приемлемого решения нейронной сетью сложных задач, не поддающихся адекватной формализации [3, 4].
Известна модель простейшего персептронного нейрона с двумя входами, парой весовых коэффициентов, сумматором и активационным блоком [3, 4]. Достоинством такой модели является возможность реализации ею большинства логических булевых функций. Так, для двух переменных, согласно [5], существует набор из 16 функций алгебры логики.
1
2
1
2
1
2
1
1
2
2
Наиболее близкой по техническим возможностям к предлагаемой модели нейрона является модель простейшего персептронного нейрона с двумя входами, парой весовых коэффициентов, сумматором и активационным блоком [6], устраняющая проблемы нереализуемости логической функции неравнозначности. Модель нейрона, реализующая логическую функцию неравнозначности, содержащая два входа, сигналы x и x, принимающие значения 0 или 1, с которых перемножаются с соответствующими весовыми коэффициентами ω и ω, где ω=1, а ω=-1,и поступают на сумматор, причем s∈(-l, 0, 1), где s - сумма с выхода сумматора, s=xω+xω, отличающаяся тем, что сумма s преобразуется в активационном блоке модульной функцией активации видаа затем пороговой функцией
где Р - величина порога, Р=0,5, f(x) - функция на выходе нейрона. Данная модель устраняет проблемы нереализуемости логической функции неравнозначности, оставляя нерешенным вопрос разделения линейно неразделимых классов объектов. Однако она, как и все перечисленные выше модели выполняет функцию линейного разделения классов с помощью гиперплоскости, построенной в многомерном континуальном пространстве.
Предлагаемый способ управления реакцией нейропроцессора (НП) на входные сигналы направлен на устранение рассмотренного недостатка (проблемы разделения линейно неразделимых классов объектов) известных моделей нейрона. Аппроксимация многомерных функций позволяет учитывать нелинейные свойства поверхности разделения классов объектов в N-мерном континуальном пространстве. На основе экспериментальных или теоретических данные о поведении НП в заданных точках многомерного континуального пространства его параметры настраиваются путем обучения на исчисление реакции во всей области поиска решений.
1
2
N
i
i
i
1
2
N
1
2
N
1min
1max
2min
2max
Nmin
Nmax
i
1min
1max
N
*
*
N-1
В патентуемом способе управления реакцией нейронного процессора (НП) на входные сигналы (стимулы) x, x,…, x в каждую ячейку запоминающего устройства (ЗУ) НП записывают кортеж значений параметров  где F - фиксированное значение реакции НП на комбинацию значений стимулов  комбинации значений стимулов в ЗУ получают перебором значений каждого воздействия x из возрастающей последовательности фиксированных значений  где K - количество фиксированных значений стимулов x, из соседних значений последовательности X в ЗУ образуют K-1 интервалов по каждому стимулу, перебором интервалов по всем переменным x, x, …, x образуют (K-1) подобластей Ω в области Ω определения реакции НП F(x, x, …, х), на N входов НП подают стимулы  определяют принадлежность поданных сигналов некоторой подобласти Ω, ограниченной интервалами  где x, x, x, x, …, x, x - ближайшие значения стимулов из последовательностей X, i изменяется от 1 до N, в интервале (x, x) вычисляют 2 интерполирующих значений реакции НП (ИЗРН) F по формуле
*
где i - номер промежуточного ИЗРН F на первом шаге вычисления,  - крайние значения стимулов, ограничивающие выбранную подобласть Ω в N-мерной области определения реакции НП,
jmin
jmax
N-j
на j-м шаге в интервале [x, X) вычисляют 2 ИЗРН F по формуле
Nmin
Nmax
i
1
2
S
1
2
S
1
2
N
1
2
S
1
2
S
*
*
*
*
*
*
*
*
*
N
*
N
где i - номер промежуточного ИЗРН на j-м шаге (j изменяется от 2 до N), на N-м шаге в интервале [х, x) при j=N по формуле (3) вычисляют искомое значение реакции НП  на сигналы  для настройки НП в каждую ячейку ЗУ записывают кортежи значений параметров  где  - комбинация заданных значений стимулов, получаемая для каждого стимула x из возрастающей последовательности  - начальное значение реакции НП при заданных значениях стимулов, формируют обучающие кортежи  состоящих из эталонного сигнала d и соответствующих ему стимулов  на обучающий вход НП поочередно подают эталонные сигналы d, d, … d, образующие обучающую выборку (эпоху), а на сигнальные входы НП подают соответствующие каждому эталонному сигналу d∈{d, d,… d} стимулы х, х,…, х, эталонные сигналы выбирают так, чтобы в каждой подобласти Ω∈Ω находился хотя бы один обучающий кортеж, при подаче очередного эталонного сигнала d∈{d, d,… d} и стимулов  определяют подобласть Ω, внутри которой находится обучающий кортеж  вычисляют реакцию F НП на стимулы  вычисляют невязку е=d-F, выполняют пошаговое вычисление невязок в вершинах параллелепипеда, ограничивающего подобласть Ω, для этого на первом шаге вычисляют невязку в точке  по формуле  и невязку в точке  по формуле  где  на втором шаге вычисляют невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке по формуле  где  на третьем шаге вычисляют невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке  по формуле   невязку в точке  по формуле  невязку в точке  по формуле  невязку в точке  по формуле  где  и так далее, продолжая вычисления, на N-м шаге рассчитывают невязку во всех 2 вершинах N-мерного параллелепипеда, ограничивающего подобласть значений Ω, выполняют корректировку значений реакции F в ЗУ во всех 2 вершинах N-мерного параллелепипеда на величины рассчитанных в них невязок, процедуры расчета невязок и коррекции значений реакции НП F повторяют для всех эталонных обучающих сигналов d, d,… d до тех пор, пока не будет достигнут приемлемое отклонение расчетных значений от эталонных в кортежах.
i
i
1
2
3
1
2
3
1min
1max
2min
2max
3min
3max
1
2
3
3
*
*
Рассмотрим вычисление реакции НП на примере с тремя входными сигналы. Перед началом работы процессора в ЗУ загружаются исходные значения управляющего сигнала (конечное дискретное множество Ψ четких значений функции F), которые получают на множестве Θ фиксированных опорных точек по результатам экспериментальных или теоретических исследований N-мерной функции F. Каждая фиксированная точка представлена в ЗУ кортежем  где F - выбранное значение реакции НП при исходных дискретных значениях стимулов  Комбинации значений стимулов в ЗУ получают перебором значений каждого стимула х, из возрастающей последовательности фиксированных значений  где K - количество фиксированных значений стимулов х. Выбирая из последовательностей Х, Х и Хсоседние значения стимулов в ЗУ образуют K-1 интервалов по каждому стимулу. Комбинируя интервалы, образуют (К-1) подобластей Ω в области Ω определения реакции НП F(x, x, x) Если на входы НП поданы сигналы  то определяется подобласть Ω, ограниченная интервалом  где x, x, x, x, x, x - ближайшее значения стимулов из последовательностей X, Х и Х.
На фиг. 1 приведена иллюстрация порядка исчисления НП реакции при трех входных сигналах  На первом этапе с помощью формулы (1) процессор рассчитывает промежуточные ИЗРН  в точках 3, 6, 10, 13. Для расчета ИЗРН  в точке 3 в формулу (1) подставляются значения функции в точках 1, 2 и координаты  Для расчета  в точке 6 в формулу (1) подставляются значения функции в точках 4 и 5 и координаты  Для расчета  в точке 10 в формулу (1) подставляются значения функции в точках 8 и 9 и координаты  Для расчета  в точке 13 в формулу (1) подставляются значения функции в точках 11 и 12 и координаты  На втором этане, используя рассчитанные ранее промежуточные ИЗРН
Для расчета ИЗРН  в точке 7 в формулу (3) подставляются значения ИЗРН  в точках 3, 6 и координаты  Для расчета ИЗРН  в точке 14 в формулу (3) подставляются значения ИЗРН  в точках 10, 13 и координаты
На последнем этапе расчета вычисляется значение реакции НП на стимулы  в точке 15 с координатами  Для этого в формулу (3) подставляются значения ИЗРН  и координаты
1
2
3
1
2
S
На том же примере (Фиг. 1) проиллюстрируем настройку (обучение) НП. Структура НП изображена на фиг. 2. Обучение выполняется путем подачи на входы расчетного блока 16 стимулов x, x, x 17 и обучающих эталонных сигналов d, d, … d 18 на сумматор 19.
*
N
*
*
*
*
*
*
*
1
2
S
1
2
3
Очередной i-й шаг обучения начинается с подачи эталонного сигнала d∈{d, d, … d} 18 и соответствующих ему значений стимулов  18. В расчетном блоке 16 по значениям стимулов и значениям фиксированных опорных точек из ЗУ 20 определяют точку 15 внутри одной из (K-1) подобластей Ω в области Ω определения функции F(x, х, х). В расчетном блоке 16 определяется текущее значение реакции F(X) НП на стимулы  В сумматоре 19 вычисляется невязка е=d-F(X) (точка 15 на Фиг. 1). Далее переходят к распространению невязок от точки Xк вершинам параллепипеда, ограничивающего подобласть Ω. На первом шаге вычисляют (блок 21) невязку в точке 7 с координатами  по формуле  и невязку в точке 14 с координатами  по формуле  где
На втором шаге вычисляют невязку в точке 3 с координатами  по формуле  (блок 22), невязку в точке 6 с координатами  по формуле  (блок 22), невязку в точке 10 с координатами  по формуле  (блок 23), невязку в точке 13 с координатами  по формуле  (блок 23), где
1min
2min
3min
1max
2min
3min
1min
2max
3min
1max
2max
3min
1min
2min
3max
1max
2min
3max
1min
2max
3max
1max
2max
3max
На третьем шаге вычисляют: невязку в точке 1 с координатами (x, x, x) по формуле  невязку в точке 2 с координатами (х, x,х) по формуле  (блок 24), невязку в точке 4 с координатами (х, х, x) по формуле  невязку в точке 5 с координатами (x, x, x) по формуле  (блок 25), невязку в точке 8 c координатами (х, х, х) по формуле  невязку в точке 9 с координатами (x, х, x) по формуле  (блок 26), невязку в точке 11 с координатами (x, х, x) по формуле  невязку в точке 12 с координатами (x, x, x) по формуле  (блок 27), где
*
В результате проведенных вычислений на третьем шаге получены значения невязок во всех 8-ми вершинах куба, ограничивающего область Ω попадания значений стимулов  которые применяют для корректировки значений функции F в фиксированных опорных точках в ЗУ 20.
*
Применяемые в способе обучения НП формулы расчета невязок выбраны из условия минимизации невязок, распространяемых в вершины N-куба области Ω.
Работу алгоритма обучения иллюстрирует пример аппроксимации с помощью НП функции Cos(x).
Обучение НП выполнялось в интервале значений аргумента [0, π]. Интервал обучения был разбит на семь равных отрезков. Внутри отрезков были заданы опорные (точные) значения функции, которые подавались на вход НП вместе с значениями переменной x в опорной точке. В исходном состоянии все опорные значения НП были обнулены.
Невязки рассчитывались внутри каждого интервала и передавалась на его края для коррекции значений опорных точек. В процессе обучения одной эпохи процедуры коррекция опорных значений выполнялись последовательно от самого левого отрезка интервала обучения к правому. После каждой эпохи обучения регистрировалась максимальная невязка НП с образцовыми значениями.
Процесс обучения показал хорошую сходимость. После 15-й эпохи ошибка аппроксимации стала менее 1% и продолжала уменьшатся. На фиг. 3 приведена иллюстрация аппроксимации функции COS после первой и четвертой эпох обучения.
НП может быть применена для классификации линейно неразделимых классов объектов.
1
Классический подход к классификации образов опирается на байесовскую теорию проверки гипотез. На входы байесовского классификатора поступают параметры вектора наблюдений  которые передаются на входы двух интерполирующих процессоров. Первый процессор аппроксимирует значения функции выбора класса C:
2
второй значения функции выбора класса С:
1
2
11
12
21
22
1
2
, где  - функции плотности вероятности случайного вектора  при условии, что он принадлежит пространству Х (Х), параметры c,c, c,c, p,p определяются условиями решаемой задачи [7]. НП позволяет строить нелинейные функции (4) и (5) в процессе обучения при подаче на вход НП обучающих сигналов. Структура устройства, выполняющего функцию разделения двух классов, показана на Фиг. 4.
1
2
n
1
2
Устройство состоит из двух НП 28 и 29, выполняющих с помощью патентуемого способа исчисления значений реакции НП на подаваемые стимулы х, х,…, х исчисление функций  и компаратора 30 выполняющего сравнение значений. Если  выбирается класс C 31. В противном случае - класс С 32.
Таким образом, предлагаемая модель нейропроцессора, реализуя модель нелинейной разделяющей поверхности, преодолевает проблему разделения линейно неразделимых классов объектов. Предлагаемый способ позволяет распараллеливать вычисления значений функции, что создает возможности повышения скорости НП в десятки раз по сравнению с традиционной моделью на основе персептрона. В последнем случае НП должен быть выполнен на аналоговых схемах, которые не требуют аналогово-цифровых преобразований входных сигналов.
Источники информации
1. McGuIIoch W.S., Pitts W. A logical calculus of the ideas imminent in nervous activity. // Bulletin of Mathematical Biophysics, vol.5, 1943, pp.115-133. (Рус. перевод: Маккаллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. / Под ред. К.Э.Шеннона, Дж.Маккарти. - М.: ИЛ, 1956).
2. Rosenblatt F. Principles of neurodinamics. Perceptrons and the theory of brain mechanisms. Spartan Books, Washington, 1962. (Рус.перевод: Розенблатт Ф. Принципы нейродинамики. Нерцептроны и теория механизмов мозга. / Под ред. С.М.Осовца. - М: Мир, 1965 - 480 с).
3. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.
4. Wasserman P. Neurocomputing. Theory and practice, Nostram Reinhold, 1990. (Рус. перевод: Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. / Пер. с англ. Ю.А. уев, В.А.Точенов. - М.: Мир, 1992. - 240 с).
5. Куринной Г.Ч. Математика: Справочник. - Харьков: Фолио; Ростов н/Д: Феникс, 1997. - 463 с.
6. Самойлин Е. А. Патент RU №2269155 от 22.08.2003 МПК G06G 7/06 (2006.01) Модель нейрона, реализующая логическую функцию неравнозначности.
7. Осовский С.Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.: ил.