СПОСОБ И УСТРОЙСТВО ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОННОЙ СЕТИ
METHOD AND DEVICE OF INTELLECTUAL PROCESSING OF INFORMATION IN NEURAL NETWORK

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.
В настоящее время известны многие способы и устройства интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).
Однако всем им характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти известные способы и устройства не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью. Они не обеспечивают возможностей наделения машин осознанным восприятием внешнего мира и осознанного активного взаимодействия с ним. В целом известным способам и устройствам свойственны узкие функциональные возможности по интеллектуальной обработке информации в нейронной сети.
Наиболее близким аналогом изобретения среди способов является способ интеллектуальной обработки информации в нейронной сети, включающий подачу в рекуррентную многослойную сеть сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, представление сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами распознавания с учетом обратных результатов распознавания, запоминание результатов распознавания на элементах сети, выдачу результатов обработки с выходного слоя сети (Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. - М.: Издательский дом «Вильяме», 2006. С.923-925).
Этому способу характерны следующие недостатки: быстрое размывание структур сигналов в сети из-за наложения их друг на друга, низкий уровень устойчивости ее функционирования и, как следствие, узкие функциональные возможности по интеллектуальной обработке информации.
Наиболее близким аналогом изобретения среди устройств выступает устройство, содержащее первый слой нейронов, первый вход которого является входом устройства, второй вход соединен с выходом второго блока динамических синапсов, выход - с входом первого блока динамических синапсов, второй слой нейронов, вход которого соединен с выходом первого блока динамических синапсов, выход - с входом второго блока динамических сигналов (Patent US 6,643,627 В2 Nov.4, 2003).
К недостаткам этого устройства относятся ограниченные возможности по обработке различных видов сигналов, их распознаванию, запоминанию, извлечению из памяти сети. Имеет место размывание структур сигналов при обработке. Устройство не позволяет реализовать у машин искусственное мышление с широкими возможностями по интеллектуальной обработке информации. Это обусловлено ограниченными возможностями устройства по управлению динамическими синапсами и несовершенством самих этих синапсов, слабым учетом временных факторов при обработке сигналов.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.
Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении запоминания, распознавания сигналов и извлечения их из сети.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в рекуррентную многослойную сеть сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, запоминании результатов распознавания на элементах сети, согласно изобретению каждую составляющую сигнала перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, сигнал подают в сеть с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, при передаче совокупностей единичных образов от слоя к слою сдвигают их вдоль слоев с учетом текущих состояний слоев, в качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы.
Также согласно изобретению при запоминании результатов распознавания на элементах сети запоминают информацию о единичных образах, поступивших на синапсы нейронов, только при возбуждении нейронов.
Описанный способ реализуется устройством интеллектуальной обработки информации в нейронной сети, содержащим первый слой нейронов, первый вход которого является входом устройства, второй вход соединен с выходом второго блока динамических синапсов, выход - с первым входом первого блока динамических синапсов, второй слой нейронов, вход которого соединен с выходом первого блока динамических синапсов, выход - с первым входом второго блока динамических сигналов, согласно изобретению, в которое дополнительно вводят блок управления синапсами, первый вход которого соединен с выходом первого слоя, являющимся выходом устройства, второй вход - с выходом второго слоя, первый выход - с вторым входом второго блока динамических синапсов, второй выход - с вторым входом первого блока динамических синапсов, первый блок единичных задержек между первым слоем и первым блоком динамических синапсов, второй блок единичных задержек между вторым слоем и вторым блоком динамических синапсов.
При этом согласно изобретению блоки динамических синапсов выполнены с возможностью сдвига совокупностей единичных образов вдоль слоев нейронов и возможностью запоминания синапсами информации о поступивших на них единичных образах только при возбуждении нейронов.
Результаты биологических исследований свидетельствуют, что информация об амплитуде внешних воздействий на человека передается в мозг через частоту повторения единичных образов, а время невосприимчивости биологических нейронов после их возбуждения существенно больше времени прохождения по ним информации.
Кроме этого, между электрическими зарядами в биологической нейронной сети имеют место как силы притяжения, так и силы отталкивания, которые влияют на направление потоков электрических сигналов.
С учетом этого авторы изобретения предлагают каждую составляющую сигнала перед подачей в сеть преобразовывать в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, что является новым существенным признаком изобретения.
Другим новым существенным признаком изобретения выступает то, что предлагается подавать сигнал в сеть с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения.
Следующим новым существенным признаком изобретения выступает также то, что при передаче совокупностей единичных образов от слоя к слою предлагается сдвигать их вдоль слоев с учетом текущих состояний слоев.
Существенным признаком изобретения является также то, что в качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы.
Кроме этого, при запоминании результатов распознавания на элементах сети предлагается запоминать информацию о единичных образах, поступивших на синапсы нейронов, только при возбуждении нейронов, что также является новым существенным признаком изобретения.
Новым существенным признаком изобретения в части устройства выступает дополнительное введение блока управления синапсами, первый вход которого соединен с выходом первого слоя, второй вход - с выходом второго слоя, первый выход - с вторым входом второго блока динамических синапсов, второй выход - с вторым входом первого блока динамических синапсов.
Другим новым существенным признаком изобретения в части устройства является дополнительное введение первого и второго блока единичных задержек, соответственно, между первым слоем и первым блоком динамических синапсов, между вторым слоем и вторым блоком динамических синапсов. Введение этих задержек обеспечивает запас времени на выработку в блоке управления синапсами своевременных воздействий на блоки динамических синапсов.
Новым существенным признаком изобретения в части устройства выступает и то, что блоки динамических синапсов выполняют с возможностью сдвига совокупностей единичных образов вдоль слоев нейронов и возможностью запоминания синапсами информации о поступивших на них единичных образах только при возбуждении нейронов.
Сущность изобретения поясняется фиг.1-4.
На фиг.1 приведена структурная схема устройства интеллектуальной обработки информации в двухслойной нейронной сети, реализующего предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.
На фиг.2 представлена схема, поясняющая особенности управления динамическими синапсами нейронов в предложенном устройстве (фиг.1) для осуществления сдвигов совокупностей единичных образов вдоль слоев нейронов, где 1.1÷1.n, 5.1÷5.n - нейроны, соответственно, первого и второго слоя; 2.1÷2.n, 6.1÷6.n - элементы единичных задержек, соответственно, первого и второго блоков единичных задержек; 3.1÷3.m, 4.1÷4.m - динамические синапсы, соответственно, первого и второго блоков динамических синапсов; 7 - блок управления синапсами.
ij
ij
На фиг.3 приведен чертеж, раскрывающий понятие удаленности связываемых через синапсы нейронов, где 1, 2 - связываемые синапсом нейроны; 3 - расстояние между ними; 4 - расстояние между слоями; 5 - нейрон второго слоя, имеющий тот же порядковый номер в слое, что и у нейрона 1 первого слоя; 6 - проекция связи между нейронами 1, 2 на поле второго слоя нейронов; Δy, Δx - проекции на оси Y и X проекции 6.
На фиг.4а, б приведены схемы смены состояний слоев нейронов, поясняющие ассоциативное извлечение информации из памяти нейронной сети.
Способ осуществляется следующим образом.
Рассмотрим его на примере предложенного устройства интеллектуальной обработки информации в нейронной сети, структурная схема которого представлена на фиг.1.
Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения, как предварительно заданной функцией от амплитуды составляющей, подают на этот слой. Разложение может осуществляться как по частотным, пространственным, так и частотно-пространственным составляющим, например с применением известных способов разложения сигналов в ряды Фурье. Для разложения сигнала на составляющие и преобразования каждой составляющей сигнала в последовательность единичных образов с частотой повторения, как предварительно заданной функцией от амплитуды составляющей, применимы специальные процессорные устройства.
В качестве предварительно заданной функции для частоты повторения единичных образов в зависимости от амплитуды составляющей может использоваться, например, линейная функция. За каждым номером последовательности закрепляется в общем случае частотная и пространственная составляющая, соответствующая исходному сигналу. После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале. Информация о фазе передается через относительные задержки единичных образов.
После задержки в первом блоке единичных задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5 (фиг.2).
ij
ij
ij
ij
Особенность динамических синапсов устройства в следующем. Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес w(t) синапса. Веса w(t) синапсов предлагается определять через произведение их весовых коэффициентов k(t) и функций ослабления β(r(t)),
ij
ij
Весовые коэффициенты, k(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Для каждого динамического синапса, связывающего i-й нейрон с j-м нейроном, определение весового коэффициента k(t) на момент времени t поступления на синапс очередного единичного образа через интервал времени Δt применимо правило:
ij
ij
ij
где g(t), g(t-Δt) - число запомненных синапсом единичных образов, соответственно, на момент времени t и t-Δt с учетом их забывания, g(0)=0;
λ(Δt) - функция забывания единичных образов, например вида λ(Δλ)=1/(1+η·Δt);
γ, η - положительные коэффициенты. В частном случае η=0, γ=0,5.
Однако для запоминания на синапсах информации о единичных образах предлагается использовать другое правило:
В соответствии с (2)÷(4) весовые коэффициенты синапсов принимают значения в пределах от нуля до единицы.
ij
ij
Функции β(r(t)) ослабления единичных образов в (1) зависят от r(t) - условной удаленности связываемых через синапсы нейронов (условных расстояний между ними) на текущий момент времени.
ij
Для расчета β(r(t)) применима формула:
где h - степень корня. Чем она выше, тем шире ассоциативное взаимодействие в сети;
ij
ij
ij
ij
α - положительный постоянный коэффициент. Например, при h=2 величина α может быть равной 9,0. С учетом этого, для случая r(t)=0 имеем β(r(t)=1, для r(t)=1 величина β(r(t)) равна 0,1.
ij
Определение r(t) для каждого динамического синапса при отсутствии управления со стороны блока управления синапсами, полагая, что расстояние 4 между слоями пренебрежимо мало, сводится к расчету длины проекции 6 через ее проекции на оси Y и Х (фиг.3),
ij
ij
Значения Δy, Δx для синапсов, при отсутствии управления ими, можно рассчитать в единицах нейронов через порядковые номера связываемых нейронов во взаимодействующих слоях при заданных длинах их строк и столбцов.
ij
ij
ij
Управление такими синапсами с блока управления синапсами 7 для смещения совокупностей единичных образов вдоль слоев осуществляется путем изменения соответствующих условных расстояний r(t) между нейронами первого и второго слоев. Так, путем одновременного изменения, например, Δx(t) для всех синапсов второго слоя (первого блока динамических синапсов) на некоторую величину d, реализуется сдвиг текущей совокупности единичных образов вдоль этого слоя, что эквивалентно сдвигу второго слоя относительно первого слоя. Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов, в нем сначала анализируются состояния первого и второго слоя. В случае, когда на выходе первого слоя имеет место совокупность единичных образов, которую нельзя передать на второй слой по коротким связям (синапсам с минимальными функциями β(r(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов второго слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. При этом совокупности, сдвигаемые за пределы слоя, сдвигают относительно начала слоя на величину d. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.
В общем случае смещенные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.
Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеемая сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое в предлагаемом устройстве, реализующем способ, больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.
Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.
С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию, как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности.
Учитывая правило (4) между входом и выходом устройства, реализующего предлагаемый способ интеллектуальной обработки информации в нейронной сети, легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов. Заметим, что в качестве выхода также можно успешно использовать выход второго слоя.
С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например их цифровой синтез по известным параметрам.
Рассмотрим более детально работу предлагаемого устройства, реализующего способ и являющегося также предметом изобретения, с позиции смены состояний слоев нейронной сети.
Для случая подачи на вход устройства сигнала, который формирует на выходе первого слоя последовательные совокупности единичных образов в виде «К_ _О_ _Т», порядок смены состояний этого и второго слоев имеет вид, представленный, соответственно, в таблицах 1, 2. В этих таблицах каждому нейрону анализируемого слоя поставлены в соответствие свои текущие состояния на конкретном такте:
0 - состояние готовности нейрона к восприятию внешних воздействий;
1 - состояние возбуждения нейрона, при котором на его выходе имеет место единичный образ;
Х - состояние невосприимчивости нейрона, после его возбуждения.
Из таблицы 1 видно, что после появления на втором такте на выходе первого слоя совокупности единичных образов в виде «К», на 3 и 4 тактах все нейроны, сформировавшие эту совокупность, находятся в состояниях невосприимчивости. Совокупность единичных образов «К» на выходе первого слоя через один такт порождает на выходе второго слоя аналогичную совокупность «К» (третий такт в таблице 2).
Когда нет препятствий для возбуждения нейронов второго слоя нейронами первого слоя по коротким связям (синапсам с минимальными функциями ослабления) на втором слое возбуждаются нейроны с теми же порядковыми номерами, что и в первом слое. После возбуждения все нейроны переходят в состояния невосприимчивости. Сформированная на третьем такте, на выходе второго слоя, совокупность единичных образов «К» порождает на четвертом такте первого слоя аналогичную совокупность «К», но уже смещенную вправо на четыре ряда нейронов. Заметим, что слева от этой совокупности имеет место совокупность нейронов со структурой «К», но находящихся в состояниях невосприимчивости.
На пятом такте на выходе первого слоя появляется совокупность «О», порожденная входным сигналом. Совокупность «О» аналогичным образом изменяет состояния первого и второго слоев. При этом параллельно продолжается обработка смещенной совокупности «К» и так далее. В результате после завершения подачи в устройство сигнала с информационной структурой «К_ _О_ _Т», его нейронная сеть не только запоминает этот сигнал на синапсах нейронов, но и держит, не разрушая в своей оперативной памяти. Так наблюдая только за отдельными группами рядов 1÷3, 5÷7, 9÷11 нейронов первого слоя на протяжении 10 тактов, читаем сообщение «К_ _О_ _Т», которое ранее было введено в сеть.
Результаты изменения состояний первого и второго слоев нейронной сети при введении в устройство сигнала с информационной структурой «К_ _О_Т_ _ _ _И_ _ _ _М_ _Ы_ _Ш_ _Ь» сведены в таблицы 3, 4. В этих таблицах слои сети условно разделены на поля, равные величине постоянного сдвига совокупностей единичных образов. Состояние полей отражено на структурном уровне. Знак отрицания над литерами отражает факт нахождения нейронов, сформировавших ранее соответствующие структуры, в состояниях невосприимчивости.
Анализ в таблицах 3, 4 состояний отдельных полей слоев сети на протяжении еще большего числа тактов, подтверждает, что введенная в устройство информация в сети не разрушается. При этом в случае сдвига совокупностей единичных образов за пределы слоев они переносятся на начало слоев. Пример такого переноса отражен в таблице 3 (такты 35÷64). Заметим, что в таблицах 1÷4 отражен порядок смены состояний слоев при изначально чистой памяти сети.
В случае, когда сеть воспринимала ранее некоторую информацию, которая в усеченном виде снова поступила в нее, особенность порождения новых совокупностей единичных образов можно пояснить, используя фиг.4а, б. На фиг.4а показана схема смены состояний слоев нейронов при изначально ненулевой памяти, когда идет обработка в сети информации, совпадающей с ранее запомненной. Из этой схемы видно, что одновременно обрабатываемые совокупности единичных образов, как и отдельные образы, связываются друг с другом в соответствии с правилами (2)÷(4). В случае, когда идет обработка информации, в которой согласно фиг.4б отсутствует литера «М», она восстанавливается за счет литер «Т» и «К».
ij
Раскроем более подробно причины такого поведения нейронной сети. В соответствии с (2)÷(4) изначально возбуждение любого нейрона сети может произойти при поступлении на него единичного образа только через синапс с минимальной функцией ослабления (по самой короткой связи). При таком первичном возбуждении нейрона согласно (4) запоминаются все весовые коэффициенты k(t) его синапсов, по которым прошли единичные образы. При очередном возбуждении нейрона ситуация повторяется. Со временем за счет увеличения весовых коэффициентов длинных связей (синапсов) нейрона ситуация несколько меняется. Формируемый суммарный потенциал только от длинных связей начинает превышать порог возбуждения нейрона и возбуждать его даже при отсутствии единичного образа в короткой связи. С этого момента в сети в полной мере начинают проявляться эффекты корректного восстановления искаженной информации и ассоциативного извлечения из памяти другой информации, связанной с ней общими свойствами. Заметим, что структурно-сложные сигналы, поступившие в такую нейронную сеть в различные моменты времени, приводятся в ней к одним моментам времени и взаимно подкрепляют друг друга (таблицы 3, 4 и фиг.4). В соответствии с предлагаемым способом сеть наделяется механизмами полноценного ассоциативного мышления. Направление, глубина и качество мысли такой сети определяются, прежде всего, структурой запомненных знаний и исходными посылками в виде внешних сигналов.
В такой нейронной сети могут обрабатываться и не разрушаться сигналы с различной структурой. Это могут речевые, зрительные, обонятельные, тактильные и другие сигналы, предварительно, при необходимости, преобразованные и разложенные на составляющие в базисе, согласованном с входным слоем сети. Так для обработки цветных динамических образов первый слой сети необходимо разбить не только на поля, отвечающие за пространственные составляющие, но и за частотные составляющие, и обеспечить соответствующие сдвиги совокупностей единичных образов для первого и второго слоя. Пример такого обобщенного разбиения приведен в таблице 5. При обработке, например речевых сигналов без пространственной составляющей, первый слой нейронов достаточно разбить на поля 1.1, 1.2, 1.3, …, 1.n, закрепляемые за отдельными спектральными составляющими (таблица 6), и также обеспечить необходимые сдвиги совокупностей единичных образов для первого и второго слоев.
Научив устройство на основе нейронной сети, реализующее предлагаемый способ, правилам решения различных творческих задач, в том числе, например, по решению различных математических и управленческих задач, проверке информации по требованиям безопасности, распознаванию и прогнозированию структурно-сложных процессов, диагностике заболеваний по выявленным признакам, синхронному переводу речи с одного языка на другой, по восприятию внешнего мира и поведению роботов в непредсказуемых ситуациях, оно успешно будет справляться с ними.
Способ и устройство интеллектуальной обработки информации в нейронной сети могут быть реализованы с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а по заднему фронту входного импульса. Блоки динамических синапсов и блок управления ими могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.
Результаты математического моделирования работы этого устройства, реализующего предлагаемый способ, в среде MatLab, при одинаковом числе нейронов в каждом из двух слоев от 400 до 900, полностью подтвердили описанные выше возможности, которые существенно шире возможностей известных технических решений по интеллектуальной обработке информации в нейронной сети.