Нейроподобные растущие сети новая технология обработки информации

International symposium on the contribution of Europeans to the evolution and the achievements of computer technology 

COMPUTERS IN EUROPE. PAST, PRESENT AND FUTURE.

International symposium on the contribution of Europeans to the evolution and the achievements of computer technology 

COMPUTERS IN EUROPE. PAST, PRESENT AND FUTURE.

Нейроподобные растущие сети – новаЯ технологиЯ обработки информации

Ященко В. А.

Институт математических машин и систем  АН Украины, г. Киев, Украина

Введение. История развития Computer science свидетельствует о неуклонно растущем уровне информационных технологий и интеллектуализации вычислительных систем.

	Становление новой информационной технологии тесно связано с развитием искусственного интеллекта и обусловлено (по утверждению Г.Поспелова) тем, что в теории искусственного интеллекта были разработаны логико-лингвистические модели, позволяющие формализовать конкретные знания об объектах и протекающих в них процессах [1].

В.М.Глушков уделял большое внимание проблемам обработки информации и разработки интеллектуальных систем. В своих работах он подчеркивал важность интеллектуализации процессоров с двух позиций. Он говорил: "Идея интеллектуализации процессоров, решая свою основную задачу - упрощение общения пользователя с ЭВМ, способствует в то же время и решению другой важнейшей задачи - увеличению производительности ЭВМ"[2]. Действительно, использование макроопераций в вычислительном процессе  существенно повышает общее быстродействие ЭВМ. Так, ЭВМ "МИР-2" успешно конкурировала в скорости выполнения ряда аналитических преобразований с большими ЭВМ.

Национальный японский проект ЭВМ пятого поколения также следует расценивать как дальнейшее развитие идей интеллектуализации вычислительной техники. 

	Другим  компьютерным течением, получившим развитие параллельно с развитием ЭВМ с традиционной архитектурой, являются нейрокомпьютеры. Все возрастающий интерес к нейроинтеллектуальным системам объясняется значительными трудностями, возникающими при классической реализации искусственного интеллекта, и успехами в области разработки нейрокомпьютеров и систем на их основе. В нейронных сетях, применяемых в нейрокомпьютерах, в отличие от традиционных ЭВМ, элементы имеют множество параллельных соединений, и информация распределяется по всей сети, осуществляя параллельные вычисления. Это позволяет решать задачи в реальном времени на высоком интеллектуальном уровне. 

С целью поддержки фундаментальных исследований в этом направлении в Японии с 1993 года принята программа “Real world computing program”. Ее основная цель- создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления роботами, которые способны адаптироваться к окружающей обстановке. 

Анализ современного состояния Computer science показывает, что в настоящее время вычленились  составляющие, которые фактически превратились в отдельные научные направления, уже имеющие явно выраженные признаки отдельных научных дисциплин. Это нейрокомпьютерные дисциплины и дисциплины, изучающие классические формы ЭВМ.

	В истории развития науки подобная дифференциация знаний не является специфичной только для Computer science. Дифференциация и обособление научных знаний в отдельные научные дисциплины является историческим фактом. Этот факт стал для Л. фон. Берталанфи исходной позицией в разработке общей теории систем. Главная цель этой теории определена Берталанфи как синтез научных знаний, выработанных отдельными научными дисциплинами, в единое целое - знания об окружающей человека действительности.

“Общая теория систем определяет совокупность общесистемных свойств реальных систем, в которой центральное положение занимает свойство иерархичности. Оно состоит в том, что каждая данная система является метасистемой по отношению к составляющим ее подсистемам и одновременно подсистемой системы более высокого ранга (уровня), выступающей по отношению к ней метасистемой. Из этого следует, что мир является системой, знания о которой должны быть сведены в целое путем установления связей и отношений между отдельными научными  дисциплинами.  Это  означает,  что  знания, выработанные каждой научной дисциплиной, представляют собой части целого и должны быть подвергнуты операции синтеза путем выявления связей и отношений между частями. А связи и отношения могут быть выявлены только проведением междисциплинарных исследований” [3].

Таким образом, вычленение и обособление научных знаний в Computer science, следует считать объективным процессом, который должен завершиться синтезом этих знаний в единое целое. Этот синтез открывает возможность, благодаря междисциплинарным исследованиям, выработать знания о тех закономерностях, которые являются общими для дисциплин, образующих междисциплинарную область, так как познать эти закономерности, находясь в рамках каждой отдельной дисциплины нельзя.

Цель и задачи. Исходя из этого, была определена цель – разработать новую технологию обработки информации, основанную на синтезе знаний выработанных сложившимися в Computer science направлениями. 

Для достижения поставленной цели необходимо решить следующие задачи:

	в результате синтеза знаний, заключенных в технологиях обработки информации в нейронных сетях, семантических сетях, растущих пирамидальных сетях и интеллектуальных системах, разработать новую нейроподобную структуру;

	описать топологию и логику функционирования этой структуры, сформулировать определения и разработать правила ее построения;

	разработать математический аппарат построения новой  структуры;

	для повышения уровня интеллектуализации ЭВМ разработать модель представления знаний на базе новой структуры.



Из проведенных междисциплинарных исследований было установлено, в новую информационную структуру должны быть “погружены” функции, обеспечивающие “жизнеспособность” интеллектуальных систем.

К этим функциям относятся:

а) восприятие – функция, обеспечивающая прием и трансформацию визуальной, текстовой, звуковой и др. видов информации во внутреннее представление системы, обработку визуальной информации и соотнесение ее с обработкой текстовой информации, а также порождение визуальных образов на основе внутренних представлений хранимых в системе;

б) представление знаний и их обработка – функция, формирующая понятия, обеспечивающая накопление, обобщение, структурирование и классификацию знаний о внешнем мире (о проблемной области);

в) общение и обучение – функция, преобразующая во внутренние образы  различные текстовые, речевые, зрительные и др. сообщения. Система, обеспечивающая поддержку данной функции, должна воспринимать вопросы, адресуемые ей  и синтезировать ответы и свои вопросы, обучаться решению проблем возникающих в процессе ее функционирования;

г) поведение – функция, вырабатывающая механизмы поведения системы с целью адекватного взаимодействия с окружающей средой.

	С целью синтеза новой информационной технологии были проанализированы технологии обработки информации в семантических сетях, растущих пирамидальных сетях (РПС), разработанных и исследованных профессором В.П.Гладуном [4], и нейросетях. Ни одна из этих технологий полностью не удовлетворяет требованиям, предъявляемым к синтезируемой структуре (не содержит всей совокупности вышеперечисленных функций).

	Однако анализ показал, что РПС содержат привлекательный механизм восприятия, структурирования, обобщения и классификации информации одновременно с перестройкой (ростом) самой структуры сети. Но в РПС отсутствует механизм определения весовых коэффициентов связей между вершинами сети и порогов возбуждения самих вершин. В результате РПС лишаются свойств пластичности сети и тем самым лишаются возможности обработки неточной информации, чем в совершенстве обладают нейронные сети.

Нейронные сети создавались как аналоги биологических нейронов, организованных в некотором соответствии с анатомией мозга. В связи с этим нейронные сети моделируют многие свойства, присущие мозгу. Так, они обучаются на примерах и извлекают существенные признаки из поступающей информации. Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта способность выделять образ сквозь искажения важна для распознавания образов в реальном мире. Она позволяет преодолеть требования строгой точности, предъявляемые обычным компьютером, и открывает путь к системе, которая может иметь дело с окружающим нас миром.  В то же время, несмотря на многочисленные достоинства и успешные применения нейронных сетей, они имеют ряд недостатков, ограничивающих их возможности.

Нейроподобные растущие сети. В результате синтеза знаний, выработанных различными направлениями Computer science, получены новые знания, имеющие отражение в новой структуре – нейроподобных растущих сетях (н-РС), на основе которых, сохраняя преимущества технологий обработки информации в нейронных сетях, РПС и интеллектуальных системах, осуществляется новая технология обработки информации. В теории нейроподобных сетей основными понятиями являются понятия структуры, раскрывающей схему связей и взаимодействия между элементами сети, а также понятие архитектуры.

	Нейроподобные сети представляются следующими категориями: 

топологическая (пространственная) структура - это граф связей элементов сети; логическая структура определяет принципы и правила установления связей, а также логику функционирования сети; физическая структура - схема связей физических элементов сети (в случае аппаратной реализации нейроподобной сети); архитектура сети определяется как принципы построения сети, выражающие единство физической и логической структур.

Класс н-РС состоит из однослойных, многослойных, многомерных однослойных и многомерных многослойных нейроподобных растущих сетей, а также из однослойных, многослойных, многомерных однослойных и многомерных многослойных рецепторно-эффекторных нейроподобных растущих сетей [5,6]. Топологическая структура нейроподобных растущих сетей представляется связным ориентированным графом. Логическая структура описывается правилами построения и функционирования сети. 

Определение 1. Нейроподобной растущей сетью называется совокупность определенным образом взаимосвязанных нейроподобных элементов, предназначенных для приема и преобразования информации, причем в процессе приема информации сеть увеличивается в размерах - растет.



 Рис.1  

Нейроподобные растущие сети (рис.1) формально задаются следующим образом:  S = (R, A, D, M, P, N), здесь  R -  конечное множество рецепторов, которые составляют порождающее множество сети; A - конечное множество нейроподобных элементов, соответствующих сочетаниям признаков, которые определяют условные и безусловные рефлексы, реакции, мотивации и т.п., а также слова, фразы, описания понятий, объектов, конъюнктивные связи объектов, и т.п;  D - конечное множество дуг, связывающих рецепторы с нейроподобными элементами и нейроподобные элементы между собой; P={Pi}, здесь Pi - порог возбуждения вершины ai, Pi = f(mi ) і P (P - минимально допустимый порог возбуждения) при условии, что множеству дуг D, приходящих    на вершину  ai,  соответствует   множество весовых   коэффициентов  M ={mi}, причем mi может принимать как положительные, так и отрицательные значения; N - коэффициент связности сети.

В биологических средах информация об одном и том же объекте или классе объектов представляется в различных отображениях, например, в зрительном, вербальном, тактильном и др. В связи с этим при моделировании описаний внешнего мира необходимо иметь возможность отражать данные описания в различных взаимосвязанных структурах. Такой структурой являются многомерные нейроподобные растущие сети, описывающие объекты или классы объектов в различных информационных пространствах. 

Определение 2. Информационным пространством  называется область нейроподобной растущей сети, состоящая из множества вершин и дуг, объединенных в единую информационную структуру.

Определение 3. Множество взаимосвязанных ациклических графов, описывающих нейроподобные растущие сети в различных информационных пространствах, называются многомерными нейроподобными растущими сетями (мн-РС).

Формально мн-РС задается пятеркой: S = (R, A, D, P, M, N), при этом   RЙ  Rl , Rr , Rv ; AЙ Al , Ar , Av ;  DЙ Dl , Dr , Dv ; PЙ Pl, Pr, Pv, где Rl, Rr, Rv - конечное подмножество рецепторов; Al, Ar, Av - конечное подмножество нейроподобных элементов; Dl, Dr, Dv - конечное подмножество дуг; Pl, Pr, Pv - конечное подмножество порогов возбуждения нейроподобных элементов, принадлежащих различным информационным пространствам, например,  лингвистическому, речевому или визуальному; M- конечное множество весовых коэффициентов связей; N - конечное множество переменных коэффициентов связности.

Базовым принципом физиологии высшей нервной деятельности является основной закон биологии - единство организма и среды. Этот закон предусматривает приспособительную изменчивость организма относительно среды. 

В основе приспособительного поведения любого организма лежит способность к обучению, т.е. способность запоминать последствия своих действий. Можно сказать, что изучение разумного поведения - это в какой-то мере исследование способности приобретать знания о связях в окружающем мире. “Организм обучается путем построения сенсорно-моторных схем: он извлекает из своего опыта соотношения между информацией, воспринимаемой его сенсорными системами, и своими действиями (моторной активностью)” [7].   

Таким образом, взаимодействие биологических объектов с окружающей средой осуществляется через акты движения. С целью обеспечения  возможности моделирования процессов обучения и приобретения системой знаний нейроподобные растущие сети развиваются в   рецепторно-эффекторные   нейроподобные   растущие   сети (рэн-РС).

Определение 4. Рецепторно-эффекторной растущей сетью называется двухсторонний ациклический граф, в котором минимальное число заходящих дуг на вновь образуемые вершины графа равно переменному коэффициенту n, где n всегда больше двух.



Рис.2

Определение 5. Рецепторно-эффекторные растущие сети, в которых каждой дуге рецепторной зоны, приходящей на вершины этой зоны, соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, и каждой дуге эффекторной зоны, приходящей на вершины этой зоны соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, называются рецепторно-эффекторными нейроподобными растущими сетями.

Рецепторно-эффекторные нейроподобные растущие сети (рис.2) формально задаются следующим образом:   

S=(R, Ar, Dr, Pr, Mr, Nr, E, Ae, De, Pe, Me, Ne ),  R ={ri}, - конечное множество рецепторов, Ar={ai}, - конечное множество нейроподобных элементов рецепторной  зоны, Dr={di},  - конечное множество дуг рецепторной зоны, E={ei},  - конечное множество эффекторов, Ae={ai}, - конечное множество нейроподобных элементов эффекторной зоны, De={di},  -    конечное      множество дуг эффекторной зоны, Pr={Pi}, Pe={Pi }, где Pi - порог возбуждения вершины air , aie Pi =f(mi) при условии, что множеству дуг Dr , De , приходящих на вершину air, aie , соответствует множество весовых коэффициентов  Mr ={mi}, Me={mi}, причем mi может принимать как положительные, так и отрицательные значения.  Nr, Ne - переменные коэффициенты связности рецепторной и эффекторной зон. В рэн-РС рецепторные поля R, являются аналогом сенсорной и рецепторной областей биологических объектов,  эффекторные поля E - аналог моторной области биологических объектов. Рецепторно-эффекторные нейроподобные растущие сети подразделяются на  однослойные, многослойные и многомерные рецепторно-эффекторные нейроподобные растущие сети. 

Нейроподобные растущие сети являются динамической структурой, которая изменяется в зависимости от значения и времени поступления информации на рецепторы, а также предыдущего состояния сети. В ней информация об объектах представляется ансамблями возбужденных вершин и связями между ними. Запоминание описаний объектов и ситуаций сопровождается вводом в сеть новых вершин и дуг при переходе какой - либо группы рецепторов и нейроподобных элементов в состояние возбуждения. Процесс возбуждения волнообразно распространяется по сети. Переменный коэффициент связности позволяет управлять числом дуг, приходящих на вновь образуемые нейроподобные элементы, и числом нейроподобных элементов в сети, что является одной из отличительных чертой нового класса сетей от существующих нейронных сетей. 

Основные отличия и сравнительные характеристики нейроподобных растущих сетей и общепринятых нейронных сетей приведены в табл.1.

                                                                                                                                                                                                 Табл. 1 



Нейроподобные растущие сети





Нейронные сети

Нейроподобный элемент. Вычислительное устройство с памятью. 

Нейронный элемент. Пороговый элемент 

Определяется некоторая произвольная функция  входов, например: формула Байеса P(H:E)=P(E:H) P(H)/(P(E:H) P(H)+ P(E:неH) P(неH))*

Определяется взвешенная сумма входов, обработанная  не линейно 

Связи и веса задаются и появляются ровно столько сколько необходимо.

Связи и веса определяются архитектурой сети.

Количество связей избыточно. Требуются специальные методы отсеивания связей.

Коэффициент связности

Позволяет управлять соотношением    связь / нейроподобный элемент

.

Коэффициент связности

Отсутствует

Перестраиваемая структура. Нейроподобные элементы связаны между собой по смыслу

Фиксированная структура. Элементы связаны каждый с каждым

Возможность композиции и декомпозиции (дедукции-индукции). По набору признаков определяется объект по объекту набор признаков.



Возможность композиции и декомпозиции

Отсутствует

Многоуровневая структура. Число уровней (слоев) произвольное, определяется по смыслу.

Используется обычно до 3-х уровней (слоев). Использование более 3-х слоев не осмысленно.

Скорость обучения от нескольких минут до секунд.

Скорость обучения от многих часов до секунд.



Появление ложных фантомов (ложных аттракторов) – отсутствует

Появление ложных фантомов (ложных аттракторов) – присутствует



Емкость сети 100%

Емкость сети 20-30%

Параллелизм вычислений по ветвям активности во всех слоях параллельно.

Эффективность счета повышена (счет по активной части сети).

Параллелизм вычислени  по слоям последовательно.



Эффективность счета понижена (счет по всей сети ( по всей матрице связей)).



*) P(H) – априорная вероятность исхода в случае отсутствия  дополнительных свидетельств

 P(H:E) – вероятность осуществления некоторой гипотезы H  при наличии определенных подтверждений свидетельств E.

 P(E:H), P(E:неH) – соответственно, вероятности получения  ответа  Да если возможный исход верен или неверен.



Из самого названия нейроподобные растущие сети видно, что сеть нейроподобная, т.е. обладает свойствами нейронных сетей, в то же время растущая, сохраняя свойства РПС, что позволяет избежать некоторых недостатков присущих нейронным сетям. И в то же время поддерживает функции присущие биологическим объектам и интеллектуальным системам.

Так, функция  восприятие, осуществляется рецепторным полем н-РС, а в многомерных н-РС рецепторными полями различных информационных пространств (визуального, текстового, звукового, тактильного и др.). 

Представление знаний их обработка и обучение сети, осуществляются в рецепторных зонах н-РС и в рецепторных и эффекторных зонах рецепторно-эффекторных н-РС в процессе восприятия информации и построения сети. 

Общение и поведение системы, обладающей новой информационной структурой, определяется наличием в рецепторно-эффекторных н-РС рецепторной и эффекторной зон. В рецепторной зоне осуществляется накопление условий возникающих во внешней среде, а в эффекторной зоне вырабатываются действия адекватные внешним условиям, осуществляя адекватное взаимодействие с окружающей средой. Рецепторно-эффекторные н-РС, содержащие рецепторные и эффекторные зоны, позволяют на соответствующие условия (восприятие информации) вырабатывать управляющие воздействия во внешний мир (формировать поведения системы). 

Заключение. В основе нейроподобных растущих сетей является синтез знаний выработанных классическими теориями - растущих пирамидальных сетей и нейронных сетей. Первые из них дают возможность образовывать смыслы, как объекты и связи между ними по мере построения самой сети, т.е. число объектов, как и связей между ними будет такое именно, какое нужно, будучи ограниченным лишь объемом памяти машины. При этом каждый смысл (понятие) приобретает отдельную компоненту сети как вершину, связанную с другими вершинами. В общем это вполне соответствует структуре отражаемой в мозге, где каждое явное понятие представлено определенной структурой и имеет свой обозначающий символ. Если указанные компоненты являются нейроподобными элементами, а связи приобретают различный вес, то получим универсальную нейроподобную сеть со всеми ее необходимыми свойствами. Вместе с тем эта сеть практически свободна от ограничений на количество нейроподобных элементов в котором и нужно разместить соответствующую информацию, т.е. построить саму сеть, представляющую данную предметную область. Во вторых эта сеть приобретает повышенную семантическую ясность за счет образования не только связей между нейроподобными элементами, но и самих элементов как таковых, т.е. здесь имеет место не просто построение сети путем размещения смысловых структур в среде нейроподобных элементов, а, собственно, создание самой этой среды, как эквивалента среды памяти [6]. 



Поспелов Г.С. Искусственный интеллект – основка новой информационной технологии. М.: Наука, 1988. – 280 с.

Глушков В.М. Основы безбумажной информатики. М.: Наука, 1987. – 552с. 

Брюхович Е.И. К вопросу об информатизации общества. Методология решения задачи научного предвидения для вывода из кризиса отечественной вычислительной техники  // Математические машины и системы. - 1997.-№2.-С.122-132.

Гладун В.П.  Процессы формирования новых знаний - София: СД "Педагог 6", - 1994. - 192с.

Ященко В.А. Рецепторно-эффекторные нейроподобные растущие сети эффективное средство моделирования интеллекта. I, II - //  Кибернетика  и сист. анализ № 4, 1995. С. 54 – 62,  № 5, 1995. С. 94 - 102.

Рабинович З.Л., Ященко В.А. Подход к моделированию мыслительных процессов на основе нейроподобных растущих сетей // Кибернетика и сист. анализ № 5, 1996. С.3-20. 

Линдсей П., Норман Д. Переработка информации у человека (Введение в психологию).\Под редакц. А.Р. Лурия. - М.: - 1974. - с.549.







488



9