История развития нейронных сетей

УДК: 004.896

ББК: 32.973.2

Горбачевская Е.Н., Краснов С.С.

ИСТОРИЯ РАЗВИТИЯ НЕЙРОННЫХ СЕТЕЙ

Gorbachevskay E.N., Krasnov S.S.

THE HISTORY OF THE DEVELOPMENT OF NEURAL NETWORKS

Ключевые слова: история, искусственный интеллект, философия, логика, нейронные сети, основные модели нейронных сетей.

Key words: history, artificial intellect, filosofya, logika, neural networks, basic models of neural networks.

Аннотация: в статье рассмотрены вопросы истории становления и развития нейроно-сетевых парадигм, начиная с философии Аристотеля и до наших дней.

Abstract: the article discusses the history and development of the neural network paradigms, starting with the philosophy of Aristotle to the present day.

Искусственный интеллект, составляющей которого являются нейронные сети, имеет долгую историю, сравнимую с историей всего человечества, поскольку людей всегда интересовал вопрос - как происходит процесс их мышления? Значимость этого вопроса определялась тем, что именно процесс мышления позволял понимать окружающий мир и управлять им.

Рассмотрим эволюцию отдельных разделов тех наук, которые внесли свой вклад в появление искусственного интеллекта.

Исторически впервые вопросы, связанные с процессами мышления, начали исследовать в философии.

Основные вопросы, над которыми размышляли здесь древние философы, сводились к следующим:

- Могут ли использоваться формальные правила для вывода правильных заключений?

- Как такой идеальный объект, как мысль, рождается в таком физическом объекте, как

мозг?

- Каково происхождение знаний?

Принципы, руководящие рациональной частью мышления, были сформулированы Аристотелем (384 - 322 годы до н.э.). Он разработал неформализованную систему силлогизмов, предназначенную для проведения правильных рассуждений [2].

Гораздо позднее Раймунд Луллий (умер в 1315 году) выдвинул идею, что полезные рассуждения можно фактически проводить с помощью механического устройства.

Томас Гоббс (1588-1679) проводил аналогию между нашими рассуждениями и числовым расчетам, отмечая, что «в наших неслышимых мыслях мы поневоле складываем и вычитаем» [2].

Рене Декарт (1596-1650) впервые опубликовал результаты обсуждения различий между разумом и материей, а также возникающие при этом проблемы.

Если предположить, что знаниями манипулирует физический разум, то возникает следующая проблема - установить источник знаний. Такое научное направление, как эмпиризм, родоначальником которого был Фрэнсис Бекон (1561-1626), автор Нового Органона, можно охарактеризовать высказыванием Джона Локка (1632 - 1704): «В человеческом понимании нет ничего, что не проявлялось бы прежде всего в ощущениях».

Дэвид Юм (1711 - 1776) в своей книге A Treatise of Human Nature (Трактат о человеческой природе) предложил метод, известный теперь под названием принципа индукции.

Основываясь на работе Людвига Виттгенштейна (1889 - 1951) и Бертрана Рассела

(1872 - 1970), знаменитый Венский кружок, возглавляемый Рудольфом Карнапом (18911970), разработал доктрину логического позитивизма. Согласно этой доктрине, все знания могут быть охарактеризованы с помощью логических теорий, связанных в конечном итоге с констатирующими предложениями, которые соответствуют входным сенсорным данным [2].

В теории подтверждения Рудольфа Карнапа и Карла Хемпеля (1905 - 1997) предпринята попытка понять, как знания могут быть приобретены из опыта. В книге Карнапа The Logical Structure of the World определена явно заданная вычислительная процедура для извлечения знаний из результатов элементарных опытов. Это можно считать первой теорией мышления как вычислительного процесса [2].

Философия сформулировала наиболее важные положения, управляющие рациональной частью мышления, но для их формализации необходимы были фундаментальные исследования в другой науке - математике. На протяжении нескольких столетий эти исследования проводились параллельно, взаимно обогащая обе науки. Для искусственного интеллекта наибольшее влияние оказало развитие таких разделов математики как логика, вычисления и вероятность.

Основными направлениями исследований здесь являлись:

- формальные правила формирования правильных заключений;

- определение пределов вычислимости;

- проведение рассуждения с использованием недостоверной информации.

Хотя идеи формальной логики зародились еще у философов древней Греции [6], ее основоположником принято считать Джорджа Буля(1815 - 1864), который детально разработал логику высказываний, названную в честь него булевой алгеброй [3].

В 1879 году Готтлоб Фреге (1848 - 1925) расширил булеву логику, создав логику первого порядка, которая в настоящее время используется как наиболее фундаментальная система представления знаний.

Альфред Тарский (1902 - 1983) впервые ввел в научный обиход теорию ссылок, которая показывает, как связать логические объекты с объектами реального мира.

В 1931 году Гёдель показал, что действительно существуют реальные пределы вычислимости.

Алан Тьюринг (1912 - 1954) попытался точно охарактеризовать, какие функции способны быть вычисленными. Определение дано в тезисе Чёрча-Тьюринга, который указывает, что машина Тьюринга способна вычислить любую вычислимую функцию.

Кроме логики и теории вычислений, третий по величине вклад математиков в искусственный интеллект состоял в разработке теории вероятностей. Идея вероятности была впервые сформулирована итальянским математиком Джероламо Кардано (1501 -1576), который описал ее в терминах результатов событий с несколькими исходами, возникающих в азартных играх.

Пьер Ферма (1601 - 1665), Блез Паскаль (1623-1662), Джеймс Бернулли (1654-1705), Пьер Лаплас (1749 - 1827) и другие ученые внесли большой вклад в эту теорию и ввели новые статистические методы.

Томас Байес (1702 - 1761) предложил правило обновления вероятностей с учетом новых фактов. Правило Байеса и возникшее на его основе научное направление, называемое байесовским анализом, лежат в основе большинства современных подходов к проведению рассуждений с учетом неопределенности в системах искусственного интеллекта.

Достижения в области философии и математики способствовали созданию первых вычислительных устройств.

В 1500 году Леонардо да Винчи (1452 - 1519) спроектировал механический калькулятор.

Первая известная вычислительная машина была создана в 1623 году немецким ученым Вильгельмом Шиккардом (1592 - 1635).

В 1642 году Блез Паскаль (1623 - 1662) построил машину, названную им Паскалина.

Готтфрид Вильгельм Лейбниц (1646 - 1716) создал механическое устройство, предназначенное для выполнения операций над понятиями, а не над числами.

Несмотря на достаточно длительный период исследований природы мышления, практических результатов было достигнуто мало. Это во многом связано с тем, что методы научных исследований, позволившие получить значительные результаты в таких естествеенно научных областях, как астрономия, физика и химия, оказались не эффективными при изучении человека.

Значительный прорыв произошел в 20 веке, он связан с:

1) достижениями в области нейрофизиологии, нейроанатомии и психологии;

2) интеграцией достижений различных наук в новейшую область науки -искусственный интеллект.

В шестидесятые годы прошлого столетия группа исследователей в областях нейробиологи и нейроанатомии установила, что мозг - это сотни миллиардов нейронов соединенных друг с другом [15].

Понимание функционирования нейрона и его связей позволило исследователям создать математические модели, которые, в свою очередь, явились теоретическим основанием для создания искусственных нейронных сетей.

Первые искусственные нейронные сети были реализованнны в виде электронных схем. Позднее, в связи с развитием вычислительной техники искусственные нейронные сети стали реализовываться в виде программ.

Поскольку в искусственном интеллекте систематизируются и автоматизируются интеллектуальные задачи любой сферы интеллектуальной деятельности человека, искусственный интеллект становится поистине универсальной научной областью.

Для оценки эффективности интеллектуализации Аланом Тьюрингом был разработан специальный тест, основанный на том, что поведение объекта, обладающего искусственным интеллектом, в конечном итоге нельзя будет отличить от поведения человека.

Искусственные нейронные сети (ИНС) - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. [13]

В современном развитии нейронных сетей можно выделить несколько этапов.

1 этап - прорыв в области нейроинтеллекта:

- 1943 г. - выходит статья У. Маккалока и У. Питтса о нервной активности, в которой они формулируют понятие нейронной сети и представляют модель нейронной сети на электрических схемах;

- 1948 г.- Норберт Винер публикует работу о кибернетике;

- 1949 г. - Д. Хебб предлагает первый алгоритм обучения;

- 1958 г. - Джон фон Нейман предложил имитацию простых функций нейронов с использованием вакуумных трубок;

- в 1958 г. Ф. Розенблатт изобретает однослойный перцептрон.

На тот момент казалось, что для создания аналога человеческого мозга необходимо лишь спроектировать очень большую нейронную сеть.

2 этап - пессимизм.

Причины:

1. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали.

2. Однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «исключающее ИЛИ».

3. В 1969 году исследователь с мировым именем М. Минский публикует формальное доказательство ограниченности перцептрона, а соответственно, и его неспособность решать достаточно широкий круг задач.

Все это вместе взятое приводит к снижению интереса многих исследователей к нейронным сетям.

3 этап - оптимизм.

Благодаря исследованию таких ученых, как Кохонен, Гроссберг, Андерсон, сформировался теоретический фундамент, на основе которого стало возможно конструирование мощных многослойных сетей. Однако проблема заключалась в их обучении.

1974 г. - П. Вербосом разработан алгоритм обратного распространения ошибки для обучения многослойных перцептронов, переоткрытый заново в 1982 г. Д. Паркером и в 1986 году Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа) [8]. Этот систематический метод для обучения многослойных сетей преодолевает ограничения, указанные Минским.

Дальнейшие исследования показали, что этот метод не является универсальным, несмотря на многие успешные практические результаты. Проблема заключается в очень долгом процессе обучения, а в некоторых случаях сеть может вообще не обучиться. Последнее возможно по двум причинам: паралич сети и попадание в локальный минимум.

1975 г. - Фукусима представляет Когнитрон - самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов.

1980 г. - в попытках улучшить когнитрон Фукусимой была разработана мощная парадигма, названная неокогнитрон [8].

1982 г. - Дж. Хопфилд разработал нейронную сеть с обратными связями. Хотя сеть имела целый ряд недостатков и не могла быть использована на практике, ученый заложил основы нейронных рекуррентных сетей, после чего об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.

1982 г. - Кохоненом представлены модели сети, обучающейся без учителя на основе самоорганизации.

1987 г. - Роберт Хехт-Нильсон, решая временные ограничения сети обратного распространения ошибки, разработал сети встречного распространения (СВР). Время в таких сетях обучения по сравнению с обратным распространением может уменьшаться в сто раз.

Следующей проблемой искусственных нейронных сетей оказалась проблема стабильности-пластичности, суть, которой в том, что обучение новому образу уничтожает или изменяет результаты предшествующего обучения.

- 1987 г. - Гроссберг создал адаптивную резонансную теорию (APT) и модели нейронных сетей, построенных на ее основе [8].

Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов, в то же время, предотвращая изменение ранее запомненных образов.

2000-е годы - проблема попадания в локальный минимум была решена, в частности, применением стохастических методов обучения (Больцмановское обучение. Обучение Коши).

2007 г. - Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Успех обусловлен тем, что Хинтон при обучении нижних слоев сети использовал ограниченную машину Больцмана (RBM -Restricted Boltzmann Machine).

На сегодня разработано достаточно много других моделей нейронных сетей, имеющих свои особенности.

В современном обществе многие проблемы сводятся к проблемам управления слабоструктурированными, а часто и неструктурированными сложными системами. Поэтому оценить перспективы развития нейронных сетей можно, лишь определив их место в решении данной проблемы [9,10,16].

Существующие в настоящее время системы управления можно классифицировать

следующим образом:

1. Классическая система управления, построенная на основе теории автоматического управления с различными математическими методами обработки данных.

2. Система управления, построенная на основе нечеткой логики и экспертных систем.

3. Системы управления на основе генетических алгоритмов и искусственных нейронных сетей.

Достоинствами метода нейросетевого управления являются:

1. Отсутствие ограничения на линейность системы.

2. Эффективность в условиях шумов.

3. После окончания обучения обеспечивается управление в реальном масштабе времени.

4. Нейросетевые системы управления более адаптивны к реальным условиям.

Однако, при использовании нейронных сетей возникают трудности, связанные с

надежностью их работы, так как искусственные нейронные сети могут быть неточны даже при их правильном функционировании. Следовательно, для критических задач использование нейронных сетей необходимо дублировать другими системами.

Таким образом, будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями систем, основанных на использовании искусственных нейронных сетей.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Бровкова, М.Б. Системы искусственного интеллекта в машиностроении: Учеб. пособие / М.Б. Бровкова. - Саратов: Сарат. гос. техн. ун-т, 2004. - 119 с.

2. Грицанов, А.А. История философии: Энциклопедия / А.А. Грицанов - Мн.: Интерпрессервис, 2002. - 1376 с.

3. Иванов, Е.А. Логика. Учебник / Е.А.Иванов - М.: Издательство БЕК,1998. - 309 с.

4. Каллан, Робертс. Основные концепции нейронных сетей / Каллан Робертс - М.: Издательский дом «Вильямс», 2001. - 287 с.

5. Колесников, А.В. Гибридные интеллектуальные системы. Технология разработки / А.В. Колесников - СПб.: Изд-во СПбГТУ, 2001. - 711 с.

6. Лохин, В.М. Интеллектуальные системы управления: понятия, определения, принципы построения / В.М. Лохин, В.М. Захаров // Мехатроника. - 2001. - №2. - С. 27-35.

7. Маковельский, А.О. История логики / А.О. Маковельский - М: Кучково поле, 2004. - 492 с.

8. Мареев, С.Н. История философии (общий курс): Учебное пособие / С.Н. Мареев, Е.В. Мареева - М.: Академический Проект, 2004. - 880 с.

9. Нейрокомпьютеры и их применение: в 18 кн. / под общей ред. А.И. Галушкина, ЯЗ. Цыпкина. - М.: ИПРЖР, 2001. - Кн.5: Нейронные сети: история развития теории: Учеб. пособие для вузов. - 840 с.

10. Потапов, И.В. Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем: автореферат дис.... доктора технических наук: 05.13.15, 05.13.17 / И.В. Потапов. - Новосибирск, 2010. - 35 с.

11. Плотникова, Н.П. Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах: дис. ... канд. технических наук: 05.13.01 / Н.П. Плотникова; Мордовский государственный университет им. Н.П. Огарева. - Саранск, 2014. - 137 с.

12. Пупков, К.А. Интеллектуальные системы / К.А. Пупков, В.Г. Коньков - М.: Изд-во МГТУ им. Н.Э. Баумана, 2003. - 348 с.

13. Романов, В.П. Интеллектуальные информационные системы в экономике: Учебное пособие / В.П. Романов; под ред. д.э.н., проф. Н.П. Тихомирова. - М.: Экзамен, 2003. - 496 с.

14. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика: пер. с англ. /

Ф. Уоссермен. - М.: Мир., 1992. - 118 с.

15. Цой, Ю.Р. Эволюционный подход к настройке и обучению искусственных нейронных сетей / Ю.Р. Цой, В.Г. Спицын // Нейроинформатика. - 2006. - Т. 1. - №1. - С. 3461.

16. Шульговский, В.В.Основы нейрофизиологии: Учебное пособие для студентов вузов / В.В. Шульговский. - М.: Аспект Пресс, 2000. - 277 с.

17. Su-Li Yan, Ying Wang, Ji-Cheng Liu.Research on the Comprehensive Evaluation of BusinessIntelligence System Based on BP Neural Network. 2nd International Conference on Complexity Science & Information Engineering.North China Electric Power University, Beijing 102206, China, 2011, р. 2211-3819.