Импульсная нейронная сеть

Импульсная нейронная сеть (ИмНС, , PNN) или Спайковая нейронная сеть (СНН, , SNN) — третье поколение искусственных нейронных сетей (ИНС), которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1—2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ).
Является самой реалистичной, с точки зрения физиологии, моделью ИНС.

История

Истоки 
Первая научная модель импульсной нейронной сети была предложена Аланом Ходжкином и Эндрю Хаксли в 1952 году. Эта модель описывала как потенциалы действия возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются нейротрансмиттерами, в синаптической щели.

С точки зрения теории информации, проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью частотного или временного кодирования? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети.

Современные исследования 
В настоящее время существует два направления исследования ИмНС:
 создание компьютерных моделей, точно повторяющих модели функционирования нейронов реального мозга, благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм ЦНС;
 создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как помехозащищенность и энергоэффективность, при анализе больших объемов данных.

Устройство

Принцип работы 
Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса.

Модели нейронов 

Способы моделирования нейронов ИмНС можно разделить на две группы:
 модели проводимости — подобны процессу работы ионных каналов;
 Модель Ходжкина — Хаксли;
 Модель Ижикевича;
 Модель ФитцХью — Нагумо;
 ;
 ;
 ;
 ;
 ;
 Кабельная теория дендритов.
 модели порогового значения — порождают импульс при определенном уровне напряжения.
 Метод «интегрировать-и-сработать»;
 Метод «интегрировать-и-сработать» с утечками.

Представление информации 

В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты). Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов.

Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации:
 фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга);
 синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах);
 время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
 порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
 интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
 резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).

Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:
 пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
 популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.

Устройство 
Архитектуры ИмНС можно разделить на следующие группы:
  (НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
 Рекуррентная нейронная сеть (РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
  — внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.
  — представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
  — резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.

Методы обучения 
Методы обучения ИмНС делятся на три группы:
 Обучение без учителя:
  ();
 Растущие импульсные нейронные сети ();
 ABS правило ();
 BCM правило ();
 Отношение между правилами BCM и STDP ();
 Общее обучение без учителя ().
 Обучение с учителем:
 SpikeProp ();
 Методы глубокого обучения ();
 Дистанционный метод обучения с учителем ();
 FreqProp ();
  ();
 Обучение по Хеббу с учителем ().
 Обучение с подкреплением:
 Импульсный метод актера и критика ();
 Обучение с подкреплением с помощью размеренно-поощряющей модели STDP ().

Качественные характеристики

Преимущества 
Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений:
 ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений);
 ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
 ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
 ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
 ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
 ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (возбуждающий и тормозящий) классической ИНС;
 ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС;
 ИмНС могут обучаться в процессе работы.

Недостатки 
 ИмНС нецелесообразно использовать в системах с малым числом нейронов;
 Не существует совершенного алгоритма обучения.

Реализации

Списки 

Список нейроморфного программного и аппаратного обеспечения.

Программные 
Программное обеспечение, которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени моделирования.
 ;
 ;
 ;
 .

Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.
 SpikeNET.

Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.
 .

Аппаратные 
Использующее существующую архитектуру пользователя:
 ;
 SpiNNaker.

Использующее свою, специализированную, архитектуру:
 TrueNorth;
 Akida

Применение

Протезирование 
Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении.

Робототехника 
Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры.

Компьютерное зрение 
Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт.

Телекоммуникации 
Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах.

Примечания 

Вычислительная нейробиология
Искусственные нейронные сети
Нейронауки
Машинное обучение