Сегодня в мире существует совсем немного специализированных процессоров, чипов или крупномасштабных систем, которые можно отнести к нейроморфным. Про нейроморфные вычисления в целом мы уже говорили, про нейроморфные чипы тоже, а в этой статье  расскажем о самых заметных на сегодня реализациях. Попытаемся раскрыть их суть, разобрать отличительные черты и выделить некоторые особенности. Ну и как всегда, больше деталей на нашем инженерном портале.  TrueNorth — это продукт компании IBM и первый специализированный процессор, созданный для эффективной эмуляции ИНС. Чип IBM TrueNorth стал результатом десятилетней работы в рамках программы DARPA SYNAPSE, направленной на создание высокоплотной и энергоэффективной платформы, способной поддерживать когнитивные приложения. Ключевым компонентом является большой 28-нм CMOS-чип, содержащий 5,4 млн. транзисторов и 4 096 нейросинаптических ядер, каждое из которых состоит из 256 нейронов с 256 синаптическими входами. Микросхема полностью цифровая и работает асинхронно, за исключением тактовой частоты 1 кГц, которая определяет основной временной шаг.  Важно отметить, что чипы TrueNorth можно напрямую соединять друг с другом для формирования более крупных систем, это означает возможность неограниченной масштабируемости. С точки зрения применения, TrueNorth подходит для использования в различных отраслях и сферах деятельности. Система подходит для решения задач по видеоаналитике, распознаванию речи и пр.  TrueNorth предлагает очень энергоэффективную обработку в реальном времени многомерных данных [2] [3] [4] [5] [6].  Neurogrid был разработан группой Brains in Silicon в Стэнфордском университете в рамках проекта, который был запущен в конце 2009 года. В настоящий момент система используется для проведения экспериментов по моделированию и визуализации [12].  Neurogrid — это многочиповая система со смешанным режимом. В системе используется подпороговые аналоговые схемы для моделирования динамики нейронов и синапсов в биологическом реальном времени с помощью цифровой импульсной связи. Все сигналы в нейрон поступают в одну из четырех общих цепей синапсов. Из-за «древообразной» структуры «вход» в один нейрон воздействует на соседние нейроны через резистивную сеть. Каждый чип Neurocore включает в себя маршрутизатор, который может передавать пакеты пиковых значений между своим локальным чипом, его родительским чипом и двумя дочерними чипами. Neurogrid состоит из 16 нейроядер/чипов, каждый из которых содержит 65 тыс. нейронов (всего 1 млн. нейронов), реализованных в подпороговых аналоговых схемах. Отдельное нейроядро изготавливается на матрице размером 11,9 мм × 13,9 мм. Плата из 16 нейроядер имеет размер 6,5 × 7,5, при этом вся плата потребляет примерно 3 Вт. Режим работы Neurogrid в режиме реального времени делает его подходящим для управления роботами, в частности в рамках исследования Neurogrid был подключен к роботизированной руке для управления протезной конечностью и демонстрировал довольно многообещающие показатели. Дальнейшее финансирование проекта направлено на использование очень низкого энергопотребления технологии для разработки чипа, который может быть имплантирован в мозг для управления протезом конечности, а также для разработки технологии управления дронами [2] [3] [7].  Нейроморфная система BrainScaleS была разработана в Гейдельбергском университете в рамках серии проектов, финансируемых Европейским союзом. BrainScaleS — это ускоренные нейроморфные вычисления, основанные на аналоговых нейронных цепях, превышающих пороговые значения. Проект нацелен на исследования в области вычислительной нейробиологии.  Ключевые особенности BrainScaleS: ●    Использование надпороговых аналоговых схем для реализации физических моделей нейронных процессов, что дает гораздо более быстрые схемы, работающие со скоростью, в 10 000 раз превышающей биологическую ●    Использование интеграции в масштабе пластины для доставки большого количества аналоговых нейронов, которые могут быть очень эффективно соединены между собой, чтобы обеспечить ускорение в 10 000 раз. Крайне высокая скорость работы системы BrainScaleS предопределяет ее использование в областях, где необходимо длительный промежуток времени «сжать» до нескольких дней или даже часов. Например, долгосрочные учебные задачи, такие как моделирование нескольких лет развития детей, где ускорение в 10 000 раз потенциально может превратить годы в часы [2] [3].  SpiNNaker — это цифровая многоядерная система, работающая в реальном времени. Система реализует нейронные модели и модели синапсов в программном обеспечении, работающем на небольших встроенных процессорах. SpiNNaker был разработан для обеспечения масштабируемости и энергоэффективности за счет использования интеллектуальных методов коммуникации. Принцип его работы состоит в том, чтобы минимизировать расстояния, на которые должны быть перемещены часто используемые данные: код и наиболее часто используемые данные находятся в пределах одного-двух миллиметров от ядра, а редко используемые данные находятся в SDRAM, которая является примерно в 1 см от сердцевины.  Каждый узел SpiNNaker содержит 18 процессорных ядер ARM 968, каждое с 32 Кбайтами локальной памяти команд и 64 Кбайтами локальной памяти данных, 128 Мбайт общей памяти, маршрутизатор пакетов и вспомогательные схемы. Один узел может моделировать до 16 000 цифровых нейронов с 16 миллионами синапсов, потребляя 1 Вт энергии. Существует два размера печатных плат SpiNNaker: меньший из них представляет собой плату с 4 узлами (64 000 нейронов), больший — плату с 48 узлами (768 000 нейронов). Плата с 48 узлами потребляет до 60 Вт. Нейроморфная вычислительная система SpiNNaker HBP включает в себя миллион процессоров на 48-узловых платах и ​​способна имитировать импульсные сети в масштабе мозга мыши в биологическом реальном времени. Во многих отношениях система SpiNNaker напоминает обычный суперкомпьютер, но имеет ряд существенных отличий: ●    Процессоры в SpiNNaker — это небольшие целочисленные ядра, изначально предназначенные для мобильных и встроенных приложений, а не высокопроизводительные «толстые» ядра, которые традиционно предпочитают разработчики суперкомпьютеров ●    Структура связи в SpiNNaker оптимизирована для отправки большого количества очень маленьких пакетов данных (каждый обычно передает один нейронный всплеск) многим адресатам по статически настроенным групповым путям, тогда как суперкомпьютеры обычно используют большие пакеты с динамической двухточечной маршрутизацией. Маломасштабные системы SpiNNaker используются для решения задач в реальном времени, например, для управления роботами и обработки изображений, а также для моделирования биологических цепей, не требующих работы в реальном времени [2] [3]. Loihi — это нейроморфный чип, представленный Intel Labs в 2018 году и изготовленный по 14нм техпроцессу Intel FinFET. Loihi моделирует 130 тыс. нейронов и 130 млн синапсов в реальном времени. Чип состоит из 128 нейроморфных ядер, способных к обучению и логическим выводам. Протокол иерархической сети реализован для поддержки связи между нейроморфными ядрами. Loihi считается первым полностью интегрированным чипом нейронной сети, поддерживающим сжатие разреженных сетей, многоадресную передачу от ядра к ядру, переменный синаптический формат и иерархическую связность. Loihi может решать задачи оптимизации, такие как LASSO (Least Absolute Shrinkage and Selection Operator) и при этом он более чем в 30 раз энергоэффективнее традиционных используемых сейчас систем [2].[1] Совсем недавно (во второй половине 2021 г.) компания Intel представила новый процессор — Loihi 2. В процессоре Loihi 2 выросло число нейронов со 128 тыс. до 1 млн. а также реализовано более гибкое программирование нейронной модели  (подробнее см. https://engineer.yadro.com/events/intel-loihi/). Человеческий мозг vs нейроморфные системы: сравнение ключевых особенностей Платформа Мозг человека Neurogrid BrainScaleS TrueNorth SpiNNaker Loihi Технология Биология Аналоговая, подпороговый Аналоговая, выше порога Цифровая, фиксированный Цифровая, программируемый Цифровая Микрочип — Neurocore HiCANN   18 ARM cores Intel FinFET Общие размеры: 10 μ м 180 нм 180 нм 28 нм 130 нм 14 нм Транзисторы — 23 млн 15 млн 5.4 млрд 100 млн 2,07 млрд Размер кристалла — 1,7 см 2 0,5 см 2 4,3 см 2 1 см 2 0,41 мм 2 Нейроны   65 тыс. 512 1 млн 16 тыс. 130 тыс. Синапсы   ~ 100 млн 100 тыс. 256 млн 16 млн 130 млн Мощность   150 мВт 1,3 Вт 72 мВт 1 Вт н\д Плата/система:   PCB 20 cm wafer PCB PCB PCB Число процессоров   16 352 16 48   Нейроны   1 млн 200 тыс. 16 млн 768 тыс.   Синапсы   4 млрд 40 млн 4B 768 млн   Мощность   3 Вт 500 Вт 1 Вт 80 Вт   Габариты: 1,4 кг   20 пластин в стойках7 ×19 ''   600 печатных плат в стойках 6×19 ''   Нейроны 100 млрд   4 млн   460 млн   Синапсы 10 15   1 млрд   460 млрд   Мощность 20 Вт   10 кВт   50 кВт   Энергия 10 фДж 100 пДж 100 пДж 25 пДж 10 нДж   Скорость против биологии 1 × 1 × 10 000 × 1 × 1 × 1 х Interconnect 3D прямая сигнализация Дерево-многоадресная рассылка Иерархический 2D одноадресная сетка 2D сетка-многоадресная рассылка 2D-сетка с ядрами 8x16 Модель нейрона Разнообразный, фиксированный Адаптивная квадратичная IF Адаптивная экспоненциальная IF LIF Программируемый b LIF Модель синапса Разнообразный Общий дендрит 4-битный цифровой Бинарный, 4 модулятора Программируемый c   Пластичность во время выполнения Да Нет STDP Нет Программируемый d Програмируемый  Источник: [2] [3], открытые источники, данные компаний и пр.  Каждая из описанных выше систем имеет свои сильные стороны. Так, TrueNorth предлагает платформу для высокоинтегрированной и энергоэффективной работы приложений, SpiNNaker – максимальную гибкость для исследования различных нейронных моделей и правил пластичности, BrainScaleS обеспечивает высокое ускорение для длительного обучения, а Neurogrid предлагает высокую энергоэффективность с моделями, которые наиболее близки к физике и биологии. Loihi является наиболее перспективным и функционально богатым нейропроцессором. Все принципы функционирования этих систем в том или ином виде будут развиваться, а новые усовершенствованные системы будут еще производительнее и эффективнее. В заключении перечислим менее известные пока проекты, в рамках которых апробируются разнообразные подходы к реализации с неплохим потенциалом к развитию: MNIFAT, DYNAP, 2IFWTA chip, Tianjic chip, ODIN [2] [9] [11]. Ниже перечислены наиболее крупные компании, которые на коммерческой основе предлагают рынку нейроморфные вычислительные системы или решения: ● 	Applied Brain Research — https://appliedbrainresearch.com/ ●     BrainChip — https://brainchipinc.com/ ● 	Green Mountain Semiconductor — https://www.greenmountainsemi.com/ ● 	Hewlett Packard Enterprise — https://www.hpe.com/us/en/hewlett-packard-labs.html ● 	IBM — https://www.research.ibm.com/artificial-intelligence/hardware/ ● 	Intel — https://newsroom.intel.com/tag/neuromorphic-computing/ ●     Knowm — https://knowm.org/ ● 	Natural Intelligence Semiconductor — https://www.naturalintelligence.ai/ ● 	Neuromem Technologies — http://neuromem.ai/ ● 	Westwell lab – http://www.westwell-lab.com/index_en.html [1] Gartner, Emerging Technology Analysis: Neuromorphic Computing, 2021 [2] Neuromorphic Computing Technology (NCT) state of the art overview, 2020 https://neurotechai.eu/media/filer_public/da/6c/da6c4853-a574-4f55-8d88-e1d496bb0674/state_of_art_2020.pdf [3] Furber S Large-scale neuromorphic computing systems, https://iopscience.iop.org/article/10.1088/1741-2560/13/5/051001#jneaa3660f1 [4] Merolla P A et al 2014 A million spiking-neuron integrated circuit with a scalable communication network and interface Science 345 668–73 [5] Hsu J 2014 IBM’s new brain IEEE Spectrum pp 17–9 [6] Cassidy A S et al 2013 Cognitive computing building block: a versatile and efficient digital neuron model for neurosynaptic cores Proc. JCNN [7] Benjamin B V et al 2014 Neurogrid: a mixed-analog-digital multichip system for large-scale neural simuations Proc. IEEE 102 699–716 [8] IBM, https://www.research.ibm.com/artificial-intelligence/hardware/ [9] 2021 Roadmap on Neuromorphic Computing and Engineering, https://arxiv.org/ftp/arxiv/papers/2105/2105.05956.pdf) [10] ZHEQI YU (Student Member, IEEE), AMIR M. ABDULGHANI и пр. An Overview of Neuromorphic Computing for Artificial Intelligence Hardware-based Hopfield Neural Network [11] Bipin Rajendran, Abu Sebastian, Michael Schmuker, Narayan Srinivasa, and Evangelos Eleftheriou, 2019, Low-Power Neuromorphic Hardware for Signal Processing Applications, https://arxiv.org/pdf/1901.03690.pdf)  https://web.stanford.edu/group/brainsinsilicon/neurogrid.html