2023年6月15日(木)専用演算装置による高効率な脳神経回路シミュレーション
豊橋技術科学大学 大学院工学研究科
情報・知能工学系
准教授 佐藤 幸紀

新技術の概要
人間の下オリーブ核という神経核の30分の1程度の規模をHHモデルにより生物学的に最も確からしくシミュレーション

脳神経の動作の第一原理として知られるHodgkin-Huxleyモデルで2万ニューロン規模をリアルタイムにシミュレーションする装置
提案するニューロン接続の局所性を活用する手法

実際のニューロン間の接続の生物学的な特徴を文献を用いて調査し、隣接間の接続確率が高いことから、接続を隣接間に限定⇒ スパコン分野のステンシル計算の同じ手法で高速化可能

下オリーブ核は眼の運動制御系を構成

Hodgkin-Huxley(HH)モデル
3コンパートメントモデル
電気シナプスで接続（オランダErasmus MCのモデル）

STREAM designの概要

評価と結果
既存の FPGA 実装法の問題点• Xilinx AlveoU200 +HLS framework (Maxeler)• STREAM designが最も優れた性能を達成• 632段のパイプラインでシステムを構成A dataflow-based accelerator for Extended
Hodgkin-Huxley model called BrainFrame[Smaragdos2017]

接続行列と呼ばれるニューロン間の接続を保持する構造へのアクセ
スがシステムのボトルネック

The overview of BrainFrame design

20736個のニューロンまでをリアルタイムでシミュレーション可能（既存手法の66.8倍）

想定される用途• Brain Machine Interface（BMI）における制御装置• 脳と機械を接続する際の制御装置に応用すると、入出力を変換することなく適応可能となる• ロボットの運動系の制御• 知的移動体（ドローン）の自律制御• システム・機器の異常検知• 新しい計算原理としての応用• 近年注目されている量子の重ね合わせによる量子コンピュータのように、脳のニューロンの計算原理によるコンピュータ

3

ロボットの運動系の制御への応用例
Input data

Input Neurons
Output data

Output Neuronsv(t)SpikeVresett

倒立振子の制御の例

システム・機器の異常検知への応用例
近年、IoTデバイスやサーバ運用におけるリアルタイム電力監視に基づく異常検知法が注目されている• 具体的な事例• DRAMへのハードウェアレベルのRowhammer攻撃の検知• ロボットアームの制御FPGAの消費電力監視からマルウェアによる機器の異常検知• サーバインフラの電源ユニットにおける電力監視による異常検知
評価対象ボード

正常値の事前学習
入力：
リアルタイムデータ

神経回路
シミュレータ

出力：異常の有無

電力計測評価システム

FPGAで行列行列積を実行した際の結果

従来技術とその問題点
脳神経回路シミュレーションのハードウェアに関しては、以下の5つが既存手法としてある
１）GPU（Graphics Processing Unit）を用いるもの
２）不揮発性メモリを用いアナログ値ベースの積和演算アクセラレータを構築するもの
３）ASIC（Application Specific Integrated Circuit）
デジタル方式のスパイキングニューラルネットワークを構成するもの
４）FPGA（Field Programmable Gate Array）を用いて神経素子の動作を計算するもの
５）アナログ回路によりニューロモーフィック計算を行うもの
Hodgkin-Huxleyモデルは、生物物理学的に最も精度の高いモデルとされる。
直接、脳の信号を入力可能であるが、計算コストが高く、処理速度が課題となっている。
上記ハードウェアの中で、４）にてHodgkin-Huxleyモデルが実現されている。
その他の手法は積分発火モデル、あるいは、スパイキングニューラルネットワークと呼ばれる近似手法を使っており、速度はHHモデルと比べて100倍程度高速だが、精度の評価等に課題がある。

本研究では、FPGAでHodgkin-Huxleyモデルを高速化し、リアルタイムにシミュレーションできるニューロン数を大規模化することを目指す
6

HHモデルと積分発火モデル
人工知能の分野でスパイキングニューラルネットワークでは主に積分発火(LIF)モデルが使われるが生物学的に最も確からしいとされるのはHodgkin-Huxleyモデルである

積分発火（LIF)モデルはHHモデルを大幅に単純化し、後続のニューロンに発射するスパイクの有無を0/1で表現

Hodgkin-Huxleyモデルは特にイオンチャネルを通したイオン濃度の変化を忠実に再現

7

新技術の特徴・従来技術との比較
既存の FPGA 実装法の問題点
オランダErasmus MCの実装
接続行列と呼ばれるニューロン間の接続を保持する構造へのアクセスがシス
テムのボトルネック

提案するニューロン接続の局所性を活用する手法
実際のニューロン間の接続について解剖学的に生物学的な特徴調
べた結果、接続確率が距離に対して正規分布となる脳の領域も多い⇒ 隣接間の接続確率が高いことから、接続を隣接間に限定[0, 3σ]The overview of BrainFrame design[Smaragdos2017] A dataflow-based accelerator for
Extended Hodgkin-Huxley model called BrainFrame接続行列の参照特性をステンシル計算で模倣• これまでの実装• 接続行列はニューロン数の2乗のサイズが必要• 接続行列をメモリからデータ転送するのが計算のボトルネックであった• 提案手法• 接続行列に代えて、隣接間に限定する接続の規則性から接続関係をグリッド上の座標で表現• メモリアクセスが規則的であり、スパコン分野のステンシル計算の同じ手法で高速化可能

ニューロン間の結合は任意のネットワークを形成するのではなく、解剖学的特徴から2次元グリッド上で隣接する8つのニューロンと接続しているとモデリング

データは1次元アドレスを持つメモリに写像されるため、隣接するニューロンは周期的に格納される
9

ステンシル計算の規則性を活用した専用回路
グリッド上の隣接するニューロン間の直接的な接続のみでモデリングすることもできると想定⇒ スパコン分野のステンシル計算と同じ手法で高速化可能

5-Point

7-Point

9-Point

19-Point

2次元/3次元グリッド上の点とステンシル計算の例

…

…

…

…

current
stream.offset(-zmax)
stream.offset(-zmax)
stream.offset(ymax)
stream.offset(-ymax)
stream.offset(1) stream.offset(-1)

Stencil window (7-point)

Delivered tonodes in kernel

Window of the data stream

更に、FPGAでステンシル計算に特化する回路を構築

10新技術の評価
Xilinx AlveoU200 + HLS framework (Maxeler) にて合成

評価結果実装したマシンとFPGAカードインメモリの632段パイプラインから構成される専用システムとしてFPGAに実装20736個のニューロンまでをリアルタイムでシミュレーション可能（既存手法の66.8倍）

11

実用化に向けた課題• 現在、電気シナプス（ギャップジャンクション）と呼ばれるシナプスをモデリング。化学シナプスについては未評価。
• 今後、実用的な運動系への応用の過程でHHモデルと積分発火モデルとの比較を実施する。
• 実用化に向けて、ニューロンの学習に対する技術を確立する必要がある。

12遺伝的アルゴリズムを用いたネットワーク学習
現在評価しているネットワーク学習法

2. To replace low score networks, we randomly selecttwo parents for EA
3. We select two points randomly and divide the grid
into two regions by the line passing the two points

Parent 1

1. We prepare 100 networks andevaluate scores of cartpole

Parent 2child4. Generate a child network from two parent networks
by crossover of EA
5. After the crossover, we evaluate 100 networks again
6. If we need to iterate more, go back to 2.

企業への期待• 既存の深層学習や強化学習を超える新計算原理の研究開発を模索する企業との共同研究を希望。
• また、スパイキングニューラルネットワークの専用システムを開発中の企業、BMI分野への展開を考えている企業には、本技術の応用を検討する価値は大きいと思われる。

14

本技術に関する知的財産権• 発明の名称：演算処理装置および演算処理方法• 出願番号 ：特願2022-037139• 出願人：国立大学法人豊橋技術科学大学

• 発明者

：佐藤幸紀

お問合せ先：研究推進アドミニストレーションセンター
Phone: 0532 - 44 - 6975
FAX: 0532 - 44 - 6980
E-mail: tut-sangaku@rac.tut.ac.jp 担当: 白川正知
15

産学連携の経歴• 2012年-2018年 JST CRESTポストペタ領域に参画
スパコンのシステムソフトウェア技術• 2018年-2022年 JSTさきがけ事業に採択
本特許のコア技術の開発• 2021年- 理化学研究所との共同研究および研究協力
富岳の高度化に向けた「FPGAクラスタ試作システム」に関する研究および次世代計算基盤に係る調査研究• 2022年- JAXA/東大/豊橋技科大の共同研究を実施
FPGAを使った宇宙機エッジコンピューティングに関する研究• 2023年- NEDOポスト5G（超分散コンピューティング）の共同研究

16