堀尾 喜彦

ソフトコンピューティング集積システム研究室
ブレインモルフィックコンピューティングとEdge AI
主な研究の概要
研究テーマ： ブレインモルフィックコンピューティングハードウェアパラダイムの構築

研究の概要： 近年、脳型ハードウェアの研究が盛んであるが、未だ真の脳型には程遠く、大きなブレークスルーには至っていない。そこで、脳の最新の生理学的知見に基づき、特に脳における生物物理やダイナミクスを、ナノデバイスや微細低消費電力集積回路の物理とダイナミクスを活用して再現する、新しい脳型情報処理ハードウェアパラダイム「ブレインモルフィッ
クコンピューティングハードウェアパラダイム」の基盤を構築する。特に、新機能脳型デバ
イスを用いて新規脳型アーキテクチャを直接的に実装し、脳に特異的な計算様式・機能の創発を目指す。これにより、ボトムアップ構成的に脳の情報処理様式に迫る。

研 究 内 容 の 例#1Future AI Hardware Paradigm#2【Private AI】【Human Centric AI】 今, ここ, 私のため
プライベートな, 各個人に特定(必要)な,出しゃばらない, 動的・柔軟なサービス

現在のコンピュータパラダイムではユーザに近い Edge デバイス

原理的にも技術的にもエッジでのリアルタイム学習実現が非常に困難

計算原理

初期のニューラルネット
不整合
ノイマン型
ニューロコンピュータ ワーク
AI
機械学習

Processing in Sensors◎高速・大容量計算

IBM

IoT → IoE →Intelligent on Edge

高エネルギー効率

パーソナルで、人に密着したAI パラダイム
超小型
低消費電力
インテリジェント
Edge AIデバイス

クラウド＋サーバー・クライアント型

Business AI, Home AI

いつでも、どこでも誰にでも、のためのAI

ビッグデータに依存
大型、大消費電力、高性能サーバー が必要

Edge: サーバーとの密な高速・大容量通信必須
通信量の爆発、データ量の爆発
遅延 によりリアルタイム処理不能
個人情報保護 が難しい

脳科学的アプローチ
身体性による制約

情報科学的アプローチ
協働

ブレインモルフィックシステム

このような状況を利用
活用

ブレインモルフィック 計算に向けた我々の研究例

1. スピントロニクスデバイスの活用

1. ナノスケール抵抗変化シナプスとニューロンへのSpin-Orbit
Torque (SOT)デバイスの応用
 デバイス物理で生物物理を直接的に模倣

Spin Orbit Torque アナログメモリデバイスを開発
SOTシナプスを用いて連想記憶回路を実現

2. ダイナミクス/アルゴリズム(無意識/意識)ハイブリッド計算 HWシステム
 物理“プロセス” (ダイナミクス)を用いた情報処理 情報の多様性と統合のための複雑性・複雑ダイナミクスの活用
 不確実性、変動、ノイズの積極的活用
Y. Horio et al., Physica D, 237, 1215-1225, 2008

3. 脳・身体総合体(Whole Organism) コンピューティングシステム
堀尾喜彦，信学技報，117 (121), 59-62, 2017.

Spin Orbit Torque (SOT) ニューロン特性0#110• Multilevel• PlasticΔτ < 0Δτ (delay)① 「自己」（内部状態）、②「対象」、③「変化」、にそれぞれ対するニューラルパターン構築

身体システムより【③状態変化検出NN-IC】

Chaotic Reservoir

モバイルデバイス、ロボット、遠隔地（宇宙や深海など）探査、自動運転車、
センサネットワーク、IoT、サイバーフィジカルシステム、見守りシステムなど。

Kurenkov et al. Adv. Mater. 31, 1900636 (2019).

Chaotic Neural Network Reservoir #14#13

Edge応用：小型・低消費電力なハードウェア実装が必須

まとめ①計算原理・アーキテクチャ#15②デバイス・テクノロジー①のコピーを内蔵
カオススパイキング
ニューロン【②対象表象NN-IC】

 ②のパターンにより内部状態が変化
 その変化を検出し、その変化に対応するニューラルパターンを生成 影響が大きい時には学習により、ネットワーク構造を変更

意識・無意識ハイブリッドシステムへ

参照自己システム

個々の対象に対応したニューラルパターンを生成

User Dependent, Personalized Computer の実現を目指した

自ら環境に働きかけて学習できるので、応用範囲が格段に拡大

Δτ > 00

カオススパイキング
ニューロン

#12

Cyber Physical SystemのSelf-Aware Systemとも関連

身体性(Embodiment)導入の効果：
 直接的、物理的なインターフェイスが可能（操作性の向上）
 センサー・アクチュエータと処理が一体化
 マルチモーダルな情報の統合で 学習・記憶性能が向上
 能動的な情報取得による能動的学習が可能
 自分と自分以外の区別が可能（参照自己の活用、情動の生成）

Spike-timing-dependent plasticity (STDP)

変更結果を基準内部状態に反映

身体性の導入・活用

脳単体を実現するのではなく、環境や自身の状態を身体性として統合することにより、いわゆる「動的参照自己」としての内部状態を持つ、より高性能な脳型コンピュータの実現を目指す。

Δτ

拡張積分発火（I/F)
ニューロン

Current

堀尾喜彦，「脳・身体総合体コンピューティングについて」, 信学技報，117 (121), 59-62, 2017.
Y. Horio, "Towards a neuromorphic computing hardware system,“ Proc. NOLTA, 189-192, 2017.

Excitation intensity【①基準内部状態NN-IC】

END

脳・身体総合体(Whole Organism)コンピューティング

AxonSpiking
neuronCorresponding responses of the NN

不揮発ｱﾅﾛｸﾞｽﾋﾟﾝ素子 (人工ｼﾅﾌﾟｽ)

Dendrites

Change ofsynaptic weight• Binary(Fire/Non-fire)• Volatile(Leaky)

H=0

反強磁性体を用いた

Y. Horio, Proc. NOLTA, 189-192, 2017.

#10

Input patterns (example)

START

ThresholdTime

S. Fukami et al., Nature Mater. 15, 535, 2016.
W. A. Borders et al., Appl. Phys. Express, 10, 013007, 2017.

S. Fukami et al., Nature Mater. 15, 535, 2016.
W. A. Borders et al., Appl. Phys. Express, 10, 013007, 2017.
A. Kurenkov et al., Adv. Materials, 1900636, 2019.

シナプスSTDP特性
Spikes#9#8#7均一的(homogeneous)処理、拾う処理
並列化（単純性）と選択（重みづけ）
ルール構築・参照、過去事例参照
リソース・スレッド管理
データ量の増大による情報収集
収束ダイナミクス
アルゴリズムによる処理
Networked, Cloud, Server-Client

Leaky Integrate-and-Fire (LIF)

Membranepotential

ブレインモルフィックコンピューティングパラダイム

仮想空間、ネットワーク空間

ニューロンLIF特性
1

4. 合成による解析：設計論として拡張

巨大リソース
ビッグデータ
一般のAI（ほぼ）無限メモリ
ブロードバンドコミュニケーション
膨大なエネルギー
バッチ処理も可：過去も利用可

脳型
Edge AI
HW

注意の機構、捨てる処理
並列分散（多様性：複雑性）と統合
経験的予測・推論・学習・記憶
意識処理と無意識処理の協調
働きかけ（運動）による情報補完
複雑ダイナミクスの活用
物理プロセスによる処理
自律性・自己完結性：Standalone

創発する脳型情報処理 不確定性、変動、ノイズの利用による性能向上
 普遍性、個別性 Consistency, chaotic itinerancy ,….

ノイマン型計算機

物理的に有限なリソース

Probability of firing

3. 複雑システムのロバスト性を活用

少ない経験からリアルタイムで常にオンサイトでローカルに学習し、それぞれの個人やその場所の状況に合わせたパーソナルなサービスを、必要な時に必要なだけ提供する、超小型、超低消費電力、邪魔にならないエッジデバイスを開発する。
5

バッチ 学習（学習と処理の分断)
柔軟な実時間処理が困難

無限定
有限データ
動的
有限メモリ
不確定な有限空間
世界
有限エネルギー
有限時間：リアルタイム
有限コミュニケーション

 複雑なものはそのまま扱う 要素還元× 全体論× ブレインアーキテクチャの追求
 そのブレインアーキテクチャに基づくハードウェアの構築

Deep Learning デバイスや回路の物理的・動力学的性質を直接利用（特にアナログデバイス、回路）
 生物物理をデバイス物理で模倣・再現
 複雑性・複雑ダイナミクスを活用
情報表現の多様性・豊かさと統一性を同時に実現
 不確実性、変動、ノイズなどを積極的に利用
 最新の脳神経科学の知見、特に高次機能の知見を反映 意識・無意識、情動、感情なども含めて 進化（構造・機能）や、身体的・環境的制約を積極的に活用
 Embodiment(身体性) 脳・身体総合体コンピューティング

2. 複雑システムによる複雑計算

パラダイムシフト

現状のAI HW paradigmの課題

 脳神経系の解剖学的、生理学的な「構造」や仕組みを模倣
 「プロセス」「ダイナミクス」による情報処理 物理化学ダイナミクスを直接使用
 非線形ダイナミクス（高次元カオス）研究のターゲット

ノイマン型

ブレインモルフィック(Brainmorphic)計算とハードウェア

1. 「プロセス」（複雑ダイナミクス）による情報処理

通信コストの壁 (クラウドに依存しない）
プライバシー
サイズ、消費電力の壁 (エッジ, Wearable, Attachable AI）
保護
オンサイト学習の壁・データ不揮発の壁（パーソナル & プライベート AI）

アーキテクチャの壁（Non-von Neumann）
ブレインモルフィック

リアルタイム処理#6

脳型計算原理・アーキテクチャに向けて必要な時、必要な場所、必要な人のためのパーソナルなAI

20 W

×不得手な問題多数

より知的な（脳のような）処理

Resistance①アーキテクチャと②テクノロジーのブレークスルー

×低エネルギー効率#5#4

AI Hardware Frameworks

CMOS
部分整合
デジタル/アナログ
スパイキング新しいデバイス
新しい計算原理
新しい整合
整合
既存デバイスの（脳型：探求）
脳型アーキテクチャ
別の活用
課題１
課題２

ブレインモルフィック
コンピューティング

ローカルな環境情報の取得

テクノロジー

CMOS
整合
デジタル/アナログ

近年のニューラルネット
部分整合
非ノイマン型？
ニューロコンピュータ ワーク
AI
機械学習

Body Attachable Devices

バッチ学習アーキテクチャ

２値ブール代数
ノイマン型（離散内部状態 整合（プログラム内蔵方式）整合
CMOS デジタル
Turing Machine） （デジタル）

デジタル
コンピュータエッジでのリアルタイム実行

プライバシー保護
最小限の通信クラウド上のサーバー#3

計算原理・アーキテクチャ・デバイス

ブレインモルフィックコンピューティングパラダイム
結合には非同期パルス伝送回路を活用

東北大学電気通信研究所における 共同プロジェクト研究による

Edge AI ハードウェア
身体性：脳に創発するような情報処理様式を規定「プロセス」による情報処理が重要

2017年度 電気通信研究所 研究交流会東北大学電気通信研究所における 共同プロジェクト研究[H29/A21]による