第18回 全脳アーキテクチャ勉強会 ～ 全脳規模計算 ～2017年3月13日 @パナソニック東京汐留ビル （40分）

時間領域アナログ方式で脳の演算効率に迫る

九州工業大学 大学院生命体工学研究科
森江 隆

morie@brain.kyutech.ac.jp
http://www.brain.kyutech.ac.jp/~morie九州工業大学 生命体工学研究科での研究体制
人間知能システム工学専攻

脳型知能ハードウェアグループ

田中

森江

田向研究室

研究室

研究室

人工知能処理モデル
知能デバイス
脳型計算機システム
ナノ材料
脳型集積回路デジタル集積回路

分子アーキテクトニクス

新ナノデバイス開発

知的画像処理・システム

ロボット制御3人工知能（ニューラルネット）研究の盛衰
パーセプトロン（単層の誤り訂正学習）

・バックプロパゲーション（誤差逆伝搬学習）（主に3層）
・ネオコグニトロン
・ホップフィールドネットワーク
・ボルツマンマシン
・SOM（自己組織化マップ）

・ディープ・ラーニング（深層学習）
・スパコンでの全脳シミュレーション
・IBM TrueNorth・各国の脳プロジェクト

1960年代1980年代2010年代ブーム

ブームブーム冬の時代

・パーセプトロンの限界指摘（1968）「人工知能」命名（1956）

バブル景気
（日本）

冬の時代

自動運転，知能ロボット

第5世代コンピュータ（推論マシン）開発

・機械学習
・ビッグデータ解析・Computer Vision

IBM・Deep Blueがチェスのチャンピオンに勝利（1997）

・アルファ碁がプロ棋士に勝利（2016）
3

設計・開発してきた脳型アナログLSIチップ
1995

2000

領域分割用
BP/DBMネット 非線形振動子
JSC 1994ESSCIRC 2002

主観的輪郭生成用
異方性拡散
畳込みネットワーク
VLSI Cir. 2005

BPネット
浮遊ゲートメモリ
IEICE 1995

アナログ方式スパイキング・
領域ベースMRF

ISSCC2009

ISSCC2012SRP

任意カオス回路スパイキングNN

ガボールフィルタ マッチング・プロセッサ ISCAS2008
VLSI Cir. 20042010 年

2005

ICONIP2011

NCSP2007

PWM方式
カオスボルツマンマシン
結合カオス・ネットワーク
ECCTD2011ICONIP2016

スパイク方式4

内容• 脳型情報処理ハードウェアの現状– AIチップでのディジタル方式とアナログ方式の比較• 時間領域アナログ方式での超低電力積和演算• 脳型システムの学習機能と不揮発性アナログメモリ• ノイズ（ゆらぎ）を利用した情報処理モデルとナノ構造

5脳型ハードウェア研究とAIチップ開発の現状

6

脳型ハードウェア開発における二つの方向性• 実際の脳で行われている処理を再現したい（理学派：理学的関心）– 脳科学研究に役立てるツールとしてのシステム– 実際の神経回路にどれだけ似せるかが鍵– 非線形ニューロンモデル，STDP– EU・FACETSなど• 脳の情報処理様式を利用して，人工知能システムの性能向上を図りたい（工学派：工学的応用）– 必ずしも実際の神経回路に似せる必要はない．
– 脳の構造・機能に触発された（inspired）システム– 深層学習の成功で，近年はこちらが有力．
– 米国・SyNAPSE，EU・Human Brain Project7

脳型システム・脳研究に関するプロジェクト• 米国– SyNAPSE（2009-）, DARPA, IBM, HP, etc.
• IBM・TrueNorth（2014）– Brain Initiative （2013-）• EU– FACETS（2005-2010）– BrainScaleS（2011-）– Human Brain Project（2013-）• 日本– 革新脳（2014～）～1000億円／10年

8AIチップの演算性能・効率指標
通常の計算機で用いられる性能指標のFLOPSに比べて，固定小数点演算で十分な特定用途プロセッサ（メディアプロセッサ，AIチップ）では単にOPSが用いられる．最新のPC（Core i7）では～500GFLOPS

演算性能：TOPS/GOPS(Tera/Giga Operations Per Second)
演算性能／消費電力比（効率）：TOPS/W (TOPS / Watt)= Tera Ops. per sec. / Joule per sec.
= Tera ops. / Joule
演算当たりの消費エネルギー = 1/(TOPS/W) [pJ/op]= 1 [pJ/op]

脳のシナプス演算： 0.1～1fJ/op
1,000～10,000TOPS/W

ニューロン数：～1011
シナプス数：～1015
消費電力：20（～1）W
動作周波数：10～100 Hz
活性化率：～10%
9

ISSCC 2017でのAIチップ関連発表

既存デジタル手法
では ~10TOPS/W

10

AIチップにおけるディジタル方式とアナログ方式の比較
演算性能/消費電力比（エネルギー効率）の観点から

11

行デコーダ

行アドレス

既存ディジタル方式の演算効率の限界
・・

メモリセル

・・

RAMは一度に一行しかアクセスできない．

メモリ
（RAM）

プロセッサ（演算回路）

ディジタル方式(von Neumann アーキテクチャ)
12

脳型システムのための専用ハードウェア
一般的な機械学習，数値計算など

ニューラルネットワーク

計算モデルにアーキテクチャがない計算モデルにアーキテクチャがある

汎用ハードウェア，ノイマン型計算機，並列計算機

同一アーキテクチャで，学習により様々な問題に対応
専用ハードウェア

制御信号

演算器

シナプス wij

oj

入出力
制御回路

メモリ

ニューロン

BPネット

誤差逆伝搬

出力
入力

教師信号

外部バス
制御回路

バス

13

・・

メモリセル

・・

メモリ・演算セル

アナログ入力

行デコーダ

行アドレス

ディジタル方式の限界とアナログ計算

メモリ
（RAM）

プロセッサ（演算回路）

積和演算出力ディジタル方式(von Neumann アーキテクチャ)

アナログ/パルス処理方式(クロスバ・アーキテクチャ)

RAMは一度に一行しかアクセスできない．

RAMと同じクロスバ回路上で，記憶と演算の並列計算が実行できる．
14

クロスバ・シナプス構成の特徴
クロスポイントにシナプス素子を集積する方式• 利点– 2次元アレイでの超並列化を実現（ディジタル方式RAMとの相違）– 構成が単純で，製造が簡単• 欠点– 学習機能内蔵には制約大（ニューロン回路側で工夫が必要）– 本来のSTDP特性の実現には工夫が必要（cf. S. Kim et al., IEDM2015）– 正則化，DropConnectなど，深層学習のシナプス部での機能の実行は難しい
15アナログ専用ハードウェアで狙う機能• 認識機能のみ（学習機能無し）• 学習機能内蔵• アーキテクチャ/パラメータ自己改変（近年のDLの各種ノウハウを実装）• 荷重値２値更新（BinaryConnect*）• 荷重値ディジタル更新（ディジタルメモリ使用）• 荷重値アナログ更新（アナログメモリ使用）*) NIPS 201516

脳型処理モデルとハードウェア方式• フィードフォワード型ニューラルネット（組合せ回路的）– （多層）パーセプトロン（DNN）– 自己組織化マップ（SOM）• フィードバック型ニューラルネット（順序回路的）ダイナミクス（時間発展）がある『物理システム』と対応– ホップフィールド・ネットワーク– ボルツマンマシン• 時間領域情報処理（スパイキングニューロン）• ノイズを利用した情報処理モデル

ディジタル方式が有効
アナログ方式は超低消費電力・実ニューロン方式を狙う．
アナログ方式がより強みを発揮．と言っても，従来型のアナログ回路ではなく，アナログとデジタルを融合したパルス（スパイキング）型

17

電圧モードでのアナログ積和演算回路
Vin1
N
Vinj

R1

Dendrite line
仮想接地
Rf

Vin2 R2

Vout

Rj

Op-ampC

既存のアナログ方式

入出力はアナログ
電圧 Vin，Vout
DC動作を利用𝑵

𝑽𝒊𝒏𝒋
𝑽𝒐𝒖𝒕= −෍𝑹𝒇
𝑹𝒋
𝒋=𝟏R=100MW, Vin=0.1~1V, t=1ms とすると
Ew=tV2/R= 0.1～10fJ
デジタル方式に比べてシナプス（積和演算）部で1桁以上の電力効率の向上が期待できるが，ニューロン部ではオペアンプなどで大きな電力を消費する．
18

時間領域アナログ方式による
超低電力積和演算19２種類のニューロンモデル
発火率（アナログ値）を用いる

従来のアナログ型ニューロン（いわゆるニューラルネットワーク）

スパイクパルスの時空間特性を用いる

スパイキングニューロン

生体ニューロン（スパイク）
パルス頻度
アナログ値

積分発火型
スパイクパルス

シナプスPSPS
S 総和

しきい値関数飽和型関数変換S
PSP: シナプス後電位
しきい値関数非線形変換

20

積分発火型ニューロンモデルでの積和演算
i1
i2
i3

i1
P1
P2

i2

P3

Vn

qin

i3

P1

w1

P2w2

P3

w3

thii

VVnn

Pispkntime
典型的なPSP波形: a-function

t1t3t2tvtime
W.Maass et al., 1999 21

時間領域積和演算モデル
i1i2
i3
P1w1

P2w2

P3w3xi --> タイミング ti
wi --> PSPの傾き
出力タイミング tv --> y,thVn
spkn
t1t3
Tt2tvtime

Q. Wang et al., ICONIP 201622

並列抵抗入力による積和演算【スパイクタイミング表現アナログ回路】

N

Vin1

RVin

Vin/t

qq

Dendritest =RC

Ewsum= CV・q

Vin2k0Vinj

Comparator

CC=10 fF, V=1 V, q =0.1V とするとEwsum = 1 fJ
入力数N =100とすると，Ew = Ewsum/N = 10 aJtime

長時定数と高並列性のため，高抵抗素子が必要！
並列度を考慮したON/OFF抵抗比が必要！

R=1GΩとして，t=1ms（時間分解能10nsとして，100ステップ確保）

T. Tohara et al., APEX, 2016. T. Morie et al., IEEE NANO 2016.

23時間領域積和演算モデルのCMOS回路実装例
i1i2
i3

i2

Fan-out: 100~>1000

Axons

i1

P1

w1

P2w2

P3w3

thth
Cw2
Fan-in: 100~>1000

Cw1

spkn
PG

VnCVn
MOSFETをスイッチト電流源として用いる

spkn
t1

t3
Tin

t2

Axonラインを充電するためのtvtime

エネルギー
これを減らすために，配線容量を低減
24クロスバ構成での時間領域積和演算の課題
Vo

Fan-out: M
Dendrite
AxonCii

低容量配線

Coi

Fan-in: N

高抵抗・抵抗変化
メモリ素子

Ci 低入力容量

Ecmp
低消費電力
ニューロン回路25配線容量からの消費エネルギー見積もり
lr
Cih

ワイヤ配線の静電容量（単位長当たり）

2𝜋𝜀𝐶=2ℎln𝑟r = 1 nm, h = 100 nm, l = 1 mm, V = 1 VCi ≈ 10 pF/m

CSYN ≈ 10 aF/mm

ESYN =CV 2 ≈ 10 aJ（1mm当たり）26

時間領域アナログAIチップ開発の課題• 既存のディジタル方式とは対極のデバイス開発方針– メモリ素子：高抵抗アナログメモリ⇔低抵抗ディジタルメモリ– トランジスタ：低速FET（subthreshold動作）⇔高速FET– 配線材料・プロセス：極低容量（高抵抗でも可）– 高集積化プロセス：3D積層など– 回路：低精度でも，極低電力な比較器など

27脳型システムの学習機能と不揮発性アナログメモリ
STDP機能とメモリスタ （抵抗変化型メモリ）28

アナログ記憶デバイス• 目的– 所望のアナログ値記憶（結合荷重保存）【確度：Accuracy】– 微少記憶量更新（学習機能）【精度・分解能：Precision, Resolution】• デバイス– キャパシタの電荷利用（DRAM型）（1980年代～）• 通常CMOS技術で作製可• 漏れ電流のために長期間の記憶保持不可– 浮遊ゲート型（EEPROM／フラッシュメモリ型）（1980年代～）• 特殊プロセス必要だが，実用化済(ETANN, Intel 1989)• 10V以上の高電圧が必要• アナログ値書きこみには工夫が必要– 強誘電体型（FeRAM）・強磁性体型（MRAM）（1990年代～）– PCM（相変化メモリ）（DVD等）– 『メモリスタ』（抵抗変化型：ReRAM）（2008～）• 高速・低電圧書きこみが可能

29

スパイクタイミング依存シナプス可塑性（STDP）• STDP (Spike-Timing Dependent synaptic Plasticity)– 非同期スパイク間の位相差に応じて結合荷重値を変化する学習則– 学習機能を有するスパイキングニューラルネットワークを実現
DWijtitj timeDt非対称型対称型

時間領域情報処理の一例
30

まとめ• 時間領域アナログ方式により，生体の脳を凌駕する超低電力積和演算を実現できる可能性がある．
• 脳型システムに必要な不揮発性アナログメモリとして抵抗変化型メモリ（ReRAM）素子などが開発中．
スパイクタイミングによるSTDP機能の実現がカギ．
• 脳型情報処理には，ノイズ（ゆらぎ）の利用が重要．
ナノデバイスで実現．
• 脳の高度な機能をモデル化する研究に期待．
31