エクサフロップス級計算機による人間の大脳皮質規模の神経回路シミュレーション
五十嵐 潤
理化学研究所 情報基盤センター
計算工学応用開発ユニット
上級センター研究員
ポスト京 萌芽的課題4

本日の内容0. 自己紹介1. 脳の特徴
2. さまざまな脳のシミュレーション
3. 3. ヒト規模の大脳皮質シミュレーションに向けた取り組み1. 脳の特徴

A. 人間の脳にある神経細胞の数約86,000,000,000 （860億）個 ！
神経細胞の方が地球の人間よりも10倍以上多い！
出典 Cajal Blue Brain Web

A. 神経細胞をつなぐ結合の数約100,000,000,000,000（100兆)個！
脳の中の結合を合わせると地球何周分もの長さ

脳はこの世で一番複雑な構造物

脳の柔軟な思考と創造性
コンピュータ– 計算は早い– 言われたことだけする

人間の脳– 計算は遅い– 高度な認識、柔軟な学習– 創造性
出典 脳の写真 Herculano-Houzel, 2009

脳は超省エネ
世界最速スパコン：
神威太湖之光(中国）

1537万ワット（TOP500, 2017年11月時点）

人間の脳約10ワット
100万分の１以下
出典 脳の写真 Herculano-Houzel, 2009

脳はまだ未解明
脳が膨大な数の神経細胞や結合によって、どのように情報を処理しているのか、わかっていない
困難な問題
神経細胞や結合が複雑で数が膨大なため、全ての活動や相互のやり取りを把握できない。

☆ 脳のシミュレーションの利点- シミュレーション上では、全ての活動や相互作用を記録できる- 何度でも、どんな状態でも試せる- 動物実験の代替えができるもし脳が解明できたら…
• 脳の病気の治療• 効率のいい勉強法• 人間のように考えるパ
ソコンやロボット(C) tezukaosam.net• 我々の存在へのヒント

社会問題の解決、社会への貢献が多数見込める。

2. 脳のシミュレーション

スーパコンピュータの性能と神経回路シミュレーション
規模の推移
図：AMD, 2010資料
演算性能 (FLOPS)

エクサ1018?

ペタ1015
テラ1012
ギガ109
メガ106
キロ103
1950

19601970 1980 1990 2000 2010

1600個 Destexte et al, 1994
1神経細胞
Hodgkin andHuxley, 1952

3460個 Traub et al, 2000

2020

17億個
Kunkel et al., 2013

100万個 Izhikevich and edelman, 2008
16億個 Ananthanarayanan et al., 2009

シミュレーション規模は、ムーアの法則に従う計算機性能上昇とともに拡大。
2020年頃にはエクサ級の計算機でどれだけ拡大するか？

ネコの脳規模の新皮質ー視床の神経回路モデル（Ananthanarayanan et al., 2009)• 新皮質と視床の神経回路モデル• ネコの脳の規模に匹敵する16億個の神経細胞と8.8兆個のシナプス結合• α周波数帯(約10Hz)の集団的な振動活動が発生• IBMのスーパコンピュータBlue Gene/Pを利用（147456 CPUと144TBのメモリー）ラットの体性感覚皮質(Markrum et al. 2015 Blue Brain Project)• 体性感覚皮質、31,000 神経細胞をシミュレーション• 207 morpho-electorical neuron subtypes• 計算機：EPFL Blue Brain IV (Blue Gene/Q, 65,536 コア、839 TFLOPS , Swiss National Supercomputing Center)• シミュレータ：NEURON simulator• 皮質神経回路について多数の予測

知的なタスクを実行できる神経回路モデル：
Spaun （Eliasmith et al., 2012)• 脳の各領域で想定される機能を実行する神経回路モデルを組み合わせたモデル。
• 250万個の神経細胞モデル• デスクトップコンピュータで実行可能• 8つの知的タスクを実行することができる

Eliasmith et al., 2012

ネコの規模の小脳（10億神経細胞）のリアルタイムシミュレーション (山﨑 (電気通信大学)et al., ,2016)••••

10億個の神経細胞からなる小脳の神経回路モデル
視機性眼球運動に関する活動を再現
脳表面62 x 64 mm2
Green 500 第3位の菖蒲を用いて実行（理研情報基盤センター）• Intel Xeon + PEZY SC (MIMD, 1024 cores、2 PETA FLOPS）

モデル模式図大脳皮質ー視床ー基底核の神経回路モデルによるパーキン
ソン病の運動症状の研究（HPCI戦略プログラム)• パーキンソン病：ドーパミン減少による異常ベータ振動や運動症状• 運動皮質ー視床ー大脳基底核―脊髄ー筋骨格の統合モデル（約300万細胞）を京コンピュータの8192コアで計算• 大脳基底核のベータ振動機構や震えの発生機構を示唆

運動皮質大脳基底核筋骨格

視床
脊髄京コンピュータを用いた大脳皮質局所神経回路シミュレーション(Kunkel et al., 2013)

京で17億3000万個の神経細胞と10兆4000億個のシナプスのシミュレーション実行を確認(2013年プレスリリース）京で実行した神経回路モデルの規模と動物の脳の神経細胞数
マーモセット
約6億個

ヨザル
約14億個

京で17億個
マカクザ
ル
約63億個
Herculano-Houzel, 2009ヒト
約860億個京では小型のサル程度の規模のモデルの実行が可能であることがわかった。さらに60倍規模を拡大すると人間の規模に達する。

ヒト全脳規模の神経回路モデル実行に必要な計算性能
計算科学ロードマップより• エクサフロップス級の性能で、ヒト全脳モデルの1秒分のシミュレーションを、数時間程度で実行可能との見積もり• “11PFLOPSの京で17億神経細胞”から外挿すると、1EFLOPSで1700億（＞ヒト860億個）

細胞数とシナプス数
細胞数
10^11
コンパートメント数/細胞5000
シナプス数/細胞
10000
FLOP/1秒
細胞
10^21
シナプス
10^19
データ量
細胞
1.6x10^17
シナプス
4.8x10^16
主記憶B/F
0.11• 同様の予測が、IBMのネコ規模脳のシミュレーションを行ったグループからも出されている。(Ananthanarayanan etal., 2009 ）。

Ananthanarayanan et al., 2009全脳神経回路モデル構築に必要なデータ• 2000年代に入り、遺伝子技術、コネクトームの測定技術が急速に発達し、全脳モデル構築に必要な脳のデータが急速に出現してきている。
– 神経細胞間に関する結合データ（マクロスコッピク、メゾスコピック）– 構成神経細胞種の同定– 大脳皮質の脳地図• 数年～１０年内に様々な動物の脳のデータが爆発的に出現する。
Mouse
connection
matrix

Mouse neocortex
Connectome

Mousethalamocrticalconnetcion

Mouse cell types
identification

Humanbrain map

Oh et al., 2014

Zingg et al.,2014

Hunnicutt etal., 2014

Zeisel et al.,2015

Glasser etal., 2016

2022年、”ポスト京”でヒト全脳規模の脳シミュレーションを！
ポスト京萌芽的課題 思考を実現する神経回路機構の解明と人工知能への応用（代表：沖縄科学技術大学院大学 銅谷賢治）

2017年 京11 PFLOPS

小型のサルの脳規模

ヨザル
約14億個

2022年 ポスト京
~1EFLOPS

人間の脳規模ヒト
約860億個

京の百倍の性能のポスト京で全脳規模のシミュレーションを実現し、脳のしくみや脳の病気の解明、人工知能への応用を目指すポスト京 萌芽的課題4思考を実現する神経回路機構の解明と人工知能への応用(2016年8月-2020年3月)

人工知能脳型AI
石井 (京大)BriCA
高橋(理研)
深層学習
原田(東大)

海馬
立野(九工大)結合解析、哺乳類全脳シミュレーション

結合解析
大羽(京大)

昆虫全脳シミュレーション
神崎(東大)大脳皮質
五十嵐 (理研)
小脳
山崎(電通大)大脳基底核
銅谷 (沖縄科技大)NEST simulator
Diesmann (JRC)

視覚皮質
稲垣(中部大)エクサスケールコンピューティングで可能になる大規模神経回路シミュレーションのターゲット：複数脳領域間の相互作用による情報処理と神経疾患• 脳は複数の脳領域が相互に協調し複数のモダリティに関する処理、異なる種類の処理を行う領域が相互作用している。例えば、大脳皮質、小脳、大脳基底核がどのように相互作用し、処理を行っているか良くわかっておらず、シミュレーションのターゲットとなる。
• パーキンソン病、てんかん、うつ病など多くの脳の疾患の場合においても、複数の脳領域が直接、間接的に影響し合い発生する。その機構解明に全脳規模のシミュレーションによる、複数脳領域のシミュレーションが有効。

Proville et al., 2014

Helmich et al. 2012

エクサスケールコンピューティングよる大規模神経回路シミュレー
ションのターゲット： 脳の振動的神経活動による情報処理• 脳では、神経細胞集団が同期して様々な周波数帯の振動的活動を発生する(θ:-4-8Hz、 α:8-15、β:15-40 γ:40-200Hz）。
• 行動特異的に振動は発生し、情報処理に関わるとみられるが、よくわかっていないことが多い。

Fries , 2005
表層

Sato and Yamagucih, 2003
深層• 神経疾患で異常な振動的活動がよく見られ、疾患の機構解明にも重要である。
• 振動的活動は神経細胞集団の協調した活動であり、大規模シミュレーションで扱うことができる。

phase
phase
Igarashi et al. 2013

• 振動的活動は人工知能にない大きな特徴で、応用の可能性がある。

Tachibana et al., 2011

3. ヒト規模の大脳皮質シミュレーションに向けた取り組み

脳の神経回路構造:
近傍が密で遠方は疎な結合を持つ層状シート

大脳皮質• 99% の神経細胞は大脳皮質(20%)と小脳(80%) に含まれる (Herculano-Houzel, 2009)• 結合は脳領域内近傍(1mm)で密で、脳領域間(>1mm)では疎展開

層構造

小脳

Glasser et al., 2016

Fig.：Neuroscience
Mark F. Bear

Pre synaptic sites• 大脳皮質と小脳はミルフィーユのような、層状のシート構造である。

２次元シートPost synaptic sites
Ctx
HippStr..
Th.

長距離は疎近傍は密Cere.
Oh et al., 2014

層状シート型神経回路をどうやって並列計算するか：
タイル分割• ２つの並列化法:– ラウンドロビン法: ロードバラン
ス、集団通信

層状シート型の脳モデル 並列化?

– 空間分割法: 局所的な空間構
造保持、1対1通信• ロードバランス：両方可C
N
1C
N
1C
N
1C
N
1

集団通信

ラウンドロビン法CN1• 通信：結合の空間構造を利用した効率化• 近傍が密で遠方は疎な結合の層状シートを考慮し, 空間分割法であるタイル分割を適用する

計算ノード

空間分割法

CN
1

C
N
1C
N
1

1対1通信
C
N
1C
N
1

C
N
1

C
N
1

層状シート型大脳皮質モデル層: 1, 2/3, 5A, 5B, 6
 層の厚み (Weiler et al 2008), 細胞密度 (Lev and White1997)2
 神経細胞数: 38,000 / 1mm ＝1タイル
 神経細胞モデル: Leaky integrate-and-fire neuron model 結合の空間範囲: 2D Gaussian function (Weiler et al. 2008,Katzel et al., 2010, Apicella et al., 2012)
mdv
 v  RI (t )dtif v  v _ threshold ,L1
L2/3
L5A
L5B
L6then v  v _ reset

1.4 mm1mm

層状シート型の大脳皮質モデル

Katzel et al., 2010

計算環境
★京コンピュータ(計算科学研究機構 , 日本)– CPU：Fujitsu SPARC64 VIIIfx– CPU数：88,128 (~11 PFLOPS)– Memory： ~1.3PB– Network：ToFu interconnect (6Dtorus)★プログラミング言語: C, Message
Passing Interface (MPI) library

S2
M2
M1
S1
Layerstructure
1mm=1node

1mm2=1タイル=1計算ノード

計算時間 (sec)

近傍で密、遠方で疎な結合を持つ、複数領域を持つ層状シート型大脳皮質モデルのタイル並列化

300
200~1.8 billions
neurons

10000

長距離結合40000
計算ノード数80000

タイル並列と通信回数削減法を適用し、良好な弱スケーリング性能が得られた。

計算ノード数の上昇でさらなる規模拡大が期待できる。2022頃には、エクサスケー
ル計算機のポスト京でヒト規模の大脳皮質モデルを実施する予定。

まとめ

局所的に疎で遠方には疎な結合を持つ層状シート型の大脳皮質神経回路モデルについて、効率的な並列化法と通信法について調べた。
タイル並列化と長距離結合の通信頻度削減法によって、層状シート型モデルの、理想的な弱スケーリング性能が得られ、約18億神経細胞のシミュレーションが実現した。エクサフロップス級の次世代計算機で人間規模の大脳皮質シミュレーションが期待できる。

次の課題は、大脳皮質－視床、小脳、大脳基底核からなる全脳モデルをエクサフロップス級の計算機で実現し、運動や思考に関する情報処理機構の解明を目指すことになる。
Blue：小脳
Red：視床運動皮質
大脳基底核筋骨格
山浦、2017、神経回路学会

視床
脊髄戦略プログラム、2013

謝辞• Shigeyuki Oba, Shin Ishii (Kyoto University)• Tadashi Yamazaki, Hiroshi Yamaura (University Elector-Communication)• Kenji Doya, Carlos Enrique Gutize (Okinawa Institute of Science andTechnology)• Koichi Takahashi (RIKEN QUBIC)• Tatsuya Harada, Yoshitaka Ushiku (Tokyo University)
This work was supported by Post K Exploratory Challenge #4 "Understanding
the neural mechanisms of thoughts and its applications to AI“