SS研HPCフォーラム2018 次世代HPCの息吹き

全脳シミュレーションに向けた京による大脳皮質ー視床ー小脳の神経回路シミュレーション
五十嵐潤1、 山浦洋2、山﨑匡1, 2
1. 理化学研究所 情報システム本部 計算工学応用開発ユニット
2. 電気通信大学 大学院 情報理工学研究科

私の略歴と日本のスパコンの性能推移(FLOPS: FLoating-point OPeration per Second
１秒間当たりの浮動小数点演算の回数)

五十嵐 潤

スパコン

•

九州工業大学 生命体工学研究科(2002－2007年):嗅内皮質の研究、プレイステーション3による脳シミュレーション

地球シミュレータ：
41Tera FLOPS
Tera: 1012•

ホンダ・リサーチ・インスティチュート・ジャパン（2008年）：
GPUによる基底核のリアルタイムシミュレーション•

理化学研究所 (2009-2013年)： 京での脳のシミュレーション•

沖縄科学技術大学院大学（2013年－2016）：京によるパーキンソン病状態の脳のシミュレーション•

理化学研究所 情報システム本部(2016-現在):
ポスト京による全脳シミュレーションに取り組み中> x100

京：
11Peta FLOPS
Peta: 1015～x100

ポスト京：
1Exa FLOPS?
Exa: 1018

脳: 膨大な数の神経細胞からなる回路

人間の脳にある神経細胞の数

約86,000,000,000 個 （約860億個）！

出典 Cajal Blue Brain Web

A. 神経細胞をつなぐ結合の数約100,000,000,000,000（100兆)個以上！

脳の中の結合を合わせると地球何周分もの長さ

脳はこの世で一番複雑な構造物

脳は柔軟で創造的コンピュータ– 四則演算などは早い– 命じられたことのみ実行

人間の脳– 四則演算などは遅い– 高度な学習能力– 高度な認識能力– 多様な問題に柔軟に応答– 創造性
出典 脳の写真 Herculano-Houzel, 2009

脳は超省エネ
2018年6月時点での世界最速スパコン：
Summit (アメリカ）

1500万ワット
人間の脳

約10W
出典 脳の写真 Herculano-Houzel, 2009

なぜ脳が省エネなのか•••••••••低電圧(100mV)、低周波数駆動(>1KHz)
イベント駆動型の信号発生
発火の2値表現
演算部とメモリ部の混載構造
3次元実装
機能別専用回路
非同期処理
確率的神経素子を利用した確率的情報処理
液体によるエネルギー供給

Hodgkin and Huxley, 1952

Petrovici et al., 2017

脳のしくみがわかったらなにができるか• 脳の病気の治療• 効果的な教育、社会学への応用• 人間のように考える超省エネのコンピュータ• 人間とはなにかという問いへのひとつの解答

脳のしくみの解明は社会への様々な波及効果を持ち、解決が非常に期待される課題である

脳はまだ未解明

脳は膨大な数の神経細胞や結合によって、どのように認識、思考、学習などの情報処理を行っているのかは完全にはわかっていない

困難な問題
神経細胞と結合が複雑で数が膨大なため、全てを把握することや、神経細胞間の相互のやり取りがわからない。

☆ 脳のシミュレーションの利点-シミュレーションによって、脳に関する膨大な知見を統合し、構成論的な理解を行える。
- 全ての神経細胞の活動や相互作用を記録でき、 何度でも、どんな状態でも試せる。
-動物実験の代替えになる。

大脳皮質ー視床―大脳基底核ー脊髄―筋骨格モデルによるパーキンソン病の運動症状のシミュレーション(HPCI戦略プログラム1)•••

大脳皮質ー視床―大脳基底核ー脊髄―筋骨格モデルは、300万神経細胞を含む脳と身体の統合モデル。
大脳基底核部の異常なベータ振動 (15Hz) (Shouno and Doya 2017)、震えの周波数帯の大脳皮質ー視床部の振動的活動, 上肢の震え様の動き
京コンピュータ(88,128 CPUs)と、NESTシミュレータを用いて計算

運動皮質

大脳基底核

筋骨格筋

視床

脊髄

80億個の神経細胞を持つ小脳モデルのリアルタイムシミュ
レーション（Yamazaki et al., 2018, International Symposium, New Horizonsof Computational Science with Heterogeneous Many-Core Processors）• 80億の神経細胞からなる小脳モデルのリアルタイムシミュレーション• JAMSTECの暁光システム（PEZY-SC：2048コア、10000チップ、28.19PETA FLOPS）を使用• 視機性眼球反応(OKR)に対応する神経活動を再現。

暁光

小脳モデル模式図

PEZY SC2

https://news.mynavi.jp/article/20180319-601167/

京コンピュータとNESTシミュレータによる大脳皮質神経回路シミュレーション(Kunkel et al., 2014)

京で17億3000万個の神経細胞と10兆4000億個のシナプスのシミュ
レーション実行を確認(2013年プレスリリース）

各動物の脳の神経細胞数
マーモセット
約6億個
ヨザル
約14億個

京で大脳皮質モデル
17億個

マカクザル
約63億個
暁光で小脳モデル80億個

ヒト
約860億個
現在のスパコンで小型のサル程度まで規模のシミュレーションが可能。さらに10～20倍程度規模を拡大すると人間の規模に達する。
出典：脳の写真 Herculano-Houzel, 2009

脳のシミュレーションの究極の形：
全脳シミュレーション•

脳まるごとについて、脳の構成要素である神経細胞、シナプス結合などを全てシミュレーションすること•“2020年代までには、脳全体をモデル化しシミュレートするのに必要なデータ収集とコンピューティングのツールを手にしているはずだ” (レイカーツワイル、ポストヒューマン誕生より）。

•全脳シミュレーションの段階
1. 全要素を含む脳モデルを構築する段階
2. 完全に情報処理を再現できる段階•

まだ、1. 、2.のどちらにも到達していない。

”全脳”シミュレーションを目指す理由：
脳の情報処理の観点から•脳の情報処理機構を理解するために、発火する神経細胞レベルから全脳の回路レベルまでのシミュレーションが求められる。

イオンチャネル– 神経細胞の細胞膜にあるイオンチャネルの働きで発火。
発火– 局所的な神経細胞集団内の発火のやりとりで、集団的活動（同期的活動、振動的活動）を起こす。

領域– 局所的な神経細胞集団は脳領域内外で信号をやり取りをし、脳全体としての情報処理を行う。
– 脳全体の情報処理の結果は脳領域の活動、局所的な神経 Murakami et al., 2015
細胞集団の活動、イオンチャネルレベルの活動に作用する。
脳– 分子、細胞、局所神経細胞集団、脳領域などスケールの異なる階層間で相互作用が起き、脳の情報処理が行われる。

なぜ“全脳“のシミュレーションを目指すのか：
スーパコンピュータの性能と神経回路シミュレーション規模の推移
図：AMD, 2010資料

演算性能 (FLOPS)

エクサ1018?

ペタ1015
テラ1012

ギガ109
メガ106
キロ103
1950 1960

1970 1980 1990 2000 2010

1600個 Destexte et al, 1994
1神経細胞
Hodgkin andHuxley, 1952

3460個 Traub et al, 2000

100万個 Izhikevich and Edelman, 2008
16億個 Ananthanarayanan et al., 20092020 2030

80億個
Yamazaki et al.,
2018
17億個
Kunkel et al., 2013

シミュレーション規模は、ムーアの法則に従う計算機性能上昇とともに拡大しており、2020~2030年代では全脳規模に拡大していきそうである。

ヒト全脳規模の神経回路モデル実行に必要な計算性能
計算科学ロードマップより•

理論的な必要計算リソースの見積もりによると、エクサフロップス級の性能(1018 FLOPS)で実行効率10%で、ヒト全脳モデルの生物学的時間1秒分のシミュレーションを数時間程度で実行可能（計算科学ロードマップ2014 ）•11PFLOPSの京コンピュータで大脳皮質17億神経細胞が実行され、外挿すると、1EFLOPS
では1700億を実行でき、ヒト860億個を上回る。

•同様の予測が、IBMのネコ規模脳のシミュレーションを行ったグループからも出ている。
(Ananthanarayanan et al., 2009 ）。

細胞数とシナプス数
細胞数
10^11
コンパートメント数/細胞5000
シナプス数/細胞
10000
FLOP/1秒
細胞
10^21
シナプス
10^19
データ量
細胞
1.6x10^17
シナプス
4.8x10^16
主記憶B/F
0.11

Ananthanarayanan et al., 2009

全脳神経回路モデル構築に必要なデータ•

2000年代に入り、遺伝子技術、コネクトームの測定技術が急速に発達し、全脳モデル構築に必要な脳のデータが急速に計測され始めている。
– 神経細胞間に関する結合データ（マクロスコッピク、メゾスコピック）– 構成神経細胞種の同定– 大脳皮質の脳地図•

ただし、多くはマウスの脳データで、霊長類、ヒトの脳のデータはまだ時間が必要。脳の相同性を考慮し、げっ歯類や霊長類のメゾスコピック、マクロスコピッ
クデータとヒトマクロスコピックデータの補間が必要だろう。

Mouse
connection
matrix

Mouse neocortex
Connectome

Mousethalamocrticalconnetcion

Mouse cell types
identification

Humanbrain map

Oh et al., 2014

Zingg et al.,2014

Hunnicutt etal., 2014

Zeisel et al.,2015

Glasser etal., 2016

ヒト全脳シミュレーションに向けた取り組み：
次世代計算機に対応した脳シミュレーター開発(Jacob et al. 2018、プレスリリース)
新しいデータ構造の導入

ノードあたりのメモリ消費量

スケーリング性能••

通信方式を “Alltogether“ から “AlltoAll”に変更
次世代計算機でヒト全脳規模のシミュレーションが可能になる。

次世代計算機”ポスト京”でヒト全脳規模の脳シミュレーションを目指す
ポスト京萌芽的課題 思考を実現する神経回路機構の解明と人工知能への応用（代表：沖縄科学技術大学院大学 銅谷賢治）

2017年 京11 PFLOPS

小型のサルの脳規模

ヨザル
約14億個

2022年 ポスト京
~1EFLOPS?

人間の脳規模ヒト
約860億個

京の百倍の性能のポスト京で全脳規模のシミュレーションを実現し、運動や思考の情報処理機構の解明、人工知能への応用を目指すポスト京 萌芽的課題4思考を実現する神経回路機構の解明と人工知能への応用(2016年8月-2020年3月)

人工知能脳型AI
石井 (京大)BriCA
高橋(理研)

深層学習
原田(東大)

海馬
立野(九工大)結合解析、哺乳類全脳 昆虫全脳シミュ
シミュレーション
レーション

結合解析
大羽(京大)

神崎(東大)大脳皮質
五十嵐 (理研)
小脳
山崎(電通大)大脳基底核
銅谷 (沖縄科技大)NEST simulator
Diesmann (JRC)

視覚皮質
稲垣(中部大)全脳規模のシミュレーションのターゲット：
複数脳領域間の相互作用による情報処理と神経疾患•

脳は複数の脳領域が相互に協調し複数のモダリティに関する処理、異なる種類の処理を行う領域が相互作用している。例えば、大脳皮質、小脳、大脳基底核がどのように相互作用し、処理を行っているか良くわかっておらず、シミュレーションのターゲットとなる。

•

パーキンソン病、てんかん、うつ病など多くの脳の疾患の場合においても、複数の脳領域が直接、間接的に影響し合い発生する。その機構解明に全脳規模のシミュレーションによる、複数脳領域のシミュレーションが有効。

Proville et al., 2014
Helmich et al. 2012

ヒト全脳シミュレーションのための脳の構造の理解:
密な近傍結合と疎な長距離結合を持つ層状シート型神経回路•

大脳皮質~99% の神経細胞と結合は大脳皮質と小脳にある。 (HerculanoHouzel, 2009)• 大脳皮質と小脳はミルフィーユのような層状でシート型の構造。

2次元シート

展開層構造

小脳

Glasser et al., 2016

Fig.：Neuroscience
Mark F. Bear

• 脳内の結合は近傍で密(<1mm)、長距離では疎(>1mm)。
• 99%のヒト脳は、密な近傍結合と疎な長距離結合を持つ層状シート型の神経回路であり、その脳モデルの効率的な並列計算の実現がヒト全脳シミュレーションの実現に必要。

前シナプス領域

後シナプス領域

疎な長距離結合

皮質
海馬.
線条体

視床

密な近傍結合小脳
Oh et al., 2014

密な近傍結合と疎な長距離結合を持つ層状シート型
神経回路のモデルの並列化•– 脳のモデルを均等に分割し、計算ノードに分配（負荷分散）– 計算ノード間の効率的なデータ通信
••

スパコン

脳モデルの並列計算のポイント2つの並列化法– ラウンドロビン: 要素を順番に分配。
理想的な負荷分散がされるがモデルの空間構造は無視される。
– 空間分割: ブロック分割など、空間構造を保ちつつ負荷分散。局所性を利用した計算、通信が可能。
脳の局所的な構造を並列計算で利用するため、タイル分割による並列化を行う。

脳モデル

分配?

CN
1

CN
1

CN
1

C
N
1

大域通信

ラウンドロビンCN
1

空間分割C
N
1C
N
1C
N
1

局所通信
C
N
1C
N
1C
N
1C
N
1離れたタイル間における通信間隔の延長

信号伝搬遅延時間は、結合の信号伝導速度、細胞間の結合の長さで大体決まる。
発火情報の通信間隔は、神経回路全体の最小信号伝搬遅延時間にまで減らせる(NEST, NEURON)。

信号伝搬遅延: ~1 ms
通信：
計算
ノードA 1ms
1 ms

我々の方法:

タイル間で非同期1対１通信


距離が離れたタイルでは、タイル間の最小遅延時間が長くなるため、通信間隔をその分減らすことができる。

計算
ノードB

1.5 ms2 ms

Δt=0.1 ms
1ms

5 ms

層状シート型の大脳皮質神経回路モデル
層: 1, 2/3, 5A, 5B, 6
 層の厚み (Weiler et al 2008), 細胞密度 (Lev and White1997)2 細胞数: 38,000 / 1mm 皮質表面下 神経細胞モデル: 積分発火型神経細胞モデル
 結合の空間範囲: 2次元ガウス関数(Weiler et al. 2008,
Katzel et al., 2010,Apicella et al., 2012)

積分発火型神経細胞モデル
mL1
L2/3L5A
L5B
L61.4 mmdv
 v  RI (t )dtif v  v _ threshold ,then v  v _ reset

1mm
Katzel et al., 2010

京を用いた層状シート型の大脳皮質モデルの第大規模計算(Igarashi, NOLTA 2017)~3.7 億 神経細胞

S2M2M1S1Layerstructure
1mm=1node

計算時間 (sec)大脳皮質モデル模式図

250200150
100
50001mm=1node

長距離結合5000 10000 15000 20000
計算ノード数1秒 シミュレーション, 22,508 神経細胞/ 1計算ノード ( 1x1 mm2),
平均発火頻度: ~15Hz

計算ノード1台あたりの神経細胞数を一定とし、計算ノードを増やしていくと、計算時間はほぼ一定のまま、神経回路規模を増やすことができた。
→さらに計算ノード数を増やせば規模拡大が見込める。

ヒト大脳皮質上に配置した層状シート型の大脳皮質神経回路モデルのシミュレーション

16384 mm2 の層状シート型の大脳皮質モデルを、京コンピュータの16384 計算ノードを使ってシミュレーション (可視化の制限のため、一層の神経細胞のみ表示)

京を用いた層状シート型の小脳モデルの第大規模計算(Yamaura, Igarashi,& Yamazaki, JNSS2018)~16 億神経細胞
計算時間 [sec]150

100500

Yamazaki and Igarashi 2013

05000
10000
計算ノード
1秒 シミュレーション
172875 細胞 / 1計算ノード ( 0.5x0.5 mm)
平均発火頻度: ~0.5Hz

計算ノード1台あたりの神経細胞数を一定とし、計算ノードを増やしていくと、計算時間はほぼ一定のまま、神経回路規模を増やすことができた。
→さらに計算ノード数を増やせば規模拡大が見込める。

経過時間 [sec]京コンピュータを用いた層状シート型の大脳皮質-視床-小脳モデルのシミュレーション(Igarashi, Yamaura, & Yamazaki, JNSS2018)
1000
500

約10億神経細胞
00大脳皮質視床
小脳5000 10000 15000
計算ノード数1秒のシミュレーション,
45 K cells / 大脳皮質, ~0.01Hz
2 K cells / 視床, ~30 Hz
200 K cells / 小脳, ~6Hz
大脳皮質-視床-小脳モデルの場合でも、計算ノード増加で計算時間はほぼ一定であった。
次世代スパコンでの全脳シミュレーション実現への着実な第一歩。

脳領域ごとの計算時間の内訳
100%
75%
50%
25%
0%

領域間結合
領域内結合
シナプス結合神経細胞皮質視床

小脳

大脳皮質と小脳は、領域間結合の信号待ちが大きな割合を占める。
一方、視床は、神経細胞の計算が歩とのどを占めている。
今後、脳領域間のロードインバランスを解消するのが課題。

層状シート型の大脳皮質-視床-小脳モデルの活動
1000万神経細胞、768ノード(大脳皮質: 256ノード, 視床:256 ノード, 小脳:256ノード)
脳表面
大脳皮質

視床
小脳

1.6 cm

1.6 cm層状シート型の大脳皮質、視床、小脳の活動
大脳皮質

視床

小脳

1.6 cm小脳からの信号が視床に活動パタンに影響を与え、視床の活動が大脳皮質の活動を作りだす。

ヒト全脳シミュレーションの詳細度と実現時期•

現在の計算結果と計算見積もりから、2020年前半にできるスパコンで実現できるのは、単純な神経細胞モデルを用いた非実時間実行の全脳シミュレーションになる。

•モデルの詳細度によって、必要な演算量は大きく異なる。
– Hodgkin Huxley型：x100倍– マルチコンパートメント型：x100倍– 細胞内分子シグナリング経路：x100倍•

現実の時間と同じ速度（リアルタイム）のシミュレーションを実行するには、より高い演算性能が要求される。

•

マルチコンパートメント型神経細胞モデルを用いたヒト全脳シミュレーションの場合、さらに1万倍高い性能が必要になり、そのリアルタイムシミュレーションとなると100万倍以上は必要になるだろう。

ムーアの法則の終焉と全脳シミュレーションのその後•

ムーアの法則:集積回路上のトランジスタ数は18カ月ごとに倍になるという経験則。あと数世代でチップの回路の配線幅の微細化が限界を迎え、ムーアの法則は終焉を迎える。

•

ムーアの法則終焉後も、その他の技術革新によって（半導体の新材料、３次元積層技術、シリコンフォトニクス、不揮発性メモリ）、電力効率と計算性能改善は続くとみられている（SC16 Post Moore’s Era Supercomputing in 20 years）。

•

ムーアの法則が終焉後もスパコンの性能上昇は続き（約20年？）、全脳シミュレーションの詳細化、高速化は続く。

•

フォンノイマン型コンピュータがいよいよ限界を迎えたとき、ニューロモーフィックチップなどの、脳型コンピュータが全脳シミュレーションの役割を引き継ぐのかもしれない???

Petrovici et al.,2017

結論と今後•We investigated parallel computing method of layered sheet types ofspiking neural networks for human scale whole brain simulation using
exascale computers•

Proposed method of combination of tile partitioning and reduction ofcommunication frequency realized ideal scaling performance for corticalcerebellar, and cortico-thalamo-cerebellar circuit, which suggests further
scaling-up of network size by exascale computers•

In the next step, we will introduce multiple cortical, thalamic, andcerebellar regions, and basal ganglia, and study interactions between
cortico-thalamo-basalgingila loop and cortico-thalamo-cerebellar loop.

•We expect comparison between large-scale simulation and large-scalemeasurement will bring new insight for understanding circuit mechanisms.

謝辞• Tadashi Yamazaki, and Hiroshi Yamaura (University ElectorCommunication)• Kenji Doya, and Carlos Enrique Gutierrez(Okinawa Institute ofScience and Technology)

This work was supported by Post K Exploratory Challenge #4"Understanding the neural mechanisms of thoughts and its
applications to AI“