次世代生命体統合シミュレーションソフトウェアの研究開発
Next -Generation Integrated Simulation of Living Matter

ISLiM ソフトウェア研究開発報告会

2013 年 1 月 10 日（木）- 11 日（金）東京大学   武田ホール

文部科学省委託事業「次世代生命体統合シミュレーションソフトウェアの研究開発」

次世代生命体統合シミュレーションソフトウェアの研究開発
Next-Generation Integrated Simulation of Living Matter (ISLiM)

ISLiMソフトウェア研究開発報告会

開催日時: 2013 年 1 月 10 日(木)-11 日(金) (10:00 開始)
会場: 東京大学(受付:9:30 開始)

武田ホール (本郷キャンパス、武田先端知ビル 5F)

主催:
文部科学省委託事業「次世代生命体統合シミュレーションソフトウェアの研究開発」
協賛:
次世代スパコンの創薬産業利用促進研究会
バイオスーパーコンピューティング研究会

プログラム
時間（分）

DAY1 (1/10)

10:00-10:15(15) ●オープニング

茅
10:15-10:45

幸二 プログラムディレクター

(30) プロジェクト総合報告

姫野龍太郎 副プログラムディレクター
10:45-11:55(70) 分子スケール研究開発チーム成果報告 (1/2)

・MM/CG プログラムμ 2-lib によるタンパク質の大規模
サンプリング木寺

詔紀 ( 理研 / 横浜市大 )・Replica-exchange interface program: REIN

宮下

尚之 ( 理研 )・全原子分子動力学計算ソフトウエア MARBLE の開発と多剤排出トランスポーター AcrB への応用

池口

満徳 ( 横浜市大 )佐藤文俊 ( 東大 )・粗視化分子シミュレーションソフトウエア CafeMol の開発と遺伝子動態研究

高田彰二 ( 京大 )・酵素分子の柔らかさと触媒活性：ハイブリッド QM/MM
自由エネルギー法の開発

林重彦 ( 京大 )・Platypus-QM/MM の開発と応用

鷹野

優 ( 阪大 )・細胞スケール研究開発チーム成果統括報告横田秀夫 ( 理研 )・血小板細胞シミュレーターの開発

後藤信哉 ( 東海大 )宮野悟 ( 東大 )・大規模遺伝子ネットワーク推定とその応用

宮野

悟 ( 東大 )・大規模ゲノム多型データと表現型データを関連付ける新規
アルゴリズムの開発と、妥当性、有用性の検討

角田達彦 ( 理研 )・大規模タンパク質ネットワーク推定とその応用

秋山

泰 ( 東工大 )・生命体シミュレーションのためのデータ同化技術の開発

樋口知之 ( 統数研 )・タンパク質カノニカル分子軌道法 ProteinDF の京対応版

プログラムの公開

11:55-12:50(55) □ランチタイム

12:50-13:50(60) ◆ポスター展示説明および休憩

講演会場前（5F ホワイエ）
13:50-14:45

14:45-15:35

15:35-16:20(55) 分子スケール研究開発チーム成果報告 (2/2)(50) 細胞スケール研究開発チーム成果報告(45) ◆ポスター展示説明および休憩

講演会場前（5F ホワイエ）
16:20-18:05(105) データ解析融合研究開発チーム成果報告

・データ解析融合研究開発チーム

18:10-19:30○懇親会
講演会場前（5F ホワイエ）

チーム成果統括報告

プログラム
時間（分）

DAY2 (1/11)

10:00-10:15(15) ● DAY2 オープニング

10:15-12:00(105) 臓器全身スケール研究開発チーム成果報告

・臓器全身スケール研究開発チーム成果総括報告高木・次世代超音波治療機器開発のための生体内超音波伝播
シミュレータ (ZZ-HIFU)

沖田

浩平 ( 日大 )・大規模並列計算に適した流体構造 / 膜連成手法 (ZZ-EFSI)杉山

和靖 ( 理研 )・UT-heart によるサルコメア力学から心筋細胞構造を経て心拍動にいたるマルチスケール解析

鷲尾

巧 ( 東大 )・神経系の大規模シミュレーション

石井信 ( 京大 )・NEST による局所回路シミュレーション

五十嵐潤 ( 理研 )・Multi-scale simulation of subcortical visual systems
with real-time robotic visuo-motor feedback

Jan Moren ( 沖縄科技大 )・大規模数理モデル構築プラットフォームによる視覚系数理
モデルの構築

臼井 支朗 ( 理研 / 豊橋技科大 )・「京」による無脊椎動物嗅覚系シミュレーション－背景と現状と将来への展開－

神崎亮平 ( 東大 )・ISLiM ソフトウェアの高度化

泰地

真弘人 ( 理研 )・MD コアプログラムの最適化と性能評価

大野洋介 ( 理研 )・合成可能な化学構造および反応スキームからなる大規模仮想ライブラリの構築

船津

公人 ( 東大 )12:00-13:00(60) □ランチタイム

13:00-14:00(60) ◆ポスター展示説明および休憩

周 ( 理研 / 東大 )講演会場前（5F ホワイエ）
14:00-15:45

15:45-16:30(105) 脳神経系研究開発チーム成果報告(45) ◆ポスター展示説明および休憩

講演会場前（5F ホワイエ）
16:30-17:45

17:45-18:00(75) 生命基盤ソフトウェア開発・高度化チーム成果報告(15) ●クロージング

プログラムは都合により変更されることがあります。

目

次

ご挨拶
茅

幸二 プログラムディレクター

プロジェクト総合報告

1

ISLiM：ソフトウェア開発の現状と今後

姫野龍太郎 副プログラムディレクター

3

分子スケール研究開発チーム成果報告
MM/CG プログラムμ 2-lib によるタンパク質の大規模サンプリング

木寺詔紀( 理研 / 横浜市大 )15Replica-exchange interface program: REIN

宮下尚之

( 理研 )

21

全原子分子動力学計算ソフトウエア MARBLE の開発と多剤排出トランス
池口満徳
ポーター AcrB への応用

( 横浜市大 )29

タ ン パ ク 質 カ ノ ニ カ ル 分 子 軌 道 法 ProteinDF の 京 対 応 版 プ ロ グ ラ ム の
公開

佐藤文俊

( 東大 )

33

粗視化分子シミュレーションソフトウエア CafeMol の開発と遺伝子動態研究

高田彰二( 京大 )

37( 京大 )

41

酵素分子の柔らかさと触媒活性：ハイブリッド QM/MM 自由エネルギー法の林
開発
Platypus-QM/MM の開発と応用

重彦

鷹野

優

( 阪大 )

47

細胞スケール研究開発チーム成果統括報告横田秀夫 ( 理研 )53

血小板細胞シミュレーターの開発

後藤 信哉 ( 東海大 )

61

宮野

悟

( 東大 )

65

宮野悟( 東大 )

71

大規模ゲノム多型データと表現型データを関連付ける新規アルゴリズムの開角田達彦
発と、妥当性、有用性の検討( 理研 )

77

大規模タンパク質ネットワーク推定とその応用

秋山泰( 東工大 )

83

生命体シミュレーションのためのデータ同化技術の開発

樋口知之( 統数研 )

89高木

( 理研 / 東大 )97

次 世 代 超 音 波 治 療 機 器 開 発 の た め の 生 体 内 超 音 波 伝 播
沖田浩平
シミュレータ (ZZ-HIFU)( 日大 )

103

大規模並列計算に適した流体構造 / 膜連成手法 (ZZ-EFSI)

杉山和靖( 理研 )

109

UT-heart によるサルコメア力学から心筋細胞構造を経て心拍動にいたるマル
チスケール解析鷲尾巧( 東大 )

115

神経系の大規模シミュレーション

石井信( 京大 )

121

NEST による局所回路シミュレーション

五十嵐潤( 理研 )

133

細胞スケール研究開発チーム成果報告

データ解析融合研究開発チーム成果報告
データ解析融合研究開発チーム

チーム成果統括報告

大規模遺伝子ネットワーク推定とその応用

臓器全身スケール研究開発チーム成果報告
臓器全身スケール研究開発チーム成果総括報告

周脳神経系研究開発チーム成果報告

Multi-scale simulation of subcortical visual systems with real-time roboticJanvisuo-motor feedback

Moren( 沖縄科技大 ) 139

大規模数理モデル構築プラットフォームによる視覚系数理モデルの
構築

臼井支朗
科大 )

( 理研 / 豊橋技「京」による無脊椎動物嗅覚系シミュレーション －背景と現状と将来への展開－

神崎亮平( 東大 )

145
151

生命基盤ソフトウェア開発・高度化チーム成果報告
ISLiM ソフトウェアの高度化

泰地真弘人( 理研 )

159

MD コアプログラムの最適化と性能評価

大野洋介( 理研 )

165

創薬プラットフォーム－大規模バーチャルライブラリの開発－

船津公人( 東大 )

169

ポスター一覧
M-1: Platypus-MM/CG マルチコピー・マルチスケール分子シミュレーション法開発の基盤となるクラスライブラリ

177

M-2: Platypus-REIN レプリカ交換インターフェースプログラム

178

M-3: MARBLE 全原子分子動力学計算

179

M-4: CafeMol 粗視化モデル計算

180

M-5: ProteinDF 密度汎関数法に基づくタンパク質全電子波動関数計算

181

M-6: Platypus-QM/MM-FE ハイブリッド QM/MM 反応自由エネルギー計算

182

M-7: Platypus-QM 量子化学計算

183

M-8: Platypus-QM/MM 量子化学計算／分子動力学連成計算

184

C-1: RICS 細胞シミュレーションプラットフォーム

185

C-2: RICS-Pre 細胞シミュレーションプラットフォーム (RICS) プリシステム

186

C-3: RICS-platelets RICS による血小板細胞シミュレーションと力学的作用による偽足的変形についての検討187

C-4: 血小板活性化モデルのための細胞内カルシウムイオン実証実験

188

C-5: 分子動力学法による平衡状態におけるコフィリン修飾アクチンフィラメントのエネルギー解析

189

O-1: ZZ-EFSI 全身ボクセルシミュレーション（ボクセル構造流体連成解析プログラム）

190

O-2: 血栓形成のマルチスケールシミュレーション- 血小板の血管壁への接着に関するタンパク質間相互作用の解析 -191

O-3: ZZ-DOSE 全身ボクセルモンテカルロ重粒子線計算プログラム

192

O-4: ZZ-HIFU 集束超音波による低侵襲治療のための HIFU シミュレータ

193

O-6: UT Heart マルチスケール・マルチフィジックス心臓シミュレータ

194

O-7: 血管内の血流シミュレーションソフトウェア開発・ 検証研究

195O-8: 筋骨格系 3 次元有限要素シミュレータの開発

196

O-9: 血管網シミュレーター
全身循環モデルを用いた頸動脈ステント留置術に関する血流シミュレーション

197

D-1: ParaHaplo ハプロタイプ関連解析に於ける統計検定を行うためのソフトウェア

198

D-2: NGS analyzer 次世代シークエンサーの出力データを高速に解析し，個人間の遺伝的差異や
がんゲノムの突然変異を高い正確さで同定する

199

D-3: ExRAT 拡張 RAT 法による 2SNP 組合せの全ゲノム関連解析ソフトウェア

200D-4: SiGN-BN ベイジアンネットワークによる大規模遺伝子ネットワーク推定プログラム

201

D-5: SiGN-L1 L1 正則化法による大規模遺伝子ネットワーク推定プログラム

202

D-6: SiGN-SSM 状態空間モデルによる大規模遺伝子ネットワーク推定プログラム

203

D-7: SBiP データ解析融合プラットフォーム

204

D-8: LiSDAS 生命体データ同化プログラム

205

D-9: MEGADOCK 網羅的タンパク質ドッキング解析プログラム MEGADOCK の開発と応用

206

B-1/B-2: NEST による局所回路シミュレーション

207

B-3: VSM 全視覚系モデルによる視覚情報処理の解析 ( 視覚系シミュレーションのための共有プ
ラットフォーム )208

B-4: NeuroMorphoKit 神経細胞形態シミュレーションキット

209

B-5: IOSSIM カイコガ運動指令形成回路のシミュレーションの構築の試行

210

B-5: IOSSIM 昆虫嗅覚系全脳シミュレータ

211

H-1: cppmd 大規模並列用 MD コアプログラム

212

H-2: LSV 大規模データ可視化ソフトウェア LSV の開発

213

H-3: SPHERE Simulation Framework for Large scale Coupled Analysis

214

H-4: VLSVL 合成可能な化学構造および反応スキームからなる大規模仮想ライブラリ215

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

ご挨拶
茅

幸二

次世代計算科学研究開発プログラム
プログラムディレクター

発表者紹介
昭和 41 年 3 月 東京大学大学院理学研究科博士課程修了
昭和 45 年 9 月 東北大学理学部化学科助教授（昭和 48 年 9 月～昭和 49 年 9 月
米国ベル電話研究所研究員）
昭和 56 年 4 月 慶應義塾大学理工学部教授
平成 11 年 4 月 岡崎国立共同研究機構分子科学研究所長
平成 11 年 4 月 慶應義塾大学名誉教授
平成 16 年 4 月 独立行政法人理化学研究所和光研究所・中央研究所長
平成 18 年 10 月 次世代計算科学研究開発プログラム プログラムディレクター(兼)平成 20 年 4 月
次世代スーパーコンピュータ開発実施本部 副本部長
平成 20 年 5 月
基幹研究所 特別顧問(兼)平成 22 年 ４月 社会知創成事業 次世代計算科学研究開発プログラム
プログラムディレクター(兼)研究分野
ナノ物質化学1

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ご挨拶

茅 幸二
次世代計算科学研究開発プログラム
プログラムディレクター

京コンピュータが世界最速の記録を達成し、一年あまりとなり、すでに米国では計算速度で京を超す計算機が完成している。この現況で、もっとも重要なのは、大型計算機時代における、計算機利用をいかに深く突き詰めるか、そしてその成果を社会に還元できるかという点にある。
「次世代生命体総合シミュレーションソフトウエアの研究開発」は、発足以
来 7 年目となり、2013 年３月に終了する。生命科学の広範な分野の我が国を代表する計算科学の研究者が集い、京の利用による、生命科学における、医療、あるいは生命機能の複雑なシステムの理解に向けた日夜を問わない熱い挑戦をされた結果が、３０本あまりのソフトウエアの大半がペタスケールの計算を可能とする結果となった。 本プログラムに参加された多くの研究者そして、とくに学術論文への投稿の機会を逸しながら、きわめて高度なソフト開発に従事された若手研究者の熱意と努力に心からの敬意と感謝を表する。
本報告会では、それらのソフト開発の成果を纏め、これからの高度計算によって、生命科学における定量化された成果がいかに意義あるものであるかを報告
し、計算科学でのライフサイエンス分野の今後の寄与に、生命科学のみならず、多くの分野の方々に御理解と支持をいただくことを目的としている。

2

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

ISLiM：ソフトウェア開発の現状と今後
姫野龍太郎

次世代計算科学研究開発プログラム
副プログラム・ディレクタ

発表者紹介
1979 年 3 月 京都大学大学院工学研究科電気工学第二専攻修士課程修了
1979 年 4 月 日産自動車株式会社入社、中央研究所、車両研究所勤務
主に車の空力シミュレーションの研究開発に従事
1998 年１月 理化学研究所入所 情報環境室長
2003 年 10 月 情報基盤センター長
2006 年４月—2008 年８月 次世代スーパーコンピュータ開発実施本部開発グループ、グ
ループ・ディレクタ
2006 年 10 月から、次世代計算科学研究開発プログラム、副プログラム・ディレクタ
研究分野
高性能計算、計算生体力学、計算流体力学3

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

ISLiM:ソフトウェア開発の現状と今後
姫野 龍太郎次世代計算科学研究開発プログラム
副プログラム・ディレクタ

1. はじめに
次世代生命体統合シミュレーションソフトウェアの研究開発プロジェクト(ISLiM)は次世代スーパーコン
ピュータ開発実施プロジェクトに含まれるライフ分野のグランドチャレンジとして 2006 年 10 月から開始した。
このプロジェクトは理化学研究所を中核拠点として全国１３の機関から、およそ２００名の研究者が参加した。
（13 機関：東京大学、大阪大学、京都大学、東北大学、北陸先端大学、東海大学、千葉大学、慶応大学、
横浜市大、東工大、広島大学、統計数理研究所、理化学研究所 ）
ソフトウェア開発は、分子スケール、細胞スケール、臓器・全身スケール、脳神経系、データ解析融合、
HPC の６チームに別れ、表１に示すように３４本のソフ
トウェアを開発した。HPC チームは他の５チームで開発しているソフトウェアの高速化を援助、特に 2011 年４月からの京へのチューニングでは大きな役割を担った。

2. 開発の現状
我々の京の利用可能期間は京の供用開始までということになっていた。この供用開始は当初
2012 年 11 月末を予定していた。しかしながら、この供用開始が９月中に早められた結果、我々の利用可能期間が２か月短縮されてしまった。大部分のソフトウェアでは京での大規模計算が可能にはなったが、当初予定していた研究成果を出す

ための計算を行う時間がとれなくなってしまった。非常に残念である。
図１は 2006 年からの開発を通して設定したマイルストーンで管理した進捗状況である。開発を３期に分け、第一期を計算アルゴリズムのチェッ
クと並列化のテスト、第二期を理研で所有する
1028 ノード 8192 コアのクラスタを利用した高並列のテスト、第三期は京を使ったテストに位置づけている。このようにして３ヶ月毎に進捗をチェ
ックしてきた。その結果、３４本中１３本のソフトウェアで１万ノードを超えるところまで性能が向上する高性能さを実現できた（図２）。また、
cppmd, UT-Heart, ZZ-EFSI の３本は京全体を使ってテストを行い、約３PetaFLOPS、ZZ-EFSI
では 4.5PetaFLOPS という性能なソフトウェアに仕上がった（図３）。

3. 今後
現在、各ソフトウェアの公開に向けてマニュアル（日本語・英語）やダウンロードサイト等の整備を進めている。一部ソフトウェアに関しては一般課題等として京の計算時間を確保し、引き続き京での計算を行い、研究を継続している。今年度
末、このプロジェクトは終了するが、来年度以降も引き続き、開発したソフトウェアが利用できるよう、整備し続ける予定である。

図３京全体を使ったテストでの性能

4

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

表１開発ソフトウェア一覧（全３４本）

図１ ソフトウェアの開発状況

5

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

図２それぞれのソフトの京での利用可能ノード数

6

7

1

∂v
1
+ {( v − v 0 ) ⋅ ∇} v = −∇ ⋅ p +
∆v
∂t
Re

基礎原理（方程式）

臓器全身スケール

細胞スケール

分子スケール

解析的アプローチ

in→

→out

y=f(x)+g(x)exp(az)･･･

モデルによる抽象化

脳・神経系

システム
全脳

神経細胞
局所回路

イオンチャ
ネル

実験データから解析へのアプローチ

大規模データ

データ解析融合
ライフサイエンスの新たな手段の提供

ペタスケール・シミュレーション

TGCTCTTATCTTCCTCCCACAGCTCCT
GGCCCATCATGGCTGGTGTGGCTAATGCCCGCTATTAAACTTAATAAAAAACATTTATTTTCATTGCAATATTTTACTGATATTATACAGGGGGCATGGTTTGACT……

スケール間連結アプローチ

3○ヘルスサイエン
スへの貢献、先端医療等の技術
基盤の構築○生命現象の統合的な理解（＝生命プロ グラムの理解・再現・予測）

基礎方程式に基づく解析的アプローチと、大量の実験データから未知の法則に迫る実験データから解析へのアプローチ、さらには多階層を連結するアプローチにより、異なるスケールの研究と実験データを統合的かつ有機的に結びつけ、ペタスケールという桁違いの性能を持つスーパーコンピュータの性能をフルに発揮し、生体で起こる種々の現象を理解し医療に貢献するためのソフトウェアを開発する。

研究開発の概要と達成目標

ISLiMソフトウェア研究開発報告会

理化学研究所
次世代計算科学研究開発プログラム
副プログラムディレクター姫野龍太郎

ISLiM:ソフトウェア開発の現状と今後

そもそもの動機

10-3~-2

これまでの開発の概要

Meso

10-5

Macro

100
2

ISLiMソフトウェア研究開発報告会

4• 経緯– 2006年１０月から開発を開始、この時、分子・細胞・臓
器全身・データ解析融合の４チーム。年度内に高度化チームを追加し、ソフト開発を支援– 2007年１０月の脳神経系チームを追加– 2010年度中間評価– 2011年４月から京を使った開発が開始• マネージメント– ソフトウェア開発の進捗状況を的確に把握し、支援– ソフトウェアにプライオリティーを設定、重点化

Micro

10-8

記述する生物学から、予測する生物学へ

スーパーコンピュータを使って、この複雑な生命現象を解析

複雑で美しい振舞いを示す超多体系多階層問題

生命現象は最も複雑で難しい問題

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ソフトウェア

施設

8

肺がんと薬

タンパク質-リ
ガンド

生体分子ネッ
トワークデータ

医療画像データ

神経細胞デー
タ・局所回路データ

分析・高速化

データ解析融合

分子スケール細胞スケール

臓器全身スケ
ール

脳神経系

高度化

受

分析・高速化成長・変形モデル

血流・分泌物輸送

肝細胞

膜での輸送モデル

生体分子ネッ
トワークモデル細胞スケールISLiMソフトウェア研究開発報告会

分析・高速化

可塑性や神経変性に関する
データ

データ提供・ドラッグデリバリ代謝反応・膜での物質輸送データ

代謝・膜

データ同化技術

分子スケール

分析・高速化

分析・高速化細胞から高次機能までの一
貫

細胞の変形

循環器系

運動制御
臓器制御

細胞プラットフ
ォーム供給

神経可塑性・
変性・イオンチャネル

パラメータ推定(モデル化）

脳神経系

複数細胞から
臓器へ・血栓形成

血栓形成

画像処理パラメータ推定

臓器全身スケール

ＱＭ／ＭＭ

生命体同化ﾌﾟﾛｸﾞﾗﾑ

脳全体ｼﾐｭﾚｰｼｮﾝ

分子スケール研究開発

大規模SNP解析ｿﾌﾄｳｪｱ
ISLiMソフトウェア研究開発報告会

神経細胞・局所回路ｼﾐｭﾚｰｼｮﾝ

大規模SNP解析ｿﾌﾄｳｪｱ

ﾀﾝﾊﾟｸ質ﾄﾞｯｷﾝｸﾞ解析ﾌﾟﾛｸﾞﾗﾑ

肺がんと薬

大規模遺伝子ﾈｯﾄﾜｰｸ探索ｿﾌﾄｳｪｱ

超音波伝搬ｼﾐｭﾚｰｼｮﾝ

全身ﾎﾞｸｾﾙﾃﾞｰﾀ・全身力学ﾓﾃﾞﾙ(血球・血小板・血流・血管網・心臓）

循環器系ｼﾐｭﾚｰｼｮﾝ（代謝）

肝細胞・肝小葉細胞ｼﾐｭﾚｰｼｮﾝ統合ﾌﾟﾗｯﾄﾌｫｰﾑ

蛋白質の構造サンプリング技術

粗視化シミュレーション

分子動力学計算法

ハイブリッドQM/MM法

膜タンパク質・代謝酵素

全電子量子化学計算

6

他チームとの連携によ
る効率化

長期目標

短期目標

整理後

より小さく
より短時間
より厳密

分子動力学計算

より大きく
より長時間
より近似的

粗視化モデル計算

ISLiMソフトウェア研究開発報告会

2011.1.23時点

8進捗状況：QM/MM/CGの３階層それぞれで計算方法をプログラム化し、テストを続けながら開発、8000並列程度まで性能が出るまでになっている。

量子化学計算開発計画：ＱＭ、ＭＭ、ＣＧの各スケールでプログラムの開発を進めるとともに、それらの手法を結合したQM/MM、MM/CG法によってマルチスケールシミュレーションを実現するためのプログラムを開発する。

開発目標：量子化学計算（ＱＭ）・分子動力学計算（ＭＭ）・粗視化モデル計算（ＣＧ）を総合化する技術を開発、タンパク質や細胞の機能発現過程のシミュレーションにつなげ、細胞スケールとの有機的な連携を図る。ターゲット：多剤排出トランスポータ、脂肪酸代謝酵
素反応

データ解析融合

データ解析融合2008年度に設定したチーム間連携課題

註：2010年度時点での計画

5

ﾀﾝﾊﾟｸ質ﾄﾞｯｷﾝｸﾞ解析ﾌﾟﾛｸﾞﾗﾑ

生命体データ同化ﾌﾟﾛｸﾞﾗﾑ

大規模遺伝子ﾈｯﾄﾜｰｸ探索ｿﾌﾄｳｪｱ

共通的な開
発対象の設
定

開発対象の重点化による整理見直し
脳神経

提供

建設

プログラム

肺ｼﾐｭﾚｰｼｮﾝ

超音波伝搬ｼﾐｭﾚｰｼｮﾝ

全身ﾎﾞｸｾﾙﾃﾞｰﾀ・全身力学ﾓﾃﾞﾙ
データ解析

ISLiMソフトウェア研究開発報告会

設計

建設

臓器全身スケール

7

アプリケーション）（グランドチャレンジ

心臓ｼﾐｭﾚｰｼｮﾝ

血流ｼﾐｭﾚｰｼｮﾝ

血小板

イオンチャネル

膵臓β細胞

肝細胞（代謝）細胞ｼﾐｭﾚｰｼｮﾝ統合ﾌﾟﾗｯﾄﾌｫｰﾑ

蛋白質の構造サンプリング技術

粗視化シミュレーション

分子動力学計算法

ハイブリッドQM/MM法

共通的な開
発対象の設
定

臓器全身スケール

研究棟

設計

計算対象

計算対象

計算手法

整理前

ＱＭ／ＭＭ
全電子量子化学計算

長期目標に向けた課題

計算機棟

実証

チューニ
ング

性能

平成24年度（2012）

細胞スケール

開発・評価

実証

平成23年度（2011）

細胞スケール

次世代生命体統合
シミュレーション

試作・評価・製造

平成22年度（2010）

第２回
中間評価委員会

平成21年度（2009）

分子スケール

開発・製作・評価

詳細設計

平成20年度（2008）

分子スケール

第１回中間評価委員会

概念設計

平成19年度（2007）

各チームで取り組む課題 (2008年での整理）
長期目標に向けた課題

次世代ナノ統合シミュレーションシステム

平成18年度（2006）

この研究開発の位置づけ
次世代スパコン開発プロジェクトの一部

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)代謝経路

細胞の形状変化

細胞内の反応情報
細胞をボクセル（空間を格子状に区切った１つの区画）に分割し、生物学的情報を系統的に組み込む。

細胞シミュレーション

9

モデル（関連たんぱく質の時系列データ）

データ

データ同化技術

関連するデータをモデルに同化

新仮説

仮説の自動生成

データエラーの発見

予測とエラーの発見

病気のシステム的理解による医療開発イノベーション

進捗状況：分子のネットワークを地図として抽出するための方式として、大規模遺伝子
ネットワーク探索及びタンパク質構造に基づく相互作用予測の研究を行い、新たな技術開発の成功と新たな並列プログラムの開発により、これらのプログラムが8000を超えるcore
2011.1.23時点
で稼動するようになった。
11
ISLiMソフトウェア研究開発報告会（癌などの病気に関わっているモデル）

シミュレーションモデルの構築

開発計画：遺伝子ネットワーク推定・タンパク質ネットワーク推定・ゲノム多型解析技術等の研究、ならびにデータ同化技術の開発を進め、開発した解析法やデータ同化技術を次世代スパコンに実装し、データ解析とシミュレーションを融合した技術を開発する。

達成目標：ペタフロップス級の計算によって、創薬ターゲット探索や個人差を考慮した医療のための基盤情報技術の構築を目指す。これにより、ヒト全遺伝子を対象とした創薬
ターゲット遺伝子探索の実現につなげる。

データ解析融合研究開発

進捗状況：細胞を約3万個のボクセルに分割、複数のオルガネラを表現し、移流拡散方
程式による物質移動をシミュレーションできる細胞シミュレーションプラットフォームを開発、
E-CELL３をベースにした代謝反応がオルガネラ間も含めてシミュレーションできるように
2011.1.23時点
9なった.現在、１０２４並列までの性能テストを終了

生物学的情報細胞情報の収集細胞に関する情報の数値化・データ収集・統一形式による
記述

細胞シミュレーション
プラットフォーム

個別患者のモデルを作成

超音波伝搬シミュレーション

局所回路シミュレーション（細胞数 105, シナプス数 109）

局所回路シミュレータNEST

進捗状況：本チームは2008年10月に発足、昨年度は神経マルチフィジックスシミュレータでは神経細胞の極性形成について、分子レベルからのシミュレーションができた。また、局所回路シミュレー
タNESTでは105個の神経細胞、109個のシナプスからなる大規模局所回路のシミュレーションがで
12
2011.1.23時点
きた。並列性能に関しては32000並列までのテストを終了

細胞極性形成シミュレーション

神経マルチフィジクスシミュレータ

開発計画：神経細胞と局所回路のシミュレータ、および、脳のシミュレータとして昆虫の匂い情報処理回路モデル、ほ乳類の網膜モデルとを開発、次世代スーパーコンピュータに適したプログラムとすることで、昆虫の嗅覚系情報処理では実時間で、ほ乳類の視覚系情報処理は６０倍の時間で計算可能とする。

開発目標：脳全体レベルでの入出力関係を再現できるモデルとシミュレーションソフトウェ
アを開発、次世代スーパーコンピュータの性能を引き出して、脳の柔軟な環境適応能力である脳の発達と学習の再現を目指す。

脳神経系研究開発

進捗状況：1mm分解能の全身ボクセルモデルを開発すると同時に新しい構造流体連成手法と多媒質内の超音波伝搬解析手法を開発した。これらにより、外科手術シミュレーションや収束超音波・重イオンビームによるガンの治療等へつなげる基盤を構築した。
2011.1.23時点
10
ISLiMソフトウェア研究開発報告会

臓器全身モデルの構築

疾患部位

治療・診断の例（超音波を用いた悪性腫瘍の治療予測）

開発計画：血管網、各種臓器、全身を３次元的に再現した臓器全身モデルを構築し、病態予測や治療予測を行う臓器全身モデルを次世代スパコンに実装、循環器系疾患を始めとする種々の病態のシミュレーションと、ガンなどの治療支援シミュレーション（放射線・集束超音波など）につなげる。

開発計画：生物の空間的情報を入れ込むことが出来るプラットフォームの開発と平行して、プラットフォームに実装するためのデータ収集とモデルの構築を進める。また、プラット
フォームと各種データ・モデルとの有機的連携を図る。

実測データ・形態モデル

開発目標：ペタフロップス級の計算量を用いて、数時間で実行可能な臓器全身シミュレー
ションの構築を目指す。これにより、病態予測や治療予測等の医療支援ツールの開発につなげる。

開発目標：ペタフロップス級の計算力を活かして細胞を１００万のボクセルに区画、そこに包括的な実証データを組み込んだ肝細胞・肝小葉のシミュレーションの実現を目指す。薬剤等の作用や副作用の予測を行うシミュレーションの開発につなげる。

ゴルジ体

臓器全身スケール研究開発

細胞スケール研究開発

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

10Platypus-MM/CG
Platypus-REIN
MARBLE
CafeMol
ProteinDF
Platypus-QM/MM-FE
Platypus-QM
Platypus-QM/MM
Platypus-CGM/MM
RICS
ZZ-EFSI
ZZ-DOSEZZ-HIFUZZ-LUNG
UTHeart
ParaHaplo
NGS analyzer
ExRAT
SiGN-BN
SiGN-L1
SiGN-SSM
SBiP
LiSDASMEGADOCK
NEST
CMDN
VSM
NeuroMorphoKit
IOSSIM
cppmd
VLSVL

0

1

3

4

II-2

5

Phase III on K

6

7

15

8

現在27本中24本が京で動く

Goal: > 1 Pata FLOPS

1024nds 12288nds 82944nds

cppmd, ZZ-EFSI, UT-Heartの三つは2Peta FLOPSを超えた

2

II-1

神経細胞形態シミュレーションキット
昆虫嗅覚系全脳シミュレータ
大規模並列用MDコアプログラム
分散並列大規模データ可視化システム
アプリケーションミドルウェア
大規模仮想化合物ライブラリ

NeuroMorphoKit
IOSSIM
cppmd
LSV
SPHERE
VLSVL

第二走者

それぞれの成果アピール時期

第三走者

全視覚系モデルによる視覚情報処理の解析（視覚系シミュレーションのための共有プラットフォーム）
VSM

14

網羅的タンパク質ドッキング解析プログラム

SBiP
LiSDAS

Neural Simulation Tool
Cortical Microcircuit Developed on NEST

データ解析融合プラットフォーム
生命体データ同化プログラム

SiGN-SSM (SSM)

NEST
CMDN

状態空間モデルによる時系列データからの遺伝子
ネットワーク推定プログラム

SiGN-L1 (L1GN)MEGADOCK

大規模遺伝子制御ネットワーク推定プログラム
再帰的正則化法による生体内分子の大規模ネット
ワーク推定プログラム

SiGN-BN (SiGN)ExRATNGS analyzer

cppmd（分子動力学）

神経系統合シミュレータ
多剤排出トランスポータ
MARBLE細胞から臓器へ
Platypus
ProteinDF
分子から細胞へ
CafeMol
CafeMol(ヒストンDNA）
RICS:肝細胞
HIFU ZZ-DOSE重イオン粒子
UTHeartSiGN SSM L1GNE
ZZ-EFSILiSDAS
ParaHaplo
MEGADOCK
中長期目標
CMDN:大脳皮質局所回路モデル
NEST(神経回路網）
スケールを越えた完成後、1年以内に完成後すぐに成果
統合的理解に向け成果をアピール
をアピール
た取り組み
16

第一走者

4

説明
ハプロタイプ関連解析に於ける統計検定を行うためのソフトウェア
次世代シークエンス解析プログラム
拡張RAT法による２SNP組合せの全ゲノム関連解
析ソフトウェア

ParaHaplo

ソフトウェア名称

ISLiMソフトウェア研究開発報告会)

Phase II < 8192

UTHeart(II-0(
ZZ-LUNG

基盤

Phase I < 256

臓器全身
HIFU

5

)

ISLiMのアプリ開発状況

ZZ-EFSI

9

(

6

RICS

重粒子線治療シミュレーション
低侵襲治療シミュレーション（ボクセル超音波伝播プログラム）
肺呼吸・肺循環シミュレーション
マルチスケール・マルチフィジックス心臓シミュ
レーション

細胞シミュレーションプラットフォーム
全身ボクセルシミュレーション（ボクセル構造流体連成解析プログラム）

Platypus-QM
Platypus-QM/MM
Platypus-CGM/MM

ZZ-DOSE

量子化学計算量子化学計算/分子動力学計算
粗視化モデル計算/分子動力学計算

Platypus-QM/MM-FE

微小循環シミュレータ（埋め込み境界法による微小循環プログラム）

ハイブリッドQM/MM反応自由エネルギー計算

ProteinDF

脳神経

進捗状況：本チームは2007年11月に発足、これまでに分子動力学計算高速コアソフトウェア(cppmd)の解析・開発、量子化学計算ソフトウェアの高性能化を行うと同時に、基盤ライブラリ・可視化ソフトウェアの調査・開発を進めた。Cppmdでは8000並列、可視化ソフトでも100並列での動作テ
13
ISLiMソフトウェア研究開発報告会
ストを行った。
2011.1.23時点

並列化度

細胞
ZZ-RBC

全原子分子動力学計算
粗視化モデル計算
密度汎関数法に基づくタンパク質全電子波動関数計算)

並列化度が上がるにつれ、わずかな未並列化でも性能に大きな影響を及ぼす)

アムダールの法則

(
(

未並列化率

分子
9

レプリカ交換分子動力学計算インターフェイス

Platypus-REIN
MARBLE
CafeMol

説明
マルチコピー・マルチスケール分子シミュレー
ション法開発の基盤となるクラスライブラリ

ソフトウェア名称
Platypus-MM/CG

開発ソフトウェア（全34本）

データ解析融合性能

開発計画：コアソフトウェア・基盤ライブラリの開発と他チームアプリケーションの調査・高速化に向けた検討を進め、次世代スーパーコンピュータ実機でのアプリケーションの高速化、チューニングを行う。

開発目標：プロジェクトで開発される各種ソフトウェアの高性能化、特に次世代スーパーコ
ンピュータ向けの最適化を行い、次世代スーパーコンピュータの生命科学への応用を促進すると同時にグランドチャレンジを実現する。

生命体基盤ソフトウェア開発・高度化

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11))

ISLiMソフトウェア研究開発報告会

まとめと普及活動

100

1000

10000

1000002012年2月

2011年12月
2012年1月

2011年11月

2011年10月

2011年9月

2011年9月

2011年8月

2011年7月

2011年6月

2011年5月

2011年5月

2011年4月

2011年3月

2011年2月

2010年12月

2011年1月

2010年12月

2010年11月

2010年10月

2010年9月

ISLiMソフトウェア研究開発報告会

cppmd

IOSSIM

NEST

SiGN-BNMEGADOCKLiSDAS

UTHeart

ZZ-HIFU

ZZ-EFSI

MARBLE

PlatypusMM/CG
Platypus-REIN

主なアプリと京利用ノード数拡大への追随のようす

1000000

変更後

徐々に利用できるノード数が増加

19

17

1

10

100

1,000

10,000100,000

0

10000

ISLiMソフトウェア研究開発報告会

ISLiMソフトウェア研究開発報告会

2012年1月末

2012年4月末

2012年7月末

全アプリの京で使用した最大ノード数
27本中13本が10,000ノード以上を達成

ProteinDF

20000

Platypus-QM/MM-FE

当初計画

RICS
Platypus-REIN

MARBLE

CafeMol
Platypus-MM/CG

30000

Platypus-QM

10Peta 共用開始

ZZ-EFSI

40000

Platypus-QM/MM

2013年4月

ZZ-DOSE2012年12月

UTHeart2012年8月

ZZ-HIFU2012年4月

ParaHaplo

2011年12月

ExRAT

2012年8月

NGS analyzer

2011年4月

SiGN-BN

50000

試験利用期間まとめ
IV-1: 1/23-2/14
IV-2: 3/1-3/14
V-1: 4/9-4/27
V-2: 5/21-6/8
VI: 7/30-9/14（灰色は休止期間）

LiSDAS

60000

SiGN-L1• 共用開始を平成24年９月末に変更 （平成24年2月7日 第8回HPCI計画推進委員
会)【実質約２ヶ月短縮】

SiGN-SSM

70000

PFLOPsMEGADOCK【「京」完成から約４ヶ月間】

No. of Cores

Number of Nodes

VSM

80000

NEST

• 当初計画では、平成２４年１１月末まで利用可能

CMDN

90000

NeuroMorphoKit（「京」共用開始前までが本プロジェクトで利用できる期間）

2012年7月23日

cppmd

11
IOSSIM• 平成23年4月より「京」を試験利用。 段階的に利用を拡大、ソフトをチューニング

Nodes「京」試験利用計画

0

2

4

6

8

10

20

18

ISLIMでの
利用は供
用開始ま
で

共用開始
2012年9月末
12

PFLOPS

昨年度からの大きな変化

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

2012年6月

2012年5月

2012年4月

2012年3月

2012年2月

Nodes

12

来年度以降もこのプロジェクトで開発したソフトウェアは利用可能なように整備を続ける
予定

•

23

京での計算の結果は徐々にまとまりつつあり、成果が出てきている•

ISLiMソフトウェア研究開発報告会

ただし、京の供用開始前倒しで– 京の利用が２ヶ月短縮（京全体が使える期間が４か月から２ヶ月に半減）– この影響で当初予定していた京のフルシステムを使った計算は、実質UT-Heartだけ

21

•

まとめ

ISLiMソフトウェア研究開発報告会

ソフトウェア開発は当初計画通りで、順調– 京の1/8以上を使っても性能が落ちないソフトを１３本（全体の約1/3）開発– 京のソフトとして最高の実効性能を出したZZ-EFSIを初め、cppmd、UT-Heart、ZZHIFUで高い実行効率を達成– 現在マニュアルを順次整備中、既に多くのソフトがダウンロード可能

98.6

98.8

99

99.2

99.4

99.6

99.8

•

Parallelization ratio (%)

100

並列化率

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

5.0

ZZ-EFSI

42.7%

ISLiMソフトウェア研究開発報告会

UT-Heart

27.7%

cppmd

38.0%

82,944 nodes

京全システムを使った性能測定結果（３本）

22

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

PFLOPs分子スケール研究開発チーム成果報告

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

分子スケールチーム

木寺詔紀
次世代計算科学研究開発プログラム
分子スケール研究開発チーム チームリーダー

発表者紹介1982 年 3 月 京都大学工学研究科高分子化学専攻博士課程退学
1982 年 8 月 Cornell 大学 化学科 博士研究員
1986 年 2 月 京都工芸繊維大学 工芸学部 助手
1988 年 4 月 蛋白工学研究所 主任研究員
1996 年 4 月 京都大学大学院 理学研究科 助教授
2001 年 4 月 横浜市立大学大学院 総合理学研究科 教授
2006 年 10 月 理化学研究所次世代計算機科学研究開発プログラム チームリーダー（兼任）2011 年 4 月 理化学研究所 HPCI 計算生命科学推進プログラム 副プログラムディレク
ター（兼任）
研究分野
計算生物学、生物物理学

15

ISLiM(2013.1.10-11)
ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)分子スケールチーム
木寺詔紀
次世代計算科学研究開発プログラム
分子スケール研究開発チーム チームリーダー

1. 目的
生命現象の最下層にある生体分子の機能発現過程のシミュレーションは、それ自体として時間、空間の階層性を持っており、それぞれの階層に対応したシミュレーション方法を必要とする。短時間の比較的少数の原子が関わる化学反応を含む
高 精度の 相互作 用のレベ ルでは 量子化 学計 算
（QM）を用いる。より長時間のタンパク質の全原子の動きのシミュレーションは、環境として存在する水や脂質分子をあらわに取り入れた系で、経験的な力場（MM）に基づいた古典分子動力学計算を用いる。生理学的なレベルに近づく時間ス
ケールでの現象をより巨大な系においてシミュ
レーションする場合は、MM をさらに粗視化したモデル（CG）に基づいて、環境を陰的に考慮する方法によって行う。分子スケールでは、生体分子に関わるあらゆる現象を対象としたシミュレーションを可能とするために QM-MM-CG という 3 階層にわたる方法論を開発する。さらに、それらの階層を接続し、それぞれの方法の限界を超えるマルチスケール法として、QM と MM とを連成した QM/MM 法、さらに MM と CG を練成した MM/CG 法を開発する。これらの方法論によるシミュレーションをスーパーコンピュータ京の性能を十分に生かして行うことを可能とするソ
フトウェアを開発する。さらに、実証研究の対象として、多剤排出トランスポーター、脂質代謝多酵素複合体を分子スケールの共通ターゲットとして選び、スーパーコンピュータ京上で多階層でのシミュレーションを行うことで、これらのソフ
トウェアの有用性を示す。

2. 現時点での成果
2.1 ProteinDF（QM）
巨大複雑系であるタンパク質の状態を最も精密なレベルでシミュレートする目的で、タンパク質全体を含んだ全電子カノニカル分子軌道計算を行う。計算法には基底関数にガウス型関数を使用する密度汎関数法（DFT）を採用した。実績のある汎関数 B3LYP を実装し、高度並列化を行っている。現時点で 8,000 並列を達成している。適用
例として、インシュリン 6 量体、ミオグロビン、

16

チトクローム c などのカノニカル分子軌道を求め、
カノニカル分子軌道の重要性を示し、分子軌道と分子機能との関わりを明らかにした。現在、光合成アンテナ蛋白質部分構造の計算を行っている。
2.2 Platypus-QM/MM（QM/MM）
QM と MM を連成することで、QM/MM 分子動力学シミュレーションを高精度で高速に実行することができる。
ab initio 量子化学計算として RHF,
UHF, R-DFT, U-DFT, CIS, CIS(D), CIS-DFT,
MP2, CASSCF を組込み、基底状態だけでなく励
起状態解析にも対応し、電子移動や生化学反応を
on-the-fly 計算によりシミュレートできる。さらに、Chain-of-state 法を利用して、反応の最小自由エネルギー経路が得られる。QM 計算部は最大
32,768 コ ア の 並 列 ( 並 列 化 率 99.9888%) を 、
Chain-of-state 法 に よ る QM/MM 計 算 で は98,304 コアの並列(Weak Scaling 効率 93.36%)を達成している。また、遠距離力を高精度で計算できる Zero-Dipole Summation 法を高度化した。
適用例として発光蛋白質 Sirius の発色団の励起状態解析による発光機構の解明と RNase HI の加水分解反応機構の解析を行っている。
2.3 Platypus-QM/MM-FE（QM/MM）
生体分子機能に関わる化学反応をハイブリッド
QM/MM 法を用いて解析し機能発現の分子機構の解明を可能にする方法論を開発した。
QM/MM-FE 法 で は 、 MM 分 子 力 場 を 用 い た
MD 計算による MM 領域の構造サンプリングを行い、その MM 分布によって定義される自由エネルギー曲面上で QM 領域の反応経路探索を行うことで、MM 領域のゆらぎの中で起こる酵素反応を定量的に評価することができる。これまでに 700 ns の MD サンプルによる自由エネルギ
ー曲面上での QM 構造最適化に成功している。
現在、京で 4000 並列を達成している。α-アミラーゼの酵素反応機構に適用し、タンパク質の構造
揺らぎの反応自由エネルギーへの寄与を明らかにした。
2.3 Marble（MM）
全原子分子動力学法のソフトウェアである。空間

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

分割、PME 法、シンプレクティック剛体法などの高効率・高精度のアルゴリズムを用いており、
現在、京で 8000 並列超を実現している。応用として MD と NMR、X 線溶液散乱実験との連携技術の開発を行った。また、共通ターゲットである
多剤排出トランスポーターの分子動力学シミュ
レーションを行い、プロトン移動による構造変化
誘導，トランスポーターに対する薬剤の結合・排出機構についての全原子シミュレーションを実施した。
2.4 Platypus-REIN（MM/CG）
レプリカ交換分子動力学法を行うためのソフト
ウェアである。レプリカ交換分子動力学法は異なった環境変数で行われる分子動力学計算で駆動される多数のレプリカが確率的に他の環境変数に移行することによって、通常の分子動力学計算
では到達できない広範囲の構造アンサンブルを精密に求めることができる。ここではさらに、多次元の環境変数を選択することでさらなるサン
プリング空間の拡張をめざす多次元レプリカ交換法を採用している。京で 3 万並列超を実現するとともに、溶液中の糖鎖構造のモデリングや蛋白質によるペプチド認識機構の解明などに適用した。さらに細胞膜中でのアミロイド前駆体のシミュレーションを行うことで、アミロイド形成過程の初期のモデリングを行っている。「京」に資す
るソフトウェアとして、ISLiM ホームページ上で
ソースコードも含めて公開を行った。
2.5 Platypus-MM/CG（MM/CG）
MM と CG の二つのモデルを共役項で制約させながらひとつのシミュレーションとして行う。それによって、MM の精度と CG の効率を両立させる
ことを目指している。主要な方法論は、マルチスケール拡張サンプリング(MSES)法、On-the-fly
ストリング法である。MSES 法は、上記のシミュ
レーションをそのまま分子動力学計算として実施し、最終的に CG からの影響のない MM の構造
アンサンブルを得るために、共役項の強度を変数と す る Hamiltonian 交 換 法 を 用 い て い る 。
On-the-fly ストリング法は、同様なシミュレーシ
ョンを経路探索の問題として行う。CG のポテン
シャルを flat にして、共役項の強度を大きくする
ことによって CG 自由度の上での MM ポテンシャ
ルの平均力場を求めることができ、最小自由エネ
ルギー経路を得ることができる。MSES 法は天然
変性タンパク質 Sortase A の disorder-order 転移、Barnase-Barstar のタンパク質間相互作用に、
On-the-fly ストリング法は Adenylate kinase の構造変化に適用した。
2.5 CafeMol（CG）
粗視化ポテンシャルを用いて、タンパク質、核酸、脂質を含んだ系の大規模、長時間の分子動力学シ
ミュレーションを行った。これまでに、蛋白質、DNA および脂質それぞれの単体系および核酸－
蛋白質、脂質－蛋白質の複合体の粗視化モデルの開発および実装を完了した。現在、京への実装と、レプリカ交換法によって 98000 コアの並列を達成している。これまでに、タンパク質のフォール
ディング、キネシンの微小管上の歩行、多剤排出
トランスポーターの薬剤排出、ヌクレオソームの動態などのシミュレーションに適用し、実験または既存のシミュレーション手法では困難であった、それぞれの運動の機構を明らかにしてきた。
特に、多剤排出トランスポーターでは、機能的回転の機構および薬剤取り込みの経路についての知見を与えた。

2. プロジェクト終了時の達成目標
それぞれの方法論によるシミュレーションを京の性能を十分に生かして以下の実証研究の目標を以下にあげる。
ProteinDF
光合成反応中心、光合成アンテナ蛋白質のカノニ
カル全電子計算
Platypus-QM
数万電子系の基底状態/励起状態の電子構造の計
算
Platypus-QM/MM
数千電子系とそれを取り巻く数 10 万古典原子による反応自由エネルギー地形の計算
Platypus-QM/MM-FE
多剤排出トランスポーターのプロトン移動の自由エネルギー計算
MARBLE
多剤排出トランスポーターの薬剤排出過程のシ
ミュレーション
Platypus-REIN
タンパク質の構造変化、構造予測および、タンパ
ク質間の結合自由エネルギープロファイル（数万～十万粒子系）
Platypus-MM/CG
多剤排出トランスポーターの構造変化経路計算
脂質β酸化多酵素複合体の構造変化計算
CafeMol
ヌクレオソーム（DNA ヒストン複合体）動態のシミュレーション
以上

17

18

ISLiMソフトウェア研究開発報告会

低次元/prior knowledgeの効率化
Stirred MD
Targeted MD

CGモデルでprior knowledgeの空間を表現する

タンパク質の機能発現に伴う運動は、
比較的低次元のしかし複雑な反応座標上で起こる

高次元/ab initioの効率化
Multicanonical MD
Replica Exchange MD

MMのサンプリングの効率化

概要・アプローチ

ISLiMソフトウェア研究開発報告会

理化学研究所
次世代計算科学研究開発プログラム
分子スケールチーム チームリーダー
木寺詔紀

タンパク質の大規模サンプリング

MM/CGプログラムμ2-libによる

3

1

QM

CG

coupling

ISLiMソフトウェア研究開発報告会CGz

H ( x=; z ) V ( x ) + U ( z ) + k 2 (θ ( x ) − z )

MM
x

CG
CafeMol

2

CGはMMを引っ張る

マルチスケールの原理

MMがCGで引きずられる

MM

MM
MarblePlatypus

Multiscale

ISLiMソフトウェア研究開発報告会

Molecular Scale Team

ProteinDF

背景・目的

4

2

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

k→0

CG
z
Path Search(multicopy)

19

Sortase A

ISLiMソフトウェア研究開発報告会

Enhance the disordered regions

天然変成部位のシミュレーション – Sortase A

Multiscale Enhanced Sampling (MSES)：森次 圭(理研）

L. Maragliano, E. Vanden-Eijnden,
Chem. Phys. Lett. 2007.

On-the-fly String Methodz 上のMMの平均力ポテンシャル− βV x− F ( z ) → ln ∫ d xe ( )δ (θ ( x ) − z )U (z) = 0k→∞coupling

2

7

5

Core

・24,576ノード（196,608コア）まで計算性能が直線的に向上
・高並列時でも高い実行効率を実現（24,576ノード並列時で約12.3%）

計算性能

ISLiMソフトウェア研究開発報告会

MSES simulation

Conventional MD

Barnase/Barstar複合体形成のシミュレーション

Multiscale Enhanced Sampling (MSES)：森次 圭(理研）

計算対象をオブジェクトとして扱う
Amber、Charmm力場に対応
OpenMP/MPIによる並列化

ISLiMソフトウェア研究開発報告会

シミュレー
ション

Apps

ファイルの読み込み

相互作用

ライブラリの特徴

Interface

入出力

シミュレー
ションの実行

ライブラリの構成

現在までの研究開発成果
μ2-lib (Platypus-MM/CG) マルチコピー・マルチスケール
分子シミュレーション法開発の基盤となるクラスライブラリ：
寺田 透（東大）

継承

ISLiMソフトウェア研究開発報告会

K Moritsugu, et al. J. Chem.Phys. 2010.

Multiscale Enhanced
Sampling (MSES)MM

H ( x; z ) = V ( x )Hamiltonian
Exchange(multicopy)MMx

H ( x=; z ) V ( x ) + U ( z ) + k 2 (θ ( x ) − z )共役消去のふたつの方法

8

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

継承

LID

AMPbd

ISLiMソフトウェア研究開発報告会

Adenylate kinaseの基質結合に伴う立体構造変化の最小自由エネルギー経路

On-the-fly String法： 松永康佑（理研）

9

ISLiMソフトウェア研究開発報告会

Particle Filter法の開発とμ2-libへの実装： 松永康佑（理研）
10

On-the-fly String法
多剤排出トランスポーターAcrBの
薬剤排出過程最小自由エネルギー経路探索

Onsager-Machlup法の開発とμ2-libへの実装： 藤崎弘士（日本医大）

MSES
脂質β酸化多酵素複合体の大規模構造探索

今後の展開

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

20

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

Replica-exchange interface program: REIN
宮下尚之

理化学研究所 生命システム研究センター
分子機能シミュレーション研究チーム 研究員

発表者紹介2003 年 3 月 総合研究大学院大学数物科学研究科機能分子科学専攻博士課程修了
2003 年 4 月 東京大学 分子細胞生物学研究所 学術研究支援員
2005 年 4 月 ボストン大学 化学科 Research Associate2007 年 4 月 岐阜大学 人獣感染防御研究センター 助教
2007 年 12 月 理化学研究所 次世代計算科学研究開発プログラム 研究員
2011 年 4 月 理化学研究所 生命システム研究センター 研究員
2011 年 4 月 理化学研究所 次世代計算科学研究開発プログラム 兼務
2011 年 4 月 理化学研究所 計算科学研究機構
兼務

研究分野
物理（理論）・生物物理・分子シミュレーション

21

22

1

12年12月13日木曜日

Time

AcceptAcceptAcceptAcceptAcceptAccept[2]	
  Y.	
  3Sugita,	
  A.	
  Kitao	
  and	  Y.	
  Okamoto,	
  J.	
  Chem.	
  Phys.	
  113,	
  6042-­‐6051	
  (2000)

[1]	
  Y.	
  Sugita	
  and	  Y.	
  Okamoto,	
  Chem.	
  Phys.	
  LeM.	
  314,	
  141-­‐151,	
  (1999)[REM]	  K.	
  Hukushima,	
  and	  K.	
  Nemoto,	
  J.	
  Phys.	
  Soc.	
  Jpn.	
  65,	
  1604-­‐1608	
  	
  (1996)Δx = βm(Um(qj)-Um(qi))-βn(Un(qj)-Un(qi))- H(pi,qi) = K(pi) + E0(qi)+U(qi)"- Transition probability:
Metropolis criteriamin[1, exp(-Δ)]"- Exchange

AcceptAcceptNot Accept

Not Accept

Replica-exchange molecular dynamics (REMD)

12年12月13日木曜日

Naoyuki Miyashita
RIKEN QBiC, RIKEN CSRC, RIKEN AICS

Replica-exchange Interface Program
REIN

Temperature

3

1

pPLN

PLN

Structure differences between
PLN and phosphorylated PLN

Y. Sugita, N. Miyashita, T. Yoda, M. Ikeguchi, C. Toyoshima,
Biochemistry 2006, 45, 11752-11761

12年12月13日木曜日(AAAQAA)3

4

Folding of Villin headpiece(HP36) using Replica-exchange
Multi-canonical

T. Yoda, Y. Sugita, Y. Okamoto,
Biophysical Journal, 2010, 99, 1637–1644

Protein Folding

2

Prediction of APP dimer
conformation
4

N. Miyashita, J. E. Straub, D. Thirumalai, Y. Sugita
J. AM. CHEM. SOC. 2009, 131, 3438–3439

Prediction of conÞguration

Example of REMD Simulations
Structure differences

12年12月13日木曜日

MD

REMD

Y. Sugita, and Y. Okamoto, Chem. Phys. Lett.
314, 141–151, (1999)

Replica-­‐exchange	
  Molecular	
  dynamics	
  simula6on	
  (REMD)	
  can	
  sample	  wider	  conforma6onal	
  spaces

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

node

core
OpenMP

node MPI

5¥ SPARC, Fujitsu compiler (C, C++,
Fortran), MPI-2, OpenMP¥ 3D torus network

parallel computer）, 8 core/node

23

[3]

[4]

[5]

[6]

[7]

NAMD

GROMACSDESMOND

TINKER

MARBLE

C/MPI/OpenMP

Fortran/MPI

C/MPI/pthread

C/MPI/OpenMP

Fortran/MPI/pthread

Fortran/MPI

Fortran/MPI

Language/parallelization

Fast

Slow

Fast

○

×

○

12年12月13日木曜日

*	
  We	
  are	
  trying	
  to	
  install	
  NAMD	
  into	
  K-­‐computer	
  	
  with	  Prof.	
  Kamada@Kobe	
  U.
7

○

7

No perfect MREM package on K

○ (Native)

×

×

△

△*

¥

×

×

×

○

○

×

×

on K

Complex input Þles and batch Þle
for REMD/MREM in each package

×

×

○

○

○

×

○
○

MREM

REMD

5

¥

○

Fast

Fast

×

○

Slow

Medium×

Speed

Hybrid

[1]	
  B.	
  R.	
  BROOKS	  et	
  al.,	
  J	
  Comput.	
  Chem	  30:	
  1545–1614,	
  2009
[2]	
  D.	
  A.	
  Pearlman	
  et	
  al.,	
  Comput.	
  Phys.	
  Comm.	
  91,	
  1-­‐41,	
  1995
[3]	
  J.	
  C.	
  Phillips	
  et	
  al.,	
  J.	
  Comput.	
  Chem.	
  26:1781-­‐1802,	
  2005[4]	
  H.J.C.	
  Berendsen	
  et	
  al.,	
  Comput.	
  Phys.	
  Comm.	
  91:43-­‐56,	
  1995
[5]	
  K.	
  J.	
  Bowers	
  et	
  al.,	
  In	
  SC	
  ’06:	  	  	
  Proceedings	
  of	
  the	
  2006	
  ACM/IEEE	  conference	  on	
  SupercompuVng,	
  New	
  York,	
  NY,USA,	
  2006.	
  ACM	  Press.
[6]	
  J.	
  W.	
  Ponder	  and	  F.	
  M.	
  Richards,	
  J.	
  Comput.	
  Chem.,	
  8,	
  1016-­‐1024,	
  1987.
[7]	
  M.	
  Ikeguchi,	
  J	
  Comput	
  Chem	  25:	
  529–541,	
  2004[1][2]

CHARMMAMBER

MD Packages

Conventional MD packages and REMD module

12年12月13日木曜日

node

node

MPI/OpenMP→Hybrid parallelization¥ 88,128 node, 705,024 core（super¥ Trial period from 4/2011 to 9/2012¥ Open public on 9/28/2012¥ 10 PFlops : 6/2011 No. 1 (8.162PF),
11/2011 No.1(10.51PF), 6/2012 No.2,
11/2012 No.3
AcceptAcceptNot Accept

Not Accept

Time

AcceptAcceptTemperature

MD

node

OpenMP[2]	
  Y.	
  6Sugita,	
  A.	
  Kitao	
  and	  Y.	
  Okamoto,	
  J.	
  Chem.	
  Phys.	
  113,	
  6042-­‐6051	
  (2000)

[1]	
  Y.	
  Sugita	
  and	  Y.	
  Okamoto,	
  Chem.	
  Phys.	
  LeM.	
  314,	
  141-­‐151,	
  (1999)[REM]	  K.	
  Hukushima,	
  and	  K.	
  Nemoto,	
  J.	
  Phys.	
  Soc.	
  Jpn.	
  65,	
  1604-­‐1608	
  	
  (1996)Control

MD program

12年12月13日木曜日[1] M. Feig et al., Journal of Molecular
Graphics and Modelling 22 (2004) 377–395[2] M. Bonomi, D. Branduardi, G. Bussi, C.
Camilloni, D. Provasi, P. Raiteri, D. Donadio,
F. Marinelli, F. Pietrucci, R.A. Broglia and M.
Parrinello, PLUMED: a portable plugin for
free energy calculations with molecular
dynamics, Comp. Phys. Comm. 180, 1961
(2009), Available also on arXiv:0902.0874

○

○

×

×

8

Not support on K

Necessary

no

MREM

¥

NecessarynoModiÞcation of Recompile
MD programof MD

Advantage :→ The several functions on each MD package→ Easy to perform REMD or MREM (simple input Þle)Plugin style(It needs
recompile withpatch)

binary run (fork,
exec function)

style

¥

C/ (depend oneach MD)aarex.pl in MMTSB
toolsets [1]

PLUMED [2]Perl/
TCP socket

CHARMMAMBER
NAMD
GROMACSNAMD
DLPOLYAMBER
ACEMDLAMMPSQUANTUMESPRESSO
CPMD

Language/parallelization
MD

PackagesInterface	
  so`ware	
  can	
  use	  several	
  convenVonal	
  MD	
  programs	
  for	
  REMD	  simulaVons.	
  Interface Software

on K

Multi-dimensional REMD (MREM) [2]

MD

1

MPI
MPI

¥

MD

2

ParallelReplica-exchange umbrella sampling (REUS)[2]: Not only temperature but also distance,
angle, dihedral and so on.

REM

¥

REMD

3

Better Method for hybrid parallelization

¥
Layer

Replica-exchange molecular dynamics
simulation [1] has been used widely as usefulenhanced sampling method.

¥interface software for Replica-exchange method

12年12月13日木曜日

MD

MD

replica

AcceptAcceptAcceptAcceptReplica-exchange molecular dynamics (REMD)→Hybrid parallelization
REM (MPI) / MD (MPI/OpenMP)

Temperature
Distance

K computer

8

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

24

NAMD
MARBLE

Fortran (Intel, gfortran, fujitsu)

MARBLE

NAMD

Axis

no

REMD

○

○

Temperature

○ 11

○

Atom

○

○

Group
○

○

Atom
○

×

Group

Angle

REUS

○

○

Atom
○

×

Group

DihedralMPI-2 (Open MPI, Fujitsu MPI)

Distance

○

MREM

○

on K

MARBLE: Optimized on K.
NAMD: Currently ßat MPI version are available on K.

nobinary run[mpi_comm_s
pawn orsystemfunction]

Recompile

K computer (sparc), FX10 (sparc), PC cluster (x86_64)

Fortran95,200
3/MPI/
OpenMPModiÞcation

MD program

style

Control

Current available functions of REIN (MREM)

Compiler

MachineSpeciÞcation

12年12月13日木曜日

REIN:

will be opened on
next week

REIN version 1.0

MDLanguage/parallelization

REIN

To perform MREM on K computer easily.

Replica-exchange Interface Program (REIN)

Packages

12年12月13日木曜日

Allowed:
mpi_comm_spawn (MPI-2)

Not supports:
MPI/TCP socket by perl and python(script 言語での通信をサポートしていない)

fork/exe functions (複製禁止)

Prohibited:system functionでmpiを起動

K computer

11

9

No

12年12月13日木曜日

j++

No

i++

12年12月13日木曜日

Exchange

Read,
Output,ﬁle

Yes

End

End

Yes

if,j,==,max,num.,of,
exchange

No

MD

Input

Start

MD

Yes

Output

Input

Watch,Dog
If,ﬁle,end

if,i,==,number,of,
replicas

MPI_COMM_
SPAWN

i=1

Create,input,ﬁles

j=1

Input

Start

REIN

Flow chart

rank1

MD1

MD0

rank1

rank0

MD1

rank1

MD2

MD3

rank3

rank1

MD2

rank0

rank1

MD3

rank0

Dynamic process

NFS

rank2

Static process

rank0

MD0

rank0

REIN

SPAWN version¥外部プログラムはBinary形式である¥MPIのルールの範囲¥PCクラスタでも京コンピュータでも動く¥プログラム実行が非常に簡単である（外部プログラムの修正はしない）

Interface programである¥外部プログラム（既存のMDプログラム）を用いる

コンセプト

レプリカ交換インターフェースプログラムの

12
12

10

rank1

MD0

rank0

NFS
MD0

rank0

rank1

MD1

rank0

NFS
MD1

rank1

R

NON SPAWISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

25= small= 8= 4= 01:00:00= 8

queue_namenum_threads_md

num_mpiproc_md

cpu_time

num_core_cpu= 100

num_of_exchange_steps

12年12月13日木曜日= yesreplica_exchange[REMD]= K

job_scheduler# cpu time

# # of mpi process for md# number of threads in md# queue name, k:([SMALL]/LARGE),fx10: REGULAR..

# job scheduler type ([K]/GE/RICC)# batch filename# REIN input file name# number of exchange steps

15# ([YES]/NO): replica exchange / umbrella sampling# number of core in cpu, for k = 8, for fx10 = 16, ...

= rein.sh= rein.inp

batchfile_name[BATCH]

rein_input

13
13$ batch_builder bb.inp$ batch_builder bb.inp restart15

K (fx10) or SGE(UGE) type batch
script can be selected.
Batch_builder create batch script
for submission the job to job
scheduler.

Exchange steps :100 exchanges

Thread: 1 (ßat MPI)

Total node: 66 node

REIN: 32 core (4 node)

Example: input Þle of Batch builder# control parameters in batch_builder

12年12月13日木曜日

rein_converter ! creating the trajectories series#rein_converter rc.inp

Restart#batch_builder bb.inp restart3) submitting of job# pjsub rein.sh2) Batch_builder ! rein.sh#batch_builder bb.inp

1) Input_builder ! rein.inp#input_builder ib.inp

Very easy execution -- three steps= exp= harmonic= 8= 2.0 8.0
= equiv= ADP CR 1-1 ADP CL 1-1= 2.0

division001
axis002
num_replicas002
range002
division002
distance002
spring_const002= ./namd2= 300.0= 1000= 23.4= 23.2= 23.9md_exe_file
md_temperature
md_steps
system_size_x
system_size_ysystem_size_z##

Output format

14# system size --automatically create pme grids# md steps / exchange# md temperature# md exe file# md program (NAMD/MARBLE)# (EQUIV/EXP/CYCLE)# lowest, highest value

Alanine Dipeptide$ input_builder ib.inp
実演

12年12月13日木曜日#========= EXCHANGE_STEP = 1
1
1
290.14150
22309.04970
3
3314.56290
44313.8316055304.91160
6
6309.8476077299.44280
88288.62440#========= EXCHANGE_STEP = 21
2
306.76840
21
317.18100
34310.83750
43
284.34980
56294.21380
6
5336.6426078296.55280
87299.56080

16-1664.28540-1651.98420-1629.92330-1655.03960-1680.86470-1606.88210-1698.13390-1662.84080-1624.33470-1677.37840-1658.91060-1657.91540-1642.47860-1635.80170-1685.76920-1683.47140

391.36800
404.65210
396.55920
362.76680
375.35110
429.48070
378.33510
382.17260

370.15570
394.27840
401.31190
400.37900
388.99900
395.29630
382.02210
368.22020-2055.65340-2056.63630-2026.48240-2017.80640-2056.21580-2036.36280-2076.46900-2045.01340-1994.49040-2071.65680-2060.22250-2058.29450-2031.47760-2031.09800-2067.79130-2051.69170

16

14

Range of Temperature: 300-360K
Range of Distance: 2.0-8.0Å

Number of Replicas:
Temperature : 8 replicas
Distance: 8 replicas
Total: 8 x 8 = 64 replicas

Exchange: 100 exchanges

MD steps: 1000 steps (2ps)

REIN/NAMD, NVT

ex)Replica#, condition#, Temperature, ( Distance etc.. ), Total, Kinetic, Potential, Extra

12年12月13日木曜日= namdmd_program[MD]= 300.0 304.0

range001# # of replicas for the axis

= 8

num_replicas001# axis (TEMPERATURE/HARMONIC)# rein input file name= temperature= rein.inp

axis001[REMD]

rein_input# control parameters in input_builder

Temperature - distance
2D-REMD

Example: Input Þle of Input builder

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

26

Applications of REIN (version 0.1)

17

12年12月13日木曜日

19

Wataru Nishima, Naoyuki Miyashita, Yoshiki Yamaguchi, Yuji Sugita, and Suyong Re, J. Phys. Chem. B, 116 (29), pp 8504–8512, (2012)

Effect of Bisecting GlcNAc and Core Fucosylation on Conformational Properties
of Biantennary Complex-Type N-Glycans in Solution

12年12月13日木曜日• http://www.islim.org/islim-dl̲j.html

19

17

REIN

18

64 replicas
512 cores
52 ns x 64 replica = 3.3 μs

Number of replicas
Total Number of cores
Simulation time

12年12月13日木曜日

8 coresNumber of cores for each MD

20

1,000 steps

MD steps* N-Glycans

15,000 atoms

System size

*Current (REIN on RICC)

20480 cores

640 replicas= 32 x 20

32 cores10,000 steps or more

40,000 or more**REIN on K** Membrane proteins

500 ns x 640 replica = 320 μs or more

→Very easy interface, and advanced-use is available too.

Target:More larger system and Complex system

Purpose:
Structure prediction of a protein, Conformational prediction ofproteins, Interactions among molecules.

12年12月13日木曜日

Suyong Re, Naoyuki Miyashita, Yoshiki Yamaguchi, Yuji Sugita,
Biophys. J. 101, Pages L44–L46 (2011)

Structural Diversity and Changes in Conformational Equilibria of Biantennary
Complex-Type N-Glycans in Water Revealed by Replica-Exchange Molecular
Dynamics Simulation

Applications of REIN (version 0.1)

20

18

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

12年12月13日木曜日

12年12月13日木曜日

currently	
  NAMD2,	
  near	  future	
  MARBLE	
  v0.6• Temperature,	  Distance,	
  Angle,	  Dihedral	  • Binary	
  MD

Replica-­‐exchange	
  molecular	
  dynamics	
  (REMD)	
  simulaRon• Free	  soMware	
  (GPL	  version	
  3)• Interface	
  program	  of	
  MulR-­‐dimensional	  hAp://www.islim.org/islim-­‐dl_j.html
E-­‐mail	
  to	
  :	
  yukimya+reinmiya@riken.jp• Replica-­‐Exchange	  Interface	  Program	
  (REIN)• REIN	  version	
  1.01	
  open	  (islim	
  web	
  page)21

computer	
  etc..

• Fortran95/MPI/OpenMP• PC	
  cluster,	
  K	
  computer,	
  FX10	
  super	  Input	
  builder
Batch	
  builderrein	
  converter• Three	  supporVng	
  so`wares

Summary

23

21

12年12月13日木曜日

¥
¥
¥
¥
¥
¥
¥
¥
¥
¥
¥

¥

22

We thank the RIKEN Integrated Cluster of Clusters (RICC) at RIKEN for the computerresources used for the calculation

JSPS KAKENHI Grant Grant-in-Aid for Young Scientists (B) Number 24700299.

K-computer, RIKEN Advanced Institute for Computational Science (AICS)RIKEN Quantitative Biology Center (QBiC)

Research and Development of the Next-Generation Integrated Simulation of Living
Matter, a part of the Development and Use of the Next-Generation Supercomputer
Project of the Ministry of Education, Culture, Sports, Science and Technology (MEXT)This research was supported by

Mr. Norio Takase, Isogo SoftDr. Wataru Nishima, RIKEN ASI

Dr. Suyong Re, RIKEN ASI

Prof. Mitsunori Ikeguchi, Yokohama City University

Dr. Yoshiki Yamaguchi, RIKEN ASI

Dr. Yuji Sugita, RIKEN ASI, RIKEN QBiC, RIKEN AICS

Acknowledgement

22

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

27

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)ISLiM

全原子分子動力学計算ソフトウエア
MARBLE の開発と多剤排出トランスポーターAcrB への応用

池口 満徳
横浜市立大学 大学院生命ナノシステム研究科
分子スケール研究開発チーム

発表者紹介1994 年 3 月 東京大学大学院農学系研究科応用生命工学専攻博士課程修了
1994 年４月 東京大学農学部助手
2001 年 4 月 横浜市立大学大学院総合理学研究科助教授
2009 年 4 月 横浜市立大学大学院生命ナノシステム科学研究科准教授
研究分野
生物物理学，分子シミュレーション

29

30

1

ISLiMソフトウェア研究開発報告会

3• 対象モデル：– 水素まで含んだ全原子モデルを対象とする．
– 周囲の水分子，イオンなどの溶媒は露わに扱い，誘電率一定などの近似は用いない．
– 膜タンパク質の計算時には，膜分子も原子レベルで扱う．
• シンプレクティック部分剛体時間積分法– 精度の高い全エネルギー保存• 並列化アプローチ– 空間分割を用いて，通信量の削減を図る• 相互作用計算– 近距離力： 空間分割により，近接ノード通信を用いる– 遠距離力： Particle Mesh Ewald法によりFFTを用いて計算• 実験データによる検証– NMR, SAXS

概要・アプローチ

ISLiMソフトウェア研究開発報告会

横浜市立大学 大学院生命ナノシステム研究科
分子スケール研究開発チーム
池口 満徳

全原子分子動力学計算ソフトウエア
MARBLEの開発と多剤排出トランスポーターAcrBへの応用

解析
ソフトウエア群

シミュレーション結果の解析
技術の開発
 立体構造変化
 立体構造ゆらぎ 自由エネルギー
 実験との対応
NMR，SAXSなど
生体超分子用全原子シミュレーション技術の開発
 超並列化ソフトウエア
MARBLE
 世界標準アルゴリズムを装備（PME等） 先端アルゴリズムも装備（シンプレクティック剛体法
等）

出力：座標の履歴
計算対象
生体分子

2

多剤排出トランスポーター
AcrBの全原子分子動力学シ
ミュレーション
分子スケールチームで共通のターゲット
膜タンパク質
構造変化が機能に重要ゆらぎと構造変化研究・開発のステップチャート

ISLiMソフトウェア研究開発報告会

背景– タンパク質やDNAなどの生体高分子の立体構造を原子レベルで明らかにする
構造生物学の進展– 実験的に決定される立体構造は，静的な構造であることがほとんど– しかし，生体分子が機能を果たすときには，動的であることが重要– 例： 分子モーター(ATP等のエネルギーを使って構造変化することで力を出す）– 計算機中で，物理学法則に基づき，生体分子の動的構造をシミュレーションする
方法が有効– 特に，超並列化時代に突入して，計算対象が，方法開発に重きを置いたモデル
タンパク質から，生物学的に注目されるタンパク質に移行したことが重要な点
目的– 「京」で効率的に動作する全原子分子動力学(MD)ソフトウェアMARBLEを作製– 実用性検証のため、多剤排出トランスポーターAcrBの分子シミュレーションを行い、その機能メカニズムを解明

全原子MD
ソフトウエア

•

•

背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

•

•

•

•

•

•

31

ISLiMソフトウェア研究開発報告会

京〜170万原子OpenMP 8 cores
ＰＭＥ

PMEでの計算時間

ISLiMソフトウェア研究開発報告会

通信の最適化
– ３Dトーラスネットワークに合わせて，分割法や通信法を抜本的に見直した– 分割・通信には，Mid Point法を利用– ほぼすべてで，隣接通信を利用 (エネルギーの和，ＦＦＴを除く）．
OpenMP対応– ノード内は共有メモリ利用、ノード間はMPI利用することで、MPIプロセスの削減、通信の効率化を目指した．
– 短距離力，遠距離力とも対応．
短距離部分：カーネルを用いて，計算効率向上 (高度化チーム・富士通の助言）– 最初：ピーク比性能:~5%, SIMD化率0.02%  →ピーク比性能：~29%, SIMD 61%
遠距離部分– 長距離力には3DFFTを利用．3DFFTの2次元分割
短距離部分と遠距離部分のオーバーラップ– 3DFFTは通信が主なので，短距離部分の計算とオーバーラップをさせる
多剤排出トランスポーターAcrBでの検証

現在までの研究開発成果

7

5

水を介した
分子認識

構造ゆらぎ方向(赤)と構造変化方向(青)の一致(Biophys J, 2009)

散乱プロファイル（青：計算、ピンク：実験）

制限酵素EcoO109I

X線溶液散乱実験での検証

Program : MARBLE
Force field: CHARMM27
Electrostatic interaction: Non cut-off(Particle-mesh Ewald)
Ensemble: NPT
Temperature:300K,
Time step:2fs

SystemLipid：POPE 809 molecules (101,125 atoms）
water：TIP3P model 108,385 molecules (325,155 atoms）
protein：(PDB ID: 2DHH)（No drug containing structure）
Missing part (499-512) was added.
（47,724 atoms）+
Ion：Na (36 atoms)
Total：474,040 atoms
Box size: 160Å X 160Å X 180Å

AcrBの全原子分子動力学シミュレーション(JACS, 2010)

構造ダイナミクスの検証（赤：計算、青：実験）

DNA結合タンパク質
PhoB

NMRでの検証

実験データによるMARBLEの検証例

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

S2

407-408-−I 100nsの変化

PC1

PN2

Asp408

Thr978

Asp407

Lys940Extrusion

Asp408
Thr978

Asp407

Lys940Access

PN1

PC2

PCA

ポータードメインの運動

Asp408H+

ペリプラズム側から見て、ポータードメインの中心を軸とした、時計回りの運動が、構造変化の主要な成分である

407−408− -Iの排出型は、 407−408H の排出型と比べて，Buried surface Areaが減少した（各ドメイン間が離れた）Time (ns)407-408- −I (E state)407-408H (E state)

Extrusion構造のLys940のコンフォメーションが異なる

407-408-−Iの最終1nsの平均

取込型

排出型

結合型

Thr978

Asp407

Lys940Binding

プロトン濃度勾配のエネルギー利用には，
 水分子がそれぞれの側からアクセス可能 同時には両方からアクセスは不可
 プロトン着脱可能な基（カルボキシル基等)を経由して，プロトンは透過
膜貫通部位で，プロトン着脱可能な基は，Asp407, Asp408のカルボキシル基それぞれの構造でのプロトン化状態を決定

Buried surface area (Å2)

32

mode1(Å)
mode1の変位ベクトル（ペリプラズム側からの図）

mode2(Å)

膜貫通部位のプロトン化状態の決定

電荷：-1
サイトプラズム側へプロトンが移動

電荷：0

PC2

PN1
PN1

PN1

PC2

PC2

PC1

PC1

E state
PN2

取込型(2DHH)
排出型(2DHH)
排出型(407−408 − -I)

PN2

B stateA state

PC2

PC2

PN1

PC1

PC1

PC1

PN2

PN2

PN2
PC1

PN1
PC2

+

H

電荷：0

Asp408がプロトン化

電荷：-1

取込型

+

H

電荷：-1

Lys940結合型

Asp408

Asp407

Thr978

ペリプラズム側からプロトンが移動

膜貫通ドメインポータードメイン

プロトン転移サイト

薬剤の入り口

取込型★これらの構造変化は、プロトン化状態の変化に伴う電荷の変化により生じる静電気力が駆動力となって生じていると考えられる★排出型から取込型への構造変化において、
ポータードメインの中心を軸とした、スクリューモーション（上図の赤矢印）による、
PC2サブドメインの動きにより、薬剤の入り口
および、水の入り口が形成される。

排出型

排出型から取込型への構造変化のメカニズム

脱プロトン化

排出型

PC1

PN2

PC1

PN2

排出型のAsp407, Asp408が脱プロトン化した状態のシミュレーション（407−408− -I）において、ポータードメインの構造が、取込型の構造へと近付いた。

PN1

PC2

PN1

PN2

PC2

PN1

ポータードメインの構造変化

水の入り口

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

タンパク質カノニカル分子軌道法 ProteinDFの京対応版プログラムの公開
佐藤 文俊
東京大学生産技術研究所
革新的シミュレーション研究センター 教授

発表者紹介1990 年 3 月 慶應義塾大学大学院理工学研究科物理学専攻博士課程修了
1990 年 4 月 科学技術庁特別研究員
1991 年 3 月 九州工業大学情報工学部助手
2002 年 11 月 東京大学生産技術研究所客員助教授
2004 年 12 月 東京大学生産技術研究所助教授
2008 年 4 月 東京大学生産技術研究所教授
研究分野
計算生体分子科学、量子分子生物学

33

34

A-branch

ISLiMソフトウェア研究開発報告会

光合成反応中心タンパク質の分子軌道•スペシャルペア•アクセサリーバクテリオクロロフィル•バクテリオフィオフィチン•Pから4Å以内のアミノ酸残基

A-branch

LUMO

主な機能と特徴– HF, DFT(含ハイブリッド汎関数)– ガウス型基底関数– 分子積分にRI法やRT法アルゴリズムなどが選択可能– 大規模SCF計算を成功させるための高精度初期値作成法– エネルギー勾配計算

•

HOMO

ProteinDFとは– タンパク質のカノニカル分子軌道を計算する超大規模量子化学計算プログラム– C++でコーディング

LUMO

•

概要・アプローチ

ISLiMソフトウェア研究開発報告会

東京大学生産技術研究所
革新的シミュレーション研究センター
教授
佐藤文俊

タンパク質カノニカル分子軌道法ProteinDFの京対応版プログラムの公開

3

1

MO of
cytochrome c
85.2%： Feのd軌道
Fe(II)⇔Fe(III)で電子移動性能– 分散並列計算機における数千ハイブリッド並列計算– 「京」での正常動作• MPI / OpenMPでのハイブリッド並列で動作確認• 1024x8並列まで動作確認– 「京」での演算性能向上・チューニング作業中• 分子積分・数値積分の単体性能の向上•

ISLiMソフトウェア研究開発報告会

機能– 基本的な計算機能は「イノベーション基盤シミュレーションソフトウェアの研究開発」
プロジェクトで開発(済み)– バージョン管理• ブランチを作らずに、様々なハードウェアに対応• 本プロジェクトでは、「京」対応のために新しい動作形式を研究開発

機能・性能がどこまで達成しているか

ISLiMソフトウェア研究開発報告会

目的ProteinDFの京対応版プログラムの公開

94.7%： Feのd軌道99.9%： Heme+近位His
Fe(III)で失活

MO of
MbCO

背景
ProteinDFによるタンパク質の分子軌道計算

•

•

•

背景・目的

4

2

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

巨大密行列の取り扱い– 1,000残基規模タンパク質の軌道数 ≒ 100,000– 行列１つに必要なメモリ量 ≒ 105 x 105 x 8 byte = 80 GB– 行列演算に最低限必要なメモリ量 ≒ 80 GB x 3 = 240 GB– 最低限必要なメモリ量が1ノードに収まりきれない••

効率の良い大規模並列分子軌道計算アルゴリズムの開発– 理論上O(N4)の分子積分アルゴリズムの計算量の削減– ロードバランスの均等化• 1つ1つの分子積分の演算量が、基底関数の組み合わせにより異なる• 総演算量を前もって見積もることが困難– 通信コストの削減• 分子軌道計算において、全通信は避けられない•

35

ISLiMソフトウェア研究開発報告会

Light-harvesting protein B-800/850– 18,207 atoms– 846 residues– 18 chains• ヘテロダイマー×9量体– 27 BCLs– c.a. 90,000 orbitals

計算ターゲット

ISLiMソフトウェア研究開発報告会「京」で正常に動作させること– コンパイラの仕様に沿ったC++コードの記述を行う– 分散ローカルファイルシステムの対応•

その際に克服すべき問題は何だったか

7

5

chain_F LUMO
chain_F HOMO

BCL3 HOMO

BCL2 HOMO

BCL1 HOMO

ISLiMソフトウェア研究開発報告会

chain_E LUMO

Light-harvesting protein B-800/850

chain_E HOMO•

計算事例結果ISLiMソフトウェア研究開発報告会

巨大密行列の取り扱い– 大域分散行列の採用– ScaLAPACKによる高速密行列演算– 大域分散行列用分子積分・数値積分アルゴリズムの実装

大規模分子・大規模並列用分子積分アルゴリズムの開発– 高精度・高効率カットオフ法採用による計算コストの低減– シェルの組み合わせの並び替えによるタスク均等化– 動的ロードバランスの採用••「京」で正常に動作させる対策– OpenMPコードの書き換え• 新しいコンパイラでOpenMP3.0仕様に対応– 分散ローカルファイルシステム用I/Oルーチンの構築– 単体性能向上• 富士通さんとチューニング → 継続中•

a(3, 8)a(4, 8)a(5, 8)a(6, 8)a(7, 8)a(3, 7)a(4, 7)a(5, 7)a(6, 7)a(7, 7)a(3, 6)a(4, 6)a(5, 6)a(6, 6)a(7, 6)a(3, 5)a(4, 5)a(5, 5)a(6, 5)a(7, 5)a(3, 4)a(4, 4)a(5, 4)a(6, 4)a(7, 4)a(3, 3)a(4, 3)a(5, 3)a(6, 3)a(7, 3)a(3, 2)a(4, 2)a(5, 2)a(6, 2)a(7, 2)a(3, 1)a(4, 1)a(5, 1)a(6, 1)a(7, 1)a(4, 8)

BCL3 LUMO

BCL2 LUMO

BCL1 LUMO

node 38

6

node 4a(7, 8)a(3, 8)a(7, 4)a(7, 3)a(7, 6)a(7, 5)a(7, 7)a(4, 7)a(4, 4)a(4, 3)a(4, 6)a(4, 5)a(4, 2)a(7, 2)a(4, 1)a(7, 1)a(6, 8)a(3, 7)a(3, 4)a(3, 3)a(3, 6)a(3, 5)a(3, 2)a(5, 8)a(3, 1)a(2, 8)a(6, 7)a(6, 4)a(6, 3)a(6, 6)a(6, 5)a(6, 2)a(6, 1)a(5, 7)a(5, 4)a(5, 3)a(5, 6)a(5, 5)a(5, 2)a(2, 7)a(2, 4)a(5, 1)a(1, 7)a(1, 4)a(2, 6)a(2, 5)a(2, 2)a(2, 1)a(2, 3)a(1, 6)a(1, 5)a(1, 2)a(1, 1)a(1, 3)a(1, 8)

node 2a(2, 8)a(2, 7)a(2, 6)a(2, 5)a(2, 4)a(2, 3)a(2, 2)a(2, 1)

node 1a(1, 8)a(1, 7)a(1, 6)a(1, 5)a(1, 4)a(1, 3)a(1, 2)a(1, 1)7 x 8 行列を2 x 2小行列に分割

どのように解決したか (最適化など)

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

所属
東大生研
東大生研 → CEIソフト
東大生研 → RIST
東大生研 → 就活中
東大生研期間
H19H19-20
H19-23
H20-23
H21-

ISLiMソフトウェア研究開発報告会

 京速コンピュータ「京」を利用いたしました。

参加者
平野 敏行
西村 康幸
上村 典子
恒川 直樹
松田 潤一

謝辞・参考文献

9担当
超々並列
プレ・ポスト処理
複雑計算収束自由エネルギー・構造作成
超大規模用交換相関積分

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

36

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

粗視化分子シミュレーションソフトウエア
CafeMol の開発と遺伝子動態研究
高田彰二
京都大学大学院
理学研究科生物科学専攻

発表者紹介1990 年 3 月 京都大学理学研究科化学専攻修士課程修了
1991 年 3 月 岡崎国立共同研究機構分子科学研究所技官
1998 年 4 月 神戸大学理学部化学科講師・助教授
2007 年 3 月 京都大学理学研究科生物学専攻准教授（現在に至る）

研究分野
理論生物物理学37

38

Summary– By CG models, it simulate long-time dynamics of huge biomolecular systems.

4th Biosupercomputing Symposium• Approach• Method– Clasical molecular dynamics with CG model• Simulations– Time propagation based on Langevin dynamics and others• Parallel programming– Neighbor list, replica exchange• Computer language and library– Fortran90, MPI, OpenMP• Code release– Freely downloadable from http://www.cafemol.org• Target size
– Simulations that correspond to milliseconds and longer.

•

CafeMol

4th Biosupercomputing Symposium

Shoji Takada
Dept Biophysics, Grad School of Science, Kyoto University

3

1

Molecular machines and nuclear processes
studied by coarse-grained molecular simulations•

PurposeOn the basis of atomic resolution structural data andsimulation technology, we１）systematically construct CG models,
２）develop a software CafeMol that implements the CG
models, and,
３）apply them to various biological phenomena atmolecular scale important in cellular biology.

•

AtomicCG

4th Biosupercomputing Symposium– Applications
Multidrug transporter, kinesin,
nucleosome, transcription factor (p53 etc)
– Experimental verification
Multidrug transporter, collaboration with S. Murakami (Tokyo Inst Tech)
Kinesin, collaboration with M. Tomishige (Univ Tokyo)

Current status of CafeMol– Completed
Implementation of CG models for protein, NA, lipid
Parallel computation up to 98000 cores on K
Single node efficiency up to 33% on K
– To doAccurate derivation of and more accuracy in CG models →Multiscale algorithm for CG parameter derivation from atomic level

CafeMol：Current status

4th Biosupercomputing Symposium

Background
Living matter is hierarchic
In molecular scales, atomic structures made revolution
in the field, but a gap between atomic resolution andcellular scale is still large. Large fluctuation makes the
structural analysis harder.
For long-time simulations of huge systems, coarsegraining is useful.

•

Background & Purpose

4

2

a.a.

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

2

IJ
nloc

[5( r

I

IJ
0

12

IJ
0

/ r )  6(r

IJ

10

2w
IJ

2

39

“Entrance”

Murakami 2006

QuickTime™ and a
Cinepak decompressor
are needed to see this picture.

Access[[[ligandTransmembrane
domainPorterdomainTolCdocking
domain12)

rmsf bet. AA and CG

Fluctuation matching

pairwise contact energies

Energy decomposition

I J 3  (C / r )non  native

IJ
exp(  loc/ r ) ]IJ

J  2 I  J  3

( r IJ  r0IJ ) 2

Local contact

Yao et al, Nature Comm 2010

Application 1) Multidrug transporter

Flexible local potential(Statistical potential)

I J 3 nativeII  V aI ( I )   V dih( I ) IV   k b ( r I  r0I )AICG2 model

Yao

Gohlke et al., 2003,
Chu and Voth, 2006
Li et al., 2010,

AICG1; Li, Wolynes, & Takada PNAS 2011
AICG2;Li, Terakawa, Wang, & Takada PNAS 2012

Deriving CG para from AA via a multiscale method

Parallel performance
REMD @RICC
parallel 99.995%
DNA：
Protein-DNA
Structure-based+ P-ChemcomplexInnermembraneTunnel 2A

B

Tunnel 1

Tunnel 2

Tunnel 1 , Long path from membrane surface
Tunnel 2 , Short path from periplasm

Drug uptake pathways

Protein:
Structure-based, switching

Source available for ver 2.0(proteins, DNA, & RNA), atwww.cafemol.org

1-node efficiency 33％

Running on Kcomputer

Fortran 90,
MPI & openMP

Also for nucleic acids, membrane, and their complex

Simulating “protein at work”

CafeMol, software for CGMD

1000001000000
1 peta

1

100

10000

E

Tunnel 3

1000000

J. Comp.
Theo. Chem.
2011

Kenzaki#core
Membrane：
P-Chem10
10giga100

1000
1 tera

10000

FLOPS

Atomic interaction based CG model

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

40

Application 3)
Nucleosome dynamics

CG model of DNA
de Pablo et al

Assembly & disassembly of
nucleosome

Towards modeling of
Chromatin structure

Kenzaki

We founddrug-dependent uptake pathways

4th Biosupercomputing Symposium• 273 ligand molecules in a
160x160x300 (Å) box• 300K Langevin• 100 trajectories• Switching
ABE  BEA  EAB

Dynamic simulation of drug uptake and export[神経細胞]

微小管

軸索
キネシン
ダイニン

ATP

Φ

KanadaBPJ 2011
JACS 2012

Terakawa

In collaboration withexperimentalists (Tomishige, Kikkawa)

CG MD simulations together withhigh-resolution modeling of K-MT complex

MT

Application 4) full-length p53

中心体

Application 2) Kinesin+

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

酵素分子の柔らかさと触媒活性：
ハイブリッド QM/MM 自由エネルギー法の開発
林重彦

京都大学大学院理学研究科
分子スケール研究開発チーム 開発責任者

発表者紹介1997 年 11 月 京都大学大学院理学研究科化学専攻博士課程修了
1998 年 4 月 日本学術振興会特別研究員（名古屋大学大学院理学研究科）
2000 年 4 月 米国イリノイ大学アーバナシャンペーン校 博士研究員
2003 年 6 月 京都大学福井謙一記念研究センター 研究フェロー（博士研究員）
2003 年 10 月 科学技術振興機構 PRESTO さきがけ研究者
2005 年 5 月 京都大学大学院理学研究科化学専攻 准教授 現在に至る
研究分野
理論化学、生物物理学

41

42

Slow
dynamics!

化学反応と遅いタンパク質ダイナミクスの相関？
（酵素の高い触媒活性の秘密？）# of atoms involved

1

3

Causality ofsynthase

Classical
mechanics

Conformationalchanges ofsubunits

Conformationalchanges ofcomplexes

Quantummechanics

Chemical
reaction

Causality ofmolecular
motor

機能に織り込まれている
マルチスケールな現象

ISLiMソフトウェア研究開発報告会

京都大学
大学院理学研究科
林 重彦

酵素分子の柔らかさと触媒活性：
ハイブリッド QM/MM 自由エネル ギー法の開発

globalmotor

Noji et al.

reversible!

ATP

ADP

Noji, Takeuchi, et al.

Mechanics

ISLiMソフトウェア研究開発報告会(excited state QM/MM-MD)

4• Reactive moieties are described by ab initio
SH and Ohmine (2000) (QM/MMQM methods.
opt)
SH, Tajkhorshid, Schulten (2003)• Protein environment is treated by MM.

3. QM/MM simulations• Explicit description of electronic states• Huge computational cost
Quantum

2. Molecular orbital or density
functional theories (QM)

• No explicit description of electronic states

1. Molecular dynamics (MD)simulations
Classical• Large protein systems
Mechanics• Empirical force fields (MM)2mechanical ATP
generator~10 kcal/mol

Pi

local

酵素反応シミュレーションの方法論

F1Fo ATPsynthase

タンパク質の機能は酵素活性により制御されている

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

0.86 s

10 ns

1 ms

Anton

120k step / s

120 step / s

43

QMρMM(X)

ρMM (d, R; X) =QM

ρMM(X)}}

Much quicker convergence of
iterative MD sampling

MM distribution is reweighted.

ρQM(d;R )MM
Yang et al.
reweighting

Present method

Kosugi and SH, JCTC (2012)exp  − β E QM − MM (d, R; X) − E QM − MM (d0 , R 0 ; X) 
 × ρ (d , R ; X)MM00
exp  − β E QM − MM (d, R; X) − E QM − MM (d0 , R 0; X) 
 07
ISLiMソフトウェア研究開発報告会{{

Frequent iteration of QM/MM
opt. and MD sampling isnecessary.
Convergence problem!

ρQM(d;R )MM

Conventional

Problem of MF-QM/MM

QM/MM RWFE-SCF Method

ISLiMソフトウェア研究開発報告会

5

Computational cost
QM>>>MMα-amylase QM
15 min / step

A long-time direct QM/MM-MD is difficult.

1 µs

12 step / s

8.6 s

1 ns

100 ns

86 s

864 s = 14.4 m

100 ps

GPU

MM-MD

QM/MM
-MD

10 ps

100 days with 1 fs / step = 8.64 Ms
Trajectory time
Computational time/ step

QM と MM の計算時間の大きなギャップ

ISLiMソフトウェア研究開発報告会

ISLiMソフトウェア研究開発報告会

Complete separation of QM/MMand MD sampling

The method allows one to use
directly MD samples obtained bysophisticated MD program
packages using PME method.

continuum electron density• Present method: RESP operator
treatment (Hayashi and Ohmine, 2000) makes
its implementation possible.

Ewald summation technique• Conventional: hard to implement for

6

8

Present treatment:
periodic boundary condition

Conventional: sphere cluster

QM/MM Long-Range Interaction

Converged at 600 ns

QM/MM free energy (FE) geometry optimization
Geometry optimization of the QM molecule on a free energy
surface defined with the MM conformational thermal
distribution obtained by MD simulations

Complete separation between• QM/MM calculation of a chemical reaction and• MD simulation for protein conformational sampling

解決のための基本的アイデア

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

!

44

ISLiMソフトウェア研究開発報告会

FTIR

Koettig et al. PNAS (2008)

Ras+GAP GTPase:
Is Fluctuation Important?

ISLiMソフトウェア研究開発報告会

8 µs MD trajectory

Acetone (DFT/B3LYP/6-31g**) in water(1,300 atoms x 40k confs. x # of nodes)

Weak scaling on K

Division of conformational samples

Massive Parallelization

11

9

ISLiMソフトウェア研究開発報告会

Kosugi and SH, JACS (2012)

33 ns

240 ns

4 ns

21 ns

600 ns(TS)

400 ns(TS)# of basis
functions: 888# of atoms:
78,050ISLiMソフトウェア研究開発報告会

12

reactant

10# of atoms:
68,533# of basis
functions:629

Switch-I loop is bent upon dissociation of γ-PO3.

reactant

Reaction Profile on Free Energy
Surface at 300 K

33 ns

Slow Protein Conf. Changes Reduce
the Reaction Barrier

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

reactant

ISLiMソフトウェア研究開発報告会(TS)

Water Molecules Are Squeezed Out
Upon TS Formation

13

ISLiMソフトウェア研究開発報告会

14• QM/MM 自由エネルギー法である QM/MM RWFE-SCF 法を開発した。
• MD シミュレーションによって得られる MM サンプルによる
自由エネルギー面上での反応経路解析が可能となった。
• QM/MM 計算と MD サンプリングが完全に分離： MD シミュ
レーションにどんなプログラムを使っても良い（AMBER,
CHARMM（クラスタ版）分子力場使用可）。
• 「京」上で 4000 並列まで動作検証済み。現在、もう少し大きな系へのチューニングを実施中。
• タンパク質の特徴的な揺らぎは、酵素活性に重要（かも？）まとめ

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

45

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

Platypus-QM/MM の開発と応用
鷹野優

次世代計算科学研究開発プログラム
分子スケール研究開発チーム

発表者紹介2002 年 3 月
2002 年 4 月
2004 年 4 月
2005 年 6 月
2007 年 4 月

大阪大学大学院理学研究科化学専攻博士後期課程修了
日本学術振興会海外特別研究員
日本学術振興会特別研究員
大阪大学蛋白質研究所 助手
大阪大学蛋白質研究所 助教

研究分野
計算化学、量子化学、生物物理学、蛋白質計算科学47

博士（理学）



48





最小自由エネルギー経路！

ISLiM&*(#$"

1

3

並列性能に優れた新規
長距離ポテンシャルの開発(zero-multipole法)

Platypus-MM

+
Chain-of-State法 (疎結合並列計算）

HF, DFT, CASSCF, CIS,
MP2プログラムの高並列化による高速化

Platypus-QM

E = EQM + EMM + EQM/MM(PLATform for dYnamics Protein Uniﬁed Simulation)

超並列ab initio QM/MD連成計算プログラム
Platypusの開発

ISLiM&*(#$"

大阪大学蛋白質研究所
附属蛋白質解析先端研究センター
助教
鷹野 優

Platypus-QM/MMの開発と応用


発光





•!

ISLiM&*(#$"

QM/MM境界の高精度化

線形応答関数解析によるQMMM境界の判定

MM部分の高速化・超並列化

•! 粗結合 (chain-of-state法)を利用した超並列化•! 新規の静電相互作用計算法の開発 (Zero-dipole法)

QM部分の高速化・超並列化

•! CASSCF計算におけるdirect CI計算の高速化（CAS(16,16)まで可能）•! 2電子積分計算の原子軌道基底から分子軌道基底への変換部分の高度化•! エネルギー・力計算における積分計算のハイブリッド並列化とSIMD化•! RHF, UHF, R-DFT, U-DFT, CIS, CIS(D), CIS-DFT, MP2, CASSCFの実装

42

DNA/RNA hybridのRNA部分の加水分解
RNaseHI!"#"$%&'($')*+'!"##'!""#,'$%$,'-../+'

求核攻撃

現在までの研究開発成果

ISLiM&*(#$"

発光蛋白質Sirius0)$123)'($')*+'&'()*"+,"(-./0'!""$,'1,'445+'

発色団の
励起状態

上記２つの特徴をもつ生体高分子をリアルなモデルによって扱い、高速に計算できる「新規QM/MD連成計算手法」を開発して機能を解明し、分子設計へ

2) 生体高分子の機能の発揮は局所部位の電子状態に依存する

1) 生体高分子は巨大で、ヘテロで、ダイナミックな系

背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

49





Zero‒Dipole 法

ISLiM&*(#$"(8192コア：7.85%)

実行効率 15.43〜6.80％

並列化率 99.9728%

総数16,384コア

CASCI(16,16)/6-31G**(8192コア：4.26%)

実行効率 7.27〜2.24％

並列化率 99.9888%

総数32,768コア

RHF/cc-pVDZ

並列化率 99.9888%







 

 

rcutoff 

10 12 14 16 18&%'$()*+,+(-./01(

Zero-Dipole (! =0)Residual(molecular) cutoff(RESA)

ATOM cutoff

2 2

erfc (! rc ) ! exp ("! rc )
+
2rc3
rc2
"

プログラムの超並列化が可能

従来のparticle mesh Ewald法で必要となる逆空間FFTのAll-to-All通信が不要b!

" 3 erfc (! rc ) !
% q2 !
!#+
exp (!! 2 rc2 )& ) i !
) qi2
rc
"
" i(N
$2
' i(N 2rij <rci< j" erfc (! rij ) erfc (! r )%cEZero-Dipole = ) ) qi q j $!
+ b ( rij2 ! rc2 )'
r
r
$
'&
ij
c
i(N j(N i#5



ISLiM&*(#$"





7

62723)'($')*+'23+!-"43+5-603+!"%%,'$78,'-89-.:,'62723)'($')*+'23+!-"43+5-603+!"%!,'$79,'./94-9++

0.001

0.0
1

0.1

1

10

Accuracy of Zero-Dipole
method












実行効率














電荷とdipoleの双方がゼロとなる中性条件と静電遮蔽効果を考慮
遠距離の静電相互作用の効果を近距離に繰り込む

光合成反応中心スペシャルペア(280原子）＋
点電荷(30,904個)

Total Energy error ratio against Ewald method (%)
















 

不対電子対

QM

ISLiM&*(#$";&3<"=(%'>$"?'($@A'

Link atom method!" (r) = !

!" (r)! v(r!)dr!
! v(r!)

QM領域の電子構造の誤差の最小化

QM/MMモデル化に起因する線形応答関数解析

2. どこを切るか？

正しいエネルギー及び力が得られない






















8

6

実行効率

QM空間の切断->不対電子対の発生->QM（分子軌道）の歪み

1. どのように切るか？

MM

QM/MM境界問題


ISLiM&*(#$"

Weak scaling効率：93.36%

実行効率 3.42〜3.20％

128プロセス x 768レプリカ

総数98,304コア

Weak scaling (Chain of State)

実行効率 10.60〜1.94％

並列化率 99.7893%

総数2,048コア

Strong scaling

QM/MM境界に化学結合が存在する場合

Ace-ALA-NMe+
1,080 水分子

RHF/cc-pVDZ

98,304コアのハイブリッド並列の実行「京」での並列性能(QM/MM)


「京」での並列性能(QM)







ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

50

ISLiM&*(#$"

水中
347.64 nm

（実験値：345 nm）276.42 nm

水中

蛋白質

9





siriusの発光強度の向上

siriusの発光機構の解明

11sirius発色団 + 449水分子 40Åsirius + 7365水分子（1,374原子）（23,900原子）

QM/MD
励起状態ダイナミクス!"iatom ! v jatom = 0.0
RGB=(1-LRF, LRF, 0.5)/max LRF!"iatom ! v jatom = 1!"iatom ! v jatom = !1

B(3)'($')*+':;(3+23+<)';()4+!-"43'C%'D<(11+'

QM/MDによる励起状態ダイナミクス

励起エネルギー計算
CIS/6-31+G(d)

真空中



発光蛋白質sirius


ISLiM&*(#$"

QM/MM境界問題の定量化が可能に！

従来のsp3接合点での切断が有効

αヘリックス系では明白に誤差伝播が構造化される(右図)。

は約0.001(ex. 0.1 Hartreeの ! v(r!)に対し0.0001の誤差伝播)。

ではsp3接合点が伝播をブロックする。水素結合経由の伝播(iii) アラニンジペプチド, グルタチオン, アラニントリペプチド系

につれフリーデル振動型の振動・減衰となる。

(ii)! トランスファーブロックがない状況ではサイト数が多くなる

結合不安定が起こる(結合が切れかけた)状態で最大となる。

(i)! 共有結合では電子トランスファーが大きい平衡核間距離ではなく、

QM/MMモデル由来のQM領域の誤差
QM領域の誤差 !" (r) の最小化
[ガイドライン]

従来：QM/MMモデルによる誤差 ! v(r!) の最小化

線形応答関数解析









ISLiM&*(#$"

%,)+-'  !

 

12

10

DNA/RNA hybridのRNA部分の加水分解の酵素反応機構（最小自由エネルギー経路）

中村 春木（阪大蛋白研）
米澤 康滋（阪大蛋白研 → 現・近畿大先端研）
山中 秀介（阪大蛋白研 → 現・阪大院理）下山 紘充（阪大蛋白研 → 現・北里大薬）
福田 育夫（理研→ 現・阪大蛋白研）
山崎 秀樹（阪大蛋白研）
大島 勘二（阪大蛋白研）
中田 一人（NEC・阪大蛋白研）

謝辞


35Å

RNaseH + DNA/RNA + 4786水分子（16,872原子）

共同研究者


ISLiM&*(#$"

約17 kcal/molの安定化

活性中心のみのモデル計算

QM (B3LYP) 

on the ﬂy QM/MD+
chain of state

QM/MDを利用した疎結合(chain of state)
超並列シミュレーションによる酵素反応機構研究

RNase HI

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

細胞スケール研究開発チーム成果報告

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

細胞スケール研究開発チーム
成果統括報告横田秀夫

次世代計算科学研究開発プログラム
細胞スケール研究開発チーム チームリーダー

発表者紹介1993 年 3 月 日本大学大学院農学研究科畜産学専攻修士課程修了
1999 年 3 月 東京大学大学院工学研究科精密工学専攻 博士授与
1999 年 4 月 理化学研究所素形材工学研究室協力研究員
2003 年 10 月 理化学研究所 VCAT 開発チームリーダー
2006 年 10 月 理化学研究所細胞スケール研究開発チームリーダー兼務（現在に至る）
2011 年 10 月 理化学研究所基幹研究所生物情報基盤構築チームヘッド（現在に至る）
2012 年 4 月 理化学研究所計測情報処理研究チーム副チームリーダー（現在に至る）
北海道大学大学院 工学研究科 客員教授
神戸大学 大学院工学研究科 システム情報学研究科 客員教授
東海大学 総合医学研究所 循環器内科学 客員教授
東京農工大学大学院 工学府 客員教授
研究分野
バイオイメージング
細胞内画像処理バイオメディカルシミュレーション

53

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

細胞スケール研究開発チーム成果統括報告横田 秀夫
次世代計算科学研究開発プログラム
細胞スケール研究開発チーム チームリーダー

1. 目的
細胞や臓器の部位特異的な生物学的情報を系
統的に実装させて生命現象の予測や実験仮説構築に利用できるモデル開発に必要なソフトである細胞シミュレーションプラットフォームを完成させ、これを超高速計算機で稼動させることにより、細胞や臓器単位の機能的形態学的応答の再現や病態メカニズムの理解や制御法の開発に資するシミュレータを開発することを目的とする。細胞生物学の目的は細胞内の現象を理解し説明することにあるが、細胞内の現象は未だ理解されていない現象が多く残されており、定量的な解析が可能な現象はごくわずかである。
一方、シミュレーションはある規則に則り、数値解析して現象を再現することに他ならず、現象の理解、数理モデルの構築無しに細胞のシミュレーションの実現はあり得ない。この圧倒的に情報が少ない『細胞』を対象としたシミュレーションに於いては、計算科学としてのアプリ
ケーションソフトウエアの開発だけでは、意味のある細胞現象のシミュレータを構築する事は不可能である。そこで、シミュレータの開発と同時にシミュレーションのための実験を行う事
により、新たな細胞シミュレータの開発を目的とした。さらに、近年進展が著しい各種イメー
ジング技術により取得した細胞内における物質の局在の定量データを用いることにより、細胞シミュレーションの解析結果の検証を行い、実際の細胞内で生じている現象を再現出来るシミ
ュレータの開発を目指す事とした。
これまでの細胞シミュレーションでは、細胞内生じている現象のモデル化と個別の現象のシ
ミュレーションが行われてきた。これらの研究の成果により、細胞の膜機能(物質の透過)、物質の拡散、生化学反応について、その数理モデルの構築が実施されてきた。しかしながら、従来の研究では、細胞内や膜の場所を考慮することは不可能であった。一方、細胞の中ではさまざ
まな現象が複雑に影響し生命が成立している。
細胞の中では、物質の濃度勾配やオルガネラ等
によってその機能の役割分担がされていると共に、臓器内部における環境によって同じ細胞で54も挙動が異なっている。疾患時においては、細胞の応答やその周囲の環境の異常を再現することが必要であり、これらの現象の再現のためには、複数の事象と空間（場）を考慮したシミュ
レーションを連成して解析することが必要である。我々は、正常時の細胞の挙動や異常な挙動である疾患の再現、さらにはその治療法に関するシミュレータの開発を目指して研究を推進している。なお、具体的課題として、ターゲットを赤血球と肝臓細胞、血小板、膵細胞に限定し、細胞内外の代謝、膜透過、物質の拡散の現象を連成して解析することを目的とした。また、これらの対象は、細胞内のオルガネラを考慮した細胞内現象のシミュレーションと複数細胞計算が必要なことに加えて、将来的な計算機能力の向上をにらんだ臓器や全身レベルでのシミュレーションの開発を目指している。

1. ソフト研究開発の概要・アプローチ
2.1 細胞シミュレーション統合プラットフォーム(RICS)の概要
細胞シミュレーション統合プラットフォーム(Riken Integrated Cell Simulator: RICS)は、細胞内の場や複数のシミュレーションの連成を考慮した共通基盤である。固定格子の空間内に細胞の形状モデルや反応モデルを構築し、様々な細胞反応のシミュレーションを可能にする。具体的には細胞を１００万のボクセルに区画し、区画したボクセルに実測データより得られた細胞内の物質量・移動量などの情報を取り込み、代謝のパスウェイを設定することで細胞内現象をシミュレーションする。
2.2

RICS のアプローチ

RICS は、細胞内の生化学反応と物質拡散の連成解析、物質の膜透過、膜電位計算、移流拡散を弱連成の形式で連成解析する。RICS で計算可能な形状を作成するには 2 つの方法があり、一つは CAD を用いてポリゴンの細胞・オルガネラ形状を作成し、RICS プリシステムを使用してボISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

Ca2+ だけを通過させるチャネルを細胞膜の一部に局在化させて Ca2+ を流入させて解析した（図 2）。細胞内の Ca2+の緩衝反応を設定した場
合は、生化学反応が無い場合に比べ細胞内 Ca2+
のみかけの拡散速度の低下がみられ、実際の細胞内に近い Ca2+の動態が再現された。

クセル化する方法、もう一つは実際の顕微鏡画像から得られる 3 次元断層画像を再構築し、オ
ルガネラ等の領域のラベル化を行った後、ボクセル化する方法である。CAD と顕微鏡画像を組
み合わせて形状を作成することも可能で、特殊な状況を作り出し、シミュレーションすることが可能である。細胞の反応にはこれまでの細胞シミュレーションにおいて実績のある E-Cell3システムを使用し既存の生化学反応モデルを使用できるだけでなく、SBML2.0 などの他の言語で書かれたものも既存のコンバータを介して利用することを可能とした。 RICS は大規模並列計算機による実行を考慮して作成されており、ＰＣクラスターから、「京」を含んだ多くの Linux
ベースの高速計算機で実行可能である。これまでに 8192 並列までのスケービラリティを確認しており、現在「京」での超高並列計算に向けたチューニングを進めている。

3.2 肝細胞シミュレーション
肝細胞の解糖系、糖新生、グリコーゲン生成と消費、フルクトース代謝、尿素回路、ミトコン
ドリアクエン酸回路、酸化的リン酸化、脂肪酸合成と分解、アルコール代謝、グルタミン/グ
ルタミン酸代謝、メチオニン代謝、プリン核酸
代謝など、糖とアミノ酸を中心とした代謝経路を調査し、個々の酵素反応速度に基づいて大規
模な代謝モデルを構築した。実証実験により、さまざまな環境下での代謝物の定量計測を行い、その数値情報を基に代謝モデルを構築した。現
在、485 変数、582 の反応からなる詳細な肝細胞の代謝モデルを構築することに成功した。肝手術における虚血とその後の再灌流では、クラン
プと再灌流による代謝機能低下が重篤な不良を起さない限度として、15 分というクランプ時間が慣習的に使用されている。そこで、細胞外の酸素濃度と栄養としての代謝物質濃度、細胞膜を介した膜輸送が起こる代謝物質濃度について
一時的に 15 分間 50%、10%、1%に低下させる摂動を設定し、代謝変動を計算した。また肝臓の低酸素・低グルコース応答に必要な代謝システ
ムから、糖代謝、ミトコンドリア機能を実装すると共に、血管の上流、下流の細胞モデルを構築 し て 、 酸 素 や エ ネ ル ギ ー 代 謝 のheterogeneity を勘案した類洞モデルをほぼ完成させた。門脈型（P 型）と中心静脈型（C 型）の細胞シミュレーションを連結することにより、虚血および再灌流に対する主要代謝物の濃度変動が顕著に buffering されて robustness が獲得できるようになることが明らかになった。さらに、細胞レベルの精緻さを保持した臓器代謝シ
ミュレーションの妥当性を検証するために先端的バイオイメージングを利用した肝細胞・類洞・肝小葉レベルの代謝情報収集を研究室で独自に開発した 2 光子レーザー顕微鏡を用いて実施し、肝細胞索の画像情報を収集し、RICS によるモデル構築に利活用した。また肝臓微小循環系の上流と下流にあたる門脈終末枝と中心静脈における血流速度計測と酸素分圧計測を大腸がん肝臓転移モデルにおいて実施し、門脈域に形成された微小転移病巣の大きさと酸素消費の間の相関関係を明らかにした。

2. 現時点でのソフト研究開発成果
3.1

RICS の開発状況作成したシステムを用いて実際の顕微鏡デー
タから得た細胞形状を用い、内部でのカルシウ
ムイオン(Ca2+)の移動、反応、膜輸送担体をシミュレーションした。細胞形状はヒト肝臓由来細胞である HepG2 細胞株を用い共焦点レーザー顕微鏡を使用して取得した細胞形状および核とミトコンドリアの形状からなる。顕微鏡画像から3 次元 Volume データを作成し、細胞内の反応として 24 種類の物質と、11 種類の生化学反応を設定した（図 1）。

図 1：共焦点レーザー顕微鏡から RICS プリシス
テムを使用して再構築したヒト肝臓細胞の形状

図 2：RICS を用いて計算した細胞内 Ca2+の移動

55

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

3.3 血小板シミュレーション
細胞シミュレータープラットフォームに、実証実験により取得した血小板細胞内のミトコンド
リア、ゴルジ体、小胞体、濃染顆粒、血小板膜
特異的受容体蛋白などの局在情報を取り入れた
血小板細胞基盤モデルを作成した。刺激を受け活性化した血小板にて起こる濃染顆粒の放出機構の再現を目指した。作成したモデルにより、
直径 2 µm の血小板細胞表面の数十 nm2 程度の受容体刺激の血小板細胞局所の細胞応答（細胞内シグナル産生）の細胞内拡散による血小板細胞
全体の活性化過程（GPIIb/IIIa の活性化構造転化）と、活性化の中途にて濃染顆粒の放出が起
こり、放出された ADP による P2Y12 ADP 受容体
刺激が加算された時の血小板細胞全体の活性化
過程の差異を見いだした。このことにより、放出反応を介する活性化刺激伝達促進効果の論理的予測が可能となった。血管壁の損傷部位におけ る 、 止 血 に 向 か う 血 小 板 細 胞 の positive
feedback 機構を論理的、定量的に予測、説明す
る初めてのモデルとなった。

３Ｄ血小板モデル
血小板内物質の局在
3.4 小胞動態モデル
全反射蛍光顕微鏡による膵臓β細胞のインスリン顆粒動態の画像解析から、グルコース刺激によるインスリン分泌では、restless newcomerが主様式であることが判明した。その動態を元にインスリン顆粒が細胞膜に融合する過程をモデル化した。１）細胞内部では顆粒がゴルジ体から分離し、細胞膜に接近するまでは細胞骨格に沿って移動する。２）細胞膜付近ではブラウン運動に近い挙動を示し、細胞膜に融合した後、インスリンを分泌する。これらの顆粒動態の違いから、細胞内を外部層と内部層の２つに分割してモデルを構築した。構築したモデルは、全反射顕微鏡(TIRF)による分泌とほぼ同様の傾向を示した。現在、このモデルを RICS に搭載することで小胞の 3 次元解析を計画している。
3. ソフト研究開発の達成目標
基本アプリケーションである RICS の機能開発は終了し、現在「京」での動作確認と計算性能向上を図っており、平成 24 年度には、当初目的の計算を実現できる見込みである。さらに、開56発したアプリケーションを用いて、生命科学の実問題を計算することに注力している。具体的な課題は、上記に述べた肝臓、血小板、膵臓の細胞内外の物質の反応と挙動である。これらのモデル化を完成すると共に「京」での大規模計算に適した計算モデルに改変する予定である。
この作成したモデルにより、臓器内における細胞の役割、機能分担を再現することが出来ると共に、疾患時における細胞内の状況、薬物投与時の反応を再現することが可能となり、治療や薬物開発に貢献出来ると考える。さらに、血小板や膵臓β細胞、腎臓細胞、脳神経細胞など局所的な反応が全体に強い影響を及ぼす計算を行いたいと考えている。
開発したソフトウエアとモデルは、プログラム終了までに無償公開を計画している。現状の大規模計算システムでは、情報科学の研究者が生命現象を解析しているが、研究の裾野を広げる
ためには、生命科学の研究者が「京」を使いこなして細胞のシミュレーションを実施する環境を整えることが必要である。そこで、細胞スケール研究開発チームとして、RICS の利用範囲を拡大することを目的に周辺アプリケーションの開発を進めている。具体的には、シミュレーシ
ョンの形状モデルの構築、物質分布の配置、オルガネラの場所と反応式の対応などのシミュレ
ーションセッティングを設定するプリポストシ
ステムを開発している。このシステムは、関連する外部のアプリケーションである、VCAT（形状処理）、E-CELL IDE（反応式）、V-Sphere::CBC（流体解析）、V-Isio（可視化）を連結してシミュレーションのモデル構築をＧＵＩのみで実現するものである。これらのアプリケーション開発と共に、細胞シミュレーションモデルの整備と公開に加えて、RICS ユーザー会を設立して、細胞シミュレーションに関連する研究者コミュ
ニティ作りを実施する予定である。プロジェク
ト終了後には、開発し公開する基本細胞シミュ
レータを元に、個別の臓器に分化したシミュレーションに関する研究が花開くことを期待する。
５．謝辞
本発表の結果は、理化学研究所が実施している京速コンピュータの試験利用と理化学研究所
情 報 基 盤 セ ン タ ー (RICC) RIKEN Integrated
Cluster of Clusters の計算による。

57

Olganera3

E-cellOlganera2

E-cellBiochemical reaction

E-cell olgnera1

Transport

t=t+ΔtMembrane

Product1

DifusionTranspoter

Product3

t=t+ΔtProduct2

Coupled simulaton in RICSISLiMソフトウェア研究開発報告会

Hideo YOKOTA
RIKEN

Research activity of Cell Scale
Simulation Team

1

4

Ions

Large
molecules

H+,Na+
Ca2+,Cl-

Pump

Amino acids
Glucose

H2O
EtOH

O2
CO2

Selective permeability

channelTranspoter

membrane

Integrated enzymes

Receptors

Region of biochemical reaction

Functions of membrane• Simulation of cells cluster• Integrated simulation above phenomenon.

ｍｍ• Blood flow (Computational Fluid dinamics)• Membrane potential（Hodgkin-Huxley）– ion channels, transporters, receptor, et al.

• Membrane Functions（Selective permeability）– Membrane transport• Membrane transport（Active transport）– concentration gradient• Diffusion（Passive transport）– E-cell• Biochemical reaction（Metabolism）

ｎｍ

RIKEN
Integrated
Cell Simulation Platform
Novel 3D
cell simulator

RICS
Targets of cellfunctions

5

3

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

f

58

RICS
Preprocessor

Sectional
images©RIKEN：Live Cell Modeling Project

イメージングデータ

3D rebuilding Cell data frommicroscopic images

Virtual cell shape (CAD,CG)

Section of a cell in voxels

6

RICS cell model

8

RICS cell modelTransport of the substance through the membrane is the sum of the flow velocity foreach transport.

SW = regulatory function of each transporter

Func = {penetrate, channels, pumps, transporters, gap junctions}f m = ∑ Func SW
4096 voxels

A

Ca2+reaction model
reaction：24
material：10

B

Vmax = 2.0
Km = 1.2

Ez2

C

diffusion＋reaction（apparent diffusion rate 28μm/s）

Only diffusion（diffusion rate 32μm/s）

Ｃa+ kinetics simulation （ HepG2）

Vmax = 1.0
Km = 0.5Ez1

extracellular area
Substance A：100 mM

Cell membrane
Enzyme E2：1 mM

CenterEnzyme E1：1 mM

Func
Func
m

Cytosol
Substance A: 0 mM
Substance B: 0 mM
Substance C: 0 mM

Simulation of membrane transportwith bioreaction∂φ= ∇ • (C∇φ ) − ∇ • f m + [ BioChemical Re action]∂tFlux of membrane transporters

9

7

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)Perisinusoid

C

59

Tadao Shibasaki
Susumu Seino

Kobe Univ.

Shingo Murakami
Hiroshi Hibino
Yoshihisa Kurachi

Taiji Adachi

Koichi Takahashi

Yuki Tsujimura

Shinya Goto

Osaka Univ.

Takashi Koyama

Yohei Nagasawa

Shigeho Noda

Shin Yoshizawa

Makoto Suematsu

Tokai Univ.

Yasuhiro Sunaga

RIKEN

Ayako Yachie

Keio Univ.

Acknowledgement

Hepatic cords
VCAT

Hepatic lobules

Real shape

Central vein

Microscopic image

Hepatic arteryPortal vein

Bile duct

Capillary

Liver cell simulation

Liver

12

10

11

Open source release : December 2012

: large-scale parallel
more than 24,000nodes

・ 京(kei) available: verify simulation results against actual observations

・Real cell shape simulation:biochemical reactions, diffusion, transport,
membrane function, membrane potential, and advection

・Couple simulations of multiple phenomena:Spatiotemporal simulation of the cell

・RICS (Riken Integrated Cell Simulation Platform)

Summary

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

血小板細胞シミュレーターの開発と血栓シミュレーターへの応用
後藤信哉
東海大学医学部内科学系循環器内科学 教授
東海大学バイオ研究医療センター代謝疾患研究センター長

発表者紹介
1986 年 3 月
1990 年 3 月
1992 年 3 月
1992 年 7 月
1996 年 4 月
1998 年 4 月
2002 年 4 月
2007 年 4 月
2008 年 4 月

慶應義塾大学医学部卒業
慶應義塾大学大学院博士課程内科学専攻単位取得退学
博士（医学：慶應義塾大学）
スクリプス研究所分子実験医学部門博士研究員
東海大学医学部内科学 I 教室助手
東海大学医学部循環器内科講師
東海大学医学部内科学系循環器内科部門助教授
東海大学医学部内科学系（循環器内科学）教授
東海大学大学院バイオ研究医療センター代謝疾患研究センター長兼任
東海大学総合医学研究所代謝システム医学部門長兼任

研究分野
循環器内科学、血小板生物学、システム医学、薬剤開発

61

62

•

•
•
•

概要・アプローチ

ISLiMソフトウェア研究開発報告会

血小板細胞接着活性化モデル

臓器全身スケール

1

ISLiMソフトウェア研究開発報告会

3• 「血小板細胞」代謝、活性化モデルと「血小板細胞」モデルの連成計算を行なう• 単一血小板接着モデルを作成し、複数血小板の接着、凝集に拡大する「血小板細胞」を構成する各ボクセル内に、代謝、活性化に寄与する化学反応式を入れ込む

RICS上に表現した血小板.
|血小板モデル|
細胞膜| GPIbα | 細胞内オルガネラ

基盤プログラムとしてRicken Cell Simulator Platform (RICS)を用いる
アプローチ
実証実験にて取得した血小板細胞の構造情報をRICSに入れ込み、「血小板細胞」形状モデルを作成する

血小板細胞代謝シグナルモデル

細胞スケール

学校法人東海大学
医学部内科学系循環器内科学 教授
バイオ研究医療センター代謝疾患研究センター センター長
後藤信哉

血小板細胞シミュレーターの開発と血栓シミュレー
ターへの応用

•

•

•

•
•

•

•

•
•

2

ISLiMソフトウェア研究開発報告会

4• RICSはe-cellを基盤とした、細胞内の代謝、活性化シグナルの基盤ソフトである。細胞外の移流拡散計算のために組み込んだサブルーチンは血小板細胞には最適化されていない。
• 移流計算のサブルーチンの組み込みにはさらに工夫が必要• 計算例として、実証実験とシミュレーションによる細胞内カルシ
ウムイオン濃度変化を示す

現時点の開発ソフトウェアについて– オルガネラの局在を組み込んだ「血小板細胞」形状モデルは確立できた。また、実証実験により得られた精緻な生物学的情報により精緻化した「血小板細胞」活性化基盤モデルも確立できた。実証実験を反映する「血小板細胞」接着基盤モデルも構成できた。
RICSにおいて、細胞内の現象と細胞外の現象を同時に再現するために、RICSにおいて移流計算を行なうべく工夫を行なっている。特殊な条件において計算は可能であるが、生物学的に妥当な条件では明らかな計算エラーがでる。

現在までの研究開発成果

ISLiMソフトウェア研究開発報告会目的
マイクロメートルスケールの「血小板細胞」に注目し、血小板細胞を構成するナノメートルスケールの分子の細胞内局在変化により、活性化に伴う機能変化を再現する「血小板細胞」代謝、シグナルシミュレーションを作成する。
微小循環内における血管壁損傷部位への「血小板細胞」の接着、集積動態によりマイクロメートル
スケールからミリメートルスケールを再構成する「血小板細胞」接着シミュレーターを作成する。
「血小板細胞」を中心に、血管機能の調節機構の構成論的理解を目指す

背景「血小板細胞」は、分裂、増殖せず、生理機能が止血、血栓形成に特化している。血小板細胞の活性化は、細胞膜上の受容体刺激開始後数分の時間経過にて完結する。シミュレーションすべき生
理機能は単純、かつモデル化が容易である。直径-5 µmの血小板細胞数個を対象としたマイクロメートルスケールの実証実験により精緻化できる。
しかし、「血小板細胞」は心筋梗塞、脳梗塞などの動脈硬化血栓性疾患の発症において 重要な役割を演じる。アスピリン、クロピドグレルなどのナノメールスケールの分子としての抗血小板薬により心筋梗塞再発予防効果は臨床的に証明されている。
「血小板細胞」は血球細胞として、血管内を常に全身循環している。血管壁損傷部位への接着、集積は数cm以上を対象とする臓器全身スケールのイベントである。

背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)データ解析融合研究開発チーム成果報告

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

データ解析融合研究開発チーム
宮野悟

次世代計算科学研究開発プログラム
データ解析融合研究開発チーム チームリーダー

発表者紹介1977 年 3 月
1979 年 3 月
1979 年 6 月
1985 年 4 月
1987 年 4 月
1987 年 12 月
1993 年 3 月
1996 年 4 月

九州大学理学部数学科卒業
九州大学大学院理学研究科修士課程数学専攻修了
九州大学理学部助手
Alexander von Humboldt 財団研究員
Universität GH Paderborn 助手
九州大学理学部助教授
九州大学理学部教授
東京大学医科学研究所教授

研究分野
計算システム生物学、バイオインフォマティクス、メディカルインフォマティクス

65

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

データ解析融合研究開発チーム
宮野 悟
次世代計算科学研究開発プログラム
データ解析融合研究開発チーム チームリーダー

1. 目的「計測技術の大規模化・精緻化・簡便化により、遺伝子から環境因子にわたる生命システムに関するデータが、超高次元化・超へテロ化・超膨大化した。しかも、不観測性・欠損の問題も同時に有している。こうした中、データ解析はデータの多様化と増大化に急速に引き離され、シミュレー
ションは生命体個別の現実データを反映できず予測能力に限界がある。方法論にパラダイムシフ
トが必要となった。
」これが、2006 年、研究の準備段階での研究推進のメッセージあった。それから 7 年を経過した現在、次世代シークエンサーの発達や遺伝子発現データ解析の高精度化・低コスト化が大きく進み、がんなどの病態の分子システ
ムの理解と病気の原因遺伝子の解明に向けたデータ解析及びシミュレーション技術の研究は全世界的潮流になった。本チームの目的設定が極めて的確であったといえる。ただ、京の利用期間が想定していたよりも短かったこと、及び、現時点
での京の運用がライフサイエンス研究に最適になっていなことが残念なところである。

性などの表現型に関連する遺伝子の解明と、個人の表現型をゲノム情報と環境情報により予測する技術

理化学研究所ゲノム医科学研究センター・角田達彦(2011.4～2013.3)；鎌谷直之(2006.10～2011.3)② 大規模な生体分子のネットワークを推定する技術を開発し、これを「地図」として薬物・疾患に関与する遺伝子群を探索する技術

東大医科学研究所・宮野悟



東京工業大学情報理工学研究科・秋山泰③ データ同化技術の活用による一般のモデルから個のモデルを創出する技術2.

統計数理研究所・樋口知之

成果

2.1 「肺がんと薬」を共通軸とした研究と、その広がり

本研究チームは、ペタスケールの計算を前提にして、超高次元大規模へテロデータ解析と生命体
シミュレーションを融合し、生命体システムに対する予測と発見の基盤情報技術を構築することを目的として研究開発を行ってきた。４人の PIが、図１の文脈で、次の３つの技術開発を目標に研究を行った。
① ゲノムワイド関連解析により疾患や薬物反応

図2
本チームの研究開発は 2006 年に開始したが、2008 年に実施された研究の進捗状況についての中間評価において、チームとして共通の研究軸をもつことによりチーム内での相乗効果を発揮さ

図1

66

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

せることが指示された。そこで、本チームのメン
バーが実験データの取得も含め対応可能なものとして「肺がんと薬」を共通のテーマとしたが、優れた技術が開発されたため、社会的・科学的イ
ンパクトの大きな成果を出すこともできるよう、多少研究に広がりを持たせた。図２のもと、図３のように技術開発の方向を明確化したが、肺がんとその薬に限らず、本チームが開発したソフトウェアアプリケーション群は有効であることが示
された。
2.2

開発ソフトウェアと開発責任者

チームの構成と役割を図４に示している。チーム
リーダーの宮野悟は「大規模遺伝子ネットワーク
推定とその応用」を業務委託課題として担当し、ヒ ト全遺 伝子規 模の遺伝 子ネッ トワー クを 推定・探索するソフトウェア群を開発した。この全体パッケージを SiGN と称している。ベイジアン
ネットワークにノンパラメトリック回帰を組み合わせた方法(SiGN-BN)、状態空間モデルに次元圧縮を組み合わせた方法、構造方程式もでるなどに L1 正則化法を駆使したネットワーク推定法群(SiGN-L1)などのアプリケーション群がパッケージに含まれており、すべて京コンピュータでの高並列化を達成した。トランスクリプトームのネッ
トワークを推定することに用いることができるが、ソフトウェアとしては生命科学に限らず、汎用的なものである。ノード間の通信量が京をもちいても効率よくスケールさせることが困難であることが判明した「最適ベイジアンネットワーク
推定ソフトウェア」では、32 ノードの最適ベイジ
アンネットワークの推定を実現し、これは世界記録となっている。

図３

図４
秋山泰は、1000×1000 規模のタンパク質相
互作用を網羅的に推定することでタンパク質ネットワークを構築できるソフトウェア
MEGADOCK を開発し、京コンピュータでの高並列化を達成した。その能力は 1000×1000 を超えるものとなった。網羅的なタンパク質間相互作用予測システムを京コンピュータの上で効率的に動作する並列ソフトウェアパッケージとしてまとめ、前処理・後処理のツール群も京コンピュ
ータ周辺環境で動作することを実現した。
MEGADOCK の開発により、予測されたタンパ
ク質相互作用情報をトランスクリプトームネッ
トワークと合わせてシステムを理解することをことが京コンピュータの計算リソースが十分に利用することができれば、様々疾患においても、
分子ネットワーク・薬剤応答ネットワークを解析し、その分子病態を描出することを狙うことが可能になり、今後に期待が大きい。
角田達彦は、前任者の鎌谷直之の開発を引き継ぎ、ParaHaplo というソフトウエァを開発した。
京コンピュータでの高並列化を達成し、Wellcome
Trust のデータを用いてその優れた点を確かめている。これは肺がんに限ったものではなく、患者群と対照群の全ゲノム上の SNP を用いハプロタ
イプ単位のゲノムワイド関連解析を行い、疾患関連遺伝子を網羅的に探索するためのソフトウェ
アである。Nature Genetics に掲載されている論文の 55％が GWAS を用いて、疾患遺伝子を探索しており、GWAS は理化学研究所の中村祐輔（現・シカゴ大学教授）の率いる遺伝子多型研究センター（当時の名称。その後、ゲノム医科学研究センターに改組）が世界で最初に開発し、その有効性を証明したものである。これから時間をかけて世界において HaraHaplo の有効性が確認実証されることを期待したい。また、角田はこれに関連して、拡張 RAT 法による２SNP 組合せの全67

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

ゲノム関連解析ソフトウェア（ExRAT）を開発している。これは、病気へのリスクを上げる原因となるような複数の遺伝子による相乗効果を大規
模体系的網羅的に見つけ出すソフトウェアであり、京コンピュータのアーキテクチャに合わせ並列度を上げ、京コンピュータ上で実データを用いて実行させて、未知の複数要因による新たな疾患
発症機序の発見と、未だ解決してない遺伝力の問
題を解く成果を狙っている。京コンピュータにおいてかなりの高並列化を達成している。また、次世代シークエンサーデータ解析プログラム（NGSanalyzer）は、がんを体細胞変異のゲノム
学と遺伝統計学により解明するために、次世代シークエンサーからの人間のがん細胞と正常細胞の全ゲノムの膨大なデータを網羅的・正確・高速に解析するためのソフトウェアである。がんの種類や対象とする病気により、解析パイプラインのパラメータの調整が実験による検証のプロセスを経ながら調整する必要があるため、パイプライ
ンの並列度を上げ、オープンソースでコードを配布し、様々のゲノム解析研究において京コンピュータ上で利用されていくことが期待される。
データ同化技術は、個別データをモデルに同化させ、個別化モデルを作り、個に対するシミュレーションと予測をするものである。LiSDAS は、階層性を考慮した粒子フィルタアルゴリズムなどを京コンピュータ上で超高並列化したソフト
ウェアであり、京コンピュータにおいて高並列化を達成している。オミックス計測技術から生成されるデータを利用して、生体内分子相互作用ネッ
トワークのシミュレーションモデルを構築することに応用している。
最後に、開発したソフトウェアを連携して使うことができる SBiP (Systems Biology integrative
Pipeline)というデータ解析プラットフォームを宮野のグループで開発した。SBiP は京コンピュータで走らせるソフトウェアではなく、ユーザのコンピュータにインストールし、高機能 GUI により、SBiP から京コンピュータの上で走るソフ
トウェアをつないで解析パイプラインを作成できるものである。京コンピュータの運用が開始されてから歯科開発に着手できない部分が有り、また、東大医科学研究所ヒトゲノム解析センターのスーパーコンピュータを使って考案した解決策
も京コンピュータの運用方針に合わないとのこ

68とで、苦難と膨大な努力の末、SBiP から SiGN
関係のソフトウェアを京コンピュータで実行しその結果をもどし、人手では実行不可能な手順の大規模データ解析（遺伝子ネットワーク解析を中心）ができるものになりつつある。ドキュメンテーションもきちんとしており、オープンソースですでに公開している。

3. プロジェクト終了時の達成目標
ネットワーク解析による薬のターゲット探索
やがんなどの病態を理解する情報技術、並びにゲノム情報に基づいた個人差を考慮した医療のための基盤情報技術を創出することができ、目標を達成することができた。本プログラム期間内に得られた個々の成果については、各 PI から報告がある。
2012 年になり、半導体チップで DNA を読む
革新的なシークエンサーの実用化された。さらに、2013 年には、高集積半導体チップがリリースされ、誰もが自分の全 DNA 情報を 10 万円程度で丸ごと手にいれられることが確実になった。さらに、1 万円ゲノムを実現するナノポア半導体シー
クエンサー技術も実用化されている。これまで主に生物や病気の「研究」のために行っていたシー
クエンスに対し、がんや患者さんの全 DNA 情報や遺伝子発現情報を得て、臨床的に翻訳・解釈し、治療として「患者さんに戻す」臨床シークエンスの研究が米国やカナダでは既に始まり、国を上げて個別化医療を推し進めている。そして、医療・生命科学のビッグデータが誕生する。エピゲノム、
トランスクリプトーム（シークエンス、及び定量データ）もこの次世代のシークエンサーで解析できるものである。これまで遺伝子発現プロファイ
ルデータの取得には、マイクロアレイを使ってきたが、これが次世代シークエンサーによる
RNA-seq という方法に置き換わり始めている。
本チームが開発したソフトウェアアプリケー
ションは、まさにこの医療・生命ビッグデータ時
代に挑戦できるものであり、京コンピュータ、並びにその他のスーパーコンピュータを用いていた活用に大きな期待を寄せている。本チームの研究開発は、単に目標達成という「終わり」ではな
く、個別化医療新時代の幕を開けてくれるものと考えている。

薬

シミュレーション

データ解析

69

•
•
•

3

シミュレーション

データ解析

1②大規模な生体分子のネットワー
クを推定する技術を開発し、これを「地図」として薬物・疾患に関与する遺伝子群を探索。

Ｂさんのデータ

Ａさんのデータ

創薬ターゲット探索や個人差を考慮した診断、治療、予防法などの医療開発に貢献

個人に対応したシミュレーションと予測

個人個人のがんの個性・多様性をシステムとして捉える

薬剤に応答し、耐性を獲得していくがんの分子病態などを動的・静的システムとして捉える

がんの分子病態と質的形質・環境因子との関連を捉える

データ解析融合チームのソフトウェア

乙薬

甲薬

シミュレーション

4

シミュレーション

データ解析

2③「個」のデータを「一般」のモ
デルに合理的にフィットさせる
生命システムのためのデータ
同化技術の開発。

Ｂさん

Ａさん「肺がんと薬」のシステムを理解するための課題①表現型（疾患や薬物反応性）に関連する遺伝子の解明と、個人の表現型をゲノム情報と環境情報により予測する技術。

タンパク質ネットワーク

薬剤に応答して動く遺伝子ネットワーク「個」のモデル

百～数万人の個人ＳＮＰ及びゲノム配列。個人の疾患や薬物反応、質的・量的形質データ

トランスクリプトーム、プロテオームデータをはじめとする生命システムの観測データ「一般」の分子ネットワークモデル＝「地図」「個」のデータ「一般」のデータ

データ解析融合チームの背景・目的

がんの分子病態

個人個人で異なっている遺伝的要因（ＤＮＡ）
腫瘍細胞に蓄積した遺伝子変異（がんゲノム）
環境要因によるＤＮＡの修飾（エピゲノム）

30-800個の変異がゲノムに蓄積している

遺伝子ネットワーク

遺伝子の転写をコントロールするのががんの悪性度や治療応答性、副作用の出やすさなどを規定している。

ISLiMソフトウェア研究開発報告会

理化学研究所
次世代計算科学研究開発プログラム
データ解析融合研究開発チーム チームリーダー
宮野 悟
2013年１月10日

データ解析融合研究開発チーム
チーム成果統括報告

データ解析

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

京コンピュータ

SBiP

P

i

B

S

「肺がんと薬」データの取得

生命体データ同化（LiSDAS）
樋口知之（統数研）

角田達彦（理研）（ParaHaplo, ExRAT, NGSanalyzer）

大規模SNP関連解析

タンパク質ドッキング解析（MEGADOCK）
秋山 泰（東工大）

大規模遺伝子ネット
ワーク推定（SiGN）
宮野悟（東大医科研）

5

個別データをモデルに同化させ、個別化モデルを作る

シミュレーション

肺がんの特性、抗がん剤の効果・副作用と遺伝子との関連付け

ゲノムバリエーション

1000x1000タンパク質相互作
用推定でネットワークを網羅的に解析

タンパク質ネットワーク

ヒト全遺伝子規模にわたる
遺伝子ネットワークの推定・探索

遺伝子ネットワーク-1
0.5
01 2 4 6

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

9

シミュレーション

データ解析

12 15 18 21 24 27 30 33

48

肺がんの分子ネットワーク・薬剤
応答ネットワークを解析し肺がんの分子病態を描出

チームの構成と役割・開発ソフトウェア

概要・アプローチ

角田達彦

ExRAT

拡張RAT法による２SNP組合せの全ゲノム関連解析ソフトウェア

網羅的タンパク質ドッキング解析プロ
グラム

生命体データ同化プログラム

MEGADOCKLiSDAS

宮野 悟

SBiP

データ解析融合プラットフォーム

秋山 泰

樋口知之

スパコンには実装しない

宮野 悟

SiGN-BN, SiGN-SSM, SiGN-L1

大規模遺伝子制御ネットワーク推定プ
ログラム

SiGN

角田達彦

角田達彦

担当PI

NGS analyzer

ParaHaplo

略称

次世代シークエンサーデータ解析プログラム

ハプロタイプ関連解析に於ける統計検定を行うためのソフトウェア

アプリケーション名

開発アプリケーション

6

シミュレーション

データ解析

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

Systems Biology integrative Pipeline

70

71

•

•

•

最適ネットワーク

ISLiMソフトウェア研究開発報告会

ゲノムワイドネットワーク

3
ISLiMソフトウェア研究開発報告会• 抗がん剤に応答して動的に変化する大規模な遺伝子ネットワークを描出すること• がんの予後・再発を予測する遺伝子群をネットワーク解析から同定• 数百のがんサンプルの遺伝子発現プロファイルデータから個々のがんの個性・多様性
を分子ネットワークとして抽出すること（再発・生存・死、抗がん剤が効く人・効かない
人の違い）• これらを地図として用いて、新たな分子標的探索の可能性がでてきた• 最適な数十遺伝子規模のネットワークからゲノムワ
イド（２万遺伝子）ネットワークまで、動的・静的・パー
ソナルネットワークの推定を可能にした。

SiGN-BN: Bayesian N+ Nonparametric
Regression
SiGN-SSM: State Space Model +Dimension Reduction
SiGN-L1: Statistical Graphical Modeling+ L1 Regularization

SiGNで、たとえば、次のようなことが可能になってきた

ISLiMソフトウェア研究開発報告会

SiGNの達成したこと

ISLiMソフトウェア研究開発報告会□業務協力者 長崎正朗（東北大学）（平成23年度まで業務参加者）
1

4

2

肺がんなどの分子ネットワーク・薬剤応答ネット
ワークを解析し、その分子病態を描出するために、DNAチップ等（これからは次世代シークエンサーによるRNA-Seqによる定量）で計測された遺伝子発現データから遺伝子間の発現の依存関係を表す「遺伝子ネットワーク」を推定・予測するソフトウェアを開発すること。

データ解析融合研究開発チーム
東京大学医科学研究所ヒトゲノム解析センター
宮野 悟■業務参加者
東大医科研ヒトゲノム解析センター
新井田厚司（特任助教・本委託事業による雇用）
島村徹平（助教） 斉藤あゆむ（技術職員） 関谷弥生（教務補佐員）
山口 類（講師） 井元清哉（准教授）
東大情報理工・コンピュータ科学専攻
玉田嘉紀（助教）

大規模遺伝子ネットワーク推定ソフト
ウェアSiGNの開発目的

大規模遺伝子ネットワーク推定とその応用

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

共発現ネットワーク○：遺伝子（トランスクリプト）→：条件付き依存関係(相関ではない)

ISLiMソフトウェア研究開発報告会

サンプル

遺伝子

72
遺伝子ネットワーク

構造方程式

構造方程式モデルで遺伝子ネットワークをモデ
ル化

ISLiMソフトウェア研究開発報告会– 最大並列数（コア数）：98,304（12,288ノード）– 実行効率：1コアで11.98%を達成。
– ハイブリッド並列化に対応。

• 方法：3 種類の統計的グラフィカルモデル (グラフィカルガウシアンモデル、ベクトル自己回帰モ
デル、構造方程式モデル) により、遺伝子発現データから遺伝子ネットワークモデルを構築• L1 正則化法を用いてスパースなモデルのパラメータ空間を探索することにより、100,000 ノード
までの大規模遺伝子ネットワーク推定が可能

SiGN-L1

7

5

ISLiMソフトウェア研究開発報告会

ネットワークISLiMソフトウェア研究開発報告会

GeneA

Modulator
M
Gene
B

8

High

【共同研究】
高橋 隆（名大医学研究科）
6

モジュレータ: 遺伝子AとBの条件付き従属性に影響を与える因子を導入

モジュレータ i-th sample
Low？
EMTを引き起こすいくつかの遺伝子は見つかっているが、そのメカニズムはよくわかっていない

i番目のサンプルの構造方程式モデルの係数を推定
Sample Weightingを使う

http://gantoku3.umin.jp/topics/saito.html

間葉系細胞

上皮系細胞

上皮間葉転換(Epithelial-Mesenchymal Transition EMT)
• 上皮系細胞が間葉系細胞に形態変化する現象• がんの悪性度、がんの浸潤性、線維症に深く関連• ゲフィチニブなどの抗がん剤を効かなくする原因

SiGN-L1による大規模遺伝子ネットワーク解析
で一挙に捉えた上皮間葉転換の鍵遺伝子群

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

73

Nat Cell Biol 10(5): 593-601, 2008

GRHL2がEMT誘導することが発表される(Cieply B et al. Cancer Res
72(9):2440-53, 2012)•

ISLiMソフトウェア研究開発報告会

Shimamura T, Imoto S, Shimada Y, Hosono Y, Niida A,
Nagasaki M, Yamaguchi R, Takahashi T, Miyano S.
(2011) A Novel Network Profiling Analysis Reveals
System Changes in Epithelial-Mesenchymal Transition.
9
PLoS ONE 6(6): e20804.

高橋隆（名大医）がKLF5のノックダウン
でEMTが起こることを実験で証明(Shimamura et al. PLoS ONE 2011)•

スパコンがEMT制御因子として予測したトップ２４遺伝子のうち１2遺伝子が「当たっていた」。残り１2遺伝子についてはEMTに関する直接的な結果は無し。

Cancer Biology

124人の
肺腺がん
検体遺伝
子発現解
析データ

0

1000

2000

3000

Days after surgery

P < 0.0001

High
Low

miR30c subnetwork

予後データ

4000

ISLiMソフトウェア研究開
発報告会

12

Computatioanl Systems Biology

予後予測カプラン・マイヤーダイヤグラムのp値が小さくなるサブネットワークを網羅的に探索

0.00

0.25

0.50

0.75

1.00

サブネットワーク B

Hub 遺伝子

サブネットワーク A

1410

肺腺がんの予後の良・不良のスイッチの同定にシステム的方法論の有効性が示された
ハブ機能の実験検証

11【共同研究】
高橋 隆（名古屋大学医学研究科）

肺がん

マイクロRNAとmRNAのチップ解析データ【共同研究】
高橋 隆（名古屋大学医学研究科）

ISLiMソフトウェア研究開発報告会• 全遺伝子規模のベイジアンネットワーク推定を実現• 高並列化は無理だが、３２ノードの最適ベイ
ジアンネットワーク推定も達成（世界記録）（京には導入せず）– 最大動作コア数：196,608 コア（24,576 ノード）
– 並列化効率：0.72 (196,608 vs 98,304 コア時)

• 方法：ベイジアンネットワーク＋非線形回帰• 高効率並列ブートストラップアルゴリズム

SiGN-BN

再発・死亡と優位に関連する 個のサブ
ネットワークと、そのハブ遺伝子が見つかる

ISLiMソフトウェア研究開発報告会

がん死亡第１位
2010年 69,813人

肺がん患者の腫瘍中で実際に働いている遺伝
子発現制御ネットワークを炙り出す

SiGN-BNが炙りだした
肺がんのマイクロRNA遺伝子ネットワークに映し出された「再発」のスイッチを入れていた
黒幕ネットワーク達

Cancer Res 62(6): 1613-8, 2002

Oncogene 24(14):2375-85, 2005

Cancer Res 69(7):2783-91, 2009PNAS 104(9): 3432-7, 2007
Cancer Res 70(5):2115-25, 2010

PLoS ONE 6(6): e20804, 2011

Nat Cell Biol 10(5): 593-601, 2008
Cancer Res 70(5):2115-25, 2010
J Cell Sci 122(Pt 7): 1014-24, 2009

J Biol Chem 285(22):16854-63, 2010

Nat Cell Biol 10(5): 593-601, 2008

Mol Cell 7(6): 1267-78, 2001

Cancer Res 72(9):2440-53, 2012•

L1正則化法に基づく大規模遺伝子
ネットワーク推定（SiGN-L1）

入力：762 個のがん細胞株遺伝子発現データ（Epitheial/Mesenchymalのラベル付き株）
13,508 transcripts=13,006 mRNA+502 miRNA
出力：13,508個の遺伝子からなる遺伝子ネットワーク762個
EMTの度合で遺伝子ネットワークの構造がどのように変化するかが描出された。

Overall survival

大規模遺伝子ネットワーク解析で一挙に捉えた上皮間葉転換（EMT）の鍵遺伝子群（SiGN-L1の応用）

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

肺がんのマイクロ RNA
遺伝子ネットワーク

非線形回帰ベイジア
ンネットワーク

74

•

•

13

ISLiMソフトウェア研究開発報告会

Where is “My Cancer” inthis galaxy?
15

京コンピュータを259CPU年使って、256の様々ながんの遺伝子ネットワークを推定し、データベース化した各遺伝子ネットワークは8000個の遺伝子からなる大規模なもの

がん遺伝子ネットワークデータベース

The Cancer Gene Network Galaxy

ISLiMソフトウェア研究開発報告会

400 mRNA+32 microRNAのネットワーク

これが肺腺がんのマイクロRNA/mRNA遺伝子
ネットワークといっても、訳がわからない

ISLiMソフトウェア研究開発報告会

TTF-1/
NKX2-1

‡

‡

‡

‡‡
‡

‡

‡

TTF-1/
NKX2-1‡High in TTF-1/NKX2-1-introduced
Low in TTF-1/NKX2-1-introduced: N.A. (miRNA) ‡ : Positive binding in E19.5 mouse lung
14
ChIP-chip assay data (Tagne et al., PLoS ONE, 2012)

Expression ratio (TTF-1-intorudced / Vector control)

‡

‡

‡

‡

ROR1

NKX2-1を導入

ISLiMソフトウェア研究開発報告会• KLF5 activates Perp (TP53 apoptosis effector) in
Glioma and Breast Cancer.
• Until now, it is only known that direct targets of KLF5
contribute to the maintenance of embryonic stem
cell undifferentiated state. Especially, Perp is one of
KLF5 target. (Tommaso Russo’s Group. BMC Biology,
2010)!?
KLF5 might contribute to the maintenance ofcancer stem cell undifferentiated state in Glioma
and Breast Cancer
16“The Cancer Gene Network Galaxy” のどこに
KLF5が現れるかを探索してみると・・・

High in poor prognosis
Low in poor prognosis

Expression ratio

ROR1

肺癌検体

NKX2-1とROR1
実験で確かめてみると、まさにそのとおり

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

75

17

ISLiMソフトウェア研究開発報告会

19• 京にて各解析パイプラインの処理の一部を実行し、その結果を、SBiPの視覚化コンポーネント群を用いて保存できるようにしている。
• ユーザはSBiPに用意されているさまざまな解析コン
ポーネント を組み合わせてカスタマイズした解析フローを実行可能。

• SiGNを解析パイプラインのコンポーネントとしてユーザが簡単に利用できる高機能GUI を備えたソフト
ウェアプラットフォーム

Systems Biology integrative Pipeline

SBiP

ISLiMソフトウェア研究開発報告会– 最大動作コア数：196,608 コア（24,576 ノード）
– 並列化効率 0.92 （24576 vs 12288）• 次元縮約および一意性制約により高次元短時系列である遺伝子発現データから動的システムの推定可能• 高並列化・高効率化• 状態空間モデルにより時系列遺伝子発現データから、モジュールネットワーク、遺伝子ネットワークおよび動的発現予測モデルを構築
無再発生
存期間

ISLiMソフトウェア研究開発報告会

１３９遺伝子を使って予後予測を行うと、予測が困難とされていたステージ Iの肺腺がんの予後予測が「当たる」ことが複数のデータで検証された。

状態空間モデルシミュレー
ションにより「予測の外れる遺伝子」（薬の効いている遺伝子）を抽出検討。
１３９遺伝子を選定

SiGN-SSM 状態空間モデ
ル推定ソフトでシミュレー
ションモデルを推定

肺上皮細胞にゲフィチニブ
投与/非投与でEGFで刺激した事系列19時点遺伝
子発現データを取得

実行中

20

パイプライン上で京コン
ポーネントと既存コンポーネントを結合することで、京での出力データをシームレスに処理できるようにした。

ISLiMソフトウェア研究開発報告会

実行後

Webサービス機能を利用し、● SiGN-BN (HC+Bootstrap)● SiGN-BN (NNSR)● SiGN-SSM
を京の計算ノード上で実行するためのコンポーネントを実装した。

18

米国Duke大データ

米国NCIデータ

SBiP を使用した京での SiGN の実行

予後（生死）

Yamauchi M*, Yamaguchi R*, Nakata A*, Kohno T*, Nagasaki M, Shimamura T, Imoto S, Saito A, Ueno K,
Hatanaka Y, Yoshida R, Higuchi T, Nomura M, Beer DG, Yokota J, Miyano S, Gotoh N. (2012) Epidermal Growth
Factor Receptor Tyrosine Kinase Defines Critical Prognostic Genes of Stage I Lung Adenocarcinoma. PLoS
ONE 7(9): e43923.

SiGN-BN(HC+Bootstrap)

SiGN-SSM

抗がん剤ゲフィチニブ応答EGFRパスウェイ遺伝子群の同定によるStage I の肺腺がんの予後予測の成功（SiGN-SSM)

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

大規模ゲノム多型データと表現型データを関連付ける新規アルゴリズムの開発と、妥当性、有用性の検討角田 達彦
理化学研究所 ゲノム医科学研究センター
統計解析・技術開発グループ グループディレクター

発表者紹介
1995 年 3 月 東京大学大学院 工学系研究科 博士課程修了
1995 年 4 月 京都大学大学院 工学研究科 助手
1997 年 4 月 東京大学医科学研究所 ヒトゲノム解析センター リサーチアソシエイト
1998 年 4 月 東京大学医科学研究所 ヒトゲノム解析センター 助手
2000 年 4 月 理化学研究所 遺伝子多型研究センター チームリーダー
2008 年 4 月 理化学研究所 ゲノム医科学研究センター チームリーダー
2011 年 4 月 理化学研究所 ゲノム医科学研究センター グループディレクター
医学博士・工学博士
研究分野
ゲノム医科学，医科学数理受賞歴1993 年 International Joint Conference on Neural Networks Student Award
1994 年 情報処理学会第４８回全国大会奨励賞受賞
2004 年 The 13th Takeda Science Foundation Symposium on Bioscience on Genome
Analysis and Medicine Poster Award
2009 年 日本人類遺伝学会奨励賞受賞

77

78

•

•

1

ISLiMソフトウェア研究開発報告会

3

研究開発コードの概要– ParaHaplo: 人のゲノム全体にわたる遺伝的な相違点を，近傍にある複数点を同時にみたハプロタイプという単位で，患者群と対照群とで比較することにより，疾患の遺伝的原因を探るための統計検定計算– ExRAT: 遺伝子間相互作用が発症リスクを変化させる疾患関連遺伝子の組合せを全ゲノムで探索する．2SNP間の全組合せを超並列に行う方法と，SNP間の連鎖不平衡（相関）も考慮した，より精密な方法の2種類を実装．前者で全組合せをスクリー
ニングし，後者で経験的p値を求める手順を想定している．
– NGS analyzer: 次世代シークエンサーの出力データを高速に解析し，個人間の遺伝的差異やがんゲノムの突然変異を高い正確さで同定する．
アプローチ– ParaHaplo: Haplotype頻度を用いたType I errorの確率計算を，ハイブリッド並列で実装したマルコフ連鎖モンテカルロ法で行う．
– ExRAT: RAT(Rapid Association Test)を，データ分割法で実装したインポータンス
サンプリング法で行う．
– NGS analyzer: ヒト標準ゲノム配列に対するマッピングと確率計算に基づいた多様性検出を，領域分割で実装した直接法による密度行列の対角化により行う．

概要・アプローチ

ISLiMソフトウェア研究開発報告会

理化学研究所
ゲノム医科学研究センター
グループディレクター
角田 達彦

大規模ゲノム多型データと表現型データを関連付
ける新規アルゴリズムの開発と、妥当性、有用性の検討•

ISLiMソフトウェア研究開発報告会– ParaHaplo ver. 4.0 β, phase IV, 50%– 富士通コンパイラ（RICC，FX1，「京」，の全て）対応済，実行成功– PCクラスタで8,000ノードの並列性能を実証．
– 「京」でも並列性能が出ることを確認．
– 「京」ではコア並列（ハイブリッド並列）も実装している．
– 現在は，一層の高速化を目指しSIMD化を行っている．
– ソースコード公開済．
– 論文出版： Misawa K, Kamatani N (2011) ParaHaplo 3.0: a program package
for imputation and haplotype-based whole-genome association study using
parallel computing. Source Code Biol Med.

開発ソフトウェア ParaHaplo について

研究開発成果4

2

目的:– ParaHaplo: GWASの方法論を拡張し，単点ではなく連続する複数点に対して超並列に行うことによって，飛躍的な検出力の向上と高速性能を狙う．
– ExRAT: 複数の遺伝子の相互作用により発症する可能性を，全ゲノム上で網羅的に超並列に探索する．
– NGS analyzer: 次世代シークエンサーの爆発的データを超並列に処理し，ゲノム多様性を高精度かつ包括的に解析する．

•

ISLiMソフトウェア研究開発報告会

背景: 全くの未知のものも含め，疾患の原因を探索するには，全ゲノム上で患者群と対照群との間でゲノムDNA配列を比較する，ゲノムワイド関連解析（GWAS）が極めて有効であり，われわれ理化学研究所ゲノム医科学研究センターでは，2002年に世界に先駆け初めてのGWASを実現してから，世界を牽引してきた．この方法論をさらに劇的に推進するために，単点の解析だけでなく，近傍の，あるいは遠距離にある複数点の解析を行ったり（それぞれParaHaploとExRAT），対象とするマーカーを，これまでの固定されたセットから拡張し，次世代シークエンサーにより全ゲノム配列への探索を行ったり（NGS analyzer）するなどの新たな方法論を導入する必要がある．これらには，スーパーコンピューティングを駆使することが必要不可欠になる．

•

背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)365,947 (autosomes)

42,226291,200 (chromosome 22)

64,000300 TB

560 MB> 1 week# of SNPs# of haplotype blocks# of genarations (max)Cores used (max)Disk space (stage in) / run

Memory used / run

Total time (Elapsed)•

1,924 cases + 2,938 controls

Sample size

79

5

ISLiMソフトウェア研究開発報告会

7– ExRAT ver. 1.0- r440, phase III-0, 100%
– 富士通コンパイラ（RICC，FX1，「京」，の全て）対応済，実行成功，buildも可能．
– PCクラスタで8,192ノードの並列性能を実証．
– データ：患者708人，一般集団3397人，8314SNP，14100回permutationで評価．
– ハイブリッド並列化対応：Preprocess処理とpermutation処理にOpenMPでのスレッド化の実装．
– Preprocess処理の見直しによるさらなる高速化：分割表探索処理での計算処理の見直しにより，約40%程度高速化(計算処理を探索中に積み上げていけるように処理を変更し，全体の計算量の削減に成功した)．
– MPIプロセスの増加によるメモリ使用量増加への対応：非同期通信用のためのバッ
ファ確保が原因だったため，通信処理を見直し，処理完了待ちのバッファの大きさを最小とすることで対処した．
– テスト運用の結果から問題点の洗い出しおよび改善方法の検討を行ってきた．
– WTCCCの実データを解析し，評価と結果を出した．

開発ソフトウェア ExRAT について

研究開発成果ISLiMソフトウェア研究開発報告会

WTCCC type 2 diabetes

Dataset
6
5
4
3
2
1

-log10(P)1.5e+072.0e+072.5e+073.5e+07

Position

3.0e+074.0e+07

4.5e+075.0e+0

0

10

20

30

40

50

60

70

0

200

600
ノード数

800
ISLiMソフトウェア研究開発報告会

400

測定値（プロファイラUser Time）

測定値（タイマー）

理想値

研究開発成果ISLiMソフトウェア研究開発報告会

1000

1200
8

6

Chr 22 with 884,000 generations.
●: Haplotype block that has haplotypes whose frequencies are significantly
different (p < 1.1×10-6) between type 2 diabetes case and control in WTCCC. ●:Haplotype blocks with no significant difference.

0

研究開発成果WTCCC Type 2 diabetes data on chr22.

台数効果研究開発成果ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)360,297

6.49x1010

25

24,576

1.5TB

123GB

41 min. 17 sec.

~17h. (24,576 cores used)#SNPs (MAF>0.05, after QC)#combinations#runs

Cores used / run

Disk space (stage in) / run

Memory used / runTime / run (average)

Total time•

1,924 cases + 2,938 controls

Sample size

80

9

ISLiMソフトウェア研究開発報告会

11– NGS analyzer ver. 1.0, phase II-1, 80%– PCクラスタ上で2000並列を達成．
– 全ゲノムシークエンスデータの解析• ヒトの全ゲノムシークエンス解析からの一塩基多型（SNP）, 挿入・欠失（indel）,リ
アレンジメントを高い精度で検出• がん細胞における突然変異を高い精度で検出（東京大学医科学研究所ヒトゲノム
解析センターのPCクラスターにて実行）– 変異や多型のタイプごとに検出アルゴリズムを実装した。さらに、実験的検証を行うことで、パラメーターのチューニングを行った。
– 初の日本人の全ゲノムシークエンス（Nature Genetics 2010）、肝臓がんの全ゲノムシークエンス（Nature 2010）を解析– Fujimoto et al. Nature Genetics, 42, 931-936 (2010).
– The International Cancer Genome Consortium. Nature, 464, 993-998 (2010).

開発ソフトウェア NGS analyzer について

研究開発成果ISLiMソフトウェア研究開発報告会

WTCCC type 2 diabetes

Dataset研究開発成果•Interaction P
2.53x10-12

研究開発成果ISLiMソフトウェア研究開発報告会

P(SNP2)0.011

10Total P
2.83x10-14

SNPの頻度スペクトラム

ISLiMソフトウェア研究開発報告会

Fujimoto et al. Nature Genetics, 42, 931-936 (2010).

ヒトの遺伝的多様性(１番染色体上のSNPの密度）

12

日本人の全ゲノムシークエンス（Nature Genetics 2010）の解析例：• ヒトの遺伝的多様性の例として１番染色体上のSNPの密度の計算結果．
• パーソナルゲノム上に存在するSNPの頻度スペクトラムについての新たな知見．

P(SNP1)0.0011

研究開発成果ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

81

Nature Genetics, 42, 931-936 (2010).

研究開発成果13

研究開発成果ISLiMソフトウェア研究開発報告会

ストロングスケーリング

Nature Genetics, 44, 760-764 (2012).

ウィークスケーリング

研究開発成果14

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

17

Fujimoto, Totoki et al. Nat. Genet. 44, 760–764 (2012)• クロマチン制御遺伝子が約半数の肝がんで変異していることを発見した。

• 同時多発性肝がんペアを比較し、共通変異はなく、独立な腫瘍であることを示した。

• 肝がん27症例のゲノムを解析し、平均11,810 個(4.2/Mbp)の点突然変異、68個のアミノ酸変異、20個のゲノム再編成を検出した。

研究開発成果ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)82

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

タンパク質間相互作用ネットワークの推定とその応用に関する研究秋山 泰
東京工業大学 大学院情報理工学研究科
計算工学専攻 教授

発表者紹介1990 年 3 月 慶應義塾大学大学院理工学研究科電気工学専攻博士課程修了(工学博士)
1990 年 4 月 通商産業省工業技術院電子技術総合研究所 研究官
1992 年 4 月 京都大学 助教授（化学研究所）
1996 年 4 月 技術研究組合新情報処理開発機構 研究室長（並列応用つくば研究室）
2000 年 4 月 通商産業省工業技術院電子技術総合研究所 主任研究官 （生命情報科学
研究センター検討チーム長）
2001 年 4 月 独立行政法人産業技術総合研究所 生命情報科学研究センター長
2007 年 4 月 東京工業大学大学院情報理工学研究科計算工学専攻 教授
2011 年 12 月 東京工業大学情報生命博士教育院 教育院長（兼任)
研究分野
バイオインフォマティクス、並列処理応用

83

P1
P2
P3
P4
P5

…

P1000

84

Where?

?

?

1:1 docking?

?

Our problem

Do not interact

Interact3• Questions asked by protein docking– 1:1 docking: How given proteins interact?
Need large number of– Our challenge by exhaustive docking:docking calculations
Which protein pairs interact?
• Developing an ultra-fast docking tool MEGADOCK
feasible for exhaustive docking of million-order pairs

MEGADOCK: An ultra-fast andparallelized protein docking tool

■業務参加者
松崎由理（産学官連携研究員・本委託事業による雇用）、石田貴士（助教）□業務協力者
内古閑伸之（現所属:中央大学）（平成23年度まで業務参加者）

P1000

P1 P2 P3 P4 P5 ….

東京工業大学 大学院情報理工学研究科

秋山 泰

Large-scale protein-protein interaction network prediction by
an exhaustive rigid docking system MEGADOCK

タンパク質間相互作用ネットワークの推定とその応用に関する研究
Output: PPI networks

P2

P3

P4

• Search novel PPIs in lung cancer pathway
proteins and cancer drug related proteins• The first large-scale PPI prediction challenge(2000 x 2000 = 4 million scale)• To contribute finding target proteinsof cancer drugs

PPI network prediction

P1

P1

P5

Exhaustive docking & post-docking analysis

EGFR signaling network

Binding partners

Exhaustive rigid docking andpost-docking analysis

4

Strategy: Exhaustive rigid docking among target proteins• Feasible assuming massively parallel computing environments• Prediction of complex structures can also be provided
2
ISLiMソフトウェア研究開発報告会

Target: Millions of combinations of proteins

Input: Protein structures

What we do:
PPI network estimation fromproteins tertiary structure data

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

-45

-45

-45

-45

-45

3+H
+iφ -453+H+iφ -453+H+iφ -453+H+iφ -452+H+iφ -45-45 -45-45 -452+H-45 +iφ2+H-45 +iφ5+H 2+H 1+H-45 +iφ +iφ +iφGet 2,000 high scoring decoys bydocking of each protein pairs• Conduct clustering based on structure
similarity• The highest docking score(normalized) of the data included in
the cluster Ci : si
• Cluster population (normalized) : mi
• Select populated clusters C’ withthreshold m* of population of thecluster• Decide PPI score E• Evaluate each pair of protein
combination as interacting if E ishigher then the threshold E*

85

LigandReceptor

ISLiMソフトウェア研究開発報告会૛ᇱcluster૛57૚(Normalized
docking score)

Post-docking analysis to predict
interacting pairs૚

Receptor protein

Ligand protein

Convolution can becalculated fast by FFT(Katchalski-Katzirmodel)

Ohue M, Matsuzaki Y, Ishida T, Akiyama Y.
Lecture Note in Bioinformatics 7632,
178-187, Springer, 2012.

1+iq 1+iq

1+iq 1+iq 1+iq 1+iq 1+iq

1+iq 1+iq 1+iq 1+iq 1+iq

1+iq 1+iq

Save high scoring docking poses

Score calculation (Inverse FFT)

Convolution

Ligand FFT

Ligand voxelization

Loop for Ligand rotations

Receptor FFT

Receptor voxelization

Thread parallelization

Ohue M, et al., Lecture Note in
Bioinformatics 7632,
178-187, Springer, 2012.

ISLiMソフトウェア研究開発報告会(single node, single thread)compared to ZDOCK 3.0

6(Benchmark 4.0, 176 bound complexes)…

Docking accuracy wascomparable to conventional tools

Performance of protein docking
by MEGADOCK

WorkerNode

Ligand

8.8 times speedup

Master
Node

Worker
Node

WorkerNode

Receptor

MPI parallelization

Implementation withhybrid parallelization

OpenMP

Number of data•

2+H
-45 +iφ2+H-45 +iφ5+H 2+H 1+H-45 +iφ +iφ +iφ-45 -45-45 -45

1+H 2+H 3+H 3+H 3+H 2+H 1+H+iφ +iφ +iφ +iφ +iφ +iφ +iφ

-45

2+H
+iφ -45

1+H 2+H 3+H 3+H 3+H 2+H 1+H+iφ +iφ +iφ +iφ +iφ +iφ +iφCompress three terms into
one complex number:• Shape complementarity• Hydrophobic interaction• Electrostatic interaction

A compact score function of
MEGADOCK

8…

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

Speedup

1

2#Threads

4

3.88

8

7.33

1

2

6144

1.00
12288
#Nodes86
CheD
A suggestion of CheY-CheC
interaction by using “Falsepositive” pair CheY-CheD as
a mediator

CheC

Asp

CheY

ISLiMソフトウェア研究開発報告会

Matsuzaki Y, et al., J Bioinform Comput Biol, 7:991-1012 (2009).

Acceptable performance was shown on areal biology pathway reconstruction problem.

F-measure : 0.44

13 proteins(101 structures)

Application to bacterial
chemotaxis pathway：True Positive：False Negative：False Positive

24576

Strong scaling> 0.95 on 24576 nodes

1.97

LinearObserved

3.76

11

9

An exhausting docking of 220 proteins
Size of FFT: 140

ISLiMソフトウェア研究開発報告会

One docking of proteins, FFT size: 140

1

1.98

LinearObserved

4

MPI parallelization

R44

R3

R2

R1

L1 L2 L3

・・・ L44

0

0.2

0.4

0.6

0.8

1

0

0.2

0.8

1

β-actin and profilin(PDB id : 2BTF)

False Negative

False Positive

True Positive

hsa04210

Ozbabacan et al, 201257 proteins(158 structures)

96

Negative

Ohue M, et al.,Tech. Rep. IPSJ SIG, 2012-BIO-32(13),1-8, 2012.

12

364

88
Positive

1105

NoInteraction
Interacting
Prediction

Ozbabacan et al., J Struct Biol, 2012).

PPI prediction by docking without
any other knowledge showedcomparable results to templatebased search of interaction
partners (F-measure 0.30,

F-measure : 0.28

PPI prediction results (Apoptosis)

10

Predicted docking pose
Crystal structure

Trypsinogen protein
and trypsin inhibitor(PDB id : 1CGI)PPI prediction by MEGADOCK
achieved better than random
performance on general benchmark
dataset (monomer pair from proteinprotein docking benchmark 2.0,
Mintseris et al, Proteins, 2005.)

0.6

FP rate

0.4

MEGADOCK
randomMatsuzaki Y, et al., J Bioinform Comput Biol, 7:991-1012 (2009).
Ohue M, et al., submitted.

F-measure : 0.42

Binding partner prediction from
44x44=1936 dockings and postprocessing based on highest docking
score (Diagonal: interacting pairs)

No
PPI

PPI

・・・

2

4

8

Thread parallelization

Speedup

PPI prediction using generalbenchmark data

TP rateScalability on K computer

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

87

497 structures, all-to-all docking＝247,009 structure pairsPrecision 0.29

Recall0.47
F-measure 0.36

•

•

•

15

Matsuzaki Y, Ohue M, Uchikoga N, Akiyama Y, Protein-protein interaction network prediction by using rigidbody docking tools: application to bacterial chemotaxis., submitted.
Uchikoga N, Matsuzaki Y, Ohue M, Hirokawa T, Akiyama Y, Improved post-processing of protein-protein
docking data using profiles of interaction fingerprints., submitted.
Ohue M, Matsuzaki Y, Uchikoga N, Ishida T, Akiyama Y, MEGADOCK: An all-to-all protein-protein
interaction prediction system using tertiary structure data., submitted.

ISLiMソフトウェア研究開発報告会

Ohue M, Matsuzaki Y, Ishida T, Akiyama Y, Improvement of the protein-protein docking prediction byintroducing a simple hydrophobic interaction model: an application to interaction pathway analysis., Lecture
Note in Bioinformatics, 7632:178-187, 2012.
Ohue M, Matsuzaki Y, Akiyama Y, Docking-calculation-based method for predicting protein-RNAinteractions., Genome Informatics, 25:25-39, 2011.
Fleishman SJ, et al., Community-wide assessment of protein-interface modeling suggests improvements todesign methodology., Journal of Molecular Biology, 414:289-302, 2011.
Uchikoga N, Hirokawa T, Analysis of protein-protein docking decoys using interaction fingerprints:
application to the reconstruction of CaM-ligand complexes., BMC Bioinformatics, 11:236, 2010.
Ohue M, Matsuzaki Y, Matsuzaki Y, Sato T, Akiyama Y, MEGADOCK: an all-to-all protein-protein
interaction prediction system using tertiary structure data and its application to systems biology
study., IPSJ Transactions on Mathematical Modeling and Its Applications, 3: 91-106, 2010.
Matsuzaki Y, Matsuzaki Y, Sato T, Akiyama Y, In silico screening of protein-protein interactions with all-toall rigid docking and clustering: an application to pathway analysis., Journal of Bioinformatics andComputational Biology, 7:991-1012, 2009.

(Submitted)

•

•

•

•

•

•

13

59

Negative

Counts are basedon protein species

131

53

Positive

747

No
Interaction

PPI prediction of about
250 thousand structure
pairs showed comparable
performance to theapplication to bacterial
chemotaxis (10 thousand
pairs).
Interacting

Prediction

References

hsa05223

44 proteins（497 structures)

Achieved high PPI prediction performanceCompleted large-scale exhaustive docking(Papers contributed by MEGADOCK group)

Application to non-small celllung cancer pathway••

Acknowledgement

ISLiMソフトウェア研究開発報告会

Masahito Ohue
Kohei Yamamoto
Takayuki Fujiwara
Takehiro Shimoda

16

Searching novel cancer related PPIs

ISLiMソフトウェア研究開発報告会

2,000 x 2,000= 4 million
docking

294 proteins（1424 structures)

Proteins related to Gefitinib
estimated by Miyano lab., The Univ.
of Tokyo, from microarray analysis

This work was supported in part by a Grant-in-Aid for Researchand Development of The Next-Generation Integrated Life
Simulation Software from the Ministry of Education, Culture,
Sports, Science and Technology of Japan (MEXT).
Part of the result was obtained by early access to the K computerat the RIKEN Advanced Institute for Computational Science.

44 proteins（497 structures)

EGFR pathway related tonon-small cell lung cancer

Interaction of cancer pathway
and proteins related to Gefitinib

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

生命体シミュレーションのためのデータ同化技術の開発

樋口知之
次世代計算科学研究開発プログラム
データ解析融合研究開発チーム

発表者紹介1989 年 3 月
1989 年 4 月
1994 年 12 月
2002 年 7 月
2004 年 4 月
2011 年4月

東京大学理学系研究科地球物理学博士課程修了
統計数理研究所予測制御研究系予測理論研究部門助手
統計数理研究所予測制御研究系予測理論研究部門助教授
統計数理研究所予測制御研究系システム解析研究部門教授
統計数理研究所モデリング研究系教授, 予測発見戦略研究センター
副所長（兼務）(～2010.3)
統計数理研究所 所長

研究分野
ベイジアンモデリング，データ同化

89

90

仮説構築
薬剤応答性の予測
実験のデザイン実験・計測

シミュレーション

モデル設計
評価と選択
モデルの再構成モデリング

生体内分子の計測データをもとに、シミュレーションの再現性・予測力を改善するためのパラメータチューニングやモデルの改良をベイズ推定により行う。

II. ソフト研究開発の概要・アプローチ

ISLiMソフトウェア研究開発報告会

統計数理研究所・データ同化研究開発センター
吉田亮 中野慎也 長尾大道 斎藤正也

統計数理研究所・所長
樋口知之

生命体シミュレーションのためのデータ同化技術の開発

1=
yn g (x n ) + noise– 状態変数と観測データの関連付け=
x n fG (x n −1 , q ) + noise

D = {yn }

データ

状態変数

パラメータ

fG ( ⋅ q )x = {x n }モデル

G

状態空間モデル

実験とモデリングの知識循環から永続的なモデル改良が必要である

 細胞の環境依存性や生体内分子のバリエーションならびに個体間の遺伝的差異
等がもたらす生化学反応の多様性
 個体ごとに異なる生化学パラメータやネットワークトポロジー

実験の制約

 タンパク質相互作用や転写因子データベースにもとづく反応経路列挙型モデリン
グの限界（組み合わせ爆発） モデリングの対象である分子リストが不完全なため、閉じた系として記述できない

モデリングの制約

I. ソフト研究開発の背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

91

定式化

パラメータ

状態変数

データ

fG ( ⋅ q )x = {x n }D = {yn }xd• 推定するモデルパラメタ θ = (xj(0); dkj, ckj, bk, cj, pj)• 広い範囲の常微分方程式系に適用可能• B(j): 物質jが複合体である場合に、それを構成する物質(Binding)• ヒル関数 hA (x |c, p) = xp/(xp + cp), hI (x |d, q) = cq/(xq + dq)• AとRは物質jがmRNAのときに空でない。

• R(j): 物質jの発現を抑制する物質 (Inhibitors)• A(j): 物質jの発現を促進する物質 (Activators)

dxj/dt = -dkjxj+ tckjΠa∊A(j) hA(xa | ca, pa)×Πi∊I(j) hI (xi| di, qi) + bk Πb∊B(j)xbchA (x |c, p)hI (x |d, q)

モデル

G

x

ω： モデルG, パラメータθ, 状態xのどれでも良い

RNA・タンパク質等の物質量についての常微分方程式(国立遺伝学研究所・ 木村暁氏よ り 提供)

p ( w D ) ∝ p ( D w) p ( w)

ベイズ推定 – 逆問題を解く~ 30 min

転写

テスト問題: 哺乳動物の概日周期転写ネッ ト ワーク~ 10分 ～ 10時間

タンパク質の分解

8

 モデルの規模• システム変数の個数: 19• 観測変数の個数: 7• モデルパラメータ数: 116~ 10 min to over 10 h

mRNA の寿命~ 30 min

翻訳

III. 現時点でのソフト研究開発成果

遺伝子(転写を促進または抑制する)転写因子の結合

タンパク間相互作用~ 100 sec

タンパク質拡散LiSDASにおける細胞内生化学反応のモデル

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

92

- 48

-2

0 0.5 1 2 3 4 5 6― 転写因子しきい値

AND/OR9( - ) : 0 hr ~ 24 hr
EGF : 0 hr ~ 24 hr
EGF + Gefitinib : 0 hr ~ 24 hr
Gefitinib : 0 hr ~ 24 hr

RNA Sampling(hours)7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

EGF

Gefitinib

観測データをトレースし, 周期的変動を実現

全時点しきい値を横断しない転写因子は不要な反応過程と解釈される(ネットワーク構造の学習の実現)― MAP解の更新履歴

適用例: 肺がん細胞の薬剤応答― 最終的なMAP解EGF (100 ng/ml)

gefitinib (0.5 µM)

Starvation○ 観測データ

25,00050,00075,000 100,000

コア数 (プロセス数×スレッド数)

0%

0

4%

6%

8%

10%

12%

2%
0

理想値
測定値（タイマー）
測定値（プロファイラUser Time）
測定値（プロファイラElapsed Time）

14%

5

10

15

20

25

30

台数効果

0

実効効率

50,00075,000

コア数 (プロセス数×スレッド数)

25,000(12% 8192並列)

単体性能 4.5%

実効効率(%)
計算時間に占める通信(%)

「京」における計算性能

100,000

全17654遺伝子■: ／上昇傾向

シミュレーション結果■:- 定常■:＼下降傾向

10

10万並列までの台数効果の伸びを実現した。他方,通信による鈍化が見られるためアルゴリズムを改良した(改良版では8192並列までの線形に近い台数効果を確認)

台数効果 (4096コア=1)

通常がん細胞
薬剤耐性株

推定パラメータに基づくシミュレーション結果

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)
時間 (最大値:48時間)

93

ソフトウェア公開状況

EnKF• search model parameter
maximizing the likelihood• observed velocity field

MCMC• obtain posterior
distribution(multi peaked pattern?)p (θ | y1T: )ISLiMソフトウェア研究開発報告会– SBML(to/from)LiSDAS– データ同化ライブラリ• 年度内に完成版を公開予定• 開発中の付属ツール

15

https://www.islim.org/FS-APL/FS-Form/form.cgi?Code=Code24J• ISLiMサイト内で5月7日にβ版を公開

Model parameters• velocity of the cell wall
how to design uwall ( L, t )• viscosity coefficient• density

1:T(国立遺伝研 木村研究室（細胞建築学）との共同研究)
posterior
prior
likelihoodp (θ | y )p (p y( y | θ|)θ )p (θ )••

0.1 μm/s(後ろ向き)
0.1 μm/s(後ろ向き)

まとめ

ISLiMソフトウェア研究開発報告会

i番目の力分布をF(i)と置く。
Pos(i)とF(i)を用いてE[F(i)] =Σi=1i=3072F(i)iPos(i)と力分布を推定した。

-0.1 μm/s
(前向き)

- 0.1

0

0.1

0.2

0.3

(後ろ向き)

長軸方向の位置- 0.2
60 50 40 30 20 10 0 (前向き)distance from the posterior pole (x, μm)

実験値
データ同化

16

吉田(統数研)飯野 (東京大)
石原 (九州大)岩崎 (茨城大)ISLiMソフトウェア研究開発報告会

神経細胞ネットワーク

細胞体流動

山下(総研大)吉田・伊庭・樋口(統数研)
斎藤・樋口 (統数研)
井元・山口・上・宮野 (東大医科研)

長尾・斎藤 (統数研)
木村(国立遺伝研)

化合物分子設計
インフルエンザ感染ネットワーク

転写制御回路モデルのパラメータ推定を対象にLiSDASを開発した。年度内の周辺ツールを含めた完成版の公開に向けての作業を継続中である。
常微分方程式で与えられたモデルであれば、そのまま若しくは少しの拡張で適用できる。つぎのようなLiSDASを活用する課題に取り組む予定である。

長軸方向の位置-0.1 μm/s
(前向き)

黒線:

番号1～3072の各シミュレーションで、速度ベクトルの差の2乗の和Σ（Vvivo-Vsim)2を計算→ Pos(1), Pos(2), …, Pos(3072)が得られる；Pos(i)はi番目の力分布の事後確率
データ同化
ボックス:
実験

仮説の検証方法:
仮説をもとにしたシミュレーションが定量的に実験で計測された流動の速度場を再現するか否かを検証する。

細胞質流動を駆動するメカニズムの仮説:
細胞表層におけるミオシンが後ろから前へ移動する時細胞質を引きずる。この引きずりは細胞表層でのみ起こるが、細胞質の流体力学的性質によって細胞全体に流れが波及して細胞質における流れが生じる。

データ同化による細胞壁における力分布推定

前後軸方向の速度 (μm/s)

力の強さ

データ同化ライブラリ適用事例:
線虫初期胚における細胞内流動データ同化

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

力の強さ

臓器全身スケール研究開発チーム成果報告

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

臓器全身スケール研究開発チーム
成果総括報告高木周

次世代計算科学研究開発プログラム
臓器全身スケール研究開発チーム チームリーダー

発表者紹介1995 年 3 月 東京大学大学院工学系研究科機械工学専攻博士課程修了
1998 年 4 月 東京大学大学院工学系研究科 講師
2001 年 4 月 東京大学大学院工学系研究科 助教授
2007 年 4 月～現在 理化学研究所次世代計算科学，チームリーダー
20010 年 4 月～現在 東京大学大学院工学系研究科 教授

研究分野
計算生体力学，流体力学，マルチスケール計算力学

97

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

臓器全身スケール研究開発チーム成果総括報告高木 周
次世代計算科学研究開発プログラム
臓器全身スケール研究開発チーム チームリーダー

1. 目的
臓器全身スケール研究開発チームでは，CT，MRI，超音波画像装置等により取得された各個人の人体ボクセルデータを基にして，コンピュータ
上に人体を再構築し，各種病態の予測や治療の支援を行なうためのシミュレーションツールの開発を行うことを目的としている．特に，日本人の死因で大きな比重を占める癌の治療，循環器系疾患に関連する計算手法の開発に重点を置き，病態のメカニズムの解明と薬効の評価，低侵襲治療法の支援を行なうためのシミュレーションツール
を開発している．

2. 現時点での成果
2.1 医用画像データに適した計算手法の開発（オイラー型流体構造連成手法: ZZ-EFSI）
本研究では，従来は境界適合メッシュを用いた有限要素法による解析が主流であった流体・構造連成問題に対して，メッシュ生成のプロセスなしに画像データから直接計算を行なうオイラー型
流体構造連成手法を新たに開発した．本手法は，医用画像データのみならず，一般に画像データを基にして時々刻々形状が変化していくような問題全般に適用可能であり，固定された構造格子の上を自由に変形する物体の運動を計算することができ超並列の計算に特に適した定式化を行っている．すでに，フルコアを用いた計算で実効性
能 4.5Peta Flops の計算速度を記録している．
2.2 血小板上と血管壁のタンパク質間相互作用と流れの計算を連成させた血球細胞・流体連成手法(マルチスケール血栓シミュレータ: ZZ-Throm）
ZZ-EFSI 法を膜と流体の連成問題へまで発展させ，赤血球や血小板などの血球細胞を大量に含む血流の計算を可能にさせた手法である．さらに，
血小板上の糖タンパク GP-1bαと損傷血管壁上のvWF 分子との分子間相互作用である ReceptorLigand 反応をモンテカルロ法により計算することにより，分子間結合による吸着力と，流体運動により引き剥がす流体力を連成させながら解く
計算手法を考案した．赤血球の有無が，血小板吸着に与える影響について調べ，血小板吸着にとって赤血球がもたらす血漿側のゆらぎが本質的な98影響を与えることを再現するのに成功している．
さらに，赤血球の体積率を変化させ，実験データとの定量的比較を行っている段階．
2.3 心筋細胞の詳細な挙動から心臓全体を再現する心臓シミュレータ（マルチスケール・マルチフィジックス心臓シミュレータ:UT-Heart)
ISLiM プロジェクトで開発されたプログラムの中で唯一，「京」の優先課題として選ばれたソ
フトウェア．東京大学，久田らにより 10 年以上の年月をかけて開発されてきた心臓シミュレータである．このシミュレータでは，細胞膜のイオ
ンチャンネル，ポンプ，トランスポーターなどの作用に基づく細胞内イオン環境のダイナミックスを記述する電気生理学モデル，並びにイオンによって制御される細胞内収縮タンパクであるア
クチン・ミオシン間のクロスブリッジ運動を記述
する興奮収縮連関モデルから出発し，細胞，組織，臓器を経て最終的な血液拍出に至る心臓機能の全過程を各レベルにおける要素間の相互作用を含めて合理的に数理化し，心臓の振る舞いを再現できる．本年度は，サルコメ心筋細胞心臓全体の３レベル階層統合に成功し，「京」での超大規模計算に成功した．
2.4 国産初の治療器開発に向けた超音波治療シミュレーション（強力集束超音波シミュレータ:ZZ-HIFU）
患者個々の人体ボクセルデータを用いて強力
集束超音波(HIFU)により腫瘍焼灼を行なうシミュレーションを行う方法の開発を終えた．現時点
において，98304 コアを用いた計算で，実行性能21％を達成している．現在，国産初の超音波治療器を目指して，国内の医療機器メーカーと連携して乳腺治療を対象として実機の設計支援のためのシミュレーションを開始している．具体的には，実際の乳房の画像データを基にし，焦点制御のシミュレーションを実施し，位相制御の重要性を確認している．
2.5 （ モ ン テ カ ル ロ 重 粒 子 線 治 療 シ ミ ュ レ ー
タ:ZZ.DOSE）
重粒子線治療の手術計画に利用可能なモンテ

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

カルロ計算によるシミュレータを開発している．
現時点では，プログラムのハイブリッド並列化が済み，大規模計算の準備をしている．また，理研の仁科加速器センターとの共同研究により，計算結果の検証用の実験データを取得している．現時点では，計算負荷の軽い系に対して，実験との比較を行い，モデルの検証を進めている．
2.6 その他（0D-1D-3D 全身血管網シミュレータ:ZZ-Vasc）
大規模 3 次元血流計算に対する境界条件を与えるための計算を行なうソフトウェアである．現時点では，東京大学の大島まりの研究グループと連携をとり，動脈硬化を起こした総頸動脈および脳血管系であるウィルス動脈輪に対して，患者の画像データから得られた情報を基に 3 次元計算と0D-1D 計算の連成を行い，術後の血流量の分配予
測のシミュレーションなどを行っている．

3. プロジェクト終了時の達成目標
1) ZZ-EFSI
上述の通り，ZZ-EFSI はすでに京のフルノード
約 65 万コアを用いた計算で実行性能 4.5Peta
Flops を達成している．プロジェクト終了時までに，ソフトウェアの最新版の公開と随時更新を行なっていく．本手法は，医療応用だけでなく，「ものつくり」分野も含めた幅広い分野への適用が可
能なソフトであり，公開を通して多くのユーザーを募り，プロジェクトの成果の有効活用を図る．
2) ZZ-Throm
損傷血管壁への血小板の吸着に伴う，血栓成長の初期過程を再現するシミュレータを完成させる．これにより，分子レベルでの Receptor-Ligand
結合から，多数の変形赤血球・血小板を含む大規
模な流動構造までを連成して解くマルチスケー
ルシミュレーションを達成し，Receptor-Ligandの分子間結合が血栓成長に与える影響を調べる．
また，東海大学医学部，後藤らにより取得される実験データとの比較により，計算結果の妥当性を検証し，さらに実験データと計算結果の相補的な利用により実験で解析が困難な膜上における糖タンパク GP1b-αの動的振る舞いなどについて知見を得る．
3) 心臓シミュレータ (UT-Heart)

メントにおける機能タンパク個々の運動やそれを支えるＺ帯などの微小構造を具体的にモデル化し，そこから心臓の拍動までをシームレスに接続し，ミクロとマクロの因果関係を明らかにすためのシミュレータ開発をさらに進めていく．このようにタンパク質レベルの確率的運動，複合体としての細胞レベルの収縮運動，および臓器レベルの拍動運動の３つのスケールを合理的に結び付けるシミュレーションを達成することにより，心筋細胞内で起こる分子レベルの物質輸送から心筋の収縮を再現し，新たな医学的・生理学的知見を得ることが可能となる．
4) ZZ-HIFU
国産初の治療器の設計に向けた大規模計算を
引き続き行う．本年度は実際に乳房のデータを基にして計算を実施しており，このデータに対して
さらにパラメータを振った計算を進める．特に，治療の対象とする部位への超音波集束の制御を考慮した場合に必要となる超音波パネル（アレイ
トランスデューサー）の数と配置，リアルタイム
モニタリングの方法について，実験データとの比較を行いながら機器設計を進めて行くシステムを構築する．これにより，大規模計算の結果を利用して，機器の設計および実機へ搭載していくた
めのソフトウェアの開発を進めることができる．
5) ZZ-DOSE
仁科加速器センターで新たに取得される実験
データにより，モンテカルロ法による計算結果の比較を行い，開発された計算手法の妥当性の検証を行う．加えて，「京」での計算に関して，ハイブリッドプログラムの改良を行い，並列化効率を上げる．
6) ZZ-Vasc
本年度構築された 0D-1D-3D の連成手法に関して，患者の血管データを使用したシミュレーショ
ンを引き続き実施し，計算結果の検討および連成
手法の安定性の検証を行う．ZZ-VASC は，3 次元
医用画像データを用いた計算との連成以外にも，
０D-1D 連成の部分を用いてさまざまな共同研究を行ってきた．その一つとして，心臓周りの動脈硬化を調べる新たな電子血圧計の開発に協力し製品化に成功したが．さらに，シミュレーションの結果を用いて，新たな動脈硬化判定指標の提案を行う．

筋原線維を構成するアクチン・ミオシンフィラ
以上

99

•
•
•

100
© 鷲尾，久田(東大）

UT-Heartは既に臨床研究に用いられている．
グランドチャレンジで開発されたソフトのうち，唯一，「京」利用の優先課題となる．
「京」モデルでは，サルコメアレベルの運動から心筋細胞の機能再現，さらに心臓全体と３段階の異なるスケールの階層統合に成功．

マルチスケール・マルチフィジックス心臓シミュレータ(UT-Heart)•

理化学研究所
次世代計算科学研究開発プログラム
臓器全身スケール研究開発チーム チームリーダー
高木 周

•

•

臓器全身スケール研究開発チーム
成果総括報告•「京」のフルノード計算で，実効速度 4.5ペタフロップスを達成（世界最速の流体構造連手法ZZ-EFSIの開発に成功）

医用画像データに適した流体構造連成手法(ZZ-EFSI)© 久田(東大）

チーム全体目標– 細胞スケール，分子スケールの効果を取り入れたマルチスケール生体力学シミュレーション
により，病態の予測や治療の支援を可能とするソフトウェアの開発を行う．
個別テーマでの主立った成果– 心臓シミュレータ UT-Heart： 「京」での計算により 「サルコメア↔心筋細胞↔心臓全体」の３階層統合に世界で初めて成功．
– 流体構造連成 ZZ-EFSI, 血栓シミュレータ ZZ-Throm： 新しい流体構造連成手法を開発．
「京」での計算により 世界最速 4.5ペタフロップを達成．血栓症の初期過程のマルチスケー
ルシミュレーションを実施．赤血球の存在が血小板の壁面粘着を促進させることを再現．
– 超音波治療シミュレータ ZZ-HIFU： 国産初の超音波治療器の開発に向けて，乳がん治療
器設計のシミュレーションを開始．
今後の予定
ソフトウェアの整備と「京」での本格的計算の継続．

臓器全身スケールチーム：概要

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

•

101

Without RBC

With RBC （WLC Model）

マルチスケール血栓シミュレータ(ZZ-Throm) (3/4)

血小板表面のGP1ｂ分子と血管壁上のｖWF分子のタンパク質間相互作用に状態遷移理論を適用したモデルにより，血流計算との連成に成功．血栓接着のよりリアリスティッ
クな計算が可能となり，赤血球の存在が血小板接着には重要とする実験的事実をシミュ
レーションにより実証．

wall

•
•

with RBCs (Ht = 20%)

狭窄部の形状の影響

マルチスケール血栓シミュレータ(ZZ-Throm) (4/4)

血小板位置の時間変化（半径方向） （ 赤血球ありで血小板のゆらぎ大 ）without RBCs

axial migration of RBCs → cell free layer near vessel wallparachute/slipper shape

PRESENT SIMULATION

マルチスケール血栓シミュレータ(ZZ-Throm) (2/4)

EXPERIMENT: Gaehtgens et al.(1980)
Blood Cells., 6, 799.

axis

マルチスケール血栓シミュレータ(ZZ-Throm) (1/4)

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

102

w/ control

w/o control

形状と物性が既知のものに対するシミュレーションの信頼性を確認

1.4

0.75
Pressure [MPa]0Pressure [MPa]0Simulation

シミュレーション結果を用いた実験による検証：

Experiment

9

Parenchymal

Fat

Numerical model

Water

MRI image

乳房の画像データを用いたシミュレーションの実施

乳がん治療のシミュレーション：

超音波治療シミュレータ ： ZZ-HIFU (3/3)*Okita et al., Int. J. Numer. Meth. Fluids 2011; 65:43–66• 領域分割とMPIによるプロセス並列• OpenMPを用いたスレッド並列によってマルチコアに対応– 並列化手法• 空間2m次の中心差分（問題によって精度を選択）• FDTD法に準じた時間発展（1or2次精度を選択）• 概要– 強力集束超音波（HIFU）治療機器から照射された超音波が人
体内（骨や臓器など音響特性の異なる多媒質体内）を伝播する
様子をシミュレーションするためのアプリケーション– 2HMzの超音波の1波長0.75mmを15格子（x=0.05mm）で解像する場合，450x300x300mmの領域に対して
9000x6000x6000=340G格子点が必要であり，そのような大規模入力データの作成から超大規模並列計算が可能• アプローチ– 多媒質に対する質量，運動量の保存式を粘性流体もしくは粘弾性体に対する構成方程式および媒質の状態方程式と伴に解くことで，不均質媒体中の超音波伝播を再現し，粘性散逸を熱源とする温度の時間発展式により温度場を得る．
– 有限差分法によって基礎方程式を近似

超音波治療シミュレータ ： ZZ-HIFU (1/3)*システム疾患生命科学による先端医療技術開発拠点

256ch, 2MHz, F=0.8• 超音波で診ながら超音波で治療する治療器の設計に向けたシミュ
レーション• 中央部に診断プローブ用ホールを準備する必要あり．
• チャネル数．配置をシミュレーション
により検討

TSBMI*における低侵襲診断治療機器の開発との共同

10x=5mm, y=2mm

x=0mm, y=2mm

x=0mm, y=5mm

x=5mm, y=0mm

x=0mm, y=0mm

焦点位置による超音波音場の変化

超音波治療シミュレータ ： ZZ-HIFU (2/3)
乳腺疾患治療用256chアレイトランスデューサの開発支援(国産初の超音波治療の開発に向けて）

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiM ソフトウェア研究開発報告会
ソフトウェア研究開発報告会 (2013.1.10-11)(2013.1.10-11)
ISLiM

次世代超音波治療機器開発のための生体内超音波伝播シミュレータ (ZZ-HIFU)

沖田 浩平
日本大学生産工学部機械工学科 准教授
理化学研究所 次世代計算科学研究開発プログラム
臓器全身スケール研究開発チーム 客員研究員

発表者紹介2002 年 3 月
2002 年 4 月
2004 年 4 月
2006 年 4 月
2007 年 4 月
2011 年 4 月
2011 年 9 月

大阪大学工学研究科機械物理工学専攻博士課程修了
東京大学 IML 研究員
東京大学 21 世紀 COE 機械システムイノベーション 特任研究員
理化学研究所 VCAD システム研究プログラム 研究員
理化学研究所 VCAD システム研究プログラム 上級研究員
東京大学大学院工学系研究科機械工学専攻 特任研究員
日本大学生産工学部機械工学科 准教授

研究分野
流体工学，数値流体力学，混相流

103

104

*Okita et al., Int. J. Numer. Meth. Fluids 2011; 65:43–66

生体情報および設計形状を基にした入力データの作成から，それらを利用した超大規模並列計算による生体内超音波伝播シミュレーション㻴㻵㻲㼁㻌㼟㼕㼙㼡㼘㼍㼠㼕㼛㼚㻌㼎㼍㼟㼑㼐㻌㼛㼚㻌㼐㼕㼓㼕㼠㼍㼘㻌㼔㼡㼙㼍㼚㻌㼙㼛㼐㼑㼘㻌

日本大学㻌生産工学部㻌機械工学科㻌准教授㻌
理化学研究所㻌次世代計算科学研究開発プログラム㻌
臓器全身スケール研究開発チーム㻌客員研究員㻌
沖田浩平㻌
鳴見竜太（東大工），東隆（東大工），高木周（東大工），松本洋一郎（東大工）㻌
㻌

次世代超音波治療機器開発のための㻌
生体内超音波伝播シミュレータ㻌㻔㼆㼆㻙㻴㻵㻲㼁㻕㻌

4

1

2

*Okita et al., Int. J. Numer. Meth. Fluids 2011; 65:43–66• 領域分割とMPIによるプロセス並列• OpenMPを用いたスレッド並列によってマルチコアに対応– 並列化手法• 空間2m次の中心差分（問題によって精度を選択）• FDTD法に準じた時間発展（1or2次精度を選択）• 概要– 強力集束超音波（HIFU）治療機器から照射された超音波が人
体内（骨や臓器など音響特性の異なる多媒質体内）を伝播する
様子をシミュレーションするためのアプリケーション– 2HMzの超音波の1波長0.75mmを15格子（Dx=0.05mm）で解像する場合，450x300x300mmの領域に対して
9000x6000x6000=340G格子点が必要であり，そのような大規模入力データの作成から超大規模並列計算が可能• アプローチ– 多媒質に対する質量，運動量の保存式を粘性流体もしくは粘弾性体に対する構成方程式および媒質の状態方程式と伴に解くことで，不均質媒体中の超音波伝播を再現し，粘性散逸を熱源とする温度の時間発展式により温度場を得る．
– 有限差分法によって基礎方程式を近似

㼆㼆㻙㻴㻵㻲㼁㻌

5

MRI-guided Focused Ultrasound Surgery
Transcranial MRgFUS
has been developed for various tumors.
• Uterine fibroid• Cancer in Brain, Breast, Liver etc.
• Sonothrombolysis, Neuromodulation,
BBB, Parkinson’s disease• DDS with US
http://www.ushifu.com
http://www.insightec.com• Pre and Post contrast imaging fortreatment validation
国産の超音波治療機器開発を促進するた• Accurate targeting
めに超音波伝播シミュレーションによる支援• Real-time monitoring of temperature

Kennedy JE., Nat. Rev. Cancer, 5:321-27, 2005

• Minimally-invasive treatment, which
provides the heat coagulation of tissue
around the focal point of ultrasound.
• Energy therapy• Benefits• Short hospital stay
• Radiation free
• Repeatable treatment㻴㼕㼓㼔㻙㻵㼚㼠㼑㼚㼟㼕㼠㼥㻌㻲㼛㼏㼡㼟㼑㼐㻌㼁㼘㼠㼞㼍㼟㼛㼡㼚㼐㻌㼠㼔㼑㼞㼍㼜㼥㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

105

2

Tmax=25.7K

020
Temperature [K]TargetTissue is effectively ablated.

TargetTargetAblation region

アレイトランスデューサによって生体（不均質媒体）中の焦点制御が可能

Pmax is 9% UP and Temperature is 25% UP by the focus control.

Pmax=2.82MPa Pressure [MPa]0TargetTmax=20.7K

TargetTargetPmax=2.59MPa

Temperature rise㻲㼛㼏㼡㼟㻌㼏㼛㼚㼠㼞㼛㼘㻌㼕㼚㻌㻴㻵㻲㼁㻌㼠㼔㼑㼞㼍㼜㼥㻌㼒㼛㼞㻌㼘㼕㼢㼑㼞㻌㼠㼡㼙㼛㼞㻌Pressure amplitude

8

6

Effective performance is over 21%

京コンピュータの超大規模並列計算において20%以上の実行性能を達成*Okita et al., Int. J. Numer. Meth. Fluids 2010; 64:1395–1411

With control

Without control

0.345 Tpoints@12288nodes, 98304cores*(Calculation time) = (Elapse time) – (Communication time)

Results of weak scaling ( 304x304x304 mesh per node, 100 steps )㼆㼆㻙㻴㻵㻲㼁㻙㻷㻌㼛㼚㻌㻷㻌㻯㼛㼙㼜㼡㼠㼑㼞㻌
Head side

Gallbladder（胆嚢） 1.48

*Narumi et al. Jpn. J. Appl. Phys. (submitted)

2. Transducer elements are driven by the estimated parameters of phaseshift in the experiment.

• The emitted sound from target is received by the array transducer• Control parameters are estimated based on the cross correlations of signals

1. Estimation of control parameters using the numerical simulation

・56 elements
・2 MHz1.69

6.98

Muscle（筋肉）Bone（骨）Liver（肝臓）1.66

Adipose(脂肪）97Volume data of human body
• Based on CT & MRI data
• Including ID of tissues• Constructed by RIKEN Computational
Biomechanics Project

Geometrical
Focus

1.76
1.38

Skin（皮膚）Acoustic Impedance[10^6 kg/m^2.s]

Tissues on the path of US propagation㻱㼤㼜㼑㼞㼕㼙㼑㼚㼠㼍㼘㻌㼍㼜㼜㼍㼞㼍㼠㼡㼟㻌㼒㼛㼞㻌㼠㼔㼑㻌㼟㼕㼙㼡㼘㼍㼠㼕㼛㼚㻌㼍㼟㼟㼕㼟㼠㼑㼐㻌㼒㼛㼏㼡㼟㼕㼚㼓㻌*Okita et al., Int. J. Numer. Meth. Fluids 2010; 64:1395–1411

Array transducer•Size 10mm x 61 piezo elements•Focal distance 85mm
•Frequency 1MHzNumerical domain•Size 120x160x120(mm)•3-dimensional orthogonal mesh with
600x800x600 = 288 M grid points

Foot sideArray Transducer㻴㻵㻲㼁㻌㼠㼔㼑㼞㼍㼜㼥㻌㼒㼛㼞㻌㼘㼕㼢㼑㼞㻌㼠㼡㼙㼛㼞㻌㼡㼟㼕㼚㼓㻌㼢㼛㼤㼑㼘㻌㼜㼔㼍㼚㼠㼛㼙㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

106

985[1]

1032[2]1090[1]1465[1]

1547[2]

1615[1]

脂肪

乳腺

結合組織

*鳴見ら，日本超音波治療研究会，2012[1] ICU REPORT 61, [2] T. D. Mast,, 2000

密度[kg/m3]

Parenchymal

音速
[m/s]

Water

Fat

w/o control

Numerical model

12

3D orthogonal mesh
Size 120x110x110 mm
1200x1100x1100 grid
8x4x4 sub domains

•
•
•
•

w/ control

56ch transducer
Focal distance 100 mm
Frequency 2 MH

10

0.75
Pressure [MPa]01.4
Pressure [MPa]

0

•
•
•

乳房の㻹㻾㻵画像を利用した㻴㻵㻲㼁シミュレーション㻌

*Narumi et al. Jpn. J. Appl. Phys. (submitted)

MRI imagew/ control

w/o control

Simulation

形状と物性が既知のものに対するシミュレーションの信頼性を確認

シミュレーションで得られた制御パラメータを実際にトランスデューサで実験した結果，弾性体の影響を考慮したシミュレーション
によって，焦点制御の精度が向上

Experiment㻾㼑㼟㼡㼘㼠㼟㻌㼛㼒㻌㼠㼔㼑㻌㼟㼕㼙㼡㼘㼍㼠㼕㼛㼚㻌㼍㼟㼟㼕㼟㼠㼑㼐㻌㼒㼛㼏㼡㼟㼕㼚㼓㻌

新たな技術開発の課題に対するシミュレーションの援用*Hope et al. J. Acoust. Soc. Am. (accepted)

13

頭蓋骨のファントムを透過した超音波の焦点における圧力波形
から，焦点における気泡の挙動と血栓溶解に関する研究を行っている．

• Numerical domain size:
120x160x120mm• Grid points: 600x800x600• Frequency: 220KHz.
• 128 cores on Franklin(Cray XT4)@ NERSC

Szeri@UC Berkeley, Hoelscher@UC San Diegoらのグループと共同研究㻹㼑㼏㼔㼍㼚㼕㼏㼍㼘㻌㻯㼘㼛㼠㻌㻰㼍㼙㼍㼓㼑㻌㼒㼞㼛㼙㻌㻯㼍㼢㼕㼠㼍㼠㼕㼛㼚㻌㼐㼡㼞㼕㼚㼓㻌㻿㼛㼚㼛㼠㼔㼞㼛㼙㼎㼛㼘㼥㼟㼕㼟㻌*システム疾患生命科学による先端医療技術開発拠点

http://fus.breastopia.or.jp/

MRIとUST（US-CT)との画像比較① ３D画像でのモニタリング㻌 ② ビームパス表示㻌
③ リアルタイム温度モニタ㻌 ④ 治療直後の治療効果判定• 女性の罹患率では乳がんがトップ• 皮膚表面も傷をつけない温存療法• 治療機器開発のはじめのターゲットとして，超音波的にそれ程複雑ではない部位（反射，屈折など）• MRgHIFUに代わる世界初のUS-CTgHIFUの開発

TSBMI*における低侵襲診断治療機器の開発との共同

乳腺疾患治療用次世代超音波治療機器の開発支援㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

超音波治療臨床試験• 安全性の検討

機器の設計• 超音波音場• US-CT• HMI• 焦点の制御性

超音波診断・治療計画

低侵襲超音波診断・治療システム

超音波治療機器による治療• 治療計画の検討

in vitro/in vivo実験• 超音波による治療域• 効率的な焼灼• 安全性の検討• 生体モデルの検証

治療の評価

 HIFU適用㻌㻌

次世代超音波治療器開発における㼆㼆㻙㻴㻵㻲㼁の役割㻌

14

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

107

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

大規模並列計算に適した
流体構造/膜連成手法 (ZZ-EFSI)
杉山 和靖
独立行政法人 理化学研究所 情報基盤センター
技術開発ユニット ユニットリーダー

発表者紹介2000 年 3 月 東京大学 大学院工学系研究科 機械工学専攻 博士課程 修了
2000 年 4 月～2001 年 3 月 東京大学 IML 研究員
2001 年 4 月～2005 年 3 月 独立行政法人 海上技術安全研究所 研究員
2005 年 4 月～2007 年 9 月 Twente University (オランダ) 研究員
2007 年 10 月～2008 年 3 月 東京大学 大学院工学系研究科 リサーチフェロー2008 年 4 月～2012 年 9 月 東京大学 大学院工学系研究科 特任准教授
2012 年 10 月～現在
理化学研究所 情報基盤センター
研究分野
流体力学，計算力学，生体力学

109

110

4並列

...

ノード毎の演算量を均一にしたい
Euler法が有効
反復の多い処理を避けたい
非圧縮性媒体を解析対象としても圧力Poisson式を解きたくない

16並列

和積演算量は多いほど良いが，差分は避けたい．

・パイプライン ・メモリアクセス量
・OpenMPに対する演算量(or 自動並列) ・SIMD

通信（ノード間の情報のやりとり）

1並列

・MPI

≒ 8・104 (ノード) × 8 (コア) × 8 (演算)× 2・109 (Hz)スカラー機・超大規模並列, 並列処理の階層性
1秒間に1京(1・1016 )回の演算

背景・「京」の性能を有効に活用したい3

1

伊井 仁志 (阪大・基礎工)，高木 周 (東大・工，理研)，松本 洋一郎(東大・工)理化学研究所 情報基盤センター 技術開発ユニット
杉山和靖

大規模並列計算に適した
流体構造/膜連成手法 (ZZ-EFSI)

2

・数値的に安定で陽的な時間積分．

動的パラメータを持つ擬似圧縮性法

4・ Sugiyama, Ii et al. (2011) J. Comput. Phys., 230, 596.
・ Ii, Gong et al. (2012) Comm. Comput. Phys., 12, 544.

・固定メッシュ上で，流体力学，構造力学 の式を離散化.

Euler型有限差分法

・大規模並列計算に適した流体構造/膜連成手法 (ZZ-EFSI) の開発．
・既存の手法のチューニングではなく，新たに，実装すべき式を定め，スキーム，アルゴリズムを作る．
（計算規模の拡張が容易で，実行効率の高い解析法を1から作る）

目的・方策(有限差分・固定格子)
Euler法に基づくシミュレーション

Voxel data (VOF; Volume Of Fluid)→ 多媒質幾何・材質

医療画像 (CT/MRI)

生体: 機械部品とは異なり，元々，設計図が存在せず

背景・医療画像と相性の良い流体構造解析を実現したい

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

c.f. 混相流のVOF法

1
0.5
0

s

111

十分に検証された計算結果を良く再現

7

・ Sugiyama, Ii et al. (2011)
J. Comput . Phys., 230, 596.

- - Zhao, Freund & Moser(2009, J. Comput. Phys. 227)
SMAC＋ Lagrangian for solid－ Present (ACM + full Eulerian)

キャビティ流れ中のneo-Hooke体粒子の運動

5・ Sugiyama, Ii et al. (2011) J. Comput . Phys., 230, 596.
・ Ii, Sugiyama et al. (2011) Int. J. Numer. Meth. Fluids, 65, 150.

左Cauchy-Green変形テンソル

固体体積率
固体の変形の記述は？

Solid

Fluid

計算の妥当性 (流体構造連成機能の実装)

物質点の相対位置の変化

境界適合メッシュ

Solid

Fluid

Euler法(空間的に固定した点で方程式を記述)

二相の区別は？

(物質点にのって方程式を記述)

Lagrange法

概要・アプローチ (Lagrange法 vs. Euler法)*N  p N    v*  0.

( p ).

Ma  2 3  (CFL number)

Es

十分に検証された計算結果を良く再現

Ca = 0.0125

Ca = 0.2

LB
LB

B L

D

● Eggleton et al.(1998) Phys. Fluids,10, 1834.
△ Pozrikidis (1995) J. Fluid Mech.,297, 123.

変形パラメータDの時間変化

・ Ii, Gong et al. (2012) Comm. Comput. Phys., 12, 544.
・ Ii, Sugiyama et al. (2012) J. Comput. Phys., 231, 2328.
・ Takagi, Sugiyama et al. (2012) J. Appl. Mech., 79, 010911. 8

せん断流中の膜カプセル
キャピラリ数 Ca   a

6

Ohwada & Asinari (2010) J. Comput. Phys. 229( t )

微圧縮性流体と見立てる,

パラメータ,  を動的に決定→ 擬似マッハ数の上界が解析的に:

v N 1  v*  ( t )p  p   p,
N 12  p

圧力発展式

p N  F( v* , v N , v N 1 ,...)

計算の妥当性 (流体膜連成機能の実装)

修正ステップ反復v* v N  ( t )  v
2 ( p )  ,tPoisson式

予測ステップ概要・アプローチ (SMAC法 vs. Present ACM)
Present ACM 反復計算なし
SMAC法 反復計算あり

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

112

スカラー機上のステンシル計算として極めて高い実効性能 & 線形拡張性

1ノード (8 コア)： 46.6%
82,944ノード (663,552 コア)： 42.7%

ノード当たり512x128x128格子点． 4.54Pflops

チャネル流れ内biconcave neo-Hooke体粒子

119・ Ii, Sugiyama et al. (2012) J. Biomech. Sci. Eng.,7, 72.

Gaehtgens et al.(1980) Blood Cells., 6, 799.
・管壁付近のcell free layer.
・スリッパ形状の赤血球．

並列性能@「京」 (実効性能と並列台数．weak scalability)• <u> ≈ 2 [mm/s]• 30 赤血球 (membrane), 10 血小板 (solid)(Ht ≈ 20 [%])

• Nx×Ny×Nz = 320×160×160, Δt=1.5 [s]• [0,44]×[0,22]×[0,22] [m], D=20 [m]

計算の妥当性 (赤血球「群」の振る舞い．実験観測との比較)
 s

エネルギ保存性を満足

I

 f

12

血小板の半径座標の時間変化

10チャネル流れ内biconcave neo-Hooke体粒子dK  v x ( P / L)   sGB : D    2  D : D   0.
 
dt  

計算例・大規模血流シミュレーション 血管径約100μm

Present ACM

SMAC＋FFT

計算の妥当性 (運動エネルギ輸送の収支)

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

113

狭窄部

13

15

GPIbα-vWF結合数の時間変化

血小板付着の様子，赤血球の影響

GPIbα-vWF・結合・切断 (反応速度, 確率)・伸縮力

マルチスケール・マルチフィジックス

血栓シミュレータの開発血小板血栓に至る過程を数値予測したい

14

16

血流とLigand-Receptor結合のマルチスケール/フィジックス解析
・血栓形成の第一段階における，赤血球の存在の重要性を示す．

血栓シミュレータへの応用・拡張・実効性能・線形拡張性の高い超大規模並列計算を可能に．

動的パラメータを持つ擬似圧縮性法
・ Ma  2 3  (CFL number).
・ 完全陽的な時間積分を実現．

Euler型流体・構造/膜連成解析法
・ 十分に検証された計算結果を再現．
・ 複雑な境界形状/多数の分散体を含む系の解析を容易に．

新たな方法論の確立

まとめ (ZZ-EFSI)

赤血球あり (Ht = 14%)

赤血球なし

血小板付着の様子，赤血球の影響

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会(2013.1.10-11)
ソフトウェア研究開発報告会 (2013.1.10-11)
ISLiM

UT-heart によるサルコメア力学から
心筋細胞構造を経て心拍動にいたる
マルチスケール解析鷲尾 巧
東京大学大学院 新領域創成科学研究科

発表者紹介1990 年 3 月 大阪大学理学部数学科修士課程修了
1991 年 4 月 日本電気(株)入社 コンピュータ技術本部にて HW 開発に従事
1993 年 4 月 同社 C&C 研究所にて高速計算アルゴリズムの研究開発に従事
2004 年 4 月 東京大学新領域創成科学研究科・（独）科学技術振興機構 CREST 研究員として心臓シミュレータの開発に従事
2009 年 4 月 同研究科 特任研究員として同シミュレータの開発を継続
研究分野
数値解析, 計算生物学

115

116

1

ISLiMソフトウェア研究開発報告会

 大規模な電気・化学・力学現象のマルチフィジックス問題を、流体構造連成解析などの有限要素法をベースとする最先端の科学計算手法により正面からシミュレートする。
 形ある細胞モデル（有限要素法により内部構造を再現した３次元数値細胞）を開発し、均質化法をベースにミクロ現象とマクロ現象をシームレスにつなぐマルチスケールシミュ
レーションを達成する。

• アプローチ

3

本シミュレータは、イオンチャネルや収縮タンパクの電気化学・力学現象を再現した心筋細胞有限要素モデル、並びに医療画像（ＣＴ）から精密に作られた全心臓有限要素モデルから成る。後者の各有限要素に前者の心筋細胞有限要素モデルを埋め込み、両者を独自に考案した非線形均質化アルゴリズムにより連成させることにより、細胞下のミクロ事象から心臓の拍動や血液の拍出などのマクロ事象を再現することを可能とする。
以上により、これまで推測の域を出なかったミクロ事象（例えばデスミンなど機能タンパクの異常）とマクロ事象（例えば拡張型心筋症、心肥大症など）の関係を合理的に解明し、従来にない観点から医学・医療に貢献することを目指す。

• 研究開発コードの概要

概要・アプローチ

ISLiMソフトウェア研究開発報告会

東京大学新領域創成科学研究科
特任研究員
鷲尾巧

UT-heartによるサルコメア力学から
心筋細胞構造を経て心拍動にいたる
マルチスケール解析•

2

ISLiMソフトウェア研究開発報告会

4

現時点の開発ソフトウェアについて– ミクロスケール（心筋細胞複合体）とマクロスケール（心室）のマルチスケール解析を均質化法により実現。
– 克服すべきであった問題点
均質化法における非圧縮性の取り扱い
分子モデルの確率的振る舞いと連続体モデルの有限要素解析とを結び付ける計算
手法の確立
– 解決策
非圧縮材料を扱うことのできる均質化法を開発
ミクロとマクロでエネルギー的に矛盾の生じないロバストな連成法を開発– 計算事例
問題サイズ： 5万自由度細胞モデル×63万細胞 （計：約315億自由度）
京のフルノードを使用し、正常な一心拍を再現

現在までの研究開発成果

ISLiMソフトウェア研究開発報告会

 近年発展の著しい分子生物学により次々と得られるミクロな知見をマクロな臨床医学へと合理的に接続し、医療へ貢献すると共に、新たな学術領域 [計算医学] を創出する。
 マクロな心機能を細胞下レベルの電気化学・力学的なミクロ事象からありのままに再現するマルチスケール・マルチフィジックス心臓シミュレータ UT-Heart を実現し、ミクロレベルの異常と心疾患の関係を合理的に解明し、医学・医療に貢献する。

• 目的 「ヒトゲノムプロジェクト」の完成を受けて生命科学の焦点は遺伝情報の解明からたんぱ
く質および高次の生命単位の機能の解明へと移行しつつある。
 「フィジオーム」とは、たんぱく質から細胞内小器官、細胞、組織を経て臓器、そして個体までの各階層に属する膨大な数の機能モジュール間の相互作用として表現される生命現象を計算機シミュレーションによってモデル論的に再現しようとする研究領域であり、ポストゲノムの医学・生物学の研究の中心課題のひとつとなっている。

• 背景

背景・目的

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

•ISLiMソフトウェア研究開発報告会

5

約束– 筋原線維サルコメア内のたんぱく質レベルの確率的運動、複合体としての細胞モデ
ル収縮運動、および臓器レベルの拍動運動の３つのスケールをシームレスに結び付けるシミュレーションを実現し、たんぱく質レベルの機能と臓器レベルの拍動性能の関連について新たな知見を得る。特に、心疾患の事例として肥大型心筋症を取り上げる。

プロジェクト終了時の達成目標

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)117脳神経系研究開発チーム成果報告

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

神経系の大規模シミュレーション
石井信

次世代計算科学研究開発プログラム
脳神経系研究開発チーム チームリーダ

発表者紹介1986 年 3 月
1988 年 3 月
1988 年 3 月
1997 年 3 月
1997 年 4 月
2001 年 4 月
2007 年 7 月
2008 年 10 月

東京大学工学部 卒業
東京大学大学院工学系研究科 修士課程 修了(株)リコー中央研究所 研究員
工学博士（東京大学）
奈良先端科学技術大学院大学情報科学研究科 助教授
同上 教授
京都大学大学院情報学研究科システム科学専攻 教授
理化学研究所次世代計算科学研究開発プログラム チームリーダ

研究分野
システム神経生物学、バイオインフォマティクス、統計的学習

121

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

神経系の大規模シミュレーション
石井 信
次世代計算科学研究開発プログラム
脳神経系研究開発チーム チームリーダ

1. 目的
脳神経系は、物質基盤の上に情報基盤を構築した点で特異な生命システムである。また、遺伝
子・分子から脳全体、個体集団に至る生命の階層の中で情報処理基盤が構築されるため、必然的に多階層をなす複雑システムである。脳神経系の情報処理は、二つの異なる時定数を持つ様式に大別される。第一は、ミリ秒から秒の時定数を持ち、外部からの入力刺激に基づき外部への働きかけ（運動）を実施する刺激運動変換過程であり、第二は、分から時、日といった長い時定数を持ち、環境に依存して、刺激運動変換自体を変化させる
適応（学習）過程である。前者は、神経回路レベ
ルでの電気生理学的な現象（神経発火）がメイン
プレーヤであり、後者は、神経発火のみならず神経細胞内のイオンや酵素、受容体などの分子がメ
インプレーヤとなる。脳神経系の情報処理は、常に脳をとりまく物理世界の時定数（すなわち実時間）において実現される。したがって、入力から出力までをつないだ刺激運動変換の実時間での再現、また、実環境において外的刺激にさらすことで適応過程を再現する必要がある。以上のこと
から、脳全体レベルでの入出力変換、およびその学習をシミュレーションのターゲットとし、そのための構成要素である神経細胞および神経回路の研究（神経細胞シミュレーション、神経回路シ
ミュレーション）を並行して実施している。前者について、200 億個を超える細胞からなるヒトの脳全体のシミュレーションは、「京」であっても困難であるので、対象を限るものとし、ほ乳類の視覚系と無脊椎動物（特に昆虫）の嗅覚系を対象として、入出力にわたる回路のシミュレーション研究を実施している（視覚系シミュレーション、
昆虫嗅覚系シミュレーション）。
2008 年 10 月に発足した脳神経系研究開発チー
ムでは、石井（京大、理研）が神経細胞シミュレーション、深井、Diesmann（理研）が神経回路シミュレーション、黒田（東大）、臼井（理研）、銅谷（沖縄科学技術大）が視覚系シミュレーショ
ン、神崎（東大）が昆虫嗅覚系シミュレーションを主担当することとして、7 PI 体制でスタートした。2010 年 4 月からは、神経細胞シミュレーシ

122

ョンに市川（東大医科研）を加えた 8 PI 体制になっている。また、Diesmann は 2011 年 9 月より
ドイツ Juelich Research Center に転出したため、現在は、国際協力体制で研究開発を行っている。

2. 現時点での成果
2.1 神経細胞シミュレーション
石井（京大、理研）：発達期の神経細胞における特徴的な局所構造の獲得や、軸索伸長などの動的な形態変化の理解を目指し、神経細胞形態形成シミ ュ レ ー シ ョ ン プ ラ ッ ト フ ォ ー ム
NeuroMorphoKit を開発してきた。細胞形態形成に関わるシグナル分子の反応拡散現象、細胞骨格の動態（主にアクチン系）、細胞膜の変形を含む
マルチフィジックスモデルにより汎用的な細胞形態変化のシミュレーションを実現し、これまでに、アクチン線維により駆動される葉状仮足の自己組織化、化学走性などを再現した(Nonaka, etal., Neural Networks, 2011)。NeuroMorphoKit の
高度化のため、大規模並列環境におけるパフォー
マンスチューニング、神経系への適用を可能にするためのシミュレーションモデルの拡張を行った。前者について、MPI による並列化アルゴリズ
ムの改善を推し進め、並列実行時に特にボトルネックとなっていた、重合・脱重合・分岐・切断・キャッピングなどアクチンキネティクスの確率シミュレーションにおける分子濃度情報の更新、および細胞膜の変形シミュレーションにおけるエネルギー計算で発生するルートノードへの通信量を大幅に削減した。これにより、京上での初期アクチン繊維数約 120 万本のシミュレーション
におけるストロングスケールは、従来のα=0.91(512)からα=0.99(8192)に改善した。後者について、力学的な曲げと結合タンパク質による結束を考慮したアクチンフィラメントのバネネッ
トワークモデル化、および膜モデルの三次元化を実施し、現在統合を進めている。これらのモデル
拡張により、三次元でのアクチンフィラメントの挙動を考慮したシミュレーションを行うことが可能となった。このことは、軸索伸長時に軸索先ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)端部に見られる特徴的な構造である成長円錐のシミュレーションなどにおいて特に重要である。
市川（東大医科研）：A-Cell は形態を有する神経細胞について、電気生理学反応と細胞内分子反応を同時に計算できるシミュレータである。これまでの A-Cell は細胞の形態変化に対応できなかったので、NeuroMorphoKit との間で形態変化、局所膜電位やコンパートメント内分子濃度などを共 有 で き る た め の デ ー タ 交 換 形 式
netCDF-neuron を規定しその基本動作を確認した。また、記憶形成を修飾する転写因子 NF-κBの振動について約 40 万コンパートメントを有する 3D モデルを構築(Ohshima, et al., PLoS ONE,2012)し、MPI 化された A-Cell によって 99.99%の並列化率を達成した。
2.2 神経回路シミュレーション
Diesmann（Juelich Research Center）：神経回路の京上での大規模シミュレーションを可能とする ソ フ ト ウ ェ ア 環 境 NEST(NEural Simulation
Tool)を開発してきた。NEST は主に点神経細胞（形態を有しない神経細胞）からなる回路のシミュレーションを得意としているが、形態のある細胞も対応可能である。神経の回路内情報伝達は神経発火による。発火ごとにそのイベント情報を全細胞に伝達するイベント駆動方式は、正確である
ものの効率が悪い。NEST では、時間軸を一定の間隔に区切り、その間隔内では予測に基づき細胞ごとに積分を行った上で、間隔内で発生した発火を全細胞に伝え、発火については時間をさかのぼって各細胞の積分の更新を行うという時間駆動型のアプローチをとることで、効率の良い計算を行っている。この際にカルマンフィルタなどの精度の良い予測法を用いることで精度を確保する(Plesser, et al., Neural Computation, 2009;
Hanuschkin, et al., Frontiers in Neuroinformatics,
2010)。神経回路シミュレーションの難しさは、原理的には全細胞間が接続し得るため、空間局所性など並列化できるてがかりが少ないことである。しかし、これまでに NEST は、京の上で、5×108個の細胞、3×1012 個のシナプスからなる、小型のほ乳類の脳全体に匹敵する巨大回路のシミュレ
ーションを実施した。24,576 ノード(196,608 コア)までの hybrid 並列実装による実行確認ができており、上記回路でのシミュレーションを行った
ところ、196,608 コアを用いて、1 秒の生物時間
を 1,544 秒でシミュレーションできている。各コ
アの 1 神経細胞あたりの計算速度で比較すると、
Juelich センターの Blue Gene P(JUGENE)よりも数倍程度高速である。このような、また、さらに規模を拡大した回路シミュレーションを行うため、新たにデータ構造の見直しを行い、効率的なメモリ利用を実現した（Helias, et al., Frontiers in
Neuroinformatics, 2012）。NEST が目指すのは、大型のほ乳類の脳全体レベルとなる大規模回路のシミュレーションである。現在、京の全ノードが使用できれば、109 個の細胞からなる大規模回路のシミュレーションをテストできるまで開発が進んでいる。今のところ京の利用機会が得られていないが、今後機会を得て、世界最大規模の回路シミュレーションを行い、ボトルネックとなる可能性のあるコミュニケーション性能や回路規模についての性能評価を行うことを目標としている。また、NEST において部位局所的に遅い時定数で作用する神経修飾物質の効果を取り入れ、
ドーパミンによる時間差分学習が可能であることを示した(Potjans, et al., PLoS Computational
Biology, 2011)。
深井（理研）：大脳新皮質で見られる特徴的な階層構造が神経活動とどのような関係を持つのか、
いかなる情報処理を実現しているかを明らかにすることを目指して、神経回路シミュレーションの研究を行っている。視覚野では、外界から得られる膨大な視覚情報から、視野内にある注目すべき情報に焦点を当て、それを重点的に処理している（視覚的注意）。電気生理学的・解剖学的知見に基づく詳細なネットワークを持つ視覚皮質の層 構 造 局 所 回 路 モ デ ル を NEST に よ り 構 築(Potjans and Diesmann, Cerebral Cortex, 2012)
し、視覚的注意が視覚皮質層の動態に与える影響
をシミュレーションにより検討した。Bottom-up
的な視覚情報と Top-down 的な注意入力が局所回路内で作用しあうことを示し、視覚的注意が皮質層の視覚処理に果たす役割を予測した(Wagatsuma, et al., Frontiers in Computational
Neuroscience, 2011)。また、局所回路の数を増やし、視覚野内の局所領域をより忠実に再現するシ
ミュレーションを行った結果、空間的注意と特徴に基づく注意による、神経細胞応答の変調効果が、定性的かつ定量的に良く説明されることがわかった。
2.3 視覚系シミュレーション
黒田（東大）：これまでに、大脳皮質の錐体細胞を対象として、カルシウムシグナル関連分子を含む詳細学習(Spike Timing Dependent Plasticity;STDP)モデルを構築、また、カルシウムの上下流の分子を中心とした簡素化モデルを構築、それを用いて、オタマジャクシの視蓋における方向選択
性機構の獲得をシミュレーションにより明らか

123

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)にした(Honda, et al., Journal of Neuroscience,2011)。この簡易 STDP モデルを NEST のプラグインとして実装し、京上で動くようにした。さらに、STDP の制御モデルとしての再モデル化を行
い、このモデルにより、カルシウムダイナミクスとリン酸化ダイナミクスの異なる役割が明白となった。

ーロンの回路モデルとして実装した。網膜入力に基づきサッカード眼球運動が誘発される際に、上丘回路の各層では特徴的な時空間パターンが形成される。例えば、サルの神経生理学実験によれ
ば、上丘の出力を与える中間層のバースト細胞は、
ベル型の発火パターンを持ち、深層では活動の時
空間的な拡張が生じることが分かっているが、シミュレーションはこれらを良く再現し、その新た
臼井（理研）：ヒトの視覚系は、眼光学系、網膜、な機能的な意味付けを与えた。また、上丘により視覚皮質、脳幹(眼球運動駆動部)などで構成され駆動される眼球運動は、サッカード角度に対してる多階層複雑系であり、その機能の理解には、構ピーク速度は特徴的な非線形カーブを描くが、こ成要素のモデル化とともに、それらを統合した大規模シミュレーションが必要である。これまでに、 の性質もシミュレーションにより良く再現できた。シミュレータは現在 RICC 上で並列動作して計算機環境に依存せずモデルの構築や統合が可いるが、今後京上で動作確認を行う。また、視覚能なモデル開発共有プラットフォーム環境
運動系を中心とした閉回路シミュレーションを(PLATO)の開発(Kannon, et al., Neural Networks,
実施した。このシミュレーションは ATR（京都）2011)を進め、また、モデル結合に用いる共有デに置かれたロボット頭部、RICC（和光）上の上ータフォーマットならびにその利用支援ライブ
丘シミュレータ、それらをネットワークでつなぐ
ラリを RICC ならびに京上で MPI 動作可能なよう
クラスタモジュール(MUSIC を用いて実装)からに実装を進めた。視覚系を構成する各構成要素モなる。ロボットの眼球にあたるカメラ画像から特デルの状況は以下のようである。(1) 眼球運動系
徴 点を抽 出し、 その入力 に対す る上丘 モデ ル
は、コンダクタンスベースの細胞モデルとして記(RICC の 256 並列で動作)の回路動作に基づき、述し、物体注視時に生じる微小眼球運動ならびにロボットカメラが特徴点位置に跳躍眼球運動を視野上の物体を反射的に捉える急速眼球運動の実行する。システム全体の遅れ時間は 120ms で生 成 を 可 能 と し た (Inagaki, et al., Neural
あるが、これは主にネットワークの遅れによる。
Networks, 2011; 京上で 30 並列を実現)。(2) 眼光
学系は、眼球形状の特性、瞳孔系の特性などの知見を追加して構築を進め、1000x1000 の網膜像の2.4 昆虫嗅覚系シミュレーション生成を可能とした(400 並列を実現)。(3) 網膜は、神崎（東大）： モデル生物であるカイコガを対視細胞、水平細胞、双極細胞、ならびに神経節細象に 105 程度の神経細胞からなる脳全体レベルの胞から構成されている。視細胞について、約 3600
嗅覚情報処理、すなわち、脳における入力（匂い万個の細胞から構成されるモデルの構築を行い、受容）から出力（匂い源探索行動）までの情報処
それらのうち 150 万個の錐体細胞からなる Cone
理のシミュレーションを目指している。これまで
Mosaic と呼ばれる L 型、M 型、S 型の視細胞配の成果は以下のようである。(1) カイコガ神経デ
置による応答を再現し、1,504 並列での動作(ストータベース（BoND）の整備を進め、約 1,600 個
ロングスケールα=0.89)を確認した。 双極細胞層のカイコガの脳内神経の三次元形態・生理データ
および神経節細胞層は、それぞれ 150 万個、40を収集、解析などに利用可能にした（Kazawa et al.
万個の細胞から構成されるモデルを構築し、それ
2008）。(2) 嗅覚系一次中枢である触角葉（哺乳ぞれの細胞応答を再現するとともに 1,024 並列で類脳の嗅球に対応）、および匂い源探索の運動パの動作を確認した． また、これまでに開発したターンを生成する前運動中枢である側副
共有データフォーマットならびにその利用支援
葉 (LAL-VPC)において，各領域また各領域を連結ライブラリ PLATONIC を用いて、眼球運動モデル、する神経細胞について細胞レベルで構造と機能
眼光学モデル、網膜視細胞モデル(Cone Mosaic)のデータを解析した(Namiki and Kanzaki 2008,
ならびに双極細胞層・神経節細胞層モデルの統合
Kazawa et al. 2009, Iwano et al. 2010, Namikiを進め、自然画像、錯視画像を用いたシミュレー
and Kanzaki 2011)。側副葉においては、持続的なションを RICC ならびに京上で並列実施すること
ステアリング信号を出力する側副葉からの出力に成功した。
である下降性神経が側副葉の特定の領域に分枝
銅谷（沖縄科学技術大、京大、理研）：視覚系の出力を司る眼球運動系、すなわち、網膜－上丘－
眼球運動制御系のモデルを NEST 上に実装した。
特に上丘は多階層から成るスパインキングニュ

124

していること、側副葉の入力細胞の嗅覚応答が一過的であること、また側副葉は両側の触角情報を統合すること、さらには、行動指令信号の長期的応答が側副葉で生成されること等を明らかにしISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

た。(3) 脳から胸部運動系に下降する神経細胞を選択的にラベルし，選別したニューロンをスライ
ドガラス上に展開し培養することで、電位依存性の電流を計測する手法を確立した。同時に触角葉や側副葉を構成する神経細胞の電位や電流クランプ実験を進め、触角葉から上位中枢への出力神
経や側副葉神経細胞のスパイク発火の特性情報を得た。(4) 側副葉を構成する神経細胞の膜電位
データと形態データから、側副葉の神経回路を構成する両極性神経（BLN）や局所介在神経（LN）
をさらに分類し (Iwano et al. 2010)、神経細胞の平均応答波形を作成した。この平均応答を作り出す側副葉神経回路のシナプス結合強度の推定を行い、BLN が抑制性であるという条件下では一意に近い解を得た（Yamagishi et al. 2012）。現在この結果を基に、側副葉回路モデルを構築中である。
(5) 多数の脳の形状に対して一種の平均操作を加えることで、カイコガの「標準脳」を作成した。
神経細胞をこの標準脳座標系に 10μm 以下の誤差でマッピングするプロコトルを確立した(Ikeno et al. 2012) 。(6) 神経細胞の三次元形態か
ら神経形態を抽出する技術を試行し (Nakajima
et al. 2008, 2009) 、神経細胞の形態を効率よく取得 す る ソ フ ト ウ ェ ア を 開 発 し た (Ikeno et al.
2012)。(7) 神経細胞プラットホームシミュレータ
である NEURON を京に移植し、チューニングを行い、単体性能で 1.54GFLOPS/core を達成した。
これは 10,000 コンパートメントの神経細胞を 32
コア並列でシミュレーションした際にリアルタ
イム実行するのに必要な速度であり、シミュレー
ション時のコンパートメント数を節減すればリ
アルタイムシミュレーションが可能である。さらにシナプス間の通信をノード配置最適化したポ
イント間通信に改良することによって通信コス
トを 2 倍程度以上に改良した。現在は 196,608 コ
アの並列実行で 187TFLOPS の計算性能を達成して い る 。 (8) 実 数 値 遺 伝 的 ア ル ゴ リ ズ
ム (RCGA) を用いて、単一細胞の膜特性を推定するソフトウェアを作成した。現在までに、13万コア未満の並列実行について良好な並列性能を得た。このプログラムを触角葉出力神経に適用し､入力信号（電流注入）として適当な正弦＋三角波を入力することで早い収束が得られることを示した。
2.5 学術的成果とアウトリーチ
本研究に関わる国際学術専門雑誌掲載論文の数は、2008 年（10 月から 12 月）は 5 件、2009
年は 10 件、2010 年は 9 件、2011 年は 24 件、2012
年は 22 件と順調である。その一部は、Nature Cell
Biology, Molecular Systems Biology, Nature

Neuroscience, Neuron, Journal of Neuroscience,
PNAS など分野を代表する一流雑誌に掲載された。
これらはシステム生物学研究、大規模データ解析などによるもの（いわゆる計算神経科学に関するもの）であり、スパコン利用を前提としたものとは限らないが、本プロジェクトに関わるメンバーの学術活動のレベルの高さを示している。京による シミュ レーシ ョンが含 まれる ものと して 、Helias, M., et al. Supercomputers ready for use
as discovery machines for neuroscience.
Frontiers in Neuroinformatics, 6:26 (2012) が誌上発表され、また、国際会議 SC12 においても、
Miyamoto, D. et al. Neural circuit simulation of
Hodgkin-Huxley type neurons toward peta scalecomputers が発表された。また、プロジェクト期
間内で、関係研究者および学生の受賞は、稲垣のCNS2011 poster award など 16 件、メディアに取り上げられたのは、NHK サイエンスゼロ（神崎グ
ループ、2009 年 9 月 19 日）、NHK スペシャル（石井、2012 年 6 月 3 日）を含め 30 件である。このように、研究活動およびアウトリーチ活動は良好である。

3. プロジェクト終了時の達成目標
3.1 神経細胞シミュレーション
神経細胞におけるマルチフィジックス（骨格系、細胞膜、細胞内分子の反応拡散）を統合的にシミュレーションするためのプラットフォーム
NeuroMorphoKit により、神経伸長の方向決定性に関するフィラメントベースの三次元シミュレーションを実行する。京上での 10,000 コア並列を目標とする。並行して、膜電位および分子の反応拡散の計算を可能とし、可視化など各種インターフェースを備える A-Cell の MPI 化を進め、NeuroMorphKit との動作統合のためのデータ交換法を開発する。
3.2 神経回路シミュレーション
NEST のコミュニケーションボトルネックについてアルゴリズムの改良をさらに進め、京上での実行時間が確保されれば、世界最高水準となる、
109 個の細胞、1013 個程度のシナプスからなる回
路シミュレーションを行うことで、小型の霊長類の 脳全体 レベル の回路動 態の再 現を目 指す 。
NEST による複数カラムモデルシミュレーションを実施し、特徴注意と空間注意の違いの説明を試みる。また、電気シナプスを考慮した並列計算技術を NEST に実装し、既存のシミュレータの技術的な困難を排除することで、より現実的な局所回路モデルの高速シミュレーションを可能にする。

125

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

3.3 視覚系シミュレーション
視覚系の入力部に相当する眼光学－初期視覚系に関する統合シミュレーション環境 VSM に対して、脳の情報処理の実時間性を考慮した並列化を進め、RICC 上で高並列実行するとともに、FX（京）上でのチューニングを進める。FX 上では2000 コア並列以上を目指す。また、VSM を用いて、錯視現象のモデルに基づく機構解明を目指す。
網膜モデル、上丘モデル、眼球運動モデル、視覚空間モデルを MUSIC により結合した視覚系の入出力閉回路シミュレーションを、FX 上で、実時間と同程度の時間で動作させる。
3.4 昆虫嗅覚系シミュレーション
詳細な生物学実験に基づいた昆虫の嗅覚系神経回路および細胞に関するデータベースと、それに基づいて形態抽出や標準脳マッピングを行う
ことでシミュレーションにつなげるシミュレー
タ IOSSIM の開発を完了する。京上の 80,000 ノード実行で 1 ペタに近い実効性能の達成を目指す。
神経回路レベル・単一細胞レベルの生物的パラメータ探索とその評価を行う。匂い情報入力から匂い 源探索 行動の 行動指令 を生成 する中 枢回 路
(LAL-VPC)のシミュレーションを、京上で高並列実施する。大規模マルチコンパートメントモデル
については、京上で 2～3 万コア並列程度により
LAL-VPC 神経回路の特性の時間計算を達成する。
実時間動作させた昆虫脳シミュレーションを移動ロボットとリアルタイムで通信させる。
3.5 将来に向けて
脳神経系研究開発チームの研究は、長期的には、脳神経系における発達障害の機序の解明、最適な学習（教育）過程の設計、脳を模した知的情報処
理デバイスの開発などの社会・産業応用、また、ブレインマシンインターフェースの高精細化などの医療応用に貢献することを目指している。欧米では、脳神経系シミュレーション研究はこれまでスパコン開発と足並みを揃えて発展しており、Blue Gene/Q のターゲットの一つは神経回路シミ
ュ レーシ ョンと されてい る。ま た、欧 州で はHuman Brain Project というメガサイエンスの動きがあるが、ここでもスパコン開発が重要となっている。われわれは、次世代の Exa スケール計算機と NEST の拡張により、ヒトの脳全体レベルの回路シミュレーションが可能と考えているが、そのためには脳のマクロ、ミクロのレベルでの回路パラメータを調べる基礎研究も重要である。また、大脳皮質の運動などの機能の理解には、複雑な形

126

態を持つ細胞からなる大規模回路の超高並列シ
ミュレーションが必要となる。後者について、
ISLiM プロジェクトでは回路（通信）を得意とす
る NEST と、精緻な細胞を得意とする NEURONの両者について、京上でチューニングを行ってきたので、今後はそれらを統合することのできるソ
フトウェアの開発も必要であると思われる。
なお、京上の性能に関しては京速コンピュータ
京の試験利用および特別運用による。RICC 上の性能に関しては理化学研究所情報基盤センターの PC クラスタ RICC による。京上の実装については ISLiM 高度化チームの強力なサポートも得た。
関係各位に感謝申し上げる。

127

NEST-CMDN

Markus Diesmann

Tomoki Fukai

NeuroMorphoKit-A-Cell

Kazuhisa Ichikawa

Shin Ishii

神経細胞・局所回路シミュレーション

ロボット応用ロボット応用
視覚入力系

視覚出力系

IOSSIM-NEURON-K+

Ryohei Kanzaki

VSM (SC-Retina-STDP)

1

3

医療応用

Shinya Kuroda 視覚学習系

Shiro Usui

Kenji Doya

脳全体レベルシミュレーション

脳神経系チームの構成㻌

京都大学㻌大学院情報学研究科㻌
理化学研究所㻌次世代計算科学研究開発プログラム㻌
石井㻌信㻌

脳神経系研究開発チームの成果㻌

神経系の大規模シミュレーション㻌②分、時間という時間スケールで学習・脳神経系の実際の入出力関係を再現するシミュレーション

昆虫脳（約10,000ニューロン）全網膜（約1,000,000ニューロン）②脳全体レベルでの情報処理機構の解明「無脊椎動物嗅覚系とほ乳類視覚系」

アクチンフィラメント

分岐 (Arp2/3)

リンカータンパク質(Fascin)

フィラメントの力学的曲げ・結束の導入★基礎モデルの拡張

データの分散と集団通信の利用による
アクチンキネティクス計算のボトルネック解消

㻟㻰㻌㻹㼑㼙㼎㼞㼍㼚㼑㻌㼞㼑㼜㼞㼑㼟㼑㼚㼠㼍㼠㼕㼛㼚

膜モデルの三次元化2㻭㼏㼠㼕㼚㻌㼒㼕㼘㼍㼙㼚㼑㼠㻭㼏㼠㼕㼚㻌㼒㼕㼘㼍㼙㼑㼚㼠

4 17�㼏㼑㼘㼘㼡㼘㼍㼞㻌㼟㼡㼞㼒㼍㼏㼑㻹㼑㼙㼎㼞㼍㼚㼑㻌㼚㼛㼐㼑

2. 大規模並列環境（京8192並列、RICC 4096並列）での動作を実現

1. 120万アクチンフィラメ
ント、二次元200x200コン
パートメント、膜ノード数
100規模の細胞形態変化
シミュレーションを実現

Nonaka, Honda, Ishii, Neural Networks,
24(9), 2011

p=99.9944 (8192 cores)

京での性能評価★京上での並列実装のパフォーマンスチューニング

★神経細胞の形態（アクチン系）のためのマルチフィジックスシミュレータ

神経形態形成シミュレーション(NeuroMorphoKit)

局所回路①脳神経系の基本的な情報処理単位の役割解明「神経細胞と局所神経回路」

次世代スパコンによる脳神経系シミュレーションの具体的なターゲット

・実際の脳の複雑度を再現できるリアルな局所回路のシミュレーション

・仮想的に設定した入出力について脳神経系の動態を再現

次世代スーパーコンピュータでは・スケールを小さくした局所回路のシミュレーション

今まで

次世代スーパーコンピュータで脳神経系のリアルなシミュレーションが初めて可能に①秒以下の時間スケールで情報を処理

脳神経系にとって最も重要な機能は、情報処理（知覚処理）と学習（適応）である

脳神経系シミュレーションで解明すべき生命機能

脳神経系チームの目標㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

128

MPI parallelization of A-Cell>99.99%（Ohshima, D., et al., PLoS ONE, 2012、e46911）

図3(4) Next milestone: Nmax=109• theory of memory usage• possible with present code’s
memory consumption on fullmachine size of K (end of red
broken line)
7(3) production network 5∙108• 1 second biological time
• 196608 cores• 26 minute simulation time

characterization of stationary state (rates, irregularity)
comparison of low-frequency EEG and LFP to experiments

capability to simulate full scale model of a functional unit at microscopic resolution•

Thomson et al. 02

電気生理実験データ

Wagatsuma, Potjans, Diesmann and Fukai (2011) Front Comput Neurosci

6

10
0

30
20

を発見（シータ波−ガンマ波の結合
波）

40

50

60

0

10

20

30

40

50

60

シミュレーション

McAdams & Maunsell, 1999;(Martinez-Trujillo & Treue, 2004;
Ling, Liu & Carrasco, 2009

実験

Layer 5Layer 53）空間注意（上）と特徴注意（下）の８カラムモデル●大脳皮質回路と海馬(Colgin et al.,Nature 2009) の計算原理の共通性

4）局所回路モデルのためのデータ解析

Binzegger et al. 04

解剖実験データ

Potjans and Diesmann and Fukai (2012) Cereb Cortex

2）それを用いた視覚的注意の２カラムモデル

1）層構造をもつ視覚野局所回路の構築

回路シミュレーション による 㻌
大脳皮質情報処理の解明 (C MD N )assessment of capability to simulate full scale brain model• Step 3: full human brain simulation•• Step 2: models with closed functional circuits••

by Potjans and Diesmann5random network of
108 neurons and1012 synapses
achieved on K on
15. Sep. 2012technicallyachieved on K on
28. Aug 2011

• Step 1: investigation of reduced visual cortex model now possible on K

Expected results:

1012

max 1011 max 1015

spatially
108
organized at
micro scale(2) Memory improvements• storage of neurons and synapses
with heterogeneous plasticity rules
employing sparse representations• enables efficient distribution on
M≥100k cores

NESTの京上での性能

より現実的な細胞形態やオルガネラの影響を明らかにし、かつ並列化率のさらなる向上を図る。

reduced primate
visual cortex
respecting relative
size of areas (32)2

3·1010

Neurons Synapses Status Dec 2012

3·106
random at
micro andmacro scale

Network
type

human brain model spatially(approx. 100 areas) organized

reduced primate
visual cortex(32 areas, each 1
local microcircuit)1

3

Description

Step

guided by neuroscientific goal to combine microscopic and macroscopic structure

80,000 LIF-neurons

–

図2

図1

核/細胞質体積比、拡散定数、核膜輸送量、IkB翻訳場所の各空間パラメータすべてが振動パターンに影響した（図3）。

核周辺の空間パラメータを明らかにするため、神経細胞の細胞体を模した球形細胞で検討（コンパートメント数：約400,000、図2）。
IKK活性化→IkB分解→NF-kB活性化→ NF-kB核内移行㻌 㻌 㻌 㻌 →IkB産生→ NF-kB核外移行をモデル化（図2）。
A-Cell高速化のためにこれまでのMPIバージョンを改良。
かつモデル非依存的なMPI高速化を実施。

NF-kBはCNSに発現しており、活性化がシナプスや樹状突起で進行。
GultamateでNF-kBが活性化され、また細胞内Ca2+濃度上昇はその活性化に十分。
NF-kBの活性化は細胞接着タンパク質、NOS、BDNF、CamKIIdの遺伝子が発現。
NF-kB欠損マウスでは放射迷路学習に異常（図1）。
核内NF-kBが振動することが知られるが、これまで3Dシミュレーションは存在しなかった。
そこで空間パラメータの影響を調べるためにA-Cellによる3Dシミュレーションを行う。

今後の展開

–

–

結果

–
–

–

–

方法

–
–
–
–
–

背景と目的

(1) Runtime improvements• speedup α = 0.59 @ 65536 cores(strong scaling)• hybrid MPI + OpenMP code(simulation and wiring)• achieved phase VI on K

•

•

•

•

局所回路シミュレータ(NEST)

発火率（Hz)

A-Cellによる転写因子NF-kBシミュレーションの高速化

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)129Cone mosaic

Response of BC-GC

各視覚系サブモデルの出力(応答)Retinal image

Large scale model

We should share・data format
・source code
・I/O data
・parameters・hardware

Sub-model (parts)

全視覚系モデルシミュレーションによる包括的な視覚機能解析

integrate

統合

全視覚系モデルの構築

統合

Bilateral Neuron

Local Interneuron

カイコガの脳。約10万個のニューロンからなり、約1万個が嗅覚系に関与する。

分析（実験）

脳内への嗅覚入力から行動出力までの経路

1 mm

単一ニューロンから神経ネットワークの再構築

統合（モデル化）

神経ネットワーク活動のシミュレーション

単一ニューロン活動のシミュレーション

シミュレーション

目標：モデル生物であるカイコガの脳を対象とし、嗅覚入力から行動出力に至る神経ネット
ワークをニューロンレベルの詳細モデルとして構築し、実験と比較しながら脳機能を予測し、理解するためのシミュレーションをおこなう

無脊椎動物嗅覚系シミュレーション㻔㻵㻻㻿㻿㻵㻹㻕㻌

PLATOによるモデル統合例(視覚系)

全視覚系モデルは、それを構成する各部位の詳細モデルの統合による構築を目指すことから、それに必要なプログラム言語に依存しないモデル統合環境(PLATO)を構築
㻝．㻌大規模視覚系モデルは、視覚系を構成するサブシステム
モデルを㻼㻸㻭㼀㻻上で統合して構築㻌㻞．㻌統合は、㻹㻼㻵㻛㼚㼑㼠㻯㻰㻲の共有フォーマットにより実現㻌㻟．㻌統合したモデルは㻭㼓㼑㼚㼠により、入出力などの管理のもとに実行される。㻌

視覚系シミュレーションのための共有プラットフォーム

言語やシステムによらないモデル統合ライブラリと実行Agent

モデル統合環境の構築(PLATO)

視覚系を構成する各サブシステムレベルでの視覚機能解析

視覚系サブモデルの構築

全視覚系シミュレーション(VSM)

視覚刺激により駆動されるサッカードのシミュレーションを、RICCとATR（京都）にあるヒューマノイドロボットを接続して実施

眼球運動について行動レベル、神経活動レベルで性質の再現に成功（論文 in revision）

電位依存性イオンチャネルのコンダクタンス

マルチコンパートメントモデル等価回路方程式

マルチコンパートメントモデル

細胞膜情報推定

京上のチューニング㻵㻻㻿㻿㻵㻹シミュレータの構築㻌

行動：サッカードの角度に対して、速度ピークは非線形となり（右）、運動時間は線形となる（左）現象を再現

上丘内神経細胞の活動

NET

Network performance

ロボットを用いた閉ループシミュレーション

網膜－上丘－眼球運動制御ループのスパイキングニューロンモデ
ルをNEST上で実装

神経活動：サルのバースト細胞の活動（右）をモ
デルは良く再現できる（左）

•

•

•

眼球運動系㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)8192

1966081504

1966084096

8000

2460 (wholesystem 1024)

8192

神経細胞
シミュレーション
NeuroMorphoKit

局所回路
シミュレーション
NEST

全視覚系
シミュレーション
VSM

昆虫嗅覚系
シミュレーションIOSSIM130– 細胞外シグナルを情報処理㻌
– 骨格系を制御㻌

細胞膜直下に多く存在

アクチンフィラメント

Cdc42-FRET imaging in fibroblastby Matsuda lab

Song, et. al., Nat Cell Biol, 2001

13

コンパートメント数104
細胞数8×105

視細胞（錐体）数
1.5×106

細胞数5×108
シナプス数
3×1012アクチン線維数1.2×106

Gerisch, et. al, Biophys J, 2004

アクチン重合阻害剤

15by Dr. Kaoru Katoh

Growth cone at axonal tip

 細胞骨格の再編に依存して、柔軟に変化㻌
 細胞内化学反応の境界条件㻌

㻌

各要素を統合してシミュレーションする必要がある

中心体から放射状に存在

微小管– アクチンフィラメント・微小管㻌
– 機械的に膜を支持㻌㻌㻌0.83(196603)
Hybrid

0.89 (RICC
1024)
MPI

0.59(65536)
Hybrid

0.994(8192)
Hybrid京上のストロン ソフトウェアの最グスケール（測 大スケール
定コア数）

細胞の形態形成におけるマルチフィジックス㻌
～シグナル伝達㻛骨格㻛膜～㻌

京上の達成並列（コア）数RICC上の達成
並列（コア）数

ソフトウェアの達成状況

㻾㼡㼚㼓㼑㻙㻷㼡㼠㼠㼍法㻌

•細胞膜は膜ノードを頂点としたポリゴンで表現、エネルギー最適化
により形態を求める。㻌

•最急降下法㻌

アクチンフィラメントは線分で表現、コンパートメントに存在する各種
分子の濃度に応じて確率的に重合・脱重合、キャッピング、分岐を含むイベントを生成する。㻌

•

5

2

4

2

11

5

2012~

膜エネルギー最適化、アクチン
フィラメントのキネティクス計算㻻㼜㼑㼚㻹㻼㻘㻌㻹㻼㻵によるハイブリッ
ド並列化㻌

•

•

㻹㻼㻵㻘㻌㻻㼜㼑㼚㻹㻼㻘㻌㻳㻿㻸㻘㻌㻺㼑㼠㻯㻰㻲㻌㻯㻛㻯㻗㻗㻌

16

アクチンフィラメント弾性、表面張力、
体積弾性、表面積弾性に関するエネル
ギーの最小化

細胞膜ノード

アクチン繊維の更新

重合脱重合、キャッピング、
分岐による

重合脱重合、キャッピング、
分岐を含む

拡散 および 反応

計算内容㻌

㻺㼑㼡㼞㼛㻹㼛㼞㼜㼔㼛㻷㼕㼠㻌の概要・アプローチ㻌
細胞内シグナル伝達は、二次元格子化された空間で化学反応拡
散計算を行う。㻌

•

1

0

8

9

2011

Helias, et al. (2012). Frontiers in Neuroinformatics, 6(26).
Nishiyama, et al. (2011). Nature Cell Biology, 13(6).
Linden, et al. (2011). Neuron, doi:10.1016/j.neuron.2011.11.006.
Honda, et al. (2011). Journal of Neuroscience, 31(4).
Fujii, et al. (2011). Proceedings of National Academy of Science USA, 108(44).
Toriyama, et al. (2010). Molecular Systems Biology, 6(394).
Isomura, et al. (2009). Nature Neuroscience, 12.
14

•

•

3

3

論文掲載ハイライト

昆虫嗅覚系
シミュレーション

0

0

4

0

局所回路
シミュレーション
全視覚系
シミュレーション

2

3
6

2010

2008(OCT~) 2009
2

神経細胞
シミュレーション

国際学術専門雑誌掲載論文（予定を含む）件数

学術的成果

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

processing� me�(sec)

131

0.1�

1�

10�

100�

32�

Ideses et al., PLoS ONE, 2008

512�

プロセス数

128�

2048�

8192�

2048�

8192�

x20�fasterx600�faster：Original�：Improved

17

Question
How does the growth cone produce filopodia?

Actin
Microtubule

19

Question
How is the filopodia-like structure self-organizedby minimum components?

Filopodia-like structure appears in a membrane-free environment
only with actin, Arp2/3 and fascin.

in vitro reconstruction of filopodia

Dehmelt et al., 2004

512�

プロセス数

128�

Membrane�energy�op miza on�

32�

)LORSRGLDIRUPDWLRQ

8�

8�

1000�

0.01�

0.1�

1�

10�

100�

F-ac n�kine cs�

Filopodia in the growth cone

processing� me�(sec)

1000�

8�

32�

㻡㻣㻞
㻜㻚㻥㻟㻣㻡㻟
㻜㻚㻥㻥㻣㻞㻥
㻜㻚㻥㻟㻢㻝㻣

㻻㼞㼕㼓㼕㼚㼍㼘

8�

512�

Simulation

Simulation

プロセス数

128�

n
ʻ etworksʼ

32�

2048�

Improved
改良後：Total�：�F-ac n�kine cs�
：Membrane�：Reac on�diffusion�Experiment in vitronʻ etworksʼ

0.01�

0.1�

1�

10�

100�

1000�

㻤㻝㻥㻞
㻜㻚㻥㻥㻠㻠
㻜㻚㻥㻥㻥㻢㻝
㻜㻚㻥㻥㻥㻥㻢

㻵㼙㼜㼞㼛㼢㼑㼐

8192�

Ideses et al., PLoS ONE, 2008k_branch = 0.5
k_fascin = 5

2048�

Original
改良前�

512�

プロセス数

128�

㻌

㻾㼑㼟㼡㼘㼠㼟㻌㻔㻞㻕㻌㻻㼢㼑㼞㼍㼘㼘㻌㼜㼑㼞㼒㼛㼞㼙㼍㼚㼏㼑㻌

Our model successfully generated
various types of filamentous structures.

Simulation

0.01�

0.1�

1�

10�

100�

1000�

㻹㼍㼤㼕㼙㼡㼙㻌㻏㻌㼛㼒㻌㼏㼛㼞㼑㼟㻌㼛㼚㻌㻷㻼㼍㼞㼍㼘㼘㼑㼘㼕㼦㼍㼠㼕㼛㼚㻌㻔㼀㼛㼠㼍㼘㻕㻼㼍㼞㼍㼘㼘㼑㼘㼕㼦㼍㼠㼕㼛㼚㻌㻔㻹㼑㼙㼎㼞㼍㼚㼑㻕㻼㼍㼞㼍㼘㼘㼑㼘㼕㼦㼍㼠㼕㼛㼚㻌㻔㻭㼏㼠㼕㼚㻕# of initial F-actin filaments: 1.22 millionΔt㻌：㻌 0.5 (ms)processing� me(sec)㻾㼑㼟㼡㼘㼠㼟㻌㻔㻝㻕㻌processng� me(sec)# of initial F-actin filaments: 1.22 millionΔt㻌：㻌 0.5 (ms)

20

18

8192�

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会 (2013.1.10-11)(2013.1.10-11)
ISLiM

NEST による局所回路シミュレーション
五十嵐潤

次世代計算科学研究開発プログラム
脳神経系研究開発チーム 特別研究員

発表者紹介2007 年 3 月 九州工業大学 生命体工学研究科 脳情報専攻 博士課程修了
2007 年 4 月 九州工業大学 生命体工学研究科 脳情報専攻 研究員
2008 年 7 月 ホンダ・リサーチ・インスティチュート・ジャパン 客員研究員
2009 年 4 月 次世代計算科学研究開発プログラム 特別研究員

研究分野
計算論的神経科学、大規模神経回路シミュレーション、神経科学

133

134

0

1

ISLiMソフトウェア研究開発報告会

 共通のプラットフォームの必要性 脳のモデルは非常に複雑で、作成、デバッグには大きな労力
 他者によって発表されたモデルの再現は容易ではない
3

 異なるスケールでは、メモリ消費占有する部分が、ソフトウェアの異なる構成部分になる

Meeting the memory challenges of brain-scale network simulation. Front
Neuroinform 5:35

 多数の研究室との共同研究 (2001年～）
 国際的な高等課程おける教育 沖縄計算論的神経科学コース
 Advanced Course in Computational Neuroscience ACCN, ヨーロッパ
ISLiMソフトウェア研究開発報告会

2

4

GPLの一般なリリースで作製

体系的に新しいシミュレーシ
ョン技術を公開する メモリー消費の数理モデルをベースとした解析

 Kunkel S, Potjans TC, Eppler JM, Plesser HE, Morrison A and Diesmann M (2012)

重要な目標：

 全メモリ資源を使う：最大限にメモリを使用して規模を拡大

NEST シミュレータ

ISLiMソフトウェア研究開発報告会

能的を再現するには全脳規模のモデルが必要

 部分的な領域のモデルでは完全に入力を表現できず、予測性能が制限される。また、脳の機

10 近接領域の神経細胞からのシナプス入力は50%、長距離結合が50% 脳はネットワークのネットワーク：局所回路の結合、領域内の結合、領域間の長距離結合 脳機能は多くの領野に分布している20

 計算時間ではなく、メモリ量がネットワークサイズの上限を決める

 メモリオーバーヘッドが並列数とともに上昇する

全脳規模のシミュレーションの問題

ISLiMソフトウェア研究開発報告会

Layer 5

30

40

50

60

1理化学研究所 次世代計算科学研究開発プログラム 脳神経系研究開発チーム、2 Inst of Neuroscience andMedicine (INM-6), Computational and Systems Neuroscience, Jülich Research Centre, 3 理化学研究所
次世代計算科学研究開発プログラム 高度化チーム

五十嵐 潤1、Moritz Helias 1,2、舛本 現3、 Tobias C Potjans 1,2 、Markus
Diesmann 1,2 、 深井朋樹1

NESTによる局所回路シミュレーション

人間の脳の構造ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

135









ISLiMソフトウェア研究開発報告会

神経科学者は利用可能な資源の最大量使用量が知りたい
ノードあたり利用可能なメモリ量（16GB）を最大限に用いる
1コアあたりの神経細胞数
シミュレーション時間は、通信時間の増加が原因で、増加する。

ソフト研究開発成果(NEST) ：京における第３世代のモデル規模の拡大

ISLiMソフトウェア研究開発報告会

最大領野（第一視覚野）よりも大きい規模
視覚皮質のモデルが可能
より大きなネットワーク：大きな遅延、疎な巨視的結合

 108 に相当する規模：

75

 シナプスの性質の”不均一さ”の表現に対応する

第４世代メモリーレイアウト



ISLiMソフトウェア研究開発報告会

京で第４世代カーネルを用いて、生物学的1秒のシミュレーションに、1520秒=25分で達成

京を用いて、MPIジョブの最大使用数、24,576 = 196,608 coresまでを試験を

京の最大構成の74% の MPIジョブに相当

JUGENEを用いて、MPIジョブの最大使用数、 65,536 = 262,144 coresまでを試験

波線の右端は、京の可能なマシンサイズを示す


ソフト研究開発成果(NEST) ：京とJugeneにおける第３、４世代カーネルの性能比較

ISLiMソフトウェア研究開発報告会

 新規のデータ構造によって、シナプスの一般的な性質は保ちながら、短いターゲットのリストに効率的に対応

NEST 2.1
NEST 2.2 (次期リリース)

2011年9月
2012年5月
2012年9月

神経細胞やシナプス結合のデータ構造におけるスパースさに対応する

 10,000コアでは、数個のターゲットを持つ神経細胞は大きなオーバーヘッ
ドを生じる

第２世代 *
第３世代
第４世代



第３世代メモリーレイアウト

第３世代、第４世代カーネルのメモリー配置*第２世代 =第２世代 シミュレーションカーネル

1. 京へのNESTの移植
2. 108 の神経細胞の実現
3. 全脳規模（ 109)にむけて

 京における大規模シミュレーションの３つのマイルストーン

109 の神経細胞からなる局所回路モデル
にむけて

8

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

136
0

10

30
20

40

50

60

0

10

20

30

40

50

Layer 5Layer 5シミュレーション

ISLiMソフトウェア研究開発報告会

11

Wagatsuma, Potjans, Diesmann and Fukai (2011) Front Comput Neurosci1）層構造をもつ視覚野局所回路の構築
2）それを用いた視覚的注意の２カラムモデル
3）空間注意（上）と特徴注意（下）の８カラムモデル

McAdams & Maunsell, 1999;(Martinez-Trujillo & Treue, 2004;
Ling, Liu & Carrasco, 2009

実験
発火率（Hz)

ソフト研究開発成果(CMDN) ：視覚的、特徴的注意の神経活動への影響
60 電気生理学と解剖学データに基づき、各層の細胞種ごとに結合確率を設定

 各層は興奮性(80%) と 抑制性 の神経細胞集団 (20%) からなる
9

 水平方向に一様な結合 10万神経細胞、10億シナプス

ISLiMソフトウェア研究開発報告会

 興奮と抑制は同一な力学的性質の神経細胞モデル

 1 mm3に相当

ソフト研究開発成果(NEST) ：大脳皮質の最小構成単位となる階層型局所回路モデル

-360°

0
発火位相

表層

ラットの自発運動時の運動皮質を測定
・脳波
・神経発火

360°

0
発火位相

リリース
ホールド

360°

遅いガンマ波運動準備

ISLiMソフトウェア研究開発報告会

-360°

錐体細胞
深層

各層の正確な発火頻度
刺激に対する層間の発火
順序




10

Potjans TC & Diesmann M (2012)
The cell-type specific connectivityof the local cortical network explains
prominent features of neuronal
activity. Cerebral Cortex
10.1093/cercor/bhs358

神経細胞の非同期的で不規則な発火活動

以下のような実験結果を再現

神経基盤と情報処理での役割は何か？

表層、深層の神経細胞では、γ、θ波に対して、発火の位相固定に顕著な違い

12

速いガンマ波運動実行運動の時期によって異なる周波数のγ波発生し、特定の位相で発火が発生。θ波の特定位相で運動が発生。

ソフト研究開発のための実験解析(CMDN) ：運動皮質のθ、γ帯の神経的な振動現象

ISLiMソフトウェア研究開発報告会

ソフト研究開発成果(NEST)：
各層の神経細胞の振る舞いを再現

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

L5

L6

L5

0
9 L6

平均発火頻度 (Hz)

20

1
3200

L

実行信号

15

3230

同期状態

3250

13

~90 Hzガンマ振動

Time (ms)

~60
6 Hz
ガンマ振動

L5

L4

L2/3

赤: 通常手法
緑：提案手法Time (ms)ISLiMソフトウェア研究開発報告会

2995

非同期状態

Time (ms)

2950

1

20

1
2965

20

ISLiMソフトウェア研究開発報告会

2000 3000
Time (ms)expand実行信号

ソフト研究開発成果(CMDN)：
電気シナプスで結合した20個の抑制細胞− 通常の方法と提案方法の比較 −

0
1000

0
16

2000 3000 1000
Time (ms)

L4

L4

0
45

L2/3

L2/3

実行信号

20

Cell

137

Cell

シータ周波数ソフト研究開発成果(CMDN) ：運動皮質モデルによる振動現象の再現

•
•

t

未来予想

謝辞

ISLiMソフトウェア研究開発報告会

V

V

過去

No

スパイク発生14

線形近似してデータ転送

スパイクカーネル関数

電気シナプスから流入した電流の過去（～1ms） の平均値
を用い、未来の電位変化を予想

通信負荷を抑えながら計算効率を確保したい

NEST

Susanne Kunkel

我妻 伸彦 （学振PD/ 視覚注意の局所回路モデル）

半田 高史 （次世代計算科学/ 局所回路実験データ収集）

ISLiMソフトウェア研究開発報告会

16

CMDN 礒村 宜和 （玉川大学 脳科学センター/ 局所回路実験データ収集）

Inh 2

Inh 1

t

化学的シナプスと電気シナプスが共存
 効率的なシミュレーションが困難

NEST = event-driven simulator

京は現在開発中であり、スライド中の数字は現状の値である。
京上の性能に関しては京コンピュータの試験利用、および特別運用による。開発および運用にあたる関係各位に感謝申し上げる。とくに京上の実装については、
ISLiM高度化チームの協力無くしては困難であった。感謝申し上げる。

共同研究者

Igarashi, Diesmann, Fukai

Vi _ V jt+dsyn

ソフト研究開発成果(CMDN) ：少ない通信回数での電気結合の計算

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

Multi-scale simulation of subcorticalvisual systems with real-timerobotic visuo-motor feedback
Jan Morén
Brain and Neural Systems Team,
Integrated Simulation of Living Matter Group,
RIKEN Computational Science Research Program

発表者紹介
1995-11
2002-09
2002-06
2003-11
2005-05
2006-09
2009-022012-11

MSc Computer Science, Lund, Sweden
PhD Cognitive Science, Lund, Sweden
Research Assistant, Lund, Sweden
Post-Doc, CRL/NICT, Kyoto, Japan
Visiting Researcher, NICT, Kyoto, Japan
Researcher, ATR, Kyoto, Japan
Researcher, Kyoto University, Kyoto, Japan
Researcher, OIST, Okinawa, Japan

研究分野
Integrated Systems Biology Laboratory, Department of Systems Science, Graduate
School of Informatics, Kyoto University

139

140

Close the PerceptionAction loop

Large-Scale neuronlevel Simulation

Use a Humanoid Robotto ground Model in the
World

●

●

●

Project Goals

OIST

ATR

NAIST

Kyoto University

Jan Morén
Tomohiro Shibata
Norikazu Sugimoto
Kenji DoyaMulti-scale simulation of subcorticalvisual systems with real-timerobotic visuo-motor feedback

Motoneuron
Systems

Int. SC

Sup. SC

Burst output give eye-velocity profile●

RetinaRetinotropic● Superficial SC: Sensor Processing● Intermediate SC:Motor Command

Subcortical Saccade Generation Loop●●

Superior Colliculus

Connected to CB-I robot

Model Simulation●●

The Superior Colliculus

Goals, Introduction●●

OutlineISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

cMRF spike integrator reciprocal
inhibition

Buildup neuron disinhibition causes
spreading activation

Activation-triggered deep layer
system-wide inhibition

●

●

●

141

Connect CB-i Robot to ModelAs Physical Eyes
- Camera — Visual Input- Eyeball — Motor Output

Connect Over Distance- Wako-Shi ←→ Kyoto

Near Real-Time control- React Directly to Input

●

●

●

Closing the Loop

NMDA receptor bursting activation●

Buildup neuron activation

Burst neuron profile

Model

●

●

●

2× Wide-field
2× Foveal
2× 2 DOF
Firewire
SARCOS & ATR

Maker:

155cm
85kg
51
Electric
Pneumatic
Hydraulic
Eyes:

Height:Weight:● DOF:● Power:

CB-i Humanoid Robot

Complex log output weights giveMain Sequence relationship

Model burst neuron

Tune Burst neuron connections– Primate burst neuron data
– Constant spikes

Monkey burst neuron

●

●

●

Simulation Results●●

100k neurons
NEST● PyNEST● Topology

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

Internet Connection- VPN connection- SSH over TCP/IP

ATR- CB-i in test harness- Motor system- Video Saliency Extraction●(MUlti SImulation Coordinator)

RICC: 256-1024 Nodes- Scaled down, double-sided
model implementation- MUSIC Interconnections●●

Closing the Loop

142

Reactive, Usable Behaviour

Robots and Clusters are useful together forReal-Time, Real-World interaction

●

●

●

Track, saccade towards target
Run at ~2× real time
(256 nodes)● latency ~150ms roundtrip~110-140ms without intramodel delays

Results

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

●

●

●

Practical approach to test computationallyintensive models in the real world

Real-time distributed visuomotor controlof robot by large-scale cluster model●

Reproduces burst neuron output profiles● Saccade Main Sequence behaviour● Suggest spreading activity amount (but notdirection) tracks saccade end time

We have built a large-scale, spiking
neuron-level model of the Superior
Colliculus

Conclusion

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

143

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

大規模脳数理モデル構築プラットフォーム
による視覚系数理モデルの構築
臼井支朗
豊橋技術科学大学・エレクトロニクス先端融合研究所 特任教授
理化学研究所・脳科学総合研究センター
神経情報基盤センター（客員主幹研究員）

発表者紹介
1974 年 1 月
1974 年 3 月
1974 年 6 月
1979 年 4 月
1980 年 4 月
1986 年 4 月
2002 年 4 月

カリフォルニア大学大学院博士課程単位取得満期退学
名古屋大学工学部助手
Ph.D (カリフォルニア大学)
豊橋技術科学大学講師
豊橋技術科学大学助教授
豊橋技術科学大学教授
理化学研究所脳科学総合研究センター・ニューロインフォマティクス
技術開発チーム チームリーダ
2003 年 3 月 豊橋技術科学大学退職
2003 年 4 月 豊橋技術科学大学 名誉教授 客員教授
2005 年 4 月 理化学研究所脳科学総合研究センター・神経情報基盤センター
副センター長兼任
2007 年 4 月
同センター長兼任
2012 年 10 月 豊橋技術科学大学エレクトロニクス先端融合研究所 特任教授
理化学研究所脳科学総合研究センター・神経情報基盤センター
客員主幹研究員兼任
研究分野

ニューロインフォマティクス、神経情報工学、視覚生理工学

145

146

We should share・data format
・source code
・I/O data
・parameters・hardware

integrate!

・functional level・abstract level

plug in ・realistic level
module ・computational level

大規模モデル1

ISLiM成果報告会2012

3

IOを共通化することで、統合に用いるサブシステムモデルの、言語や記述レベルを吸収し統合ライブラリと実行エージェントによる統合シミュレーション管理を実現

Platform for collaborative brain system modeling：PLATO
モデル統合環境を構築し、サブシステムモデル統合による大規模モデル開発を実現

parts

サブシステムモデル

概要・アプローチ㻌

ISLiM成果報告会2012

1. 理化学研究所・次世代計算科学研究開発プログラム
2. 理化学研究所・脳科学総合研究センタ―
3. 豊橋技術科学大学・エレクトロニクス先端融合研究所
4. 愛知県立大学
5. 中京大学

臼井支朗1,2,3，稲垣圭一郎1，観音隆幸2，神山斉己4，石原彰人5

大規模脳数理モデル構築プラットフォームによる
視覚系数理モデルの構築㻌

・
光の各波長に対して眼球レンズの屈折率が異なることから、10nm毎に網膜像を計算・統合

波長感度、波面収差、瞳孔など
・眼球システム特性を考慮して、
詳細な網膜像を計算- 眼光学モデル：網膜像の生成

解剖・生理データに基づく脳幹の眼球運動制御神経回路の記述

外界像

2

眼光学モデル

網膜像

Inagaki et al., Neural Networks, 2011

電気生理データに基づく細胞パラメータの推定と微小眼球運動の再現- 眼球運動モデル：微小眼球運動ならびにサッカードの再現

・物体注視時の眼球運動の再現とそれを考慮した詳細な網膜像の再現

Current state研究開発成果：眼球運動・眼光学モデル
of each visual sub-system

ISLiM成果報告会2012

錯視や注意など視覚機能をシミュレーションにより評価

大規模視覚系数理モデル構築

背景・目的㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

Retinal image

Cone Mosaic
Response of V1 mode

147

Cone Mosaic

Input Image7 㻟㻢㻜㻜万個の視細胞により直径㻟㻜度視野角を表現㻌
 同視細胞層に錐体は㻝㻡㻜万個存在㻌 実験データに基づいた㼒㼕㼠㼠㼕㼚㼓により錐体、桿体の空間配置を再現㻌 㻸㻘㻹㻘㻿錐体の空間存在密度に関する実験報告に基づいて存在割合を再現㻚㻌

ISLiM成果報告会2012

網膜視細胞㻔錐体モザイク㻕モデル㻌

研究開発成果：視細胞モデル(Cone Mosaic)

ISLiM成果報告会2012

眼光学系モデル 1000x1000(pix)の自然画像を入力
 モデルは京、RICCで400並列(OpenMP＋MPI).
 並列化効率(parallel portion)は0.99305

眼球運動モデル: サッカードに関係した脳幹の神経回路網をスパイクニューロンモデルで記述し、
㻌 㻌 サッカード、マイクロサッカード、ドリフト眼球運動を再現
 京、RICCにて30並列(モデル規模とステップ刻みによる実行時間の制限の為).

Response of brain stem neuron and microsaccade
Inagaki et al., Neural Networks, 2011

研究開発成果：眼球運動・眼光学モデル
㻌

5

双極細胞

水平細胞

双極細胞

Vmgc

40万
8

神経節細胞層

双極細胞層

イオン電流モデルで記述(Fohlmeister & Miller, 1997)

Es

150万

150万

gs

視細胞層
(Cone mosaic)

6000x6000

視細胞

Parallel conductancemodelで記述
Vmbc

Em

gm

Vcone

錐体モデル
(Kamiyama & Sone, 2010)±30 deg

研究開発成果：双極細胞層㻙神経節細胞層モデル
双極細胞層㻙神経節細胞層のモデル㻌

Cm

X-type123x123 (2460x2460 mm, approx. 10deg)

Y-type

神経節細胞・各細胞層のモデルを詳細に構築した後、PLATOにて他のサブシステムと統合

・網膜の活動電位・神経スパイクを再現研究開発成果：網膜モデル

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

Em

gm

gs

Es

membrane potential
dVbc
Cm g s Vbc  Es   g m Vbc  Em 
dtglutamate receptordR   1  R    wiTi    R
dti
gs  gs  R

Synaptic transmission
Vcone  a n
Ti Vcone  a n  K mn

148

Realistic retinal image

 1000X1000の錐体出力を入力
 京にて1024並列までmpi並列化

双極細胞-神経節細胞モデル (チューニング中)錐体モザイク： 1000x1000(pix)の網膜像(眼光学モデルの出力を入力として利用 京で1504(node制限の為)までOpenMPとMPIのハイブリッドにて並列化
 並列化効率(parallel portion)は0.99909

Response of brain stem neuron and microsaccade
Inagaki et al., Neural Networks, 2011

Cone Mosaic

11

Response of BC-GC

研究開発成果：網膜モデル
Current status of eachvisual sub-system (Cone mosaic)

Vmgc

イオン電流モデルで記述(Fohlmeister & Miller, 1997)

Parallel conductancemodelで記述
Vmbc

Cm

双極細胞

Vcone

錐体モデル
(Kamiyama & Sone, 2010)

双極細胞層㻙神経節細胞層のモデル㻌

研究開発成果：双極細胞層㻙神経節細胞層モデル

X-type

双極細胞

視細胞

1504 core 眼球運動-眼光学-網膜(視細胞-双極細胞-神経節細胞)によりモデルを構成 各モデルを並列化し、PLATO上で統合
 共有ファイルフォーマット(インタフェース)とPlatonic Libraryにより、IOレベルで結合
 統合モデルはAgentにより、実行管理のもとシミュレーション
 現状の問題点として、Agentとインタフェース間の通信により各モデルの並列性能が向上しても、統合モデル上で性能が向上しない(改善中)

30 core400 core

12e.g. cone mosaic with Platonic

1024 core

Ganglion10- 生理データに基づいて、各細胞層の電位応答を再現・可視化- 視細胞、水平細胞、双極細胞および神経節細胞層からなる網膜モデル構築

網膜像に対する視細胞層の応答再現モデル統合とシミュレーション㻌

水平細胞

眼球運動-眼光学-網膜の統合モデル㻌

Y-type

神経節細胞・解剖・生理データに基づく網膜神経回路構造

sparse resolution

low cone density

Peripheral

Fovea
high cone density
high resolution

コーンモザイク- 3600万の視細胞モデルのうち150万の錐体細胞から構成される- 波長感度特性の異なる3種(L:long, M:middle, S:short cone)の分布を再現- 生理データに基づいて各錐体細胞の光感度応答特性を再現

・視細胞層(コーンモザイク)モデル

研究開発成果：網膜モデル

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)㻌 㻌 e.g. 微小眼球運動による視知覚の向上などの評価を進める

 錐体モザイクで実施した情報量評価の他領域への適用→統合モデルの速度向上

 Platonicインタフェースにおける速度低下の改善

今後の課題

本プロジェクトにて、上記成果を学術論文5本、国際会議13件、国内会議1件で報告した指標として評価中13

 視細胞モデルならびに双極細胞－神経節細胞層における信号処理(細胞応答)を情報量をComputational Levelで明らかにした サブシステムモデルレベルでは、眼球運部にて微小サッカード生成のメカニズムを

 眼球運動、眼光学、網膜からなる視覚系のモデルをPLATOにて構築することで大規模モデル構築を可能にした

サブシステムレベルでモデル構築・並列化を行い、共有フォーマットにてIOレベルで結合

 モデル統合環境PLATOの構築

まとめ㻌ISLiM成果報告会2012

㻲㼕㼚㻌

14

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

149

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM「京」による
無脊椎動物嗅覚系シミュレーション－背景と現状と将来への展開－
神崎 亮平
次世代計算科学研究開発プログラム
脳神経系研究開発チーム

発表者紹介1986 年 3 月
1987 年 1 月
1991 年 7 月
2003 年 4 月
2004 年 4 月
2006 年 4 月

筑波大学大学院生物科学研究科生物物理化学専攻博士課程修了
アリゾナ大学神経生物学部門博士研究員
筑波大学生物科学系助手、講師、助教授
筑波大学生物科学系教授
東京大学大学院情報理工学系研究科知能機械情報学専攻教授
東京大学 先端科学技術研究センター生命知能システム分野教授

その間1996 年 9 月-1999 年 8 月 科学技術振興事業団さきがけ研究 21 研究員（兼任）2003 年 4 月-現在 アリゾナ大学神経科学部 Adjunct Professor
研究分野
神経行動学、感覚生理学、生物-ロボット融合学

151

152

㻝㻜㼊㻡㻌
㻝㻜㼊㻠㻌
㻝㻜㼊㻝㻢㻌

㻝㻜㼊㻝㻝㻌㻌
㻝㻜㼊㻠㻌㻝㻜㼊㻞㻝㻌

細胞数㻌
コンパートメント数㻌
必要計算量㻌
（㻲㻸㻻㻼㻛㻝秒㻕㻌㻝㻜㼊㻝㻡㻌

㻝㻜㼊㻠㻌
㻝㻜㼊㻠㻌

カイコガ㻌
嗅覚・運動系㻌

ニューロン）が可能なレベルに到達すると予測できるが，そこに至る過程として昆虫クラスの脳（104ニューロン）を対象にすることは現実的なアプローチとして重要である．

ムーアの法則を適用すれば、2030年から2040年ごろにヒトの全脳シミュレーション（1011

計算科学研究ロードマップ白書㻌
http://open-supercomputer.org/wp-content/uploads/2012/03/science-roadmap.pdf㻌

カイコガ全脳㻌

ヒトの全脳㻌

項目㻌

全脳リアルタイムシミュレーションにᴾ要する計算資源ᴾ

ISLiM成果報告会2012

神崎亮平㻌 (東京大学 先端科学技術研究センター，教授)

次世代計算科学研究開発プログラム
脳神経系研究開発チーム「京」による無脊椎動物嗅覚系シミュレーション㻌
－背景と現状と将来への展開－

1 mm

㻼㻯（前大脳）㻌

1 mm

脳内への嗅覚入力から行動出力までの経路

出力

単一ニューロンから神経ネットワークの再構築

出力

統合（モデル化）

神経ネットワーク活動のシミュレーション

単一ニューロン活動のシミュレーション

シミュレーション

カイコガ(Bombyx mori)♀

ボンビカール (bombykal)

ボンビコール (bombykol)

カイコガは，文科省「ナショナルバイオリソースプロジェクト（NBRP)」のバイオリソースの１つで，ライフサイエンス研究の基礎・基盤のモデル生物．

♂

フェロモン腺モデル：カイコガの匂い源探索行動ᴾ脳を構成する機能素子であるニューロン（左）と機能単位であるニューロピル（右）．

カイコガの脳．約10万個のニューロンからなり，約1万個が嗅覚系に関与する．

㻭㻸（触角葉）㻌

㻭㻺㻌（触角神経）㻌

分析（実験）

モデル生物であるカイコガの脳を対象とし，嗅覚入力から行動出力に至る神経ネット
ワークをニューロンレベルの詳細モデルとして構築し，実験と比較しながら脳機能を予測し，理解するためのシミュレーションをおこなう．方法論の確立．

目ᴾ 的ᴾ

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

153

Brain
ComposerKNEWRiTE

形態情報

INCF Japan Node

ニューロインフォマティクス国際統合機構（INCF）日本ノード：理研・神経情報基盤センター（臼井支朗センター長）に構築する
プラットフォームの１つとして情報公開している（IVB-PF委員会・委員長：神崎）• Morphology: Single-Neuron-3D-Structure, Cell Clusters• Electrophysiology: Olfactory, Visual , Mechanosensory Responses, Channels• Imaging: Voltage-Sensitive Dye, Ca-Indicator (dye or transgenic (GCaMP))• Immunohistochemistry: GABA, 5HT, FMRFamide, tyramine, histamine, proteins

生理情報>1581 Identified Neurons
Recorded

神経細胞データベース(BoND)

神経細胞データベース㻮㼛㻺㻰の構築と整備㻌

NEURON_K+

大規模シミュレータ

細胞膜情報推定・結合強度推定

標準脳・マッピング

細胞形態抽出BoND/IVBPF

神経細胞データベースの構築と整備

昆虫嗅覚系全脳シミュレーター（㻵㼚㼟㼑㼏㼠㻌㻻㼘㼒㼍㼏㼠㼛㼞㼥㻌㻿㼥㼟㼠㼑㼙㻌㻿㻵㻹㼡㼘㼍㼠㼛㼞）㻌

100mm

1 mm

領域を限定し再自動抽出

Stack Images

手動㻌 㻌 㻌 㻌 半自動
Ikeno et al. (2012) Computational Intelligence and Neuroscience (in press)

6
4
2
0

Extracted
Neuron三次元画像として得られた神経細胞の形態を，シミュレーション用のマルチコンパートメントモデルに自動・半自動・手動で変換するためのソフトウェアを開発した．その結果，半自動で行うことで，高速かつばらつきの少ない抽出を行うことができた． 8

自動抽出

半自動による正確かつ高速な形態抽出（自動抽出にはRay Burst Sampling Algorithm (Rodriguez et al., 2006.) を採用

手動，自動，半自動での抽出が可能

三次元の細胞形態抽出

抽出時間の短縮

キノコ体（記憶学習）㻌
神経叢（ニューロピル）㻌

触角葉（匂い識別）㻌

神経細胞（ニューロン）㻌

細胞形態抽出ソフトウェアの開発㻌

主要神経叢の三次元再構築㻌

500mm

連続画像
脳内の神経叢㻌 銀染色像（水平切片）㻌

脳

昆虫脳の階層的構造ᴾ

抽出時間 [h]嗅覚系全脳シミュレーター（仮想脳）の構築ᴾ

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

マルチコンパートメントモデル等価回路方程式

Ca2+ currents

Na+ currents

膜特性に関する実測データ
K+ currents

154

LAL-VPC付近は10μ程度以下の精度でマッピングか可能11

標準脳上の神経細胞マッピングと誤差評価㻌

単一ニューロン活動のシミュレーション

Extracted
Neuron（マルチコンパートメントモデル）

細胞形態を円柱近似で表現する

単一細胞シミュレーション㻌
フィルタリング
位置合わせ（剛体変形）

標準脳上に
マッピング

平均化処理

標準脳

3889 comps.

BN #1056

通信高速化

MPI_Isend

MPI_Allgather

約8,000個の細胞と約800,000個のシナプスにより回路を構成細胞一つ当たり
20-100個のシナプスを作成

神経細胞シミュレータ「NEURON」 （www.neuron.yale.edu）をベースに，SIMD化やOpenMP対応など京向けの高速化を施した「NEURON_K+」を構築した．これにより，自動最適化時の約２倍の単体性能と大規模実行に耐えうる並列性能が得られた．

単体性能の高速化

ベンチマーク用回路の構築

京を用いた神経回路大規模シミュレーション㻌

個体差を吸収し，統一したシミュレーションを行うため，カイコガ標準脳を構築した．
また，神経細胞を標準脳上にマッピングしていくことで，形態的特徴を反映させた神経回路の再構築を行った．

位置合わせ（非剛体変形）標準脳への神経細胞の登録

標準脳の構築標準脳の構築と神経細胞マッピング㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

NEURONでの

T(t)

P(t)

選択・変異・交叉シミュレーションと生理実験結果との比較

コア数

パラメータ探索の並列性能の評価

155

Ｍ－Ｐモデルの頑健性から得られた主要回路

ＢＬＮ＝抑制性の仮定で求めた入力から出力へのフィードフォワードネットワーク

両者の共通部分より求めた主要回路

結合度の強さから得られた主要回路

結合推定の解㻌

シミュレーションに必要なイオンコンダクタンスなどの情報を，生理・形態データから実数値GAを用いて推定するためのソフトウェアを開発し，RICC及び京に実装した．また，情報の分かっているシミュレーションデータに適用し，評価を行った．

シミュレーションによる仮想的な電流クランプ応答波形を用いた，推定ソフトウェアの評価（GK ，GNa，GCa ，…）
シミュレーション（0.02，0.111，0.0020，… ）（0.03，0.111，0.0020，… ）（0.12，0.124，0.0024，… ）（0.13，0.111，0.0061，… ）（0.036，0.161，0.0064，… ）（0.066，0.111，0.0011，… ）（0.002，0.256,0.0023，… ）（0.005，0.162，0.0014，… ）：遺伝子

計算時間 [sec]実数値GAによるパラメータ推定

細胞膜情報推定ソフトウェアの開発ᴾ

1000

領域（右脳）

形態的な情報による結合可能性の推定

細胞ごとの平均活動度を元にすべてのパターン遷移をニュー
ラルネットワークとして表現

Local Interneuron

10000

Bilateral Neuron

推定されたシナプス結合強度(生理応答を再現す
る結合を推定）結合強度推定前運動中枢

行動指令ニューロン㻌

シミュレーション

12ニューロンx2を192ニューロンに拡張
1step=0.05ms
Simulation time:
1000setp(50msec)
86nodesで実行

Local Interneuron

前運動中枢を構成するニューロン

Bilateral Neuron

前運動中枢の神経活動の京によるシミュレーション㻌

嗅覚系シミュレーション㻌IOSSIMを用いて，カイコガ嗅覚系の前運動中枢回路のシミュレーションを構築した．その際には５領域モデルを採用し，形態情報により接続可能性を推定したうえで，生理波形を再現できるようなシナプス強度をニューラルネットワークにより求めた．

日本神経回路学会2012年度最優秀研究賞

・生理実験結果領域（左脳）

100

・前運動中枢の５領域モデル

シナプス強度推定㻌ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

昆虫脳モデルᵋ操縦型ロボットᴾ

フェロモン㻌

触角
基本的な匂い源探索のプログラム行動により，複雑に変化する匂い環境下で定位行動が実現された．
Kanzaki, Nagasawa, Shimoyama (2004) In “Bio-mechanisms of Animals in Swimming and Flying”

触角

フェロモンの匂い源に定位する移動ロボットᴾ

シミュレーション

シミュレーションを用いた最適モデルの選択

電気刺激㻌 光刺激実㻌 験

脳機能の修復1 mm

神経回路モデルシミュレーションに基づく神経回路の修飾・改編

修飾・改変した神経回路モデル

遺伝子操作等による神経回路の修飾・改変

シミュレーションIOSSIMによる
神経回路シミュレーション• ニューロンレベルでの精緻な神経回路のシミュレーショ
ンを用いて神経回路の一部に損傷や欠損が生じた場
合でも，損傷・欠損部位を予測する．
• 特定のニューロン（群）の操作による機能修復のシミュ
レーションを可能とし，• その上で特定のニューロン（群）の活動を遺伝子操作技術（たとえばオプトジェネティクス）により実施し，機能回復を支援する新しい技術の創出を目指す．

• 脳内状態の観測まで含めたリアルタイムシミュレーショ
ンを行い，オンタイムで実験と比較することによって脳内の状態を推定する．
• 脳の制御や，パラメータを推定するための刺激を行う．
電気生理
イメージング

脳シミュレーションに基づく脳機能の修復（ニューロリハビリテーション）

リアルタイムシミュレーションと生体計測の融合による脳回路の探索

将来の目標：㻵㻻㻿㻿㻵㻹の活用㻌

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)156

生命基盤ソフトウェア開発・高度化チーム成果報告

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

ISLiM ソフトウェアの高度化
泰地

真弘人

次世代計算科学研究開発プログラム
生命体基盤ソフトウェア開発・高度化チーム チームリーダー

発表者紹介1992 年 3 月 東京大学理学系研究科物理学専攻博士課程修了
1992 年 4 月 東京大学教養学部助手
1997 年 1 月 統計数理研究所助教授
2002 年 4 月 理化学研究所ゲノム科学総合研究センターチームリーダー
2008 年 4 月 理化学研究所基幹研究所グループディレクター
2011 年 4 月 理化学研究所生命システム研究センター生命モデリングコアコア長
研究分野
高性能計算・計算機アーキテクチャ

159

ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)
ISLiM
ソフトウェア研究開発報告会(2013.1.10-11)

ISLiM ソフトウェアの高度化

泰地 真弘人
次世代計算科学研究開発プログラム
生命体基盤ソフトウェア開発・高度化チーム チームリーダー

1. 目的
京コンピュータは、80，000 プロセッサ、640，000 コア以上を有する大規模な超並列計算機です。
このような規模の計算機を使いこなすためには、
並列処理、特に京コンピュータに通暁した研究者による支援体制が必要です。そのために、分子動力学計算コアソフトウェアの開発などの独自開発を通じた人員育成を行うと同時に、他チームで開発されたソフトウェアの性能評価・開発支援を行っています。さらに、開発容易化のためのミド
ルウェア開発・可視化ソフトウェア開発を行い、産業利用に向けた大規模仮想化合物ライブラリの開発を進めています。

学計算の参照コードとして自由に再利用できる
ように公開する予定です。

2. 現時点での成果

大規模データを扱える並列可視化システム
ISL-LSV を開発しました。

2.1 分子動力学コアソフトウェア「京」用アプリケーションの最適化ノウハウの蓄
積・提供および最適化の参考コードの提供のため、分子動力学コアプログラムの開発・最適化を行ないました。主要な計算部分であるカットオフ法カ
ーネルでは 60%以上の演算効率を達成しました。
カーネル部分の SIMD 化率は全命令の 57%、浮動小数点演算命令に関しては 99%以上となり、「京」への最適化が十分行なわれています。最適化阻害要因(特に C++コンパイラの場合)に関する知見は、他チームの支援業務にも活かされています。ノードあたり 6000 原子程度の計算規模に対し、全ノード並列で演算速度 4Pflops・効率 40%を達成しており、ノードあたり 1000 原子以上の計算規模であれば「京」全ノードまでの並列性があることを確認しました。
長 距離相 互作用 計算にお いては 、現在 主流 のPME 法は FFT が大域通信を必要とするため「京」の全ノード規模での並列性は得られないと考えられるので、高速多重極展開法(FMM)を実装中です。単純な実装での評価ではありますが、「京」全ノード規模での並列性を確認できています。
開発したコードは、「京」での最適化・分子動力

160

2.2 ソフトウェア高度化
ソフトウェアの性能評価・チューニング支援を行っています。第一走者アプリケーションを中心に、性能評価報告を行いました。チューニング支援については、特に神戸拠点における京に向けての開発支援を中心に、開発実施本部との窓口・京に向けたチューニング外注の窓口機能を担っています。
2.3 可視化ソフトウェア

2.4 並列処理ミドルウェア
ソフトウェア開発容易化のためのミドルウェア
Sphere を開発しました。連続体シミュレーショ
ンを中心に、ソルバ群の組み合わせにより容易に並列化されたソフトウェア開発を可能にします。
本ソフトウェアは臓器全身スケール研究チームで開発されている ZZ-EFSI/ZZ-HIFU、細胞スケール研究チームで開発されている RICS で用いられています。
2.5 大規模仮想化合物ライブラリ
10 億化合物規模の合成可能性をもつ仮想化合物
ライブラリを、東大工学部船津研究室を中心に開発しています。

2. プロジェクト終了時の達成目標
プロジェクト終了時に、より多くのアプリケーシ
ョンが京コンピュータ上で十分な性能を発揮していることが我々の目標です。また、創薬応用に向けた 10 億化合物規模の大規模化合物ライブラ
リを完成させます。
以上

161

•

•

•

•

ISLiMソフトウェア研究開発報告会

京コンピュータへの移植– コンパイルオプション– クロスコンパイル
京コンピュータ上での並列目標設定– 到達ノード数
京コンピュータ上での性能測定– ストロング・スケーリング– ウィーク・スケーリング– ピークパフォーマンス
– ホットスポット同定
測定結果に基づく性能改善– 並列化アルゴリズム、データ分割方法の見直し– MPI / OpenMP ハイブリッド並列化– SIMD化、パイプライン化、キャッシュヒット率改善、メモリ利用効率改善、並列I/O– コード改変の提案、実施

アプローチ

ISLiMソフトウェア研究開発報告会

理化学研究所
次世代計算科学研究開発プログラム
生命体基盤ソフトウェア開発・高度化チーム
チームリーダー
泰地真弘人

ISLiMソフトウェアの高度化

3

1

•

•

•

•

•

•

•

•

ISLiMソフトウェア研究開発報告会

分子スケール研究開発チーム– Platypus-MM/CG, Platypus-REIN, Platypus-QM/MM-FE, Platypus-QM,
Platypus-QM/MM, Platypus-CGM/MM, MARBLE, CafeMol
細胞スケール研究開発チーム– RICS
臓器全身スケール研究開発チーム– ZZ-EFSI, ZZ-RBC, ZZ-DOSE, ZZ-HIFU, ZZ-LUNG, UT-HEART
データ解析融合研究開発チーム– ParaHaplo, NGS analyzer, ExRAT, SIGN-BN, SIGN-L1, SIGN-SSM, SBiP,LiSDAS, MEGADOCK
脳神経系研究開発チーム– NEST, CMDN, VSM, NeuroMorphoKit, IOSSIM
生命体基盤ソフトウェア開発・高度化チーム– cppmd, LSV, SPHERE, VLSVL

高度化支援対象コード一覧

ISLiMソフトウェア研究開発報告会

背景– 京＝64万コア：大規模並列化の要請– ソフトウェア開発の困難・高性能計算技術の必要性– 京利用上のノウハウの蓄積
目的– 各チームのソフトウェアの高度化– 需要の多いコアソフトウェアの開発• MDコアソフトウェア

背景・目的

4

2

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

162

•

•

•

•

•

•

•

ISLiMソフトウェア研究開発報告会

最内ループ回転数が少ない場合のループ最適化– 3重ループ → 1重ループ化、及びループ分割• 実行時間： 4.0秒 → 2.8秒； ピーク比： 32.1% → 46.8%• 浮動小数点演算待ち： 6.5% 減少
MPI_Allreduce性能の改善– 6要素 → 1要素ずつに分割によるTofu高機能バリア通信化• 実行時間： 30% 短縮
隣接通信の隠蔽– 内部領域と袖領域への分割– 通信・演算を各領域毎にオーバーラップ– 通信をmasterスレッド、計算をその他のスレッドに割当• 実行時間： 0.93秒 → 0.78秒
単体性能の改善– ループ分割と変数コピー数削減• 実行時間： 49.6秒 → 38.9秒

ZZ-EFSIの高度化支援

ISLiMソフトウェア研究開発報告会

主要コストのdirect_atomモジュールの改善– ピーク比の向上• 10% → 27%– 最内ループ回転数を増加（10回転 → 500～600回転）させ、ループ最適化の効果を向上• 6.0秒 → 4.8秒
キャッシュの有効利用化– コンパイルオプションや最適化指示子の利用• 浮動小数点キャッシュアクセス待ち時間が改善
ループ最適化
– 最内ループのif文による最適化阻害の指摘

MARBLEの高度化支援

7

5

•

•

•

•

i

s }}

#pragma loop novrec#pragma loop mfunc 2
s for (; t < _break; t += dt) {s states(_p, _ppvar, _thread, _nt);}

cai = cai + (1. - exp(dt*((caGain)*(( ( - (kca)*(1.0) ) )))))*(- ( (caGain)*(( ( ((- ica)*(area))*(1e-11) )r = r + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_r)))*(- ( ( ( r_inf ) ) / tau_r ) / ( ( ( ( - 1.0) ) ) / tau_r ) - r) ;}return 0;

jwd8101o-i "pGPeA.c", line 536: 'evaluate_fct' expanded inline.

544
545
546

/ ( 2.0 * FARADAY * vol ) )) ) / ( (caGain)*(( ( - (kca)*(1.0)) )) ) - cai) ;q = q + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_q)))*(- ( ( ( q_inf ) ) / tau_q ) / ( ( ( ( - 1.0) ) ) / tau_q ) - q) ;543

p = p + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_p)))*(- ( ( ( p_inf ) ) / tau_p ) / ( ( ( ( - 1.0) ) ) / tau_p ) - p) ;542

static int states (double* _p, Datum* _ppvar, Datum* _thread, _NrnThread* _nt) { {←evaluate_fct()のインライン展開
evaluate_fct ( _threadargscomma_ v ) ;h = h + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_h)))*(- ( ( ( h_inf ) ) / tau_h ) / ( ( ( ( - 1.0) ) ) / tau_h ) - h) ;m = m + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_m)))*(- ( ( ( m_inf ) ) / tau_m ) / ( ( ( ( - 1.0) ) ) / tau_m ) - m) ;n = n + (1. - exp(dt*(( ( ( - 1.0 ) ) ) / tau_n)))*(- ( ( ( n_inf ) ) / tau_n ) / ( ( ( ( - 1.0) ) ) / tau_n ) - n) ;

541

i

540

535
536
537
538
539

←マルチ演算関数化されていない←states()のインライン展開

static void nrn_state(_NrnThread* _nt, _Memb_list* _ml, int _type) {jwd8101o-i "pGPeA.c", line 843: 'states' expanded inline.

840
841
842
843
844
845

808

ISLiMソフトウェア研究開発報告会

å

京コンピュータへの移植– クロスコンパイル環境への対処– 多段階ビルド
システム関数の最適化– exp関数, log関数, pow関数 をマルチ演算関数に置換• ピーク比 2倍に

IOSSIMの高度化支援

ISLiMソフトウェア研究開発報告会

FFT計算の高性能化– FFTW版• プラン作成・消去を初回のみに限定– CSSL2版• スレッド並列実行化• 1次元複素FFTルーチンを用いた3次元複素FFTの実装– FFT長の2のべき乗化– FFT処理作業配列のパディング• 198秒 → 159秒
コンパイルオプションの見直し– 浮動小数点演算関連オプション

MEGADOCKの高度化支援

8

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

•

•

163

0

5000

10000

15000

20000

25000

Jul-11

Sep-11

Nov-11! kind = 3:
do j = 1, mdl%num_List(3)ie = mdl%iList(j, 3)
im = mdl%iModuleList(j, 3)
ir = mdl%iReactantList(j, 3)!$omp dodo ith = 1, ntha(ith,im) = a(ith,im)*sv%StateVariable(ith,ir,time-1)
end do!$omp end do
end do インライン展開

May-12
Jul-12ISLiMソフトウェア研究開発報告会

Mar-12

到達ノード数推移

Jan-12SIMD 化

548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610

! kind = 4:
do j = 1, mdl%num_List(4)ie = mdl%iList(j, 4)
im = mdl%iModuleList(j, 4)
ir = mdl%iReactantList(j, 4)
SIMD 化!$omp dodo ith = 1, nth
SWPL 化a(ith,im) = a(ith,im) /&( 1.0d0&+ (mdl%Para_Reg_Elements(ith,ie,1) / sv%StateVariable(ith,ir,time-1))&** mdl%Para_Reg_Elements(ith,ie,2))
end do!$omp end do
end docppmd

8 回アンロール

SWPL 化SIMD 化if (includeNoise .EQ. 1) thendo i = 1, sv%num_Variable
8 回アンロール!$omp dodo ith = 1, nth
sv%StateVariable(ith,i,time) = sv%StateVariable(ith,i,time) +&dsqrt(Variance_System(i)) * rgauss(ix)end do!$omp end do
end doend ifdo i = 1, mdl%num_Reg_Modules
ID_Product = mdl%List_Reg_Modules(i,2)!$omp dodo ith = 1, nth
sv%StateVariable(ith,ID_Product,time) =&sv%StateVariable(ith,ID_Product,time) + a(ith,i)end do!$omp end do
end do! kind = 5
do j = 1, mdl%num_List(5)ie = mdl%iList(j, 5)
im = mdl%iModuleList(j, 5)
ir = mdl%iReactantList(j, 5)
SIMD 化!$omp dodo ith = 1, nth
SWPL 化a(ith,im) = a(ith,im) /&( 1.0d0&+ (sv%StateVariable(ith,ir,time-1) / mdl%Para_Reg_Elements(ith,ie,1))&** mdl%Para_Reg_Elements(ith,ie,2))
end do!$omp end do
end doPlatypus

ZZ-EFSINEST

ZZ-EFSI

ZZ-HIFU

Platypus

IOSSIM

ParaHaplo

UT-Heart

cppmd

do i = 1, sv%num_Variable
8 回アンロール!$omp doプリフェッチ命令：32 個
do ith = 1, nthif (sv%StateVariable(ith,i,time) .le. 0.0d0)&
sv%StateVariable(ith,i,time) = sv%StateVariable(ith,i,time-1)
end do!$omp end do
end doend do!$omp end parallel
end subroutine

ParaHaplo

8 回アンロール

SWPL 化SIMD 化! kind = 1: differentiation over time
do j = 1, mdl%num_List(1)SIMD 化
ie = mdl%iList(j, 1)
SWPL 化im = mdl%iModuleList(j, 1)
ir = mdl%iReactantList(j, 1)
8 回アンロール!$omp dodo ith = 1, ntha(ith,im) = a(ith,im) * sv%StateVariable(ith,ir,time-1)/time_intervalend do!$omp end do
enddo

do i = 1, sv%num_Variable!$omp dodo ith = 1, nth
sv%StateVariable(ith,i,time) = 0.0d0
end do!$omp end do
end do!$omp parallel private(time, i, j, ie, im, ir, ID_Product)&!$omp shared(sv, mdl, time_interval, a)
SIMD 化
do time = 2, sv%time_StateVariable
do i = 1, mdl%num_Reg_Modules
SWPL 化!$omp dodo ith = 1, nth
8 回アンロールa(ith, i) = time_interval*&
mdl%Para_Reg_Modules(ith,i,1)*mdl%Para_Reg_Modules(ith,i,2)
end do!$omp end do
end doassert(nth .le. size(mdl%Para_Reg_Modules, 1))
assert(nth .le. size(mdl%Para_Reg_Modules, 1))
assert(nth .le. size(sv%StateVariable, 1))real(8), save :: a(max_num_Particle_DPM, max_num_Reg_Modules)
integer :: time, i, j, ie, im, ir, ID_Productinteger :: ith, nthreal(8), external :: rgausssubroutine Run_BioSimulator_version2b&(mdl, sv, time_interval,includeNoise, ix, Variance_System, nth)type (T_Mdl2):: mdl
type (T_SV2) :: svreal(8):: time_interval
integer:: includeNoise
integer:: ixreal(8):: Variance_System(*)

ISLiMソフトウェア研究開発報告会

487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547

SIMD化、ソフトウェアパイプライン化の促進– デバッグコードの除去 （assert文、if文）
浮動小数点除算、SQRT関数の最適化– 逆数近似演算命令とFloatin-Point Multipy-Add/Subtract命令の利用– -fp_relaxed オプション
除算例外とアンダーフローの検出– 割り込みイベントの検出

Number of Nodes•

LiSDASの高度化支援

11

9

脳

臓器全身

細胞

分子

高度化

○

ビルド方法の構築(IOSSIM)
富士通コンパイラ対応（NEST)○

Vsphere(ZZ-EFSI)○

Sphere(RICS)○

富士通コンパイラ対応(Cafemol)

○

移植

○

○

○

○

○

○

測定

ISLiMソフトウェア研究開発報告会○

SIMD, Pipeline (LiSDAS)○

12

分散I/O (Parahaplo) ,FFT (MegaDock)○○
メモリ消費削減(NEST)

その他○○

通信(ZZEFSI)

○

並列チュー
ニング

10

Red: K
Blue: JUGENE

thread化 (NEST)
SIMD化,マルチ関数 （IOSSIM)

Loop (ZZ-EFSI)○SIMD, Pipeline (Cafemol)
Loop, Cache (MARBLE)○

単体チューニング

ISLiMコードの高度化支援

ISLiMソフトウェア研究開発報告会

NEST– ニューロン・シナプスモデルのメモリ使用量の低減– ニューロン数／ノードの測定と見積り

ParaHaplo– 数万人×数百万SNPのゲノムデータの入力• 並列I/Oに向けたデータ分割ツールの開発

データ解析
融合

•

•

その他の高度化支援

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiMソフトウェア研究開発報告会
ソフトウェア研究開発報告会(2013.1.10-11)(2013.1.10-11)
ISLiM

MD コアプログラムの最適化と性能評価
大野 洋介
次世代計算科学研究開発プログラム
次世代生命体統合シミュレーション研究推進グループ
生命体基盤ソフトウェア開発・高度化チーム

発表者紹介1996 年 3 月
1996 年 4 月
1999 年 4 月
2001 年 4 月
2004 年 4 月
2008 年 4 月
2012 年 4 月

東京大学大学院理学系研究科天文学専攻博士課程修了
理化学研究所 基礎科学特別研究員
理化学研究所 計算科学研究室 協力研究員
理化学研究所 ものつくり情報技術統合化研究プログラム 研究員
理化学研究所 ゲノム科学総合研究センター(GSC) 研究員
理化学研究所 次世代計算科学研究開発プログラム 上級研究員 (現兼務)
理化学研究所 生命システム研究センター(QBiC) 上級研究員

研究分野
計算科学、専用計算機

165

166

ISLiMソフトウェア研究開発報告会• 大規模並列での本命– 高速多重極展開法(FMM)• どの手法でも主要な計算部分– 主にcutoff カーネルの最適化• アプローチ• アンサンブル : NVE, NVT, NPT• 時間積分 : velocity Verlet• クーロン相互作用 : cutoff, PME, FMM• 並列化 : 直方体空間分割, cell index method– 基本的な分子動力学計算• 研究開発コードの概要

概要・アプローチ

ISLiMソフトウェア研究開発報告会

理化学研究所
次世代計算科学研究開発プログラム
次世代生命体統合シミュレーション研究推進グループ
生命体基盤ソフトウェア開発・高度化チーム 兼務
大野 洋介

MDコアプログラムの最適化と性能評価

3

1

ISLiMソフトウェア研究開発報告会– PMEで使われるFFTに比べ大域通信が少ない• 高並列FMM• ほぼ近接通信、３次元空間分割– TOFUネットワークに適した通信• Cutoff法 4Pflops 40%• データ形式の変更– 単純配列• “if”文のマスク演算化– SIMD, Software-pipelining• Cutoffカーネルの演算効率60%以上

現在までの研究開発成果

ISLiMソフトウェア研究開発報告会• 最適化事例• 最適化済み分子動力学コード– 具体的な最適化の知見を蓄積する– 得られた最適化の知見を他のチームへ提供する。
– 再利用可能なコードとして提供する。

• 特に、最適化の挙動– コンパイラ・ハードウェアの能力を把握する。

• 「京」での最適化ノウハウを他チームへ提供する。

目的

4

2

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

167

418,707 atom

3,349,656 atom

7,536,726 atom

26,797,248 atom

Cutoff 28Å, calculate energy every 4 step

Cutoff法の並列性能

ISLiMソフトウェア研究開発報告会

99 % of floating-point calculations are SIMD

5102 atom/node

818 atom/node

6,542 atom/node

52,338 atom/node

6,542
28 Å + 2 Å margin
8,835( + 2,031 in margin)
80, 516 MFLOPS
62.9 %
57.2 % ** No-SIMD instructions are load/store

Number of atoms per CPU
Cutoff radius
Number of pairs per atom
Kernel FLOPS per CPU
Efficiency
SIMD ratio

Cutoff カーネル性能

64

512

109.058

5.313

5.312
0.003
39.0

Other
Performance(PFLOPS)
Efficiency (%)

4,096

32,76832x32x32

38.3

0.201

5.574

14.01191.601111.186

38.1

1.599

5.332

14.01292.329111.672

26,797,248 214,377,984

16x16x16

79,872* Different to physical topology 48x54x32

37.9

3.871

5.332

15.82091.262112.414522,546,336

48x52x32

Cutoff 28Å, 6,542 atom/node, calculate energy every 4 step

38.5

0.025

13.69412.12491.52891.622Force
Communication

110.535

418,707 3,349,656

8x8x8

Number of atoms

4x4x4

Weak Scaling

ISLiMソフトウェア研究開発報告会

Time (ms / step)

Topology

Number of nodes• SIMD代入命令– カットオフ”if”文の単純化• 阻害要因のSTL vectorからキャストで変換– 単純な配列• SIMD, Software-Pipelining• カーネルで必要なデータだけを分離– 座標・電荷のみの配列• コンパイラオプション– 間接参照prefetchの有効化• キャッシュ効率改善

Cutoff カーネル最適化

38.0

4.031

5.376

15.06791.641112.085542,644,272

48x48x36*

82,944

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

64

1.00

Scalability ( to 64 nodes)

512

0.93

5.31

13.69

91.53

110.54

26

936

6,542

168

418,707 atom

3,349,656 atom

26,797,248 atom

214,377,984 atom

482,350,464 atom

FMMの並列性能

0.15

0.98

7.38

2.41

10.77

342

342

102

32,768818 atom/node
8 cell/node

6,542 atom/node
64 cell/node

52,338 atom/node
512 cell/node

0.50

1.92

11.48

12.50

25.90

124

504

817

4,096

Cutoff 28Å, 3,349,656 atom , calculate energy every 4 step

59.28

32.13

Other

731.66Force

Communication

823.0726

2,232

52,338Time (ms / step)

Number of communication nodes

Number of transfer cells

Number of atoms per node

Number of nodes

Strong Scaling

Cross over at
817 atom/nodeCutoff 28Å,3,349,656 atom ,calculate energy
every 4 step

ISLiMソフトウェア研究開発報告会

12「京」での最適化の調査・ノウハウの蓄積・提供のため
MDコアプログラムの開発・最適化を実施した。
• Cutoff カーネルの演算効率60%以上を達成した。
• 全ノードCutoff法計算で、演算速度4Pflops・効率40%を達成した。
• FMMを実装し、全ノード規模での並列性を確認した。
• 最適化事例、最適化済みMDコードとして再利用できる
ように公開準備を進めている。

•

Conclusion

Strong Scaling (内訳)ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

創薬プラットフォーム－大規模バーチャルライブラリの開発－
船津公人
VLSVL 合成可能な化学構造および反応スキームからなる
大規模仮想ライブラリ 発表者

発表者紹介
1983 年 3 月
1984 年 3 月
1988 年 3 月
1992 年 4 月
2004 年 4 月

九州大学大学院理学研究科化学専攻博士課程修了
豊橋技術科学大学工学部物質工学系 助手
豊橋技術科学大学工学部知識情報工学系 助手
豊橋技術科学大学工学部知識情報工学系 助教授
東京大学大学院工学系研究科 教授

研究分野
ケモインフォマティックス（化学情報学）
関連する研究分野としてプロセスシステム工学、有機合成化学、分析化学、触媒化学、創薬化学など

169

170

・東京大学： ２０１０年３月
196,970化合物

・韓国：ナショナルバンク
17万化合物・米国■実物

ISLiMソフトウェア研究開発報告会

5530万化合物

purchasable
1700万化合物

purchasable
1700万化合物

Drug-like selection
400万化合物
drug-like
1000万化合物

everything
2800万化合物■VL

REAL Database
1500万化合物■DB

化合物ライブラリの現状

ISLiMソフトウェア研究開発報告会

東京大学
大学院工学系研究科化学システム工学専攻
教授
船津公人

発表創薬プラットフォーム－大規模バーチャルライブラリの開発－

3

1

1 / 6,790

非臨床試験

臨床試験
（治験）

500億円

ISLiMソフトウェア研究開発報告会

1
1053

1006個

ISLiMソフトウェア研究開発報告会

・バーチャルライブラリ
バーチャルスクリーニングで高スコアを得た化合物であっても合成検討にコストがかかる

・メガファーマが保有する化合物(1990年代） ：

入手可能性

：

5.5×1007個

4

2

てきすとぶっく 製薬産業2009(0.005%)

1 / 21,670

申請
承認

全体のごく僅かな部分からヒット確率を上げるには、全体空間からできるだけ万遍なくサンプルを揃えるべき・・・

スクリーニング用実在化合物[2]創薬の研究対象となる化合物
C、N、O、S からなる30原子まで[1] ：1060個化合物ライブラリの問題点
規模と多様性

■

■

リード
化合物
最適化

9~17年

（03年～07年）● R&Dリスクが高い
長期、投資額、成功確率・・・● 漏れの懸念たまたま手に入った化合物の中から選択している・・

成功確率

リード

薬物標的 化合物の同定
発見

新薬開発の特質

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

171

ISLiMソフトウェア研究開発報告会

Transformの抽出例

ISLiMソフトウェア研究開発報告会■VLに含まれる仮想化合物の多様性の確保、および仮想化合物の合成ルート情報の提供■リード構造探索のための大規模な化合物仮想ライブラリ（VL）の構築

目的

7

5

ISLiMソフトウェア研究開発報告会

42万分子

・1億構造
・1億3000万スキーム

ISLiMソフトウェア研究開発報告会

10億構造バーチャルライブラリの構成と目標

システム概要

5億構造

5億構造

8

6

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)全出力化合物群

出力化合物群

入力化合物群

構造出力例

172
+

+

11

9

"Life Chemicals (Virtual)" subset (# 27) – 490709 entries

J.R.Proudfoot, Bioorg. Med. Chem. Lett., 12, 1647(2002)

ISLiMソフトウェア研究開発報告会+

ISLiMソフトウェア研究開発報告会

出力化合物の重複率： 58%
42万種の入力構造群から1500万の化合物を発生し、ユニークな構造は630万種

出力化合物の重複率

VirtualLibrary

ISLiMソフトウェア研究開発報告会

≦10
≦5
≦10
≦140

水素結合受容体数
分配係数計算値（ｃLogP）
回転可能結合数
極性表面積（Å2）

≦60

≦3

≦3

≦3

≦3

＜300

rule of ３

10

ISLiMソフトウェア研究開発報告会

12[1] Lipinski, C., et. al., Adv. Drug. Deliv. Rev., 23, 3(1997)[2] Veber et al.,J. Med. Chem. 45, 2615-2623 (2002)

・Rule of 5 ： 経口吸収性の高い構造特性
・Rule of 3 ： リード化合物 (フラグメント化合物) として相応しい構造特性

≦5

＜500

rule of ５
水素結合供与体数

分子量

630万種

1500万種の市販既存化合物ライブラリとの重複チェックの結果、市販化合物との重複は0.004％

Vietual Library
Generator

当システムがライブラリに出力する仮想化合物はほとんどが新規化合物

Chemical
Library

Lipinski’s rule of 5, rule of 342万種

発生化合物群の新規性

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

logP

≦10

≦5

≦10

≦140

水素結合受容体数

分配係数計算値（ｃLogP）

回転可能結合数

極性表面積（Å2）

173

64.8%

＋ 出力化合物群

96.4%

93.0%

79.9%

99.7%

99.9%

75.3%

MW

B群

＋ 出力化合物群

79.3%

× 入力化合物群 B 88.3%

ISLiMソフトウェア研究開発報告会

70.7%

MW<500 & logP≦5× 入力化合物群 A

MW

A群

logP

output15

13"Life Chemicals (Virtual)" subset (# 27)

99.0%

98.2%

79.9%

99.9%

100.0%

85.6%

input

入力化合物群の特性分布の影響

ISLiMソフトウェア研究開発報告会

≦5

＜500

rule of ５

水素結合供与体数

分子量

85.6%
75.3%

入力化合物群A
出力化合物群

A群

出力化合物群

入力化合物群B

B群

89.9%＋ 出力化合物群

16

98.9%
91.0%

＋ 出力化合物群

polar surface area

B群

14× 入力化合物群 B
ISLiMソフトウェア研究開発報告会

97.3%≦140 & rotatablebond≦10

× 入力化合物群 A

polar surface area

PSA

極性表面積と回転可能結合数の関係
A群

88.1%

98.5%
"Life Chemicals" subset (# 124) - 412431 entries

ISLiMソフトウェア研究開発報告会

MW＜500分布の異なる種構造群の活用検討"Life Chemicals (Virtual)" subset (# 27) – 490709 entries

Rotatable bonds

Lipinski’s rule of 5 どのくらい満たす？

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

99.0%

98.2%

99.7%

89.9%

64.8%

96.4%

93.0%

79.9%

99.7%

99.9%

75.3%

88.1%

95.0%

87.0%

99.9%

98.9%

88.3%
99.6%

91.0%

79.3%

99.4% 95.1%

99.5%

89.3%

99.9% 99.6%

99.9% 99.9%

98.5%

入力化合物群 B
input output

ISLiMソフトウェア研究開発報告会

出力構造の特徴分布は、入力構造群の特徴の影響を受ける→ 適切な種構造群を活用すれば、適切な出力構造群が得られる可能性が増す

99.9%

≦140

・極性表面積（Å2）

・水素結合供与体数 VS. 水素結合受容体数≦10・回転可能結合数

79.9%

97.3%

≦5

・分配係数計算値（ｃLogP）

99.9%

100.0%

・極性表面積 VS. 回転可能結合数≦10・水素結合受容体数

70.7%

≦5

・水素結合供与体数85.6%入力化合物群 A
input output

・分子量 VS. 分配係数計算値

＜500

・分子量

rule of ５

入力化合物群の特性分布の影響

17

ISLiMソフトウェア研究開発報告会

18

■規模:
入力化学構造群に対して、順合成方向、逆合成方向にそれぞれ3段階、各方向で5億件の化学構造による総10億化合物からなるバーチャルライブラリを構築し、ライブラリの特性評価を進める■分布: （ Lipinski’s ruleの指標によるチェック）
新規な化合物構造からなる出力構造群は、
入力構造群の分布を若干拡張するが、 特性を反映している■新規性:
市販化合物ライブラリとの対比で 重複0.004％、 新規性の確保を確認済み

創生した化合物は、入力構造群の特徴を引き継ぎ、薬となりうる化合物を種とすると、薬となりうる構造を出力する傾向を確認した

化合物群を種とし、反応DBより抽出したTransformを活用して合成経路情報を含む大規模バーチャルライブラリを構築した。

まとめ

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

174

ポスター一覧

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-1: Platypus-MM/CG
マルチコピー・マルチスケール分子シミュレーション法開発の基盤となるクラスライブラリ
開発責任者: 木寺詔紀 (理化学研究所分子スケール研究開発チーム)• 生体高分子が担う重要な生命現象をコンピュータ上に再現する

継承

ライブラリの構成

分子動力学法の目的

シミュレーションの実行– 自発的な立体構造・高次構造形成– 分子認識・分子間相互作用– 立体構造変化

Apps

Core
相互作用

問題点と解決法

シミュレー
ション

ファイルの読み込み

ライブラリの特徴• マルチコピー・マルチスケール法と統計力学を用いてこれらの問題を解決• 計算対象をオブジェクトとして扱う• Amber、Charmm力場に対応• OpenMP/MPIによる並列化

継承• 多くの生命現象の時間スケールは、
ミリ秒から秒のオーダー• 通常の分子動力学法では、計算時間がかかりすぎて再現できないInterface• 24,576ノード（196,608コア）まで計算
性能が直線的に向上• 高並列時でも高い実行効率を実現（24,576ノード並列時で約12.3%）

Speed up

入出力

計算性能

18
16
14
12
10
8
6
4
2
0
0

10000
20000
Number of nodes

30000

マルチスケール拡張サンプリング(MSES)法

有限温度ストリング法

目的： 高精度な全原子モデル（MM）と高速に運動する
粗視化モデル（CG）との連成シミュレーションにより、生体高分子の全原子構造サンプリングを効率的に実現

目的： タンパク質が構造変化する際の尤も確率の高い経路を探索する。経路上の遷移状態を特定することにより、構造変化のボトルネックとなる残基を同定する。

方法１： マルチスケール

方法： マルチコピー・マルチスケール
構造変化を記述する粗視化空間内において、構造変化経路を定義し、経路を離散化した点周りの全原子
マルチコピーMDにより最尤経路を探索する。

H = H MM + H CG + kMMCG θ ( rMM ) − rCG 

2

全原子モデル計算を用いて粗視化
空間における最尤経路を探索

closed方法２： マルチコピー
H0, kMMCG,0 = 0

MM

H1, kMMCG,1

H2, kMMCG,2

H3, kMMCG,3

open

応用例： アデニル酸キナーゼの構造変化

CG
Exchange

粗視化空間

Exchange

ハミルトニアンレプリカ交換法

Exchange
Fukunishi-Watanabe-Takada,J. Chem. Phys. 116, 9058 (2002)

CGバイアスのないMM構造アンサンブル

応用例： シニョリンフォールディングの構造サンプリング
extended

MSES

Matsunaga et al., PLoS Comp. Biol. 8, e100255(2012)

Publications

全原子MD• K. Moritsugu, T. Terada, A. Kidera. “Scalable free energy calculation ofproteins via multiscale essential sampling” J. Chem. Phys. 133, 224105(2010).
• K. Moritsugu, T. Terada, A. Kidera. “Disorder-to-Order Transition of an
Intrinsically Disordered Region of Sortase Revealed by Multiscale
Enhanced Sampling” J. Am. Chem. Soc. 134, 7094-7101 (2012).
• Y. Matsunaga, H. Fujisaki, T. Terada, T. Furuta, K. Moritsugu, A. Kidera.
“Minimum Free Energy Path of Ligand-Induced Transition in Adenylate
Kinase” PLoS Comput. Biol. 8, e1002555 (2012).

CGと連成
nativeMoritsugu-Terada-Kidera, J.Chem. Phys. 133, 224105 (2010)

謝辞： 本ポスターの結果の一部は、理化学研究所が実施している
京速コンピュータ「京」の試験利用によるものです。

従来の手法と一致

177

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-2: Replica-exchange Interface program: REIN
Naoyuki Miyashita1,2,3, Suyong Re4, and Yuji Sugita1,3,4
1

Introduction

RIKEN QBiC,

2

RIKEN CSRP ISLiM,

3

RIKEN AICS,

4

RIKEN ASI
Orange: REMD
Red, Blue and Green: MD

Replica-exchange Molecular Dynamics（REMD）

Replica-exchange molecular dynamics (REMD) simulation [2] is one of popular enhanced
conformational sampling methods, and it has been widely used to predict the protein conformation,
configuration and so on. In the original REMD simulation, the dynamics of noninteracting replicas of thesystem, each at a specified temperature, are performed by molecular dynamics (MD) simulation. Pairsof replicas that have nearest neighbor temperatures are exchanged every few steps using theMetropolis criterion to ensure detailed balance.
Multi-dimensional replica-exchange method (MREM) [3] is one of the extentions. It exchanges not only
nearest neighbor temperatures but also the nearest neighbor parameter sets that relate to a potential
energy. Exchange probability can be written:
min[1, exp(-Δ)],

Replica-exchange Molecular Dynamics

Replica 4

Δ = βm(Uλm (qj)-Uλm (qi))-βn(Uλn (qj)-Uλn (qi))

Replica 3

where, βm = 1/(kB Tm), Tm: temperature, kB: Boltzmann constant, and , Uλm (qi) is the potential energy ofm-th state at i-th replica.

Replica 2

MREM needs huge computer resources, and is promising method for the future enhanced sampling.
We have developed Replica-exchange Interface (REIN) program package to perform MREM simulation
using conventional MD program packages, such as NAMD2, MARBLE and so on.

Replica 1

MD{T4}

Accept!

Accept!

MD{T3}
MD{T2}

Reject!

MD{T1}[1]K. Hukushima, and K. Nemoto, J. Phys. Soc. Jpn. 65, 1604, (1996)[2]Y. Sugita, and Y. Okamoto, Chem. Phys. Lett. 314, 141–151, (1999)[3]Y. Sugita, A. Kitao, and Y. Okamoto, J. Chem. Phys., 113, 6042-6051,(2000)

Replica-exchange interface program (REIN)• Easy setup and execution of Multi-dimensional REMD for Bio-molecules.
• Utilizing the conventional MD packages.
• Run on PC clusters and K computer.
Feature １) REIN controls conventional MD program package, which is in a binary format.
→ NAMD2 and MARBLE are available.
Fortran95/03, MPI 2

Control

REIN

MARBLENAMD2
AMBER
GROMACS
etc…

Binary format

Conventional MD packages

MPI_COMM_SPAWN

Feature ２) Multi-dimensional REMD (MREM)REPLICA→It can exchange not only nearest neighbor temperatures, but also
nearest neighbor distances etc… The parameters depend on thefunction of “constraint” in the used MD package program.

REPLICACPU CPUCPU CPU

Feature ３) Three supportive software are included→Input builder, Batch builder, REMD converter

Now available

Supportive software
http://www.islim.org/islim-dl_j.htm,
Twitter: @rein_devel
E-mail: yukimya+rein@gmail.com

One of the applications
Structure prediction of N-glycans in solution

We performed REMD simulation to predict the structures of N-glycans withand without bisecting GlcNAc using REIN [4]. These simulations show that the
N-glycan modification like the bisecting GlcNAc can select a certain “key” inthe framework of “bunch of keys” mechanism.
REIN/NAMD2 on RICC
260 hours/512 core
~10,000 atoms,
300K-500K
64 replica x 52 ns = 3.3 micro sec.
[4] S. Re, N. Miyashita, Y. Yamaguchi, Y. Sugita, Biophys. J.
101, L44-L46, (2011)[5]Wataru Nishima, Naoyuki Miyashita, Yoshiki Yamaguchi,
Yuji Sugita, and Suyong Re, J. Phys. Chem. B, 116 (29), pp
8504–8512, (2012)178

input_builder

batch_builder

Input

Submit job

REMD_converter

REIN

OutputISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-3: MARBLE
全原子分子動力学計算開発責任者: 池口満徳 (横浜市立大学)
研究概要

MARBLE

出力：座標の履歴

全原子MD
ソフトウエア

解析
ソフトウエア群

実験データによるMARBLEの検証例
NMRでの検証

全原子分子動力学システム
MARBLEの特徴

計算対象
生体分子

並列化効率

X線溶液散乱実験での検証
京〜170万原子OpenMP 8 coresPME• シンプレクティック部分剛体時間積分法– 精度の高い全エネルギー保存

多剤排出トランスポーター
AcrBの全原子分子動力学
シミュレーション
分子スケールチームで共通のターゲット
膜タンパク質
構造変化が機能に重要ゆらぎと構造変化

DNA結合タンパク質PhoB• 相互作用構造ゆらぎ方向(赤)と制限酵素EcoO109I 構造変化方向(青)の一致

水を介した
分子認識

−近距離力と長距離力（3DFFTを利用）からなる• 並列化プログラミング

S2

シミュレーション結果の解析
技術の開発
 立体構造変化
 立体構造ゆらぎ 自由エネルギー
 実験との対応
NMR，SAXSなど

生体超分子用全原子シミュレーション技術の開発
 超並列化ソフトウエア
MARBLE
 世界標準アルゴリズムを装備（PME等）
 先端アルゴリズムも装備（シンプレクティック剛体法等）– OpenMP対応– 空間分割による並列化

構造ダイナミクスの検証（赤：計算、青：実験）

散乱プロファイル（青：計算、ピンク：実験）(JACS, 2010)(Biophys J, 2009)

多剤排出トランスポーターの全原子分子動力学シミュレーション

背景

目的

AcrBのドメイン構成

AcrB
多剤排出トランスポーター

DN

DC

大腸菌などのグラム陰性細菌に存在するプロトン駆動の多剤排出トランスポーターの一種●大腸菌のもつ薬剤抵抗性の主要因

細胞に有害な種々の物質（異物）を細胞外へ排出する働きを持つタンパク質★脂質膜上に存在する★多くの生物に存在している★一種類のトランスポーターで、様々な異物に対応。
★細胞にとって有用なものは外に出さない★院内感染（病原性細菌の抗生物質耐性化）★がん細胞の抗ガン剤耐性化●TolC、AcrAと呼ばれる蛋白質と複合体を形成して機能しており（図１）、薬剤排出の中心的な役割をなす。

PC1●薬剤の経路の形状が異なる、結合型、排出型、取込型と呼ばれるモノマーからなるホモ3量体を形成する（図２）

TM11 TM12

PN2

TM6
取込型

ポータードメイン

プロトンの細胞内への取り込みにかかわるアミノ酸（プロトン転移サイト）

膜貫通ドメイン（図３）機能的回転

結合型

排出型

H+

薬剤

排出型

H+

Thr978

Thr978

Thr978
Asp407

H+

取込型

排出型

結合型

薬剤

取込型

Protein：(PDB ID: 2DHH)（Non drug containing structure）
Missing part region(499-512) were added fromanother crystal structure (PDB ID: 2J8S)（47,724 atoms）
Lipid bilayer：POPE 809 molecules (101,125 atoms）
Water：TIP3P model 108,385 molecules (325,155 atoms）
Ion：Na+ (36 atoms)
Total：~474,000atoms
Box size: 160ÅX160ÅX180Å

PN1

TM8
TM5

TM1

（図２）薬剤の経路（青）
排出型

計算方法
System

PC2

TM7
TM9
TM10

TM2
TM4
TM3

●プロトン駆動力で異なる３状態間を順番に構造変化ををすることで薬剤を排出する（図３）

結合型→ 各状態の構造を安定に維持することのできるプロトン化状態を調べる

TolCドッキングドメイン●排出するもの…抗生物質、消毒剤、抗がん剤、
色素性毒素、界面活性剤など（図１）大腸菌における多剤排出システム(AcrB/AcrA/TolC)

Lys940Program : MARBLE (Ikeguchi)
Force field: CHARMM 27
Electrostatic interaction:
Non cut-off (Particle-mesh Ewald)
Ensemble: NPT,
Temperature:300K,
Time step:2fs

Asp407

薬剤

取込型

90°

全原子分子動力学シミュレーションにより、AcrBの多剤排出のメカニズムを解明する。

とくに、各状態のプロトン転移サイトのプロトン化状態を調べる。

結合型

結合型

Asp407

薬剤

薬剤

Murakami et al., Nature , 419, 587-593 (2006)

排出型

Lys940Asp408

Lys940

取込型

Drug

Asp408

Asp408排出型のLys940のコンフォメーションが結合型・取込型と異なる

H+
薬剤

本研究で行ったシミュレーション

結果

プロトン転移サイトのコンフォメーション

100ns
407 − 408 − -I
407 − 408H

結合型・取込型（Asp407, 408を脱プロトン化）

407H408 −K940-D407
K940-D408
K940-T978

Distance (Å)

結合型

取込型

Thr978

Thr978407−408 − -I_Binding

K940-D407
K940-D408
K940-T978

Distance (Å)

構造変化のチェックに用いた原子間距離407 − 408 − -II

407 − 408 − -I_Access

407−408−-I

Lys940Time (ns)排出型（Asp407, 408を様々なプロトン化状態で計算）

Asp408(Lys940-Thr978 > Lys940-Asp407 ≈ Lys940-Asp408)

Lys940Asp408を脱プロトン化

Asp408をプロトン化

Asp407

Asp408
−

−

H

X-ray

200 ns−X-ray

100 ns407H408H

H

H

X-ray

100 ns407−408−-II−−

407−408H, 100 ns

100 ns407−408−-III−−

407−408H, 50 ns

100 ns排出型のAsp407およびAsp408のプロトン化状態の異なる4種類のシミュレーショ
ンを行った。

Thr978
Asp407407 −408 −-III_Extrusion

各シミュレーションとも、結合型と取込型のモノマーのAsp407, Asp408は脱プロトン化状態で行った。

Lys940Asp408Distance (Å)

Distance (Å)

Distance (Å)

Asp408（Lys940-Asp408 ≫ Lys940-Thr978 > Lys940-Asp407）

100 ns

X-ray

−

H

Time (ns)407 −408 −-II_Extrusion

K940-D407
K940-D408
K940-T978407H408H_Extrusion

Simulation Time

407H408−

Time (ns)Time (ns)(100ns)

Initial structure407−408H

Extrusion

407 − 408 − -I_Extrusion

407H408 − _Extrusion

407 −408H_Extrusion

Distance (Å)

Thr978

Asp408のみをプロトン化したシミュレーション（ 407−408H)では、排出型の状態を安定に保持

K940-D407
K940-D408
K940-T978

Distance (Å)

排出型

Distance (Å)

Asp408(100ns)407 − 408 − -III

Asp407

Time (ns)Lys940Asp408 −Asp408 −Asp407

Asp407

200ns

50ns

407 −408H

Asp407およびAsp408を脱プロトン状態で、プロトン転移サイトの構造を安定に維持Time (ns)Time (ns)Time (ns)排出型から取込型への構造変化のメカニズム

ポータードメインの主成分解析（膜貫通ドメインでフィット）

ポータードメインの構造変化

排出型

ペリプラズム側から見て、ポータードメインの中心を軸とした、時計回りの運動が、構造変化の主要な成分である。
PN1

PN2

PC2

PC1

PC2

PN2

A stateE state

PN1

PN2
PC1

PC1
PN2

PC1

PC1

PC1
PC2
PC2
取込型(2DHH)
排出型(2DHH)
排出型(407−408 − -I)

排出型のAsp407, Asp408が脱プロトン化した状態のシミュレーション（407−408− -I）において、ポータードメインの構造が、取込型の構造へと近付いた。

407−408− -Iの排出型は、 407−408H の排出型と比べてBuried surface Areaが減少した（各ドメイン間が離れた）
Buried surface area (Å2)

PC2

ポータードメイン

TM2

PC2

水の入り口

PN1

mode1の変位ベクトル（ペリプラズム側からの図）

プロトン転移サイト
取込型

ポータードメインー膜貫通ドメイン間のBuried surface Areaの比較

PC1

TM12

mode1(Å)
PN2

TM8

PN1
PC1

PC2

TM2

PN2
PN1

PN2

PN1

PC2

407-408-−Iの最終1nsの平均
407-408-−I 100nsの変化

PN2
PN1

取込型

PC1

薬剤の入り口膜貫通ドメイン

PC2

PN2

PN2

PC2

PC1

TM12

PN1

B stateポータードメイン

PC1

PN1

PN2

PN1

PC2

結合型
排出型
取込型

TM8

mode2(Å)

PN1

電荷：-1

★排出型から取込型への構造変化において、
ポータードメインの中心を軸とした、スクリューモーション（上図の赤矢印）による、
PC2サブドメインの動きにより、薬剤の入り口
および、水の入り口が形成される。

脱プロトン化
サイトプラズム側へプロトンが移動電荷：-1

H+

ペリプラズム側からプロトンが移動排出型

Thr978H+★これらの構造変化は、プロトン化状態の変化に伴う電荷の変化により生じる静電気力が駆動力となって生じていると考えられる

Asp408がプロトン化

電荷：0407-408- −I (E state)407-408H (E state)

膜貫通ドメイン

電荷：0Time (ns)Lys940Asp407結合型

Asp408電荷：-1

水の媒介によりプロトンが移動すると考えられる

まとめ
謝辞
本研究を実施するに当たり、東京工業大学大学院生命理工学研究科
村上 聡 教授に協力をいただきました。
ここに、感謝申し上げます。

AcrB3量体の膜貫通領域に存在する、プロトン転移サイトのプロトン化状態について、分子動力学シミュレーションにより調べた。
★結合型、取込型のプロトマーは、Asp407, 408が脱プロトン化した状態が安定であり、 排出型では、Asp408がプロトン化した状態が安定である。
★排出型のポータードメインの構造が取込型に近づく過程が観察された（407−408−‐I)。
★排出型から取込型へのポータードメインの構造変化は、膜貫通ドメインに対して、ペリプラズム側へ移動するスクリューモーションであり、この運動による、PC2サブドメインの配置の変化により、薬剤の取り込み口と、水の入り口が開くことが示された。また、この構造変化の駆動力は、プロトン転移サイトの 電荷の変化による静電気力であると考えられる

179

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-4: CafeMol

粗視化モデル計算
開発責任者: 高田彰二 (京都大学理学研究科)• 概要– 粗視化分子モデル計算により大規模生体分子の長時
間シミュレーションを行う。
• 離散化（計算モデル化）の方法– 粗視化された分子モデルによる古典分子動力学法

どんなことができるか X線回折やNMRによる構造情報が存在するタンパク質、核酸などの動態の分子動力学シミュレーション。と
くに構造変化を伴うタンパク質ドッキ
ング、分子モーターやトランスポー
ターの大規模構造変化などをシミュ
レーションできる。
 例として、キネシンの動態、多剤排出
トランスポーターの動態、DNAヒストン複合系（ヌクレオソーム）など。



CG
a.a.
Atomic

•
•
•
•

計算方法
– Langevin方程式の時間発展を数値的に積分する。
並列化の方法– Neighbor list方式、レプリカ交換法
開発言語とライブラリ– Fortran90, MPI, OpenMP
コードの公開状況– http://www.cafemol.org からダウンロード可。ただし生体膜、核酸については要相談。

Version 2.0 (only forproteins), available atwww.cafemol.org

キネシンの動態

双頭キネシン：
高精度モデリング

-

+
MT

ATP

Φ

単頭キネシン：
運動シミュレーション

多剤排出トランスポーターAcrBの動態

Kenzaki et al
J. Chem Theo Comp2011

Yao et al, J Comp Chem 2010
Yao et al Nature Comm 2010

FLOPS

• 現状での計算規模– １万残基タンパク質のミリ秒相当のシミュレーションが可能– PCクラスタで98000コア並列– メモリ容量 ２ GB/コア、ディスク容量 1 TB
1 peta1000000
10000010000
1 tera1000
100
1010giga1
100 10000 1000000

遺伝子動態：p53#core• 次世代機「京」での計算規模– 10万粒子（100万原子）系の秒相当のシミュレーション– 反復回数1010回以上– メモリ容量 ２ GB/コア、ディスク容量 1 PB

理論構築：粗視化モデルの導出
Atomic interaction-based CG model,
Li, Wolynes, Takada, PNAS 20112
Li et al, PNAS 2012V   k bi ( r i  r0i )i

全原子モデルのアミノ酸対エネルギー
全原子モデルとのゆらぎ適合

遺伝子動態：ヌクレオソーム  k ai ( i   0i )2

機械的アンジッピングi  { i ,1[1  cos(  i   0i )]  i , 3 [1  cos 3( i   0i )]}inative   ij [5( r0ij / r ij )12  6 ( r0ij / r ij )10 ]

i  j 3180

non  native  (C / r )i  j 3ij 12

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-5: ProteinDF

球面グリッドの回転によるDFT交換相関数値積分の精度向上
開発責任者: 佐藤文俊 (東京大学生産技術研究所)○松田潤一， 平野敏行
背景

グリッド法による多中心数値積分

密度汎関数（DF）計算プログラムProteinDF[1]を京で実行することで，これまでにない規模の生体分子全電子計算が可能になる．DF計算における交換相関（XC）
項は被積分関数が複雑なため，グリッドによる数値積分を行うのが一般的だが，その精度と演算量が問題になる．

多中心積分を実現するグリッド法は3つの方法の組合せであり，それぞれの手法に関してこれまでに多くの報告がある[2-10]

化学反応や振動の解析では全エネルギーで約0.03
kcal/mol の計算精度が要求される．グリッド点数を増やせば精度が向上するが，演算時間が増大し，大規模分子の計算は京をもってしても非現実的なものとなってしまう．なるべく少ないグリッド数でより高い精度を実現できることが望ましい．

精度の評価方法

Acc = − log 10( AbsErr / Nelec )誤差の分布評価にあたっては，被積分関数を電子密度とすることで，全空間積分が電子数となることを利用した．

このとき数値積分はとなり，電子数（整数）が真値となる．

これまでの我々の研究から，方法の組み合わせよりも，グリッドと分子の角度が，精度により影響すると分かっている．
その詳細を確認するため，アミノ酸１～数残基について，1度刻みでグリッドを回転させて数値積分計算を行い，誤差の分布を調べた．
SG-1相当のグリッドにおいて，報告されている精度[2]よりも1桁低い， 4桁程
度の精度となる場合が確認された．

グリッド全体を回転したときの誤差分布の例
対象分子：イソロイシン 電子数：72
グリッド： Beckeの方法[2] 点数(50,194)

球面グリッドの回転

実験結果

各球面積分において，回転に対する値の変化を調べたところ，被積分関数を1としたとき，つまりI = ∑ wA wΩ

アミノ酸１および３残基について，球面グリッドの回転による積分精度向上の効果を確認した．

NΩの分布が，電子数の誤差分布と類似しており，誤差の桁も近いことが分かった．これより「空間分割重みの球面積分誤差が支配的であり，これを減らせば全体誤差も減る」との仮説を立てた．
I の値を指標とし，リファレンスグリッドの値と近くなるよう，各球面
グリッドの角度をニュートン法によってそれぞれ決定するプログラムを実装した．

アミノ酸１残基

いずれも，worst値に対して，
平均して1桁以上精度が向上している．
これらは報告されている5～6桁[2]もしくはそれ以上の精度にあたる．
アミノ酸３残基

グリッド回転による誤差の分布
左：等核2原子分子モデルでのIの例 右：水素分子の電子数の分布
グリッド： Beckeの方法[2] サイズ(50,194) x，y軸：回転角θ，φGlythis work

worst

ΔAcc

6.00

4.66

+1.34

Ala

5.55

4.51

+1.04

Ser

6.47

4.49

+1.98

Pro

4.96

4.49

+0.47

Thr

5.35

4.57

+0.78

Val

6.10

4.34

+1.76

Asp

5.07

4.53

+0.54

Asn

5.42

4.51

+0.91

Leu

5.56

4.36

+1.20

Ile

5.61

4.27

+1.34

Gln

5.41

4.51

+0.89

Glu

5.86

4.53

+1.34

Lys

5.75

4.26

+1.50

Met

6.16

4.44

+1.72

this work

worst

ΔAcc

Gly-Ile-Val

6.36

4.42

+1.94

His

6.08

4.54

+1.54

Ile-Val-Glu

7.74

4.52

+3.21

Phe

5.27

4.50

+0.76
+1.03

Val-Glu-Gln

5.52

4.55

+0.97

Arg

5.30

4.27

Glu-Gln-Cys

5.78

4.54

+1.24

Tyr

5.02

4.52

+0.50

Gln-Cys-Cys

6.86

4.66

+2.20

Trp

5.81

4.55

+1.26

Cys-Cys-Thr

6.14

4.66

+1.48

Cys-Cys

5.29

4.44

+0.84

数値は Acc = − log ( AbsErr / N )
10

参考文献

まとめ
DF計算向けの数値積分について
・SG-1相当のグリッドでは4桁の精度となる場合があることを明らかにした・球面グリッドの回転により，グリッド点数を増やすことなく，精度をあげる方法を提案し，その有用性が示唆された

181[1] T. Inaba, F. Sato, et al., Chem. Phys. Lett., 2007, 434, 331[2] A. D. Becke, J. Chem. Phys., 1988, 88, 2547
[3] C. W. Murray, et al., Mol. Phys., 1993, 78, 997[4] P. M. W. Gill, et al., Chem. Phys. Lett., 1993, 209, 506[5] O. Treutler, et al., J. Chem. Phys., 1995, 102, 346[6] R. E. Stratmann, et al., Chem. Phys. Lett., 1996, 257, 213[7] M. E. Mura, et al., J. Chem. Phys., 1996, 104, 9848
[8] H. Ishikawa, et al., Int. J. Quantum. Chem, 1999, 72, 509[9] V. I. Lebedev, Zh. Vychisl. Mat. Mat. Fiz., 1975, 15, 48[10] V. I. Lebedev, Dokl. Mat., 1999, 59, 477

elec

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-6: Platypus-QM/MM-FE㻌

ハイブリッド㻽㻹㻛㻹㻹反応自由エネルギー計算㻌
開発責任者㻦㻌 林㻌 重彦㻔京都大学大学院理学研究科分子スケール研究開発チーム㻕㻌㻌 㻌

㻌

概要㻌

タンパク質の遅い構造変化と酵素化学反応の相関

新規な QM/MM 自由エネルギー法（QM/MM-RWFE-SCF 法）を開発した。QM/MM 自由エネルギー法では、MD シミュレーションによりサンプルされた MM 部分の構造分布により定義される自由エネルギー曲
面上で、QM 法によって取り扱われる活性部位分子の最適自由エネルギー構造が決定される。我々は、平均場近似と統計的 reweighting の手法を組み合わせ、さらに QM-MM 間の長距離クーロン相互作用を
Ewald 法により適切に考慮することにより、非常に精度の高い効率的な手法を開発した。特に、本手法のスキームでは、QM/MM 法部分の計算と MM 構造サンプリングのための MD シミュレーション部分が完全に分離される。従って、MD シミュレーションに既存の洗練された MD プログラムを使用することが可能に
なり 、計算遂行上の大き な柔軟性を達成してい る。（Ref. Kosugi and Hayashi, JCTC, 8:322-334,
2012. ）

理論
QM/MM ハミルトニアンHˆ (r, R, X) 
Hˆ 0 (r, R)  Hˆ QM-MM (r, R, X)  E MM (X)

自由エネルギー汎関数

F[ MF ; R]  1 ln  dX exp   E[ MF (r; R); R, X]
NQM

Fock or Kohn-Sham 方程式

fˆ QM/MM r; R  fˆ 0  r; R    qˆ A r; R  VA  R, X  X,E q d,R ;R,X
 

A



VA  R, X  X, E q d,R ;R ,X  VA  R, X    d, dref ; R, R ref ; X  X, E q d ,R

静電平均場

 

Reweighting factor  d, d ref ; R, R ref ; X  

自由エネルギーの核座標微分

F   MF ; R R

  ref







ref

;R ref ,X

exp  E QM-MM  d, d ref ; R, R ref ; X 

exp  E QM-MM  d, d ref ; R, R ref ; X E   MF  r; R  ; R, X 
R

L2 ループの大きな動きが反応の活性化自由エネルギーを大きく下げる

X , E q d ref , R ref ;R ref , X 

Ras-GAP Gタンパク質
X , E q ; R , X 

Conventional

Present methodMMMM# of basis functions: 888

活性化エントロピーによる大きな安定化# of atoms:㻌 78,050

reweighting
QM

QM(d;R) MM(X)

テスト系

QM

QM(d;R) MM(X)a-amylase のグリコシド結合加水分解反応（の前半）

TS 生成に伴い switch-I ループが大きく曲がるTSreactant

シミュレーション系: 68,533 原子、周期境界条件、PME、Amber

QM 領域： 69 原子、6-31(+)g*、629
基底関数、DFT/B3LYP

TS 生成に伴い活性部位近傍の水分子が排除される

京上での並列化

MD サンプルで分割
Weak scaling

Reactant

Product

統計アンサンブルの収束

Acetone (DFT/B3LYP/6-31g**) in water(1,300 atoms x 40k confs. x # of nodes)

プログラム開発••

ARMCI を導入中（GAMESS）
大きな系に対してチューニング中謝辞
本プログラムの開発は、大学院生の小杉貴洋さんと井上雄
介さん、博士研究員の神谷基司博士との共同研究である。

182

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-7: Platypus-QM

量子化学計算	開発責任者: 中村春木 (大阪大学蛋白質研究所) 	

	
1. Platypus-QM

生体高分子の機能の発揮は局所部位の電子状態に依存する

基底状態・励起状態の電子構造や化学反応での電子構造変化の信頼性の高いシミュレーションの実施可能な量子化学計算プログラム	
特徴 ¥RHF, UHF, R-DFT, U-DFT, CIS, CIS(D), CIS-DFT, MP2, CASSCFの実装	

¥エネルギー・力計算における積分計算のハイブリッド並列化とSIMD化¥

2電子積分計算の原子軌道基底から分子軌道基底への変換部分の高度化¥

CASSCF計算におけるdirect CI計算の高速化（CAS(16,16)まで可能）
量子化学計算の高速化・超並列化	

2.「京」での並列性能	

実行効率	



RHF/cc-pVDZ






































実行効率	

CASCI(16,16)/6-31G**
総数16,384コア





実行効率 15.43〜6.80％

並列化率	



















 

 

speed up	














(8192コア：7.85%)











並列化率 99.9728%







(8192コア：4.26%)









実行効率 7.27〜2.24％

3-1. RNaseHI	





並列化率 99.9888%

3. Platypus-QMの適用	

speed up	





総数32,768コア

光合成反応中心スペシャルペア(280原子）＋
点電荷(30,904個)

並列化率	











 





 







 





 










活性中心のみのモデル

約17 kcal/molの安定化	
3-2. 発光蛋白質sirius	

CIS/6-31+G(d)群青色の発光(最短波長の発光)

励起エネルギー計算（実験値：345 nm）
sirius発色団+
449水分子
真空中（1,374原子）(sirius発色団 27原子)276.42 nm	

183

水中

347.64 nm	

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

M-8: Platypus-QM/MM

量子化学／分子動力学連成計算	
開発責任者: 中村春木 (大阪大学蛋白質研究所) 	

	
1. 超並列ab initio QM/MD連成計算プログラムPlatypus-QM/MMの開発
1) 生体高分子は巨大で、ヘテロで、ダイナミックな系
2) 生体高分子の機能の発揮は局所部位の電子状態に依存するPlatypus-QM/MM	

E = EQM + EMM + EQM/MM
Platypus-MM	

Platypus-QM	

線形応答関数解析	

HF, DFT, CASSCF, CIS, MP2並列性能に優れた新規プログラムの高並列化による 長距離ポテンシャルの高速化
開発(zero-multipole法)

精度の高い
QM/MM境界の決定+
Chain-of-State法 (疎結合並列計算）	

2.「京」での並列性能	



総数2,048コア
並列化率 99.7893%

Weak scaling (Chain of State)
総数98,304コア









































Weak scaling効率	

実行効率	











Weak scaling効率：93.36%	

























 






 






3-2. 発光蛋白質sirius	

on the ﬂy QM/MD+
chain of state
QM/MD
励起状態
ダイナミクス

35Å
RNaseHI + DNA/RNA+ 4786水分子（16,872原子）DNA/RNA hybridのRNA部分の加水分解の酵素反応機構（最小自由エネルギー経路）





実行効率 3.42〜3.20％

3-1. RNaseHI	





128プロセス x 768レプリカ

3. Platypus-QM/MMの適用	





実行効率 10.60〜1.94％

Ace-ALA-NMe+
1,080 水分子



Strong scaling

並列化率	





RHF/cc-pVDZ

実行効率	

sirius発色団+ 449水分子（1,374原子）40Å
sirius+ 7365水分子（23,900原子）

siriusの発光機構の解明・siriusの発光強度の向上

184

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

C-1: RICS
細胞シミュレーションプラットフォーム(RICS：RIKEN Integrated Cell Simulator)
開発責任者: 横田秀夫 須永泰弘 (理化学研究所細胞スケール研究開発チーム)

Motivation： 細胞は複雑な外形形状や内部構造を持ち場所によって代謝反応が異なる。形状を考慮して細胞内反応を計算したい

Our Approach： 細胞シミュレーション統合シミュレーションプラットフォームの開発

細胞シミュレーションプラットフォーム
RIKEN Cell Simulator (RICS)

RICSのターゲット
肝臓細胞（肝小葉）

赤血球～細胞内の場を考慮した生化学反応シミュレーター～
膜透過＋拡散＋生化学反応（代謝）神経細胞

・連続体として細胞内を表現
・空間をボクセル空間で表現
・細胞内小器官などの複雑な空間構造にも対応
・複数細胞を同時に計算可能
・細胞膜の機能を表現可能

血小板

膵臓β細胞

臓器と細胞をつなぐシミュレーションを目指しています。

顕微鏡画像から作成した3次元形状内での計算
計算結果（左：反応あり、右：反応なし）

時間
3次元再構築した細胞形状

共焦点レーザー顕微鏡画像（HepG2細胞：肝臓細胞）

計算条件
分割数（解像度）：300×300×30
並列方法：領域分割
並列数：256並列
Δt = 0.0005 （秒）計算Step数：20000Step
使用した計算機：
RICC超多目的クラスター
計算実時間：
反応なし： 34分
反応あり： 24時間
Ca2+の拡散係数：1×10-9（m2/s）

RICS-Solver
で計算
反応：24反応
物質数：10個
細胞内カルシウム緩衝反応反応があると見かけの拡散速度が遅くなる

細胞内の局所的な反応が細胞内の物質の濃度変化に影響を与えていることを示唆した。

RICCの構成方程式
比(64core/core)∂φl ,m∂t

構成方程式：= ∇Cl ∇φl ,m + El ,m + Ql ,m
拡散

El ,m = lim

物質生成項：

膜透過項：

n

φl ,m

：媒質

ECelll ,mm

am , n

Cl

m

：媒質

m, n

：媒質

l

：物質

l

内の物質
l

内の物質

の濃度

の拡散係数

拡散

∆t

10.0

a m ,n {− vl ,m ,n (φl ,m − φl ,n )}Vol ⋅ Vf m
Vf m
Vol

vl ,m ,n

m

：媒質

代謝
全体
理想

本発表の結果の一部は、理化学研究所が実施している京速コンピュータ”京”の試験利用によるものです。

8.0
6.0
4.0

のボクセル内体積率：１ボクセルの体積
l

謝辞

膜

14.0
12.0

の反応後の濃度

間の膜面積

演算のみ
16.0

ECelll ,m ({φ*,m }, ∆t ) − φl ,m∆t →0

Ql ,m = ∑反応 膜透過並列化効率(個別)

18.0

m, n

：物質 の媒質間の膜透過率

2.0
0.0
0

2000

4000

6000

8000

10000 [core]

RICCを用いた大規模並列

185

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

C-2: RICS-Pre
細胞シミュレーションプラットフォーム(RICS)プリシステム
開発責任者: 横田秀夫 須永泰弘 (理化学研究所細胞スケール研究開発チーム)

Motivation： 実際の細胞は複雑な内部構造を持ち場所によって代謝反応が異なる
ため複雑な形状や初期条件を効率よくRICSに設定したい．

Our Approach： 細胞シミュレーション統合プラットフォームプリシステム（RICS-Pre）の開発
RICSSolver で必要な設定ファイル
CAD & 画像

SVXファイル・形状と解像度の設定（細胞、オルガネラ、外部環境など）
・物質の濃度と拡散係数、分布の設定
・反応条件の設定
・計算条件の設定（Δt、並列数など）
・膜設定
・

RICS-Preがあると生化学反応式(E-Cell)

スペシャリストではなくても, 細胞シミュ
レーションのモデル作成が可能になる．
 基本形状の作成が容易
単純な基本形状はCADを用いず RICS-Pre
で作成
解析条件の設定が容易
入力フォームに従って必要な情報を設定

XMLファイル

EMLファイル

RICS-Solver

Voxelデータの解像度変更
細かい顕微鏡データから精度よく粗い
解像度の形状モデルを作成

RICS-Preの機能

赤：細
胞質
青：核
緑：ミ
トコン
ドリア

 実細胞形状及びCAD形状の取り込み
 基本形状の生成 形状の修正 細胞内の媒質, 物質パラメータ等の設定
 反応経路及び膜機能を三次元データへ設定
 計算条件の設定

３次元再構築したHepG2細胞（300x300x30，Pitch:20,20,50）

画像データPixel数(1Voxelの割合)

300×300×30(=2,700,000 voxels)

26×26×15 (=10,140
voxels)

RICS-Preのフロー

自動生成
計算条件
(XML)

<VoxelOrigin<Elem name="cell">
ox="0.000000"<InputData<Elem name="M1"
oy="0.000000"
basedir="./in">
id="1">
oz="0.000000"/><InFile attr="M1"<Param<VoxelSize
format="svx"name="metabolism"ix="16"fname="M1.svx"
dtype="STRING"
jx="16"
multi="no" />value="./eml/mat1.e
kx="16"/><InFile attr="M2"
ml" /><VoxelWidthformat="svx"<Paramwx="1.000000"
fname="M2.svx"
name="system"
wy="1.000000"
multi="no" />dtype="STRING"
wz="1.000000"/><InFilevalue="/" />attr="M1:E1"</Elem>format="sph"<Elem name="M2"
fname="E1.sph"
id="2">
multi="no" /></Elem></InputData></Elem>謝辞
本発表の結果の一部は、理化学研究所が実施している京速コンピュータ”京”の試験利用によるものです。

186

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

C-3: RICS-platelets

RICSによる血小板細胞シミュレーションの検討

七澤 洋平、田村 典子、塩崎 聖治、岡 秀樹、後藤 信哉 (東海大学医学部 臓器/細胞ス
ケール研究開発チーム)

Number of Activated GPIIb/IIIa

細胞内部の代謝反応/シグナル拡散に着目し、細胞内の物質/オルガネラの位
置情報を考慮した血小板細胞内での代謝拡散反応について、理研細胞シミュ
レーション統合プラットフォーム（RICS）を用いての計算機によるシミュレーショ
ンを行なった。RICSとは、細胞を複数のボクセルに区画し、そこに実測データより得られた細胞内の物質量/移動量などの情報を取り込み、細胞内の現象を表現可能とする細胞シミュレーション統合プラットフォームである。
前年度までに、RICSを用いた血小板細胞モデルを構築し（図１）、細胞外からの細胞膜への刺激に応じた、血小板細胞内オルガネラである濃染顆粒からの
ADP、ATP、セロトニンなどの内包物質放出を各種生化学反応の積み重ねにより表現を可能とした。また、複数の血小板細胞を計算機中に設定し、ある細胞にはGP1bαへと局所的にvWFによる刺激を与え、その箇所から始まる活性化
プロセスを経て濃染顆粒からの内包物質放出、更に別細胞へと放出物質による活性化の誘起を確認した（図2）。
本年度の成果として、代謝反応マップの精緻化を進めるため、血小板内外の代謝反応系をECELLを用いてシステム化し、計算結果と実験結果の比較を可能なものとした（図3）。また、RICSでは移流拡散中での生化学反応の計算が可能である。血小板細胞外における凝固系を単純化したモデルの計算を行った（図4,5,6）。
これらの個々に研究を進めた血小板モデルを統合することで、より実現象を再現することが可能な血小板モデルの構築を目指す。
1
simulation

0.8

experiment

0.6
0.4
0.2
0
0

50

100

150
200
Time [s]250300

Fig. 3
E-Cell IDEを用いてトロンビン受容体（PAR1）を刺激によるGPIIb/IIIaの活性化応答を計算。in vitroでの実験を定性的に再現するように（蛍光強度は活性化GPIIb/IIIa数に比
例すると仮定して）パラメー
タを設定。
Y

350

Fig. 2.
1. 局在するGP1bαがvWFにより刺激される
2. GP1bαから放出されるシグナル物質による刺激によりCa貯蔵庫からCaが放出
3. 細胞内Ca濃度上昇によって濃染顆粒が刺激される
4. 濃染顆粒に含まれる物質の放出。周囲細胞へと活性化に繋がる物質を伝える。また、自らのレセプターを刺激することで活性化を促進させるフィードバック
反応も引き起こす。矢印で示した箇所が濃染顆粒からの放出箇所周囲のADPレセプターP2Y12の反応である。

血小板Case 1

X

Fig. 1. RISCにて、複数細胞を考慮しての血小板細胞モデルの構築

Case 2
Case 12μm
2μm 2μm

流速方向

2μm

A

B

C

D

Z
X

Case 21μm

9.00E+00

Thrombin

2.00E+00

7.00E+00

1.50E+00
case1

1.00E+00

case2

total volume

total volume

Fibrin8.00E+00

6.00E+00
5.00E+00
4.00E+00

case1

3.00E+00

case2

1.00E+00
0.00E+00

0.00E+00
0

2000

4000

6000

8000 10000 12000 14000

step

800
700
600
500
400
300
200
100
0

2.00E+00

5.00E-01

900

0

2000

4000

6000

8000 10000 12000 14000

stepFig. 5
それぞれの物質の産生量について、トロンビンはほぼ同量、フィブリンはCase1が高濃度となった。

A
B
C
D

count of over threshold amount

2.50E+00

count of over threshold amountFig. 44μm
血小板Likeの構造体を設定し、流れに対して直列に配置する場合とずらして配置する場合での移流に依る影響について計算を行った。細胞外において2種の反応を定義した。PT＋AP -> T＋AP …(1), FG＋T -> F＋T…(2)(PT：プロトロンビン, T：トロンビン, AP：血小板活性部位, FG：フィブリノーゲン, F：フィブリン)。なお、血小板の全体の初期状態は活性化状態とし、式2についてはTの濃度が一定値以上の場合のみ機能するものとする。拡散係数はPT, FG, T, F = 500, 500, 50, 10[μm2/s]とし、初期状態で細胞外においてPT, FGは 1 μM が存在し、血小板付近の流速は最大
1000
1000
100μm/sとした。
case1
case2
900
800
700
600
500
400
300
200

A
B
C
D

100
0

0
2000
4000
6000
8000 10000 12000 14000
0
2000
4000
6000
8000 10000 12000 14000
Fig.6
step
step
領域を4分割し、式2のトロンビン閾値を超えるボクセルをカウントした。全体としては、Case1＞Case2となり、特にBの領域ではもっとも多くのボクセルが閾値を超えていた。本研究の条件においては、Case1が、血小板が流れ方向に対して直列に並ぶことで血小板間に作用する流速が低下し、そこにトロンビンが蓄積された結果だと判断できる。

187

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

C-4
血小板活性化モデルのための細胞内カルシウムイオン実証実験	
田村典子1) 七澤洋平1) 後藤信哉1)	
1)東海大学医学部内科学系循環器内科	

188

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

C-5
分子動力学法による平衡状態におけるコフィリン修飾アクチンフィラメントのエネルギー解析藤井徹矢1・井上康博1,2 ・安達泰治1,2 (1京大院・工・マイクロエンジニアリング専攻 2京大・再生医科学研究所・バイオメカニクス研究領域)

背景と目的
アクチン細胞骨格は、細胞内で絶えず動的な再構築を行うことにより、細胞の力学的環境変化に応答することが示唆されている。アクチン細胞骨格の構成要素であるアク
チンフィラメントは、単量体のG-アクチンが多数重合した二重らせん構造を有しており、種々のアクチン関連タンパク質（ARP）と結合することで、その振る舞いが変化する。
本研究では、ARPの一つであるコフィリン（Cofilin）に着目した。コフィリンはアクチンフィラメントの脱重合・切断に関与し、アクチン細胞骨格の動的な再構築を促進する。ア
クチン-コフィリン間の結合親和性は張力に依存することが報告されているが、その分子レベルでのメカニズムは未だに明らかにされていない。これを解明するためには、
実験的手法では観察の難しいミクロスケールの立体構造をシミュレーションできる分子動力学（Molecular Dynamics: MD）法が有用である。そこで本研究ではMDシミュ
レーションを用いて、張力無負荷時の平衡状態におけるコフィリン修飾アクチンフィラメント（Cofil AF）の立体構造を計算し、アクチン─コフィリン間・アクチン─アクチン間の相互作用エネルギーとフィラメントの立体構造の関係に着目して解析を行った。

方法
分子動力学(MD)法① 平衡化シミュレーションのための初期構造モデルの構築
アクトミオシン分子

一つ一つの原子に対しニュートンの運動方程式を適用することで、分子の振る舞いを観察

ミオシンの除去＋
サブユニット構造の置換平衡化の評価

アクチンフィラメントへのコフィリンの修飾
アクチン三量体とコフィリン
‐炭素原子の位置座標を基に、アクチン
サブユニットの近傍にコフィリンを修飾

平均二乗偏差(RMSD)
システムの平衡化が十分行われていれば、RMSD
値は収束する

Newton's equation of motion

mid 2 xii ( xij )
dt 2
j i

アクチンフィラメント
(Bare AF)

コフィリン修飾アクチン
フィラメント (Cofil AF)

アクチンフィラメントの模式図② 溶媒分子とイオンの追加
Minus end

Plus end③ エネルギー最小化
水分子やイオンが不自然に近接しないよう再配置

アクチンサブユニット ( ,から順に番号をつける) にマイナス端Fig. 1 Bare AFおよびCofil AFのRMSDの時間変化④ 平衡化シミュレーション

両フィラメントは平衡化されたと考えられる

計算時間：20 ns
等温定圧条件 (P = 1 atm, T = 310 K)

結果
ねじれ角

コフィリン修飾アクチンフィラメントのエネルギー解析

フィラメントの局所的なねじれ角の平均

167.08 ±2.68 deg.
167.78 ±1.66 deg.

Fig. 2 Bare AFおよびCofil AFの平衡状態におけるねじれ角
Fig. 3 Cofil AFにおけるねじれ角とコフィリン─アクチン間エネルギーの関係• 平均値に有意差はない→平衡構造のねじれ角は変化しない• 標準偏差の減少→揺らぎの減少

Fig. 4 Cofil AFにおけるねじれ角とアクチン─アクチン間エネルギーの関係• エネルギーはねじれ角に依存している(Fig. 3, Fig. 4)• コフィリン─アクチン間のエネルギーに２つの極小値が見られた(Fig. 3)

考察
ねじれ角-174度付近でアクチン-コフィリン間エネ
ルギーの極小値が見られたサブユニット11-13には、次の特徴が見られた。
• アクチン同士の相互作用エネルギーは0付近に分布している。(Fig. 4)• 重心間距離は増大していて、12～17 nsにおいては、他の5つのアクチンサブユニット間の距離よりも長い。(Fig. 5)• 平衡化計算初期の5 nsでは、両サブユニット間に形成される水素結合の数は、平均で約3個なのに対し、12～17 nsではほとんど観測されなかった。(Fig. 6)
以上３点は、コフィリン修飾アクチンフィラメントがサブユニット11‐13間で切断されたことを示唆している。このようなアクチンフィラメントの立体構造変化
は、コフィリン‐アクチン間で相互作用する特定のア
ミノ酸残基によって引き起こされた可能性がある。

ARG39

水素結合

ARG39

ASP286
ASP286

Fig. 5 Cofil AFにおけるアクチンサブユニット間距離の時間変化

subunit 11
subunit 13

subunit 11
subunit 13

(a)

(b)

Fig. 6 Cofil AFのサブユニット11-13間において、初期状態からの5ns間で水素結合の形成頻度が最も高かったアミノ酸残基のペア (a) t = 2 ns (b) t = 17 ns

本研究の一部は、日本学術振興会最先端・次世代研究開発支援プログラム「生体システムの構造・機能適応ダイナミクスの力学的理解」（LR017）および文部科学省科学研究費補助金（22616602,23127506）による援助を受けた。記して謝意を表する。

189

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-1: ZZ-EFSI 全身ボクセルシミュレーション（ボクセル構造流体連成解析プログラム）

開発責任者: 高木周 (理化学研究所 次世代計算科学研究開発プログラム)

開発に至る背景••

計算の妥当性 (流体構造/膜連成機能の実装)

Whole body

医療画像（CTスキャン，MRI等）と相性の良い流体構造連成解析により，個人毎の診断に即した治療支援を実現したい．
赤血球・血小板を含む血流を対象とする超大規模並列計算を容易に実現
し，血小板血栓に至る機構を明らかにしたい．

キャビティ流れ中の超弾性体粒子

Blood tube
blood
muscle変形パラメータDの時間変化

Ca = 0.0125

Stress-strain

D=

L−B
L+B

B

L

Muscle force- - Zhao, Freund & Moser(2009, J. Comput. Phys. 227)
SMAC＋ Lagrangian for solid－ Present (ACM + full Eulerian)velocity

Multi physics

Whole body voxel
model
model

大規模並列計算に適した流体構造/膜連成解析を実現
Euler型流体・構造/膜連成解析法
How is the solid deformation
described?

固定メッシュ上で，全ての物
理量を更新できるように定式化．
• voxelデータの利用により，メッシュ生成・再構成を不要に．
• 複雑な境界形状を持つ/多数の分散体を含む問題の扱いを容易に ．
動的パラメータを持つ擬似圧縮性法(Artificial Compressibility Method; ACM)•••

せん断流中の膜カプセル● Eggleton et al.(1998) Phys. Fluids,10, 1834.
△ Pozrikidis (1995) J. Fluid Mech.,297, 123.

開発ソフトウェアの特徴•

Ca = 0.2

十分に検証された計算結果を良く再現

現在開発/実施中の計算事例 (血栓シミュレータ)血小板血栓に至る機構解明を目指す
血流とLigand-Receptor結合のマルチスケール/
フィジックス解析法の概要

血流
血流 （連続体力学）（連続体力学）
スケール間
スケール間
相互作用
相互作用

Ligand-Receptor結合
Ligand-Receptor結合(統計力学)(統計力学)

圧力修正に際して，速度発散を最小化する処理を導入．
数値的に安定で完全陽的な時間積分．
高い実効性能，並列性能を実現．

現時点での開発状況•

開発言語とライブラリ
FORTRAN, C++, MPI, OpenMP, VSphere• 「京」のマニュアルに従い，プロファイラ，PAツールを使って性能チューニング．
• 「京」で，ステンシル計算として極めて高い実効性能，
台数効果を達成．
実効性能と並列台数
血管内における(weak scaling)
多数の分散体•物質拡散•物質拡散•代謝反応・活性•代謝反応・活性
•形態変化
•形態変化

血小板付着の様子，赤血球の影響
赤血球なし

赤血球あり

・ 血小板:
揚力により壁面から離れる方向に移動．
付着しにくい．

ノード当たり512x128x128格子点． 4.54Pflops

・ 赤血球：
チャネル流コア部に集積．
壁面垂直方向の速度成分の変動を誘起．
・ 血小板：
壁面に接近する機会が増え，付着しやすくなる．

1ノード (8 コア)： 46.6%
82,944ノード (663,552 コア)： 42.7%
スカラー機上のステンシル計算として極めて高い実効性能 & 線形拡張性

分子的相互作用
分子的相互作用(分子動力学)(分子動力学)

血栓形成の第一段階における，赤血球の存在の重要性．
⇒今後は，多数の赤血球が存在する条件で，血小板の付着から血栓の初期過程を「京」で解析謝辞
本研究は「次世代計算科学研究開発プログラム」の助成を受けて行なわれた．
本研究の計算結果の一部は，RIKEN Integrated Cluster of Clusters (RICC) システムを利用して得られた．
参考文献
Sugiyama, K., Ii, S., Takeuchi, S., Takagi, S. and Matsumoto, Y. (2010) Full Eulerian simulations of biconcave neo-Hookean particles in a Poiseuille flow, Comput. Mech., 46: 147-157.
Nagano, N., Sugiyama, K., Takeuchi, S., Ii, S., Takagi, S. and Matsumoto, Y. (2010) Full-Eulerian finite-difference simulation of fluid flow in hyperelastic wavy channel, J. Fluid Sci. Tech.,
5: 475-490.
Sugiyama, K., Ii, S., Takeuchi, S., Takagi, S. and Matsumoto, Y. (2011) A full Eulerian finite difference approach for solving fluid-structure coupling problems, J. Comput. Phys., 230: 596627.
Ii, S., Sugiyama, K., Takeuchi, S., Takagi, S. and Matsumoto, Y. (2011) An implicit full Eulerian method for the fluid-structure interaction problem, Int. J. Numer. Meth. Fluids, 65: 150165.
Ii, S., Gong, X., Sugiyama, K., Wu, J., Huang, H., and Takagi, S. (2012) A full Eulerian fluid-membrane coupling method with a smoothed volume-of-fluid approach, Comm. Comput. Phys.,
12: 544-576.
Takagi, S., Sugiyama, K., Ii. S., and Matsumoto, Y. (2012) A review of full Eulerian methods for fluid-structure interaction problems, J. Appl. Mech., 79: 010911.
Ii, S., Sugiyama, K., Takagi, S. and Matsumoto, Y. (2012) A computational blood flow analysis in a capillary vessel including multiple red blood cells and platelets, J. Biomech. Sci. Engrg.,
7: 72-83.

190

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-2
血栓形成のマルチスケールシミュレーション- 血小板の血管壁への接着に関するタンパク質間相互作用の解析 塩崎聖治 (東海大)，伊井仁志（大阪大），杉山和靖（理研），後藤信哉 (東海大)，高木周（東大）

慢性閉塞性肺疾
患
2%

研究の背景

本研究では，血小板の凝集による血栓の形成について腎不全
マルチスケール解析を行っています．
2%
血栓の形成の初期過程の概要は次の通りです．
自殺① 血管壁が損傷するとその表面は血管内皮細胞下のコラーゲンが露出し，血漿中のvon Willebrand因子(vWF)が
結合する．

3%

日本人の死因（2009年） 厚生労働省

計算結果

その他
8%

肝疾患
2%

局在部密度の制御
Calculation area
1500nm×1500nm

悪性新生物
34%

不慮の事故
4%

肺炎
11%

老衰
4%

脳血管疾患
12%

Platelet diameter : 2m
15000~20000 GPIb/platelet
Localization : 5 places
Localization area : 0.09m
Density ratio : 2~104000 GPIbα
3600 vWF

GPIbα localized area Localization ratio
300nm×300nm: 1, 2, 10
2nm

心疾患
18%

② vWFに血小板がGPIbαを介して結合する(一次凝集)．
③ 粘着した血小板は活性化され，さらにその周囲の血小板も二次的に活性化される．

密度制御前後の細胞膜上GPIbα分布

血栓症：30%

5.0

GPIbα

左図：心筋梗塞患者から採取した血栓のSEM画像
白：血小板
黄：フィブリン
赤：赤血球
緑：白血球

⑤二次凝集によって形成された血小板血栓上で血液凝固因子が活性化され，フィブリン繊維が形成され血小板血栓を覆い，より強固な血栓が形成される．

Normalized number density④ 二次的に活性化された表面には血小板膜糖蛋白のGPIIb/IIIaが発現し，GPIIb/IIIaどうしをvWFやフィブリノゲンが繋ぎ，血小板が凝固する(二次凝集)．

GPIbα‐vWF bond

計算モデルの概要

活性
化

血小板

vWF
血管内皮細胞
GPIb

活性化

GPIIb/IIIa

コラーゲン
血栓形成初期過程の概要

Δl= 0

Δl = 10 nm

l0Vessel
wall

l

120

vWF (von Willebrand Factor)

kr

No

i 1

P( ) Finished?

Yes

Do Process , Increment Time
1

1
t 
ln(ran ) Riiran   01

R

 Ri
i

kMC Algorithm

0

10

20

30

40

6

50x10

Number of bonds

Platelet surface

200
150
100

l

l0

Vessel
wall

50
10

20
30
l - l0 [nm]

40

50

200
100

800
600
400

←GPIbα-vWF結合の最大値

1200
800
400

200
10

-2

10

-1

500

0

1

10
10
10
velocity [nm/s]

2

10

3

400
300
200
100

0
4
-3
10 1400
10

10

-2

10

-1

1200

0

1

10
10
10
velocity [nm/s]

2

10

3

1000

0
4
-3
10 1600
10

800
600
400

10

-2

10

-1

0

1

2

0

1

2

0

1

2

10
10
10
velocity [nm/s]

10

3

10

4

1200
800
400

200

0
-3
600
10

10

adhesion force [pN]

300

0
-3
600
10

2

1600

+ : GPIbα nonlocalized region 1000

400

adhesion force [pNN]

1

血小板－血管壁間吸着力の動的応答（ /0.09μm2 ）(ratio = 10, Keq=10)

10

-2

10

-1

500

0

1

10
10
10
velocity [nm/s]

2

10

3

0
-3
10 1400
10
4

400
300
200
100

10

-2

10

-1

1200

0

1

10
10
10
velocity [nm/s]

2

10

3

10

0
10

4 1600 -3

1000
800
600
400

10

-2

10

-1

10
10
10
velocity [nm/s]

10

3

10

4

1200
800
400

200
10

-2

10

-1

0

1

10
10
10
velocity [nm/s]

2

10

3

10

4

0
-3
10

10

-2

10

-1

0

1

10
10
10
velocity [nm/s]

2

10

3

10

4

Keq = 1000

0
-3
10

10

-2

10

-1

10
10
10
velocity [nm/s]

10

3

10

• 血小板－血管壁間の距離が大きくなるに従って，GPIbα‐vWFの1本1本の吸着力は大きくなるが，結合の数が減少していくため ある時点で急激に吸着力していくため，ある時点で急激に吸着力が減少する．
• 平衡定数が小さいほどGPIbαの局在化の影響が大きくなっているが，これはGPIbαとvWFが結合を作る確率が小さい
ため， GPIbαとvWFのペアが結合を形成
しうる範囲内に存在する頻度の違いの影響が大きくなるためである．

4

Keq = 100000

b

まとめ GPIbα diffusionkd 

自由エネルギー P(i)

A. Kusumi, 1993.

Keq=10(localized)
Keq=10
Keq=1000(localized)
Keq=1000
Keq=100000(localized)
Keq=100000q 血小板表面格子モデルを構築し，GPIbαの挙動について動的モンテカルロ法を用いた解析を行い，タンパク質スケー
ルから血流スケールまでを繋ぐマルチスケールシミュレーションの枠組みを作成した．
 実験により得られたパラメータを用いた解析から，血小板の吸着力を見積もり，血小板細胞膜上でのGPIbαの局在化が血小板－血管壁間相互作用に有意な影響を与えている可能性があることを示した．

4D
d l2

Unstretched state
Forward(結合の形成)
reverse(結合の切断)

今後の予定• タンパク質結合部としてlinear springではなく，エントロピー弾性を考慮したworm-like chainモデルを採用した解析を行う．
• 分子動力学法を用いてGPIbα-vWF相互作用を解析し，rateをモデル化する．

ΔG0ts

Worm-like chain(WLC)モデル Lp: persistence length(持続長)ΔG0b���� ����� �

反応座標
Stretched state

Choose a Process 0

血小板－血管壁間のGPIbα－vWFの結合数密度(ratio = 10, 釣合い位置)

Time step

Keq = 10

自由エネルギー Gts0  Gb0 
kr0  kru exp 
2kbT



Initialize Lattice
Identify All Processes
and Rates Ri

40

血小板一次凝集について以下の知見を得た．

 k  kts l  l0 2 
k r  k r0 exp 

2kbT



 Gts0 
k 0f  k uf exp  2kbT 

60

20

250

0
-3
10

R：receptor
L：ligandC：bond complex
kf：association rate const.
kr：dissociation rate const.

Events for kMC (spring model)(M. Dembo, 1987)
 bond breakage
 bond formation k l  l0 2 
k f  k 0f exp  ts

2 k bT 
fb k    b 

80

J. Kim, 2010

血小板－血管壁間の吸着力（/0.09μm2，平衡状態）(ratio = 10)
Density600
1400+ : GPIbα localized region
ratio
1200
500

plateletinner wall of ablood vessel

Binding force

C

J. Kim, 2010

adhesion force [pN]

kf

0.1
0.09
0.0027
101 – 105
10‐12

0
0

・ GPIbα－vWF相互作用
分子動力学法を用いてタンパク質間相互作用の解析を行います．ここでは自由エネルギーについての計算を行い，細胞表面ス
ケールの解析を念頭に置き，タンパク質の結合，分離のrateのモデル化を行う．

R+L

k (pN/nm)
kts (pN/nm)
kr0 (s‐1)
Keq = kf0/kr0 (‐)
Dloc (cm2/s)

adhesion force [pN]・血小板－血管壁間相互作用
血小板細胞膜上に存在するGPIbαの挙動について，血小板表面の2次元格子モデルを構築し，動的モンテカルロ法による解析を行っている．動的モンテカルロ法を用いる事によって血小板表面に存在するGPIbαの拡散，vWFとの結合の形成，及び切断の現象
を統計的に取り扱うことが可能となり，各時刻における結合の数を求めることができる．

Reference

100

300

本研究では，血小板凝集について以下の3つのスケールに分けて解析を行い，タンパク質スケールから血流スケールまでを繋ぐ
けて解析を行いタンパク質スケ ルから血流スケ ルまでを繋ぐ
マルチスケールシミュレーションを行っている．
・血管内流れ
血小板－血管壁間相互作用モデルを組み込んだ血流のシミュ
レーションを行っている．

この発表では「血小板－血管壁間相互作用」につい
て述べる
て述べる．

i 1

vWF multimer

subendothelial tissue

Cell adhesion modelvWF subunit

Valueadhesion force [pNN]collagen binding site

collagen

GPIbα－vWF
相互作用

0 1P(i )C2Parameteradhesion force [pN]

C1

Adheesion force [pN]

B

adhesion force [pN]B2adhesion force [pNN]

B1

adhesion force [pN]

D1 D3 A1 A2 A3 D4

Keq=1E1(cluster)
Keq=1E2(cluster)
Keq=1E3(cluster)

140

使用したパラメータ

vWF A1 domain

血小板－血管壁
相互作用

20x10

160

計算結果のスナップショット

血管内流れ

8

10
15
Number of trials

ΔlPlatelet surface

GPIbα molecules bound to vWFA1
unbound GPIbα molecules

GPIbα (glycoprotein Ibα)

計算方法

high diffusivity region5• 平均的な血小板表面の1/5に相当
する計算領域の中央部に拡散速度の小さな領域を作成し，GPIbαの局在を模擬した．

Δl = 30 nm

most GPIbα bound to
the number of bonds decreased bonds rarely existed
uniformly distributed vWFA1 with increasing Δl

Shi-Zhong Luo, et al., Blood, 109, pp.603-609 ,2007.

Reininger, A. J., et al., 2006

1.0

局在域，非局在域のGPIbα密度• 血小板表面において
GPIbαは3から5カ所への局在が観測されており，
その局在部が血小板－
血管壁間相互作用に大きな影響を与えている可能性が指摘されている．

GPIbα binding site

2.0

vWF binding
g site• 血小板表面には1万5
血小板表面には 万
千から2万個のGPIbαが存在している．

血小板の吸着low diffusivity region

3.0

0.0
0

A. E. X. Brown, et al., Science, Vol. 325. no. 5941, pp. 741 – 744, 2009http://www.npr.org/blogs/health/2009/08/blood_its_a_jungle_in_there.htm
l
活性
化

4.0

1
�� �
� 1
�
� � �
�� 4�1 � �⁄��2 � 4

L: contour length (伸びきり鎖長)
x: 伸び

研究体制
次世代計算科学研究開発プログラム
次世代⽣命体統合シミュレーション研究推進グループ

ΔG0ts+kts(l-l0)2/2
ΔG0b-k (l-l0)2/2

理化学研究所
東京⼤学
⼤阪⼤学
東海⼤学

反応座標

191

⾼⽊周、杉⼭和靖、横⽥秀夫、野⽥茂穂、須永泰弘
⽯川顕⼀、島本憲夫、清⽔和弥
伊井仁志
後藤信哉、岡秀樹、⽥村典⼦、七澤洋平

敬称略ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-3: ZZ-DOSE based on PHITS
全身ボクセルモンテカルロ重粒子線計算プログラム	
開発責任者: 石川顕一 (理化学研究所臓器全身スケール研究開発チーム、東京大学大学院工学系研究科) 	

	

研究開�成果���・���

がんの重粒粒⼦子線治療療���セルファントムを⽤用いた全⾝身線量量計算�

重粒粒⼦子線（加速器から得られる炭素イオンのビーム）で、���にがんを治す治療療��
Ｘ線は通り道にまんべんな
く影響をあたえ、正常組織に後遺症が出ることも‣ 線量の集中性が高い（ピンポイントに照射可能）



重粒子線は、がんのあるせまい領域だけを集中攻撃‣ 強い生物効果（細胞を死滅させる力!(')
&-%+

.

!/

が強い）



‣ 他の治療法では治らないがん（メラノーマ、肝臓がん、手術できない肉腫）が治る‣ 同じ治るにしてもより短期間で安全#

1984年 重粒子線治療センター
建設計画スタート
1994年 炭素イオン線臨床試験開始
2003年 高度先進医療として承認に治りQOLが高い（Ｘ線なら20〜40
回照射、重粒子線なら１回照射）‣ 高度先進医療として、近年、国民の放射線医学総合研究所での患者数

注目が高まっている……

⽯石川顕⼀一、和⽥田成⽣生、計算⼯工学
14,  2167-‐‑‒2168  (2009)�

#*,$"��分�モンテカルロ��

1994.6-2009.2の期間に4504人 (年々増え2008年度は684人)

重粒子線は目に見えないので、3D-CT画像を使って線量を計算し、治療計画を立てる

p  200MeV�

実際には3Dで計算信頼性の高い線量計算法が必要

既存の計算手法：ペンシルビーム法等

長所：簡便で計算時間が短い（数分）

短所：不均質な媒質中（骨の近くなど）で誤差大 →がん病巣へは不十分な線量、正常組織に不要な被ばく
30

K.  L.  Ishikawa  et  al.,  Med.  Phys.  (AAPM2010);  Prog.  Nucl.  Sci.  Tech.  2,  197  (2011)�

B Schaffner et al

様々な組織から構成される不均質な体系についても高精度

OpenMP-‐‑‒MPIハイブリッド並列列�

ペンシルビーム法

で線量計算できる手法が必要

Scalability&(to&128&node&computa:on)

12スレッド  �

がん病巣への線量を十分に、正常組織の被ばくを低減
モンテカルロ法

モンテカルロ法を用いた線量計算の実用化が切望されている

Figure 1. Result of the original scanned beam model (A) compared with a Monte Carlo calculated
dose distribution (B) for the test situation (177 MeV, 15 range shifter plates, air gap of 10 cm). The
scanned beam model is inadequate for this situation since the inßuence of the high-density slab is
not modelled.

air gap of 10 cm and 15 range shifter plates ( 6.8 cm of water) were chosen. The resolution of
the dose calculation grid is 1 mm. Since this original model only used the density information
along the central axis of the beam, the dose calculation completely disregards the density
heterogeneity of the slab and therefore corresponds to the dose of a whole pencil beam inwater. This is shown as an isodose line display in Þgure 1A.
A comparison with the result of the PSI Monte Carlo code (Þgure 1B) shows that there arelarge dose errors in the shadow of the slab. Due to the limitations of this approach this model
will not be considered further. Instead, new algorithms, based on the physical characteristicsof the scanned beam described above, were developed to better account for heterogeneities.

モンテカルロ法を用いた重粒子線線量計算シミュレーターを開発

1スレッド  �2.2. Estimation of the range dilution after density heterogeneities
When protons pass through inhomogeneous tissue, their initially well deÞned Bragg peak
becomes degraded (Urie et al 1986, Schneider and Pedroni 1995). Due to the high dose
deposited in the peak region, this degradation, which is caused by a dilution of the proton
ranges, has a strong inßuence on the Þnal dose distribution. It is therefore important to model
this effect in the treatment planning with the highest possible precision. For this purpose wehave developed a simple algorithm which can be used to estimate range dilution of the Bragg
peak in the presence of density heterogeneities.
For a given beam incidence, we deÞne the range dilution of a proton beam passing througha heterogeneous medium to be the root mean square (rms) of the range of protons stopping at
a given point P . The water-equivalent proton ranges are calculated from the CT data set byusing representative straight proton trajectories centred at point P . The angular spacing andweighting of those individual rays is chosen to represent a Gaussian distribution, whose sigma
is determined by the rms of the angular distribution of the proton trajectories (angular spread)
resulting from both the effective phase space and multiple Coulomb scattering in the patient.

�要・ア�ロー��_#kz1YK3¨¥ e©

メ モ リ ー 共 有 並 列列 あ り（上）およびなし（下）で計算した⽔水ファントム
中の線量量分布。全く同じ結果が得られている。�

m (:Q¦£§¥§ IEu[

粒粒⼦子の輸送や⼀一連の反応を、乱数を⽤用いて
zcg 9U n-+¦]+lq§ u)
モンテカルロ��m !"wzIEi}��くり�の����ュレー��ン�m _2§ ¢¥r{qv}tn\G'lq§¡¥§bau[PHITS
0$X}Ac};pLF#k|C`xv} n0$XOP   [http://phits.jaea.go.jp/]  を�ースに�j#dJ)
粒粒⼦子・重イオン輸送計算コード
OP£§.nA+/c~n%反応までの自由行程を、反応確率（断面積）OCt)xoにしたがって乱数で決めるs y*F,^

16384&cores

京で良良好なストロングスケーリングを得ている。�

T.  Furuta  et  al.,  Proceedings  of  6th  Japan-‐‑‒Korea  Joint  Meeting  on  Medical  Physics  and  11th  Asia-‐‑‒Oceania  Congress  of  Medical  Physics  (2011)�
T.  Furuta  et  al.,  IFMBE  Proceedings  39,  2099  (2012)�

iN?¦
+X~
=T
X@F

¥§

Strong'scaling

京で131,072コア�での��を���;pLF

7 SMR6b Fwz
f<5MR#dどの反応が起こるかを、２次粒子が放出される*FMR
H7 SMRb¨AMSn¤§
乱数で決める
方向を乱数で決める IBA©Y¤¢ §wnf<5

FwzMRt1
hMR#dko

フォンノイマンとウルムが発明し、加速器実験・検出器・放射線遮蔽の 9 BD`9n84>V &¥nWZ V 9 etc.
4��と���

計算に広く使われる複雑な体系に対する精度の高い計算が可能
入射粒子数を増やすことによって、統計的精度を上げられる並列化効率が高い

OpenMP-‐‑‒MPIハイブリッド並列列をPHITSに実装し、version  2.50として公開済み  (http://phits.jaea.go.jp/getj.html)�

モンテカルロ粒粒⼦子輸送計算では、通常、ヒストリー（⼊入射粒粒⼦子）を並列列化し、すべてのProcessing  Elementが全体系の情報を保持。�
全⾝身線量量計算では膨⼤大なメモリーが必要（コア当たり数~∼数⼗十ギガバイト）�

��分�モンテカルロ��

京での全⾝身��セル線量量計算�

京のス�ッ�����

������がんリス�の���
がん治療療施設との共同研究（国⽴立立がん研究センター東病院、���⼤大学）�

OpenMP-‐‑‒MPIハイブリッド並列列�

本ポスターの結果の⼀一部は、理理化学研究所が実施している京速コンピュータ「京」の試験利利⽤用によるものです。�

192

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-4: ZZ-HIFU
集束超音波による低侵襲治療のためのHIFUシミュレータ
開発責任者: 松本洋一郎 (東京大学工学系研究科機械工学専攻)

1. Background and Objectives

3. Simulation Assisted Focus Control
Experimental Apparatus

High-Intensity Focused Ultrasound therapy• Minimally-invasive treatment, which provides
the heat coagulation of tissue around the focal
point of ultrasound.
• Benefits• Short hospital stay
• Radiation free
• Repeatable treatment• Approved for tumors such as the prostate
hyperplasia and uterine fibroids.

Stage

Stage controller
40 mm

z
o

LabVIEW™

Kennedy JE., Nat. Rev. Cancer, 5:321-27, 2005yx

Needle hydrophone

61ch Amplifier

TriggerGeometrical Focus

Water

MRI-guided Focused Ultrasound Surgery has
been developed for various tumors.
• Pre and Post contrast imaging for treatment
validation• Accurate targeting• Real-time monitoring of temperature
http://www.ushifu.com

θ56ch PZTTransducer

Trigger

Oscilloscope

・56 elements
・Frequency 2 MHz・Focal distance: 100 mm

Acrylic plate (3 mm)
c=2660m/s

The acrylic plate as a phantom of bone is inserted between the transducer and target. The angle of theacrylic plate can be changed. The transducer is driven by 61ch amplifier under the control of
LabVIEW. The acoustic field is measured by using needle hydrophone 3-dimensionally
3 dimensionally

http://www.insightec.com

HIFU for tumor behind bones
Brain tumor

Influence of elasticity on focusing

Liver tumor

Pressure profiles (dot: experiment, line: simulation)

Water

Acryl

Water
Longitudinal wave
Transverse wave

θi

θT
θL

Displacement and diffusion of focal point due to the reflection
and refraction of ultrasound at the interface of bones

Focus control by array transducer
θiSimulation assisted focusing methods

Axis• A layered wavevector-frequency domain model using input from CT scans(Clement & Hynynen, 2002)• A time-reversal process based on prior CT scans using the wave propagation simulation(Aubry et al., 2003)

Geometrical focus• The results of experiment and simulation are in relatively good
agreement.

Experiment• Digital human model is constructed based on CT images• Control parameters of array transducer is obtained by a simulation

Simulation

No control

Objectives

0

1.4

Pressure [MPa]• Realization
Reali ation of the appropriate focus
foc s control in the bod
body using
sing arra
array transd
transducercer• Prediction of the treatment region for the preoperative planning• Support of the development of HIFU device from design to approval

Fluid control
00.75

Pressure [MPa]2. HIFU Simulator

Elastic control
0

HIFU for breast cancer

The media of a volume model ofhuman body (voxel phantom) is
discretized into cubic elementswith the voxel data for a living
human body collected by
CT/MRI technologies. On theother hand, the shape of thetransducer defined by CAD isrepresented by the volume dataof the signed distance function.
Then, the ultrasound propagationfrom the transducer through thevoxel phantom is performed bylarge-scale parallel computing.

Okita et al., Int. J. Numer. Meth. Fluids 2011; 65:43–66

http://fus.breastopia.or.jp/（厚生労働省，人口動態統計）

 MRI image
Water

Sound speed
[m/s]

Fat

The constitutive equation for shear elasticity:
∂σ′e
⎛ 1
⎞
2 μem ⎜ e − tr ( e ) I ⎟
=
∂t
⎝ 3
⎠

ρm = ∑ f k ρkkThe equation of state of media: (Tait’s equation)1⎛ p + A1 ⎞ γ⎟⎝ p0 + A1 ⎠Density[kg/m3]

Fat

1465[1]985[1]

Parenchymal(乳腺)1547[2]1032[2]Connective

1615[1]1090[1][1] ICU REPORT 61, [2] T. D. Mast, “Empirical relationships
between acoustic parameters in human soft tissues”, 2000

∂u
⎡
⎛ 1
⎞⎤
= −∇p + ∇ ⋅ ⎢ζ vm tr ( e ) I + 2 μvm ⎜ e − tr ( e ) I ⎟ ⎥ + ∇ ⋅ σ′e
∂t
⎝ 3
⎠⎦
⎣
The constitutive equation for bulk elasticity:
∂p
4
⎛
⎞
2
= −ζ em tr ( e ) = − ⎜ ρ m csm− μem ⎟ ∇ ⋅ u
where
∂t
3
⎝
⎠

ρ = ρ0 ⎜Henry Gray , ”Anatomy of the Human Body”, 1918

 Numerical model

Basic equations
The momentum conservation equation for mixture:

ρm

0.75

Pressure [MPa]A1where =

ρ0 cs20
− p0
γ

and

1
2
ρ m csm=∑k• 56 piezo elements• Focal distance 100 mm• Frequency 2 MH
Parenchymal

fk

•
•
•
•

ρ k csk2

The heat equation for mixture:
and

γ=

B
+1
A
Non-linear coefficient

∂T

∂ ⎛

∂T ⎞

⎧

1

⎫

ρ mC pm =⎜κm⎟ + ζ m ( ekk ) + 2 μ m ⎨eij eij − ( ekk ) ⎬∂τ ∂x j ⎝⎜ ∂x j ⎠⎟
3
⎩
⎭
2

2

3D orthogonal mesh
Size 120x110x110 mm
1200x1100x1100 grid
8x4x4 sub domains

w/o focus control

w/ focus control

Numerical method• Basic equations are discretized by the Finite Difference Method of 6-th order central differencein space and are explicitly integrated in time based on FDTD method.
• Perfectly Matched Layer is employed for the non-reflecting boundary.
• Parallel computing is performed by the domain decomposition with MPI + OpenMP.

XY plane0
1.5
Pressure [MPa]XZ plane• Focus is converged at the target by phase control.

193

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-6: UT-He a rt

UT-heartによるサルコメア力学から心筋細胞構造を経て心拍動にいたる
マルチスケール解析

開発責任者: 久田俊明 (東京大学)

京で実施したシミュレーション例
60万個の心筋要素に2.3万自由度の細胞モデルを配置. 1.5拍動を60万コアを使って17時間で計算.

現在取り組んでいる課題: 肥大型心筋症のメカニズム解明

194

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-7

血管内の血流シミュレーションソフトウェア開発・ 検証研究李 慶恩 (理化学研究所臓器全身スケール研究開発チーム) 、石峯 康浩 (理化学研究所臓器全身スケール研究開発チーム) 、
野田 茂穂（理化学研究所ACCC)、高木 周 (理化学研究所臓器全身スケール研究開発チーム、東京大学機械工学)

Results

Introductions• The comparisons of velocity of combination method of both

• Many computational simulations of blood flow have been done byusing a body-fitted mesh and a fixed mesh to understand correlation
between hemodynamics and the development of vascular diseases.

FVM and FDM in this study (Method I) and spectral/hp element
method (Method II)[1].

Aim• To introduce a supporting tool for hemodynamics analysis on voxel
system of Eulerian frame to reduce costs(especially man-based
time ) and to produce user-friendly tools for non-experts (i.e.
medical doctors).
•Long-term purpose is to study the blood flow in a very complicatedvessel, a compliant vessel and a deformable organ without the bodyfitted mesh and a re-mesh process.

A

B

C

Numerical Models• Simplified s-shaped geometry for femoral artery (Model I)• Realistic geometry for carotid artery (Model II & III)

Spatial Convergence test with the double bend model
Method I. Estimation of accuracy order by substituting theequations as below.

Numerical Methodology

Method II. Grid Convergence Index (GCI) method is based on
estimated fractional error.
Method III. Estimation of accuracy order with an assumption thatthe results on the finest voxel is very close to exact solution.

Conclusions
Our findings confirm the voxel based simulation software can beapplied to blood flow simulations for biomedical analysis without asurface reconstruction procedure and a complicate mesh generation.

Reference• Volume integral over a control volumes in Navier-Stokes equations
is calculated on staggered grids in several spatial finite difference
discretizations and time discretization with FAVOR (fraction
area/volume obstacle representation) method and HSMAC ( Highly
Simplified MAC) Method.
•FAVOR method on fixed grid and voxel size play a role in thedefinition of contour of vascular surface as well as results incomputational simulations in Figure 4.
• Boundary conditions (Parabolic steady inlet flow (Remean = 500),
no-slip wall and free velocity gradient outlet condition)[1] K. E. Lee, K. H. Parker, C. G. Caro, S. J. Sherwin, The
spectral/hp element modelling of steady flow in nonplanar double
bends, International Journal for Numerical Methods in Fluids 57(2008) 519-529

Acknowledgements
This research was supported by Research and Development of the
Next-Generation Integrated Simulation of Living Matter, a part of
the Development and Use of the Next-Generation Supercomputer
Project of the Ministry of Education, Culture, Sports, Science andTechnology.

195

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)O-8
㻌
筋骨格系㻟次元有限要素シミュレータの開発㻌㻟㻰㻌㻲㻱㻌㻿㼕㼙㼡㼘㼍㼠㼛㼞㻌㼒㼛㼞㻌㻹㼑㼏㼔㼍㼚㼕㼏㼍㼘㻌㻭㼚㼍㼘㼥㼟㼕㼟㻌㼛㼒㻌㻴㼡㼙㼍㼚㻌㻹㼡㼟㼏㼡㼘㼛㻙㼟㼗㼑㼘㼑㼠㼍㼘㻌㻿㼥㼟㼠㼑㼙㻌
㻌責任者㻦㻌 山村直人㻌㻔理化学研究所㻌 臓器全身スケール研究開発チーム㻕㻌㻌 㻌㻌We are developing a computational system that accounts for the combined behavior of cerebral nervous
system and musculo-skeletal system, aiming to provide a useful tool for investigating the mechanisms
underlying motor dysfunctions (e.g., Parkinson’s disease). The musculo-skeletal system was modeled basedon a finite element description of soft-tissues, in which the material behavior of the muscle is separated into an
active and a passive part. In the description of muscle activation, the motor-unit activity model was introduced
to take into account the effects of neural signals on the behavior of motoneurons. The simulation results by thedeveloped model showed the inhomogeneous distributions of the activated muscle fibers and motor-unit forces.

ᵫᶇᶁᶐᶍᵋᶋᶃᶁᶆᵿᶌᶇᶁᵿᶊᴾᶋᶍᶂᶃᶊᴾᶍᶄᴾᶋᶓᶑᶁᶊᶃᴾᶁᶍᶌᶒᶐᵿᶁᶒᶇᶍᶌᴾᵑᵢᴾᵤᵣᴾᶋᶍᶂᶃᶊᴾᶍᶄᴾᶋᶓᶑᶁᶓᶊᶍᵋᶑᶉᶃᶊᶃᶒᵿᶊᴾᶑᶗᶑᶒᶃᶋᴾ
- 3D geometry and architecture of musculoskeletal system reconstructed from CT/MR images- Nonlinear FE method for incompressible
hyperelastic materials- Phenomenological muscle contraction model,
Hill model and Motor neuron modelᵫᶍᶒᶍᶐᴾᶓᶌᶇᶒᴾ

Input

Motor neuron poolin spinal cord

Gastrocnemius
muscle(Kinugasa et al. 2006)

SoleusmuscleMuscle fibers

AchillestendonMR/CT data

50％iEMGmax 70％iEMGmax 㻌

安静時ᵫᶍᶒᶍᶐᴾᶌᶃᶓᶐᶍᶌᴾᶋᶍᶂᶃᶊᴾ• Recruitment• Rate coding㻌㻝㻜㻜㻜ᵫᶓᶑᶁᶊᶃᴾᶁᶍᶌᶒᶐᵿᶁᶒᶇᶍᶌᴾᶋᶍᶂᶃᶊᴾᵆᵦᶇᶊᶊᴾᶋᶍᶂᶃᶊᵇᴾ㻤㻜㻜 0isom : Maximum isometric stress㻜㻚㻜

before and after deformation
㻌

0.4

㻌

0.50
0.25

0.2
0.0
0.0

0.00
0.1

0.2

0.3

0.4

Time /sft : Activation

-1.0

-0.5

0.0

0.5

Fiber strain a1.0

fl : Lengh factor

0.8

fi , j (t )


0.4
0.0
-15 -10 -5

0

5
.

10 15

Fiber strain rate f /s

80%
MVC

㻝㻚㻜

-1

Response of continuous discharges

fv : Velocity factor

Fi motor

(t )

k

f
j 1

i, j

(t  ti , j  0 )Nodal forces Joint movement

Cauchy stress distributions

60%

㻜㻚㻤

Ti : Twitch contraction time
Pi : Maximum twitch force: Discharge frequency
gi, jdependence factor

Pi t 1 (t / Ti )e gi , jTiᵱᶇᶋᶓᶊᵿᶒᶇᶍᶌᴾᶐᶃᶑᶓᶊᶒᶑᴾᶍᶄᴾ
ᶇᶑᶍᶋᶃᶒᶐᶇᶁᴾᶁᶍᶌᶒᶐᵿᶁᶒᶇᶍᶌᴾ

0%

㻜㻚㻢

ᵧᶋᶎᶓᶊᶑᶃᴾᶐᶃᶑᶎᶍᶌᶑᶃᴾᶄᶍᶐᴾᶃᵿᶁᶆᴾᶂᶇᶑᶁᶆᵿᶐᶅᶃᴾ

1.2ᵱᶇᶋᶓᶊᵿᶒᶇᶍᶌᴾᶐᶃᶑᶓᶊᶒᶑᴾᶍᶄᴾᵿᴾᶒᶐᶇᶁᶃᶎᶑᴾᶑᶓᶐᵿᶃᴾᶋᶓᶑᶁᶊᶃᴾ
Displacement distributions㻜㻚㻠㼀㼕㼙㼑㻌㻛㼟㼑㼏㻌

Length factor

0.75

0.6
㻌

Activation level

0.8

㻜㻚㻞

㻌

1.6

1.00

Velocity factor fv

㻌

㻞㻜㻜
㻜

A0 , A : Cross-sectional area of a muscle fiber

1.0

㻠㻜㻜

100%

196

㻌

30Hz

5.0Hz
10.0Hz20.0Hz30.0Hz

20Hz
10Hz

㻌

where

㻢㻜㻜

㻌

A
 0  ft  fl  f v
AMotoneuron

isom
0Force output

  
act
fiber

5Hz

Twitch

0.0

0.5

1.0

1.5

Time /sec

Nodal forces

2.0

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

O-9 血管網シミュレーター
全身循環モデルを用いた頸動脈ステント留置術に関する血流シミュレーション
開発責任者: Fuyou Liang 高木周
共同研究:
大島まり(東京大学情報学環) 藤澤慶（東京大学大学院学際情報学府学際情報学専攻）
所属：
理化学研究所 次世代計算科学研究開発プログラム 臓器全身スケール研究開発チーム

研究目的 全身の血液循環を考慮した血流数値解析
患者データPC-MRIによる流量計測→末梢血管パラメータの推定

動脈硬化
動脈壁が肥厚・硬化し、血流を遮断。
→酸素や栄養が重要組織に到達できなくなる（脳梗塞や心筋梗塞の原因）
ステント留置術
術後に過灌流症候群の危険性→痙攣や意識障害、半身麻痺、脳出血の発生
過灌流症候群
過灌流症候群を発症した患者→術前と術後で、中大脳動脈における平均流速の増加

CTによる患者個人の形状データ→血管半径、血管長さの計測

最終目標
手術計画を目標とした術前術後の血行動態の予測のための全身循環を考慮した血流シミュレーションの開発
1) 藤本ら 経頭蓋カラードプラによる過灌流症候群の早期診断
独立行政法人国立病院機構九州医療センター 脳血管センター・臨床研究部脳血管内科

マルチスケール血流解析の概要
0次元解析【1次元解析】
•連続の式

1次元解析

A q
0

t x

•ナビエストークス式qq   q 2  A p
  
 8
A
t x  A  q x
•圧力の状態方程式【1次元解析】•頭頸部を含む全身83本の主要な動脈のモデル化•軸方向のみの流れ解析•血管壁の変形による脈波伝播を考慮【0次元解析】•毛細血管、静脈、心臓をモデル化•Lumped parameter modelによる物理現象の再現

p( x, t )  p0 

A0 
4 Eh 
1 


A 
3 r0 

【0次元解析】

dPi
 Qi 1  Qi  0
dt
dQ
L i 1  Pi 1  Pi  RQi 1
dt
C

解析結果

【解析条件 術後】手術後の患者の血管形状/末梢データ
総頸動脈に狭窄なし
平均流速： 24.19 cm/s
【解析条件 術後予測】
手術前の患者の血管形状データ/末梢データ
総頸動脈に狭窄なし
平均流速： 20.24 cm/s

cm/s

【解析条件 術前】
手術前の患者の血管形状/末梢データ
総頸動脈に狭窄あり
平均流速： 15.35 cm/s

pre_operation
post_operation

Velocity
80
60
40
20
0
5

5.5

6

6.5

7

time (s)7.58pre_operation
pre_stent

80
60

cm/s

【解析対象】
左中大脳動脈

40
20
0
5

5.5

6

6.5

7

7.5

time(s)【結果】
左中大脳動脈において、平均流速の増加が確認され、過潅流症候群を発症した計測例と同様の傾向見られた。

197

8

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-1: ParaHaplo ハプロタイプ関連解析に於ける統計検定を行うためのソフトウェア
三澤計治1，長谷川亜樹1 ，角田達彦1,2(理化学研究所 次世代計算科学研究開発プログラム1 ，理化学研究所 ゲノム医科学研究センター2)

研究目的• 近年のDNA配列決定技術の進歩により、大量のゲノム配列が解析されるようになりました。ゲノム配列
は、個人の間に違いがあります。これを利用し、数万人に対して，ゲノム全体に渡り，患者群とコントロー
ル群との遺伝子頻度を統計的に解析することによって，疾患関連遺伝子を発見する手法がゲノムワイド
関連解析(GWAS)です。
• GWASでは多重検定によるtype I errorが問題になります。多重検定の問題に対しては、Bonferroni
correctionが広く行われていますが、 SNP間でlinkage disequilibriumがあるため、疾患関連遺伝子を見落とす恐れが出てきます。
• 我々は、多項分布を用いて、SNP間にlinkがある場合でも正確にtype I errorを計算する式を導きました。
それに基づき、genome wideのP値を適切なthresholdを設定する方法を開発しました(Misawa et al. 2008)。
また、高速計算のため、マルコフ連鎖モンテカルロ法(MCMC法)でtype I errorを計算する方法を開発しました。これらの方法の他にpermutationに基づいたRAT法も開発されています(Kimmel and Shamir 2006)。
これらの方法は時間がかかるため、ゲノムワイドの解析を行う際には、高速に計算する必要があります。
ParaHaploの開発•••

我々は京速コンピュータ「京」（右図）の上で，ゲノムワイド関連解析のためのプログラムParaHaploを開発しました。「京」は8万ノード・64万コ
アの計算ユニットからなる非常に速いスーパーコンピュータです。
ParaHaploでは、ゲノムワイドのhaplotype多型データを分割し、データを分散入力させた上で、ユニット間・コア間のハイブリッド並列により、
Misawa et al. (2008)の方法とRAT法の両方に関して、高速計算を実現しました (Misawa and Kamatani 2009, 2010, 2011)。
ParaHaploのソースコードは以下のサイトで公開されています。
http://sourceforge.jp/projects/parallelgwas/releases/51104

4
3
0

1

2

-log10(P)56

実際のデータをParaHaploで解析した例• Wellcome Trust Case-Control Consortium (WTCCC)から、2型糖尿病の患者1,924人とコント
ロール2,938人の遺伝子型データの提供を受けました。右図は22番染色体に関してparaHaploを用いたハプロタイプ関連解析を行った結果です。赤い点がparaHaploによって初めて2型糖尿病と関連があると推測された領域になります。

1.5e+072.0e+072.5e+073.0e+073.5e+074.0e+07

4.5e+075.0e+0

Position

謝辞• 京での計算に関しては京速コンピュータ「京」の試験利用での結果です。
• また、PCクラスタでの性能計測に関しては理化学研究所情報基盤センターのRICCを使用しています。
参考文献
Kimmel, G. and Shamir, R. (2006) A fast method for computing high-significance disease association in large population-based studies. Am J Hum Genet,
79: 481-92.
Misawa K, Fujii S, Yamazaki T, Takahashi A, Takasaki J, Yanagisawa M, Ohnishi Y, Nakamura Y, Kamatani N (2008) New correction algorithms for
multiple comparisons in case-control multilocus association studies based on haplotypes and diplotype configurations. J Hum Genet 53:789-801
Misawa K, Kamatani N (2009) ParaHaplo: A program package for haplotype-based whole-genome association study using parallel computing. Source
Code Biol Med 4:7
Misawa K, Kamatani N (2010) ParaHaplo 2.0: a program package for haplotype-estimation and haplotype-based whole-genome association study using
parallel computing. Source Code Biol Med 5:5
Misawa K, Kamatani N (2011) ParaHaplo 3.0: A program package for imputation and a haplotype-based whole-genome association study using hybrid
parallel computing. Source Code Biol Med 6:10

198

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-2: NGS analyzer
次世代シークエンサーの出力データを高速に解析し，個人間の遺伝的差異やがん
ゲノムの突然変異を高い正確さで同定する
開発責任者: 角田逹彦 (理化学研究所ゲノム医科学研究センター)
開発担当者: 藤本明洋 (理化学研究所ゲノム医科学研究センター)● 概要
次世代シークエンサーの出力データを高速に解析し、ヒト個人間の遺伝的差異やがんゲノムの突然変異を高い
正確さで同定する。
データの分割と解析● 離散化（計算モデル化）の方法
ヒト標準ゲノム配列に対するマッピングと確率計算に基づいた多様性検出
計算方法直接法による密行列の対角化並列化の方法領域分割*fastq● 開発言語とライブラリ
C

Mapping……………

Mapping……………

Mapping

Merge read1
and read2……………

Merge read1
and read2……………

Merge read1
and read2

con g1……… con g250

con g1……… con g250

con g1……… con g250

con g1 …………………………………………………… con g250……….…………

…………………………
SNV & indel call

● 現状での計算規模
東京大学医科学研究所ヒトゲノム解析センター Shirokane2 2000コア「京」 250ノード

SNV & indel call

SNV & indel call……………..…

……………………….…

SNV & indel list

「京」における並列化効率
ウィークスケーリング● 実際のデータを用いNGS analyzerを動かした例（１）初の日本人ゲノムシークエンス解析（Nat Genet 2010 42: 931–6）- 正確な多型検出法を開発した。
- 約300万の一塩基多様性を検出した。
- 他の個体との比較により、アミノ酸多型にはレアなものが多く、
負の自然選択の影響を影響を受けたことが示唆された。
- 中間サイズの欠失（300bp-10kbp）を検出する手法を開発した。
- 標準ゲノム配列に存在しない新規配列を約3.4Mbp検出した。

2
理

想値

測定値（タイマー）
測定値（プロファイラUser Time）

T1/Tn

測定値（プロファイラElapsed Time）

0
0

100

150

200

250

300

ストロングスケーリング
18
理

SNPの頻度スペクトラム

50

ノード数

想値

16

測定値（タイマー）
測定値（プロファイラUser Time）

14

測定値（プロファイラElapsed Time）

12

T1/Tn

（２）肝がんゲノム解析（Nature 2010 464, 993-8, Nat Genet 2012 44:760-4）- がんの体細胞突然変異を高精度に検出する手法を開発した。
- がんの体細胞突然変異のパターンを解析した。
- がん細胞に感染しているウイルスのゲノムを検出した。
- がん細胞の遺伝的多様性を解析した。
- 肝がんでは、クロマチン制御遺伝子が高頻度に変異していた。
ヒトの遺伝的多様性(1Mbp当たりのSNPの密度）

1

10
8
6
4
2
0
0

50

100

150

200

250

300

ノード数

がんの突然変異（染色体異常とコピー数異常）

Fraction of each SNV class

0.7
0.6

Nonsense
Radical nonsynonymous

0.5

All nonsynonymous
Conservative nonsynonymous

0.4

Noncoding

0.3

Synonymous

0.2
0.1
0
1

2

3

4

5

6

7

Number of rarer alleles

参考文献
1. ＊Fujimoto A, Nakagawa H, Hosono N, Nakano K, Abe T, Boroevich KA, Nagasaki M, Yamaguchi R, Shibuya T, Kubo M, Miyano S,
Nakamura Y, Tsunoda T (2010) Whole-genome sequencing and comprehensive variant analysis of a Japanese individual using massively parallel
sequencing. Nat Genet 42: 931–6
2. The International Cancer Genome Consortium (2010) International network of cancer genome projects. Nature 464, 993-8.
3. Fujimoto A, Totoki Y (equally contributed) et al. (2012) Whole-genome sequencing of liver cancers identifies etiological influences on mutation
patterns and recurrent mutations in chromatin regulators. Nature Genetics 44: 760-764

199

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-3: ExRAT拡張RAT法による2SNP組合せの全ゲノム関連解析ソフトウェア
開発責任者: 角田達彦 (理化学研究所ゲノム医科学研究センター)概要：
遺伝子間相互作用が発症リスクを変化させる疾患関連遺伝子の組合せを全ゲノムで探索する。2SNP間の全組合せを超並列に行う方法と、SNP間の連鎖不平衡（相関）も考慮した、より精密な方法の２種類を実装。前者で全組合せをスクリーニングし、後者で経験的p値を求める手順を想定。

遺伝子どうしが相互作用を起こして疾患への発症リスクを上昇する現象とそれらの遺伝子を新たに疾患関連遺伝子として発見することができる

MPIによる並列化
プロファイラの台数効果（プロ 台数効果（プロコア
プロファイラの タイマーの時間
台数効果（タイ
実効効率
Elapsed Time
Instructions MIPSMFLOPS
MFLOP
ファイラ
ファイラ
理想値
数
User Time（sec） （sec）
マー）
（%）
(sec)
Elapsed Time） User Time）
16 22453.6484
21244.5176
22451.62
1.41E+15 6.28E+04
5983.9902 134362412
1
1
1
1
3.19%
32 11154.1025
10769.0918
11151.09
1.49E+15 1.33E+05
11980.8535 133635668
2.013039453 1.972730662
2.01340138
2
3.20%
64
5494.6753
5378.8018
5492.60
1.51E+15 2.74E+05
24225.1035 133109077.8
4.086437719
3.94967474 4.087612424
4
3.23%
128
3258.3813
3210.1350
3254.97
2.03E+15 6.23E+05
40652.8906 132462618.5
6.891043844 6.617951457 6.897642682
8
2.71%
256
2243.2241
2228.3203
2238.98
2.61E+15 1.16E+06
59455.1484 133371221.8
10.00954314 9.533870692 10.02761079
16
1.99%
512
1145.3390
1137.0968
1139.87
2.16E+15 1.88E+06 112127.5078 128424007.7
19.60436901 18.68312144 19.69664962
32
1.88%
1024
675.5464
666.8414
667.29
1.59E+15 2.35E+06 188616.2344 127419018.1
33.23775895 31.85842631
3.36E+01
64
1.59%
2048
404.9483
390.5714
391.08
1.88E+15 4.65E+06 322280.1562 130506801.4
55.44818536
54.3934287
5.74E+01
128
1.39%
4096
226.6452
195.7380
203.944.02E+15 1.77E+07 690578.8125 156516373.1
99.069596 108.5354791
1.10E+02
256
1.60%
8192
150.2248
101.9764
104.15
4.21E+15 2.80E+07 1035841.5625 155609091.6
149.4669881 208.3277856
2.16E+02
512
1.56%

600
理想値

500

測定値（タイマー）

台数効果

400
300
200
100
0
0

2000

4000

コア数

6000

8000

10000

「京」上importance sampling「京」上のall_comb

200

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-4: SiGN-BN

SiGN 開発メンバー : 玉田 嘉紀，島村 徹平，山口 類，新井田 厚司，斉藤 あゆむ，長﨑 正朗，井元 清哉，宮野 悟
概要

ソフトウェア仕様

SiGN（サイン）は遺伝子発現データからスーパーコンピュータを用いて遺伝子ネットワークを予測・推定するソフトウェ
ア群である．遺伝子ネットワーク解析により，観測データから薬剤標的遺伝子の同定，副作用の予測・回避，創薬ターゲッ
ト・毒性関与パスウェイ探索などが容易になることが期待される．SiGN では様々な実験データの解析に対応するためベ
イジアンネットワーク，状態空間モデル，グラフィカルガウ
シアンモデル，ベクトル自己回帰モデルが遺伝子ネットワー
クモデルとして利用可能である．SiGN-BN はこれらのうちベイジアンネットワークを用いた遺伝子ネットワーク推定ソフ
トウェアで，スーパーコンピュータを用いた並列計算により
ヒト全ゲノムを網羅した数万遺伝子の遺伝子ネットワークを短時間で推定可能である．

出力

概要・特徴

出力データ：遺伝子ネットワーク（テキスト /CSML）- ノンパラメトリック回帰によるベイジアンネット
ワークを用いて遺伝子発現データから遺伝子ネット推定された枝に信頼度等の情報付きワークを推定するソフトウェア

Cell Illustrator で解析可能-「京」上にて超並列で動作し高速に遺伝子ネットワー
ク（有向グラフ）を計算可能

並列性能 (HC+Bootstrap)- NNSR アルゴリズムを用いるとこれまで必要だった

最大動作コア数：196,608 コア（24,576 ノード）

「遺伝子選択」をせずに，全ゲノムによる大規模遺伝並列化効率：0.72 (196,608 vs 98,304 コア時 )（ストロングスケーリング）

子ネットワークの推定が可能- HC+Bootstrap 法を用いることにより高信頼ネット※ 2012/12/14 現在「京」は現在開発中であり，これらの数字は整備中のシステムによる暫定的な値である

ワークを計算可能- マイクロアレイだけでなく様々な事前知識をネット
ワーク推定に利用可能「京」以外でのターゲット環境

入力
入力データ：マイクロアレイなどの遺伝子発現データ
例 静的：ノックダウン実験，患者由来サンプル
動的：薬剤応答時系列データ

東京大学 医科学研究所 ヒトゲノム解析センター(HGC) スーパーコンピュータシステム（Xeon/Opteron PC クラスタ）

ソフトウェア配布形態
サンプル ( アレイ）数：50 〜 1,000 アレイ
時系列データは複数回の繰り返し計測を推奨 「京」ユーザに実行バイナリを配布
ノード（遺伝子）数：100〜100,000 ノード
HGC ではシステムにインストール済み

Visit SiGN Web Site at http://sign.hgc.jp

これまでの応用事例

Tamada et al. (2011a).

遺伝子ネットワーク

肺癌細胞株 PC-9＋Gefitinib 投与による薬剤応答パスウェイ解析= 遺伝子発現の依存関係をネットワークで表現したモデル

使用データ

遺伝子

...

発現の
依存関係

x

計測データ：26 時点 × 1 回計測＝26 アレイデータ

マイクロアレイなどによる遺伝子発現データ- ノックダウン実験や患者サンプル- 薬剤応答時系列データ

複雑な遺伝子間の制御や依存関係を発現データか
ら推定したいy目的

細胞：肺癌細胞株 PC-9
薬：Gefitinib( イレッサ : 抗がん剤）
マイクロアレイ：Agilent 44K Whole Human Genome
Oligo Microarray
EGF,Gefitinib 投与・非投与の 4 条件
結果

Gefitinib を投与した肺癌細胞株 PC-9 での遺伝子
ネットワークの動的変化を見ることで，未知作用
機序の同定
利用手法
動 的 ベ イ ジ ア ン ネ ッ ト ワ ー ク (HC) に よ る
Node-Set Separation 法

Node-Set Separation 法により時点毎のネットワークが得られ時間による変化が解析可能

大規模遺伝子発現データからの大規模遺伝子ネットワークの推定には膨大な計算が必要である．したがって遺伝子ネットワーク
解析にはスーパーコンピュータによる大規模計算が欠かせない．

x から y への枝：遺伝子 x の発現が遺伝子 y の発現に影響を与える

ノンパラメトリック回帰によるベイジアンネットワーク
Bayesian Network Model

Imoto et al. (2002).
Representation of the joint probability distribution
X2 by the DAG (Directed Acyclic Graph) structure

X1

X3

X5

ヒト臍帯静脈内皮細胞 (HUVEC) によるアポトーシス関与遺伝子同定 Affara et al. (2007).

Gene Expression = Random Variable
Node = Gene
Directed Edge = Dependency

X4

f (X1, X 2 , , X 6 )= f1 (X1 ) f 2 (X 2 ) f 3 (X 3 | X1 )X6The network structure is determined by maximizing
the posterior probability given the expression data

G: gene network X: gene expression data

f 6 (X 6 | X 3 , X 4 )Bayesian Network

Parallel Algorithms for Estimating Gene Network Structures〜100,000
genes

使用データ

The parent-child relationship is modeled by the B-spline
nonparametric regression

目的細胞：ヒト臍帯静脈内皮細胞（HUVEC）
刺激：血清除去 & siRNA ノックダウン
マイクロアレイ： CodeLink UniSet Human 20K
gene chip
計測データ：8 時点 × 3 回計測 時系列データ
8 siRNA ノックダウンアレイ
計 32 アレイデータ
結果

Tamada et al. (2011b).
Randomly pick up genes with
Perform subnetwork probabilities proportional to the
network score.
estimation

Perform a random walk to collectgenes that are close to each otherin terms of the network.

利用手法
siRNA ノックダウンアレイによる事前情報を用いた
HC+Bootstrap による動的ベイジアンネットワーク

ネットワーク推定および解析の結果 GABARAP がハブ遺伝子（子の多いネットワーク中のノード）として抽出され実験的にも HUVECにおいてアポトーシスへの関与を確認．

The NNSR (Neighbor Node Sampling & Repeat) Algorithm
Construct a single gene networkby accumulating the estimatedsubnetworks.

アポトーシスを誘導した HUVEC を時系列に観測しネットワーク解析をすることによりアポトーシス制
御に関わる関連遺伝子の同定

その他の事例- HUVEC/Fenofibrate を用いた高脂血症薬新規ターゲット遺伝子の同定 Imoto et al. (2006).
- HUVEC/Fenofibrate による非脂質代謝系作用パスウェイの同定 Araki et al. (2009).

Repeat this many times independently- メラノーマ細胞を用いた予後予測因子・新規関連遺伝子の同定 Wang et al. (2012).
〜1,000genes

Greedy Hill-Climb (HC) + Bootstrap Algorithm Imoto et al. (2002). Tamada et al. (2009).
Network
estimation

X1

Randomsampling withreplacement
Original expression
datasetX3

Re-sampleddataset

X5

X2

PR

X4

X6

文部科学省 新学術領域研究「システムがん」

SiGN is also used in the Systems Cancer Project that started
newly in 2010. Visit our web site at http://systemscancer.hgc.jp
and follow our tweets @SystemsCancer in Twitter for updates.

Estimated network

Acknowledgments
〜30
genes

Parallel Optimal Search (Para-OS) Algorithm Ott et al. (2004).

Tamada et al. (2011c).

Computational time was provided by the Super Computer System, Human Genome
Center, Institute of Medical Science, The University of Tokyo, RIKEN Integrated
Cluster of Clusters (RICC) system, and early access to the K computer at the RIKEN
Advanced Institute for Computational Science.

- Parallel version of the optimal search algorithm bydynamic programming.

ReferenceAﬀara, M. et al. (2007). Understanding endothelial cell
apoptosis: What can the transcriptome glycome andproteome reveal?, Philosophical Transactions of Royal
Society 62 (1484), 1469-1487.
Araki, H. et al. (2009). Analysis of PPARα-dependent and
PPARα-independent transcript regulation following
fenoﬁbrate treatment of human endothelial cells,
Angiogenesis 12 (3), 221-229.

本発表の結果の一部は，理化学研究所が実施している京速コンピュータ「京」の試験利用によるものです．

Imoto, S. et al. (2002). Estimation of genetic networks andfunctional structures between genes by using Bayesian
network and nonparametric regression, Pac. Symp.
Biocomput. 7, 175-186.
Imoto, S. et al. (2006). Computational strategy for discovering
druggable gene networks from genome-wide DNA
expression proﬁles, Paciﬁc Symposium on Biocomputing(PSB 2006), 11, 559-571.
Ott, S. et al. (2004). Finding optimal models for small gene

networks. Pac. Symp. Biocomput. 9, 557-567.
Tamada, Y. et al. (2009). Unraveling dynamic activities of
autocrine pathways that control drug-response transcriptome
networks, Paciﬁc Symposium on Biocomputing (PSB2009) 14,
251-263.
Tamada, Y. et al. (2011a). SiGN: Large-scale gene network
estimation environment for high performance computing,
Genome Informatics, 25 (1), 40-52.
Tamada, Y. et al. (2011b). Estimating Genome-wide Gene

201

Networks Using Nonparametric Bayesian Network Models
on Massively Parallel Computers. IEEE/ACM Trans. comput.
biol. bioinformatics, 8 (3), 683-697.
Tamada, Y. et al. (2011c). Parallel algorithm for learning
optimal Bayesian network structure, Journal of Machine
Learning Research, 12, 2437−2459.
Wang, L. et al. (2012). Cell cycle gene networks areassociated with melanoma prognosis, PLoS ONE, 7(4),e34247.

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-5: SiGN-L1

L1正則化法による大規模遺伝子ネットワーク推定プログラム開発責任者: 宮野 悟 (東京大学 医科学研究所 ヒトゲノム解析センター)
SiGN 開発メンバー: 玉田 嘉紀、島村 徹平、山口 類、新井田 厚司、関谷 弥生、斉藤 あゆむ、井元 清哉、宮野 悟

概要Case 4. 異なるサンプルに対する遺伝子発現データからサンプル各々のネットワークを推定

SiGN (サイン) は遺伝子ネットワーク発現データからスーパーコンピュータを用いて遺伝子ネッ
トワークを予測・推定するソフトウェア群 (SiGN‐
BN, SiGN‐L1, SiGN‐SSM) である。このうち、SiGN‐
L1 は L1 正則化法によるスパースな統計的グ
ラフィカルモデル（グラフィカルガウシアンモデ
ル、ベクトル自己回帰モデル、構造方程式モデル）を用いた遺伝子ネットワーク推定ソフトウェ
アであり、スーパーコンピュータを用いた並列計算により、ヒト全遺伝子を対象とした大規模
遺伝子ネットワークを推定することが可能である。推定された遺伝子ネットワークを解析する
ことにより、観測データから薬剤標的遺伝子の同定、創薬ターゲット・毒性関与パスウェイの探索などの応用が期待される。

NetworkProfiler

SiGN-L1の特徴• 3 種類の統計的グラフィカルモデル (グラフィカルガウシアンモデル、ベクトル
自己回帰モデル、構造方程式モデル) により、遺伝子発現データから遺伝子
ネットワークモデルを構築• L1 正則化法を用いてスパースなモデルのパラメータ空間を探索することにより、100,000 ノードまでの大規模遺伝子ネットワーク推定が可能• 次世代スパコン「京」上で、最大並列数（コア数）：98,304、最大ノード数：
12,288、実行効率：1コアで11.98%を達成。なお、ハイブリッド並列化には対応済み。
• ベータ版のバイナリを公開開始 http://sign.hgc.jp/signl1/index.html

これまでの応用事例
遺伝子ネットワーク = 遺伝子発現間の依存関係を表したグラフ構造

入力と出力
Case 1. Sample A に対する遺伝子破壊株発現データから遺伝子ネットワークを推定

二つの異なる成長因子による細胞内の情報伝達パスウェイの比較
データ: 8実験条件下において8時点で計測した時系列遺伝子発現データ(Nagashima et al., 2007)
目的: EGF、HRG各々の成長因子によって誘導される 8 実験条件下での遺伝
子ネットワークを推定し、EGF刺激、HRG刺激下のシステムの違いを比較

Sparse Graphical Gaussian Model

Case 2. Sample A に対する時系列遺伝子発現データから遺伝子ネットワークを推定

Sparse Vector Autoregressive Model

再発リスクに関わる日本人肺癌患者の遺伝子ネットワークの比較

Case 3. Sample A に対する異なる実験条件下の時系列遺伝子発現データから各々の実験条件下での遺伝子ネットワークを推定

Condition 1

データ: 226症例の肺線がん患者の遺伝子発現データ（国立がんセンター横田先生、河野先生との共同研究）
目的: 再発リスクをモジュレーターとしたときの 226 症例各々の遺伝子ネット
ワークを推定し、再発リスクが高い患者と低い患者のシステムの違いを比較

NetComparator
Condition 1
Condition 2

Condition 2

Condition 3

Condition 3

参考文献• Shimamura et al. (2007) Weighted lasso in graphical Gaussian modeling for large gene network estimation based on microarray data.
Genome Informatics, 19, 142‐153.
• Shimamura et al. (2009) Recursive regularization for inferring gene networks from time‐course gene expression profiles.
BMC Systems Biology, 3, e41.
• Shimamura et al. (2010) Inferring dynamic gene networks under varying conditions for transcriptomic network comparison.
Bioinformatics, 26(8), 1064‐1072.
• Shimamura et al. (2010) Collocation‐based sparse estimation for inferring continuous‐time dynamic gene networks.
Genome Informatics, 24, 164‐178.
• Shimamura et al. (2011) A novel network profiling analysis reveals system changes in epithelial‐mesenchymal transition.
PLoS ONE 6(6): e20804, doi:10.1371/journal.pone.0020804, 2011.

CTGF (Connective Tissue Growth Factor)
増殖・分化を制御するTGF‐βの下流因子で、 TGF‐βの間質繊維化促進作用を仲介
増殖促進、遊走、細胞外基質算出、血管新生作用を呈する

202

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-6: SiGN-SSM
状態空間モデルによる大規模遺伝子ネットワーク推定プログラム

SiGN 開発メンバー : 玉田 嘉紀，島村 徹平，山口 類，新井田 厚司，斉藤 あゆむ，長崎 正朗，井元 清哉，宮野 悟
概要

ソフトウェア仕様

SiGN（サイン）は遺伝子発現データからスーパーコンピュータを用いて遺伝子ネットワークを予測・推定するソフトウェ
ア群である．遺伝子ネットワーク解析により，観測データから薬剤標的遺伝子の同定，副作用の予測・回避，創薬ターゲッ
ト・毒性関与パスウェイ探索などが容易になることが期待される．SiGN では様々な実験データの解析に対応するためベ
イジアンネットワーク，状態空間モデル，グラフィカルガウ
シアンモデル，ベクトル自己回帰モデルが遺伝子ネットワー
クモデルとして利用可能である．SiGN-SSM はこれらのうち
状態空間モデルを用いたネットワーク推定ソフトウェアで，スーパーコンピュータを用いた並列計算により，時系列遺伝
子発現データから数千遺伝子のモジュールおよび遺伝子ネッ
トワークの推定，および予測モデルの構築が可能である．

出力

概要・特徴

出力データ：
システム構造パラメータ , 状態推定値（テキスト）（遺伝子ネットワーク、モジュールネットワーク
予測モデル構築に使用可）- 状態空間モデルにより時系列遺伝子発現データから，モジュールネットワーク，遺伝子ネットワークおよび
動的発現予測モデルを構築- 次元縮約および一意性制約により高次元短時系列である遺伝子発現データから動的システムの推定可能

並列性能- 並べ替え検定によるネットワーク推定

最大動作コア数：196,608 コア [24,576 ノード ]- 繰り返し計測を持つ時系列，欠測および不等間隔計

並列化効率：0.92（196,608 vs 98,304 コア時）
（ストロングスケーリング）

測を含む時系列の情報も適切に扱うことが可能- 動的予測に基づくケース・コントロール時系列の比較（制御構造に差異のある遺伝子群の予測）- データ解析融合プラットフォーム SBiP との連携

「京」以外でのターゲット環境
東京大学 医科学研究所 ヒトゲノム解析センター(HGC) スーパーコンピュータシステム（Xeon/Opteron PC クラスタ）

入力
入力データ：マイクロアレイなどの遺伝子発現
時系列データソフトウェア配布形態

例：薬剤応答時系列データ

Visit SiGN Web Site at http://sign.hgc.jp

サンプル ( アレイ）数：10 〜 30 アレイ
時系列データは複数回の繰り返し計測を推奨

オープンソースとして公開
GNU Affero General Public License

ノード（遺伝子）数：100〜2,000 ノード

http://sign.hgc.jp/signssm/index.html

これまでの応用事例
正常肺上皮細胞 SAEC＋EGF(+Gefitinib) 投与下 EGF 応答パスウェイ解析

状態空間モデルによる時系列遺伝子発現データからの情報抽出

使用データ
細胞：肺正常細胞 SAEC
刺激 / 薬：EGF, Gefitinib( イレッサ : 抗がん剤）
マイクロアレイ：Agilent 44K Whole Human Genome
Oligo Microarray

状態空間モデル (State Space Model)

計測データ：19 時点 × 1 回計測 in 48 時間

次元縮約によるEGF,Gefitinib 投与・非投与の 4 条件

高次元短時系列
結果

遺伝子発現データからの利用手法
コントロールデータにより構築されたモデルからのケースデータの予測に基づくシステム異常検知

遺伝子間制御構造に差異のある遺伝子群の予測および肺がん予後予測シグネチャーへの応用に成功
Yamauchi et al. PLoS ONE, 2012.

システム推定p 10 3
N < 20目的
Gefitinib の影響により遺伝子間制御構造に変化のあった遺伝子群の予測および ,肺がん予後予測バイオマーカ探索

Control

遺伝子数
時点数

Case

システム構造パラメータ推定

動的発現予測= {H , F , R, x0 }モジュールネットワーク（共発現遺伝子群間）

発現制御構造推定

遺伝子ネットワーク（個別遺伝子間）

制御構造に差異のある遺伝子群の発現パターンに基づく肺がん患者群予後予測

肺がん細胞株 PC9/PC9GR に対する Gegitinib 動的効果予測
使用データ

目的

細胞：肺がん細胞株 PC9 および PC9GR
刺激 / 薬：EGF, Gefitinib( イレッサ : 抗がん剤）
マイクロアレイ： Agilent 44K Whole Human Genome
Oligo Microarray
計測データ：26 時点 × 1 回計測 in 26 時間

薬剤耐性能の異なるがん細胞への薬剤作用点
および作用機序の予測：
PC9（薬剤感受性）PC9GR（薬剤耐性）
利用手法
薬剤動的効果モデル項を組み込んだモデルによる薬剤作用下データの予測に基づく状態推定

薬剤効果プロファイル
PC9 と PC9GR の間で異なる薬剤効果プロファ
イルを持つモジュールを同定．
当該モジュール支配下にある遺伝子群が薬剤耐性能の差異に関わる可能性を示唆．

結果

状態変数間隣接行列

F

遺伝子間隣接行列

動的発現予測モデル（シミュレーション）= D FD

PC9GR

PC9

Time

その他の事例

システムの模倣と予測- 乳がん細胞 (MCF7) 薬剤刺激データからの薬剤応答パスウェイ推定- HUVEC データからの遺伝子／モジュールネットワーク推定- メラノーマ細胞 /Paclitaxel による新規抗癌剤ターゲットの同定

Acknowledgments
Computational time was provided by the Super Computer System, Human Genome
Center, the Institute of Medical Science, The University of Tokyo, RIKEN Integrated
Cluster of Clusters (RICC) system, and early access to the K computer at the RIKEN
Advanced Institute for Computational Science.

予測分布

ReferenceP( yn | y1 ,…, yn 1; )Yamaguchi and Higuchi. State-space approach with the
maximum likelihood principle to identify thesystem-generating time course gene expression dataof yeast. Int J of Data Mining and Bioinformatics, 1(1):77-87, (2006).
Yamaguchi et al. Finding module-based gene networks
with state-space models - Mining high-dimensionaland short time-course gene expression data. IEEE

Signal Processing Magazine, 24(1): 37-46 (2007).
Hirose et al. Statistical inference of transcriptional
module-based gene networks from time course gene
expression proﬁles by using state space models.
Bioinformatics, 24: 932-942, (2008).
Yamaguchi et al. Predicting diﬀerences in gene regulatory
systems by state space models. Genome Informatics, 21:
101-113, (2008).

Do et al. Exploring temporal transcription regulation structureof Aspergillus fumigatus in heat shock by state space model.
BMC Genomics, 10: 306, (2009).
Yamaguchi et al. Network-based predictions and simulations by
biological state space models: search for drug mode of action,
J of Comp Sci and Tech, 25(1): 131-153, (2010).
Tamada et al. SiGN-SSM: open source parallel software for
estimating gene networks with state space models.

203

Bioinformatics, 27(8): 1172-1173, (2011).
Tamada et al. SiGN: large-scale gene network estimation
environment for high performance computing. Genome
Informatics, 25(1): 40-52 (2011).
Yamauchi et al. Epidermal growth factor receptor tyrosine
kinase deﬁnes critical prognostic genes of stage I lungadenocarcinoma. PLoS ONE, 7(9): e43923EP–, (2012).

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-7: SBiP
データ解析融合プラットフォーム
開発責任者: 宮野悟 (東京大学 医科学研究所 ヒトゲノム解析センター)
SBiP 開発メンバー : 関谷 弥生，斉藤 あゆむ，山口 類，井元 清哉，島村 徹平，新井田 厚，玉田 嘉紀，宮野 悟

SBiP を使用した京での SiGN の実行

概要

Webサービス機能を利用し、● SiGN‐BN (HC+Bootstrap) ● SiGN‐BN (NNSR) ● SiGN‐SSM
を京の計算ノード上で実行するためのコンポーネントを実装した。

本研究は、データ解析融合チームで開発した技術とプログラム
を、相互に連携させるソフトウェアプラットフォームとしての SBiPを構築することを目標とすしている。平成 24 年度は、平成 23
年度の開発で達成した SiGN を東京大学ヒトゲノム解析セン
ターをテスト環境として実装した経験を踏まえ、京のゲートウェイ
ノードから SiGN などの解析コンポーネントが実行できるように改良を行い、ソフトウェアとしての完成度を高めた。ユーザはSBiP に用意されているさまざまな解析コンポーネントを組み合わせながら、カスタマイズした解析フローを実行可能である。例

実行中

行し、それらの結果をユーザに整理し視覚化して表示することが可能である。オンラインドキュメントの整備と改良は継続して行っている。また、平成 22 年度までに取得した肺がん及び乳がん関連データについて、SBiP 上の解析パイプラインで解析処理を行う上で必要となった解析コンポーネントの改良を行った。

SBiP による統合解析
Cell Illustrator Online によるシミュレーション解析

データ同化によるモデル推定

実行後

パイプライン上で京コン
ポーネントと既存コンポーネントを結合することで、京での出力データをシームレスに処理できるようにした。

Step 1 – 1: Set CSML andParameter Search Space

Step 4: Results and Parameter Distributions

Step 2: Link CSML with Time‐
Series Data

SiGN‐BN (NNSR)

Step 1 ‐ 2:
Set Time‐Series Data

SiGN‐BN (HC+Bootstrap)

えば SiGN-SSM、 SiGN-L1、 SiGN-BN などの遺伝子の発現情報からネットワークを推定するコンポーネント群を京の上で実Step 3: Run Data
Assimilation

SBiP オンラインドキュメント整備
SBiP オンラインドキュメントにおいて、各コンポーネントの解説ページの更新を行いつつ、
SBiP アプリケーションの起動のほか、目的別の解析フローの作成例やサンプルフローの作成に関するビデオチュートリ
アルを作成した。

SiGN‐SSM

http://sbip.hgc.jp

肺がん・乳がん関連データ解析

Gefitinib 感受性肺がん細胞株と耐性株のネットワーク比較

乳がん細胞株のリガンド応答時系列データを使ったネットワーク推定法の比較

204

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-8: LiSDAS
生命体シミュレーションのためのデータ同化技術の開発
開発責任者: 樋口知之 (統計数理研究所データ解析融合研究開発チーム)○斎藤正也 吉田亮 中野慎也 長尾大道 (統計数理研究所・データ同化研究開発センター)

1. 背景

3. 性能測定 実験にもとづくタンパク質間相互作用や転写制御因子の働きについての知識のみから、現象を再現する力学モデ
ルを構成することは未だ困難である。
 この困難の根本的は、細胞間の個体差のために計測値の誤差が大きいことや、おそらく実験で検証されていない反応過程が存在するためであると考えられる。
 そこで、LiSDASでは、生体内分子の計測データを参照値としてあたえることで、シミュレーションの再現性・予測力を改善するためのパラメータチューニングやモデルの改良を
ベイズ統計の枠組みで実行する。

哺乳動物の概日周期転写ネットワーク
 モデルの規模• システム変数の個数: 29• 観測変数の個数: 7• モデルパラメータ数: 116
 観測をトレースするパラメータが発見できることを確認。
● 観測データ

ー 最終的なMAP解

ー MAP解の更新履歴

システム構成統計的モデル生成(本体との組込を検討)

モデル

事前分布
構成器

観測
データ

• 転写制御回路
分解

ディレクレ
混合過程

改良
モデル

モデル
転写活性

転写抑制

複合体生成

dxj/dt = -dkj + tckjA(xa(j)| cj, pj)R(xr(j)| dj, qj) + bkxb(j,1)xb(j,2)• A(x |c, p) = xp/(xp + cp), R(x |d, q) = cq/(xq + dq)• モデルパラメタ θ = (xj(0), dkj, ckj, bk, cj, pj)の平均・分散• 観測時系列 D = (yi,n)

台数効果評価法(通常)評価法(京用)

2.計算手続き
ディレクレ混合過程を利用したパラメータ推定
改良された分布
基底測度 G0(π)π2πサンプリング
πi
観測データ D

π3

G0(π)

π1

3θ
1
2θ
1

単体性能:4.7%

単体性能:11%1θ
1

尤度による重み付け

尤度の高い点の周辺からサンプリングする• D: 観測データ• θ,π: モデルパラメータ (反応速度, 転写因子しきい値)• “a ～ b”: 分布bからサンプリングしてaに代入
For i = 1,…, N [N ～106]• For j = 1,…, m: θ(j) ～ p(・|π*). [m =128]• w* = ∑j p(D|θ(j))/m. [p(D|π(i)) ≈ w* の近似に使う]• If i ≦ n then [保持する π の個数 n =128]• π(i) := π*, w(i) := w*.
• π* ～ G0(・). [LiSDASが前処理で設計]• Else• θ* ～ ∑j p(D|θ(j))δ(θ - θ(j))/m.
• π* ～ p(π| π(1),…, π(n), θ*)• ∝ 1/(γ + n)×∑i p(θ*|π(i))δ(π - π(i))•+ γ/(γ + n)×p(θ*|π) G0(π).
• If ∃k ∈{1,…,n}. p(D|π(k)) < p(D|π*)then• π(k) := π*, w(k) := w*.

5.ソフトウェア配布• 配布先• ISLiM公開ページ http://www.islim.org/islim-dl_j.html• LiSDAS https://www.islim.org/FS-APL/FS-Form/form.cgi?Code=Code24J• 2012年5月に試作版を公開• 年度内に周辺ツールを追加した完成版を公開予定• データ同化ライブラリ• SBML(from/to)LiSDAS

参考文献
Yoshida R, et al., (2010) Bayesian experts in exploring reaction
kinetics of transcription circuits, Bioinformatics, 26(18), i589-595.
Yoshida R, et al. (2010) Bayesian learning in sparse graphical factor
models via variational mean-field annealing, Journal of Machine
Learning Research, 11:1771-1798.
Yoshida R, et al. (2008) Bayesian learning of biological pathways on
genomic data assimilation, Bioinformatics, 24(22):2592-2601.

205

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

D-9: MEGADOCK
網羅的タンパク質ドッキング解析プログラムMEGADOCKの開発と応用
開発責任者： 秋山 泰 (東京工業大学 大学院情報理工学研究科 計算工学専攻)
開発担当者： 松崎由理, 内古閑伸之, 石田貴士, 大上雅史
MEGADOCKは、タンパク質立体構造データを入力として、細胞内のタンパク質を網羅的にドッキングすることで、タンパク質間相互作用 (PPI) ネットワークを予測するプログラムである。
我々は、空間をボクセル表現した近似的な剛体ドッキング計算について、形状相補性の評価モデル（rPSCモデル）を新規に提案し、従来法より高速な計算を可能とした。これに加えて、静電相互作用、疎水性に関する近似項も導入した評価関数を、高速フーリエ変換（FFT）により効率的に計算するアプリケーションを開発した。また、OpenMPとMPIを用いたハイブリッ
ド並列化を行うことで、大規模並列計算を可能にした。
PPIネットワーク予測については、A) 標準的なベン
チマークデータセット、B) 細菌走化性系、C) ヒトアポトーシス系、D) 非小細胞肺がんパスウェイ の問題に適用し、タンパク質間ネットワーク予測精度としてそれ
ぞれ F値0.42, 0.44, 0.28, 0.36を得た。
また、肺がんに関連の深いEGF受容体シグナル伝
達系を対象に 2,000 x 2,000級の組み合わせのドッキ
ング問題にチャレンジし、検討すべき未知タンパク質
間相互作用を得た。
京速コンピュータ「京」を用いたスケーラビリティ測定
では、24,576ノードで良好な並列化効率 (ストロングス
ケーリング0.95) を得た。

入力：タンパク質立体構造

出力：タンパク質間相互作用ネットワーク

網羅的ドッキングとポストドッキング解析
P1

P2

P3

P4

P5

P1

計算を効率的にする工夫① スコア関数の新規提案
FFTによる高速な剛体ドッキング計算
Ligand

新規に提案したスコア関数

ドッキング精度と計算速度の検証

三つの項を一つの複素数で表現• 形状相補性• 疎水性相互作用• 静電相互作用

Receptor

既存手法と同等の精度で複合体ポーズを予測することに成功(Benchmark 4.0, 176 bound complexes)

Receptor
1+H 2+H 3+H 3+H 3+H 2+H 1+H+iφ +iφ +iφ +iφ +iφ +iφ +iφܱሺܰ ଺ ሻ૜ࡻሺࡺ ࢒࢕ࢍࡺሻ

FFTによる畳み込み計算(Katchalski-Katzir model)

‐45

‐45

2+H
‐45 ‐45 +iφ

3+H+iφ ‐45

‐45

‐45

‐45

3+H
+iφ ‐45‐45

5+H 2+H 1+H‐45 +iφ +iφ +iφ

1+iq 1+iq 1+iq 1+iq 1+iq

3+H+iφ ‐45‐45

5+H 2+H 1+H‐45 +iφ +iφ +iφ

1+iq 1+iq 1+iq 1+iq 1+iq

3+H+iφ ‐45

‐45

‐45

2+H
‐45 ‐45 +iφ2+H+iφ ‐45

‐45

‐45

2+H
‐45 ‐45 +iφ2+H‐45 +iφ1+H 2+H 3+H 3+H 3+H 2+H 1+H+iφ +iφ +iφ +iφ +iφ +iφ +iφ

計算を効率的にする工夫② ハイブリッド並列化「京」でのスケーラビリティ測定

Read a Receptors and Ligands list
Loop for Receptor‐Ligand pairs

8
Worker
Node 2Worker
Node 3…

Receptor voxelization

4

Score calculation (Inverse FFT)

SpeedupThread Parallelization(OpenMP)

Process Parallelization (MPI)

2…

Sort docking results

57 proteins(158 structures)Ozbabacan et al, 2012hsa04210

True Positive
False Positive
False Negative

MEGADOCK
random00Strong scaling> 0.95 on 24576 nodes

1.00

F‐measure : 0.36

MEGADOCKによるPPIネットワーク予測では、タンパク質立体構造以外に事前知識を用いないにもかかわらず、テンプレート
ベースの探索 (F‐measure 0.30,
Ozbabacan et al., J Struct Biol, 2012) に劣らない精度を得た。

Interacting

No
Interaction

Positive

88

364

Negative

96

1105

Ohue M, et al.,Tech. Rep. IPSJ SIG, 2012-BIO-32(13),1-8, 2012.

0.4

0.6

FP rate0.81

一般的なベンチマークデータのサブセット(Protein‐protein docking benchmark 2.0,
Mintseris et al, Proteins, 2005 よりモノマー
ペアを選択) にMEGADOCKによるPPI予測を適用したところ、ランダムより良い予測精度
を得た。





F‐measure : 0.44

Asp

CheC
CheD
：True Positive：False Negative：False Positive

13 proteins(101 structures)D) 非小細胞肺がんパスウェイへの応用

F‐measure : 0.28

0.2

β‐actin and profilin(PDB id : 2BTF)

Predicted docking pose
Crystal structure

1.97

12288
24576
#NodesAn exhausting docking of 220 proteins
Size of FFT: 140

Prediction

Trypsinogen protein
and trypsin inhibitor(PDB id : 1CGI)

0.4
0.2

R44

CheY

6144

C) アポトーシスパスウェイへの応用

0.6B) 細菌走化性パスウェイへの応用

2

1

F‐measure : 0.42

1
0.8

3.76

LinearObserved

Save high scoring docking poses
Output docking results

・・・ L4444x44=1936 通りのドッキングによる相互作用ペア予測結果（対角線上が結晶構造の複合体)

ノード間並列Ligand FFT
Convolution

L1 L2 L3
R1
R3

No
PPI

4
8
#Threads
One docking of proteins, FFT size: 140

Ligand voxelization

Ohue M, et al., Lecture Note in
Bioinformatics 7632,
178-187, Springer, 2012.

R2

1.98
1

(single node, single thread)

LigandA) ベンチマークデータによるタンパク質間相互作用予測の検証

7.33

1
…

計算速度はZDOCKの8.8 倍に向上

Ohue M, Matsuzaki Y, Ishida T, Akiyama Y.
Lecture Note in Bioinformatics 7632,
178-187, Springer, 2012.

3.88

2

Receptor FFT
Loop for Ligand rotations

1+iq 1+iq

PPI

LinearObserved

4

1+iq 1+iq

・・・

Worker
Node 1

Speedup

Read protein structure data

スレッド並列MasterNode

FFTによる畳み込み
計算が一回のみ（先行研究例：ZDOCK3.0 では 8回)

2+H+iφ ‐45

TP rate

1回転角のスコア (3600通り計算)

Precision 0.29
Recall
0.47
F‐measure 0.36

Prediction

Interacting

hsa05223

206

No
Interaction

Positive

53

131

Negative

59

747

同じタンパク質について
予測結果を縮約

Matsuzaki Y, et al., J Bioinform Comput Biol, 7:991-1012 (2009).
Ohue, et al., submitted.

肺がん薬関連タンパク質間相互作用の探索

497 x 497 通り、約25万通りの構造ペア計算を行った。このような桁違いに大規模な対象においても、走化性パスウェイ (約1万通り) と同等の精度でタ
ンパク質間相互作用を行うことに成功した。

44 proteins（497 structures)

A suggestion of CheY-CheC
interaction by using “Falsepositive” pair CheY-CheD as
a mediator

小規模な生物系での検証においても、既存知識に照合して良い精度で予測を得られた。
さらに、現時点では知られていないがドッキン
グスコアの高い相互作用 (CheY‐CheD) について、その先の三量体の予測を試みた。

肺がん薬 Gefitinib に関連すると推定されたタンパク質(東京大学医科学研究所
宮野研究室提供)

肺がんに関連の深い
EGFR シグナル伝達系のタンパク質
44 proteins（497 structures)
2,000 x 2,000 =400万ドッキング

294 proteins（1424 structures)

解析中
新規PPIの発見を目指す（約15の候補を予測済、ポストドッキング
解析によりさらに検討中)

Acknowledgement
This work was supported in part by a Grant-in-Aid for Research and Development of The Next-Generation Integrated Life
Simulation Software from the Ministry of Education, Culture, Sports, Science and Technology of Japan (MEXT).
Part of the result was obtained by early access to the K computer at the RIKEN Advanced Institute for Computational Science.

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

B-1/B-2: NESTによる局所回路シミュレーション
五十嵐 潤1、Moritz Helias 1,2、舛本 現3、 Tobias C Potjans 1,2 、Markus Diesmann 1,2 、 深井朋樹11理化学研究所 次世代計算科学研究開発プログラム 脳神経系研究開発チーム、2 Inst of Neuroscience and Medicine (INM-6), Computational and Systems Neuroscience, Jülich ResearchCentre, 3 理化学研究所 次世代計算科学研究開発プログラム 高度化チーム

人間の脳の構造

NEST シミュレータ

全脳規模のシミュレーションの問題
 メモリオーバーヘッドが並列数とともに上昇する 計算時間ではなく、メモリ量がネットワークサイズの上限を決める 全メモリ資源を使う：最大限にメモリを使用して規模を拡大

重要な目標：

 メモリー消費の数理モデルをベースとした解析体系的に新しいシミュレー
ション技術を公開する

 Kunkel S, Potjans TC, Eppler JM, Plesser HE, Morrison A and Diesmann 異なるスケールでは、メモリ消費占有する部分が、ソフトウェアの異なる構成
部分になる 近接領域の神経細胞からのシナプス入力は50%、長距離結合が50% 脳機能は多くの領野に分布している
能的を再現するには全脳規模のモデルが必要

109 の神経細胞からなる局所回路モデルにむけて

2011年9月
2012年5月
2012年9月

NEST 2.1
NEST 2.2(次期リリース)*第２世代 =第２世代 シミュレーションカーネル

ソフト研究開発成果(NEST)：
京における第３世代のモデル規模の拡大

第３世代、第４世代カーネルのメモリー配置

 京における大規模シミュレーションの３つのマイルストーン
第２世代 *
第３世代
第４世代

 多数の研究室との共同研究 (2001年～）
 国際的な高等課程おける教育 沖縄計算論的神経科学コース
 Advanced Course in Computational Neuroscience ACCN, ヨーロッパ

 共通のプラットフォームの必要性 脳のモデルは非常に複雑で、作成、デバッグには大きな労力
 他者によって発表されたモデルの再現は容易ではない 部分的な領域のモデルでは完全に入力を表現できず、予測性能が制限される。また、脳の機

1. 京へのNESTの移植
2. 108 の神経細胞の実現
3. 全脳規模（ 109)にむけてGPLの一般なリリースで作製M (2012) Meeting the memory challenges of brain-scale network
simulation. Front Neuroinform 5:35

 脳はネットワークのネットワーク：局所回路の結合、領域内の結合、領域間の長距離結合

第３世代メモリーレイアウト
 神経細胞やシナプス結合のデータ構造におけるスパースさに対応する
第４世代メモリーレイアウト
 シナプスの性質の”不均一さ”の表
現に対応する 10,000コアでは、数個のターゲッ
トを持つ神経細胞は大きなオーバーヘッドを生じる

 108 に相当する規模：
 最大領野（第一視覚野）よりも大きい規模
 視覚皮質のモデルが可能 より大きなネットワーク：大きな遅延、疎な巨視的結合

 神経科学者は利用可能な資源の最大量使用量が知りたい ノードあたり利用可能なメモリ量（16GB）を最大限に用いる
 1コアあたりの神経細胞数
 シミュレーション時間は、通信時間の増加が原因で、増加する。

 新規のデータ構造によって、シナプスの一般的な性質は保ちながら、短いターゲットのリストに効率的に対応

ソフト研究開発成果(NEST)：
各層の神経細胞の振る舞いを再現

ソフト研究開発成果(NEST)：大脳皮質の最小構
成単位となる階層型局所回路モデル

ソフト研究開発成果(NEST)：京とJUEGENEにおける第３、４世代カーネルの性能比較

以下のような実験結果を再現

 波線の右端は、京の可能なマシンサイズを示す

 10万神経細胞、10億シナプス

 京の最大構成の74% の MPIジョブに相当 京で第４世代カーネルを用いて、生物学的1秒のシミュレーションに、1520秒=25
分で達成

ソフト研究開発成果(CMDN)：
視覚的、特徴的注意の神経活動への影響

ソフト研究開発のための実験解析(CMDN)：
運動皮質のθ、γ帯の神経的な振動現象

発火率（Hz)シミュレーション

McAdams & Maunsell, 1999;(Martinez-Trujillo & Treue, 2004;
Ling, Liu & Carrasco, 2009

6
5
0
4
0
3
0
2
0
1
0
0
0

ラットの自発運動時の運動皮質を
測定
・脳波
・神経発火

6
5
0
4
0
3
0
2
0
1
0
0
0

リリース
ホールド

運動準備

実行信号

遅いガンマ波

深層

通信負荷を抑えながら計算効率を確保したい
電気シナプスから流入した電流の過去（～1ms）の平均値を用い、未来の電位変化を予想
スパイクカーネル関数

Igarashi, Diesmann, Fukai

過去
Inh 1

V

Inh 2

V

未来予想

スパイク発生

1
2950

20

t

2000 3000
Time (ms)CMDN 礒村 宜和 （玉川大学 脳科学センター/ 局所回路実験データ収集）半田 高史 （次世代計算科学/ 局所回路実験データ収集）
我妻 伸彦 （学振PD/ 視覚注意の局所回路モデル）

3250

Time (ms)
非同期状態

同期状態
20

Time (ms)

1
3200

2995

207

NEST Susanne Kunkel• 京は現在開発中であり、スライド中の数字は現状の値である。
• 京上の性能に関しては京コンピュータの試験利用、および特別運用による。開発および運用にあたる関係各位に感謝申し上げる。とくに京上の実装については、ISLiM高度化チームの協力無くしては困難であった。感謝申し上げる。

赤: 通常手法
緑：提案手法12965~90 Hzガンマ振動

謝辞

線形近似してデータ転送
No

L6
2000 3000 1000
Time (ms)L6~60 Hz
ガンマ振動

共同研究者

Cell

t

L5
expand

L5

0
9 L6
0
1000

20
Cell

化学的シナプスと電気シナプスが共存
 効率的なシミュレーションが困難

L4

L4

ソフト研究開発成果(CMDN )：電気シナプスで結合した20個の抑制細胞− 通常の方法と提案方法の比較 −NEST = event-driven simulatort+dsynVi _ Vj

実行信号
L2/3

0
45 L4
0
16 L5

神経基盤と情報処理
での役割は何か？

Wagatsuma, Potjans, Diesmann and Fukai (2011) Front Comput Neurosci

ソフト研究開発成果(CMDN)：
少ない通信回数での電気結合の計算

速いガンマ波

表層、深層の神経細胞
では、γ、θ波に対して、発火の位相固定に顕
著な違い

1）層構造をもつ視覚野局所回路の構築
2）それを用いた視覚的注意の２カラムモデル
3）空間注意（上）と特徴注意（下）の８カラムモデル

実行信号

L2/3

運動実行

Layer 5

表層

刺激に対する層間の発火
順序

シータ周波数

20 L2/3

錐体細胞

各層の正確な発火頻度



ソフト研究開発成果(CMDN)：
運動皮質モデルによる振動現象の再現

運動の時期によって異なる周波数のγ波発生し、特定の位相で発火が発生。θ波の特定位相で運動が発生。

Layer 5

 電気生理学と解剖学データに基づ
き、各層の細胞種ごとに結合確率を設定

平均発火頻度 (Hz)実験

 水平方向に一様な結合 各層は興奮性(80%) と 抑制性の神経細胞集団 (20%) からなる

 京を用いて、MPIジョブの最大使用数、24,576 = 196,608 coresまでを試験を神経細胞の非同期的で不規則な発火活動

Potjans TC & Diesmann M (2012) The
cell-type specific connectivityof the local cortical network explains
prominent features of neuronal activity.
Cerebral Cortex 10.1093/cercor/bhs358

 興奮と抑制は同一な力学的性質の神経細胞モデル 1 mm3に相当

 JUGENEを用いて、MPIジョブの最大使用数、 65,536 = 262,144 coresまでを試験Time (ms)3230

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

B -3: VSM
全視覚系モデルによる視覚情報処理の解析(視覚系シミュレーションのための共有プラットフォーム)
臼井支朗 , 稲垣圭一郎 , 観音隆幸 , 神山斉己 ( 愛知県立大 ), 石原彰人 ( 中京大学 )網膜

外界像

眼球(眼光学)
カメラのレンズ・フォーカス機能に相当。波長感度特性、波面収差、瞳カメラのフィルムに相当。外界の網膜

眼光学

孔の特性などを考慮し外界の網膜像

信号 ) に変換される。網膜で処理された情報は視神経を介して神経スパイク
によって視覚皮質へ伝達される数理モデルでみると。。。

Strong

乱視補正

Weak

眼球運動制御眼球運動制御入力イメージ

視覚系≒ カメラ

被写体にカメラを向ける機能に相当。

視覚皮質

大脳皮質で認識された情報に対して、網膜から伝わる神経スパイクをもとに見たい方向へ視線を移す信号が脳幹部

して物体や景色、またその色を認識し分で計算されている。実際は体感してたり、認識した情報を利用して行動をいない、手振れに相当するような微小な動きが重要な働きをする促す。モノを見る場合は、視線が制御

視覚皮質

される

PLATO によるモデル統合

全視覚系モデルの構築

PLATO では、2 つ (MPI World 共有型 (MPMD)、複数 MPI World 統合型 )のモデル統合方法を提供している。モデルは Interface によって接続され、モデル実行・データ交換のタイミングを制御する Agent により統合モデ
ルのシミュレーションが管理される

脳機能の 1 つである視覚、「ものを見る」ことをターゲットに、視覚機能がどのように脳で実現されているかを解明する。

具体的に何をするの？

眼球運動、眼光学、網膜ならびに視覚皮質からなる全視覚系を詳細な大規模モデ
ルとして構築し、種々の視覚現象をシミュレーションにより解析する

MPI World を共有する方法 (MPMD)

各サブシステムレベル (Micro) と全視覚系レベル (Macro) の観点から視覚現象における視覚系の役割を解明する

独立した複数 MPI World を統合する方法
Agent

Agent
(1 process)Model0Model1Model0(M process)(N process)Model1(M process)Interface

Interface(1 process)(1 process)

止まっている画像なのに、何故、まわって見えるの？

MPI_COMM_WORLD

スタンドアローン型のスパコン ( 京など )におけるモデル統合に有用

視覚系のモデル

高速ネットワーク経由で複数スパコンで個別に処理される高並列モデルの統合といった応用も可能

ヒトの視覚は、眼球、眼光学系、網膜、脳皮質により構成されており、外界の情報は、これらの部位で多階層的に処理されることで、物の認識や視線の移動といった機能が実現されている。シミュレーションでは、入力イメージに対して、それぞれの部位のPLATO( 共有モデル統合環境 )

出力 ( 神経応答等）の可視化、情報量による解析を行い、視覚機能の解明を進める。

Sub-models (parts)

external
image

・ 詳細サブモデルの構築と並列化

eye optics
model

retinal image Cone mosaic(output of photoreceptor)
L coneモデル接続

eye movement
model

integrate: common data format

Processing time (sec)Large-scale model

S cone100

10

eye movement

1050: mathematical model4

eye optics
3

10

3

0

2

4

6

8

2
1

0

100

200

300

: data (signal) flow

cone mosaic

2

10
400 0

Number of processors

208

10

4

10
10

neuronal
response inphotoreceptor

Photoreceptor(Cone Mosaic)
model

gaze position

We should share・data format
・source code
・I/O data
・parameters・hardware

M coneRetinal image(output of the model)

・ 共有 IO フォーマットによる実行・管理

Agent, Interface,
Model は別々のWorld で実行

(1 process)

MPI̲World 間で通信

各プロセス間で通信(N process)・ Agent による統合モデルの網膜細胞の応答

100
80
60
40
20

200 400 600 800 1000

0

Processing cost ofinterface [%]近視補正

像 ( 光情報 ) が、ここ神経信号 ( 電気

網膜像

を計算

近視＋乱視

網膜

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)\

B-4: NeuroMorphoKitÁÂ ]ÖËÌ^_`@?>=<;:/®Ä;®Ä.-,Ä+*)(;?
¡<D;:/®Ä;®Ä.-,Ä+*)(;?
??????????;;:/®Ä;®Ä.-,Ä+*)LÄ+*;ÙÚ)Ä+*ËÌH·¸³ U|G ¶6ØØâ«M̂(t) = arg min E M,F(t)

[

M

]

E = Evolume + Esurface + Ebending + EF -actin



Ì5©6789ABB«C

Dotti et. al, J Neurosci, 1988

2

Esurface = α surface ( S − So )2

Evolume = αvolume (V − Vo )http://biology.ucsd.edu/labs/halpain/images.html

    
'&%DNA

1

Ebending = α bendingô"!0©

DEFÅGH¶
1©'&%234

ô"DEF©'&%GH¶©

2

EF -actin = ∑R: ç

234

i5Äøùwº ô©¤ª«IJ£øù¬KôLM NO©PQRS«T·  U|G ¶  IJ;² ;¤¥¦;'&%³ U|G ¶ ¸GºVWxiºw¢m= xi − η gradi E ( Xτ , F )¯æÒºNonoka, et. al., Neural Networks, 2011

1k%LH·¶²Õ¶H·¶³ÍNkå£H·¶¤;å£H·¶6 bf¿f?? ©eâ«ÙÚ©¥¦â«• kl iÍfÐ• X¸GºVWÅIJÅðñfÐ pq³®­ù• m¶¹º² n orsâ«æÒº¤¥¦ËÌâ«ÅÕ¶H·¶6Za
?ß§A¨©º%Lf«Åå£H·¶6ª«f«? ñÅ¬ñZa

Masterprocess?ÙÚâ«ijþÞd

ÅZaF®fÐéF®«?Zaß?·£ºß©º©
?¯°±²³´µâ«

Workerprocessescô ZaîbþÞdIJÅ©efgÐ©þÞdKh•••X¸GºVWY²ZaîbY³
IJY² ³

#¾¸¹

  xy]ä ¶

Nonoka, et. al., Neural Networks, 2011ÙÚ

Arp2/3ßB¼ÍÙÚ"ñÙ" F-actin kinetics 
"

"Zaîb

¶·µ  "?122
|¶ÖH?;;;;;;"?0.5 (ms)ÙÚ¶ÖH ;;;;;;;"?5¶ÖH



   
   
 




  








π i = kbinding Csbp ( x)Δtt­ ÞB  H ¸Πi = ∑ π jj=1

]ä ¶| 6ø© H ¸æÕOß©fÐ´ñ
Arp2/3ß©fÐ´

nn−1∑π ≥ ξ ≥ ∑π
i=k

i

i=k

i

ξ ~ exp(−x)






∂ 2Ci
dCi
+ f reac ({C j }) + f actin (Ci , F )
= Di
∂x2
dt



¢£±­• ±2¢£â«Í  Åâ«• 
2ù«  ©6 24â« H·¶

­


 

 


 é


i

•
•

Mogilner, et. al., Biophy J, 1996­ 

tuv ËÌwº••

4λ k BT
Δxi 2
 i 3 tan 2 θi w ¼6A;Δt ¤©Û©¥E &â«¥©â«
τ +1
τ
τ
τ



$#∫ R(s) ds∂ΩCell–  º2RS«ÍO ­  ©û– gÐ´Ð º©¤ª«Oß6·

209


  Ò ¡ ¢£  
­  

¡¢£¤¥¦§¨©¤ª« ¬¬

 
 §¨®­¯°±²  ¯ ¯³´£µ²¶
· ¸¶¹º    ³³»¼ ½¾¿ÀÁÂ²Ã®
ÄÅÆÇÈÉÊ©¥«ËÌ³ÍæÒºîïÎÏ£µÐÑÒÓÔÕÖ² ³×Ø
³×Ø ºÄøçèéñ  ©¥«éêìí ÙÚ¯Û (Arp2/3) 
(Fascin)
ÜÝ´ Þß´ àáâãääÖå æÒº©¥« çèéêæÒºëìí©¥«æÒºæÒº
îïÍðñòîïÍðñòóôõö÷£øùúûü
ýþÿ~Ó©À}¯ ò|{ ¸Ò¬[«Ò¬[«  








ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

B-5: 㻌 IOSSIM
カイコガ運動指令形成回路のシミュレーションの構築の試行
開発責任者㻦㻌 神崎亮平㻌㻔東京大学先端科学技術研究センター㻌 脳神経研究開発チーム㻕㻌㻌 㻌㻌voltagemV

voltage
mV

0.75
0.50
0.25
0.00

2

-20
-30
2 -40
-50
-60

1

current
nA

-20
-30
-40
-50
-60

current
nA

目標：昆虫脳の嗅覚情報処理から行動信号生成までの神経ネットワー
クを実験と比較できる詳細モデルを使ってシミュレーションする

0.75
10.50
0.25
0.00

446.0

446.0 446.5

446.5 447.0

触角葉出力神経からの㻌㼏㼡㼞㼞㼑㼚㼠㻌㼏㼘㼍㼙㼜㻌
カイコガ細胞には㻌 ２つ以上のK+電流
１つのNa+電流㻌 一つ以上のCa++電流が存在する

触角葉細胞体からの㼢㼛㼘㼠㼍㼓㼑㻌㼏㼘㼍㼙㼜㻌Parameter estimatorusing NEURON

５領域モデル可能な結合を推定(VWLPDWRUE\*HQHWLF$OJRUL]PXVLQJ
1(8521LVLPSOHPHQWHGILWWLQJIRU
PXOLWLFRPSDUWPHQWPRGHOLVRQJRLQJ

シナプス結合強度を推定
領域を介した結合間のパターンの変化と見なす

すべてのパターン遷移を縮約してニューラルネットワークとして表現

Simulation

各ニューロン
のシナプス
領域を同定

領域マッ
標準脳㻌 㻌 㻌 㻌 㻌 㻌 㻌 㻌 㻌抽出細胞㻌㻌 㻌 㻌 㻌 㻌 㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌㻌 㻌 㻌
ピング

結果は当日に発表します※本研究は、京速コンピュータ京の試験利用を用いている。

210

447.0
s

s

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

B-5: 㻌 IOSSIM

昆虫嗅覚系全脳シミュレータ㻌
開発責任者㻦㻌 神崎亮平㻌㻔東京大学先端科学技術研究センター㻌 脳神経研究開発チーム㻕㻌㻌 㻌
背景㻌

シミュレーションの構築

形態抽出

mapping
シナプス結合可能性の推定
シナプス結合強度推定

脳をつくる神経細胞（ニューロン）の形やはた
らきは昆虫・哺乳類をとおして共通だが、神経系の規模は小さい。
異種感覚統合 連合学習 定位行動など環境に適応するため充分な複雑な行動を行う。

神経の生理・形態記録

そのため㻌 昆虫脳は感覚から行動までの脳の情報処理をシミュレーションするためのモデル系をして優れている。

カイコガのニューロンデータベース（BoND）とマルチスケール計測

基礎方程式

形態抽出ソフト(KNEWRiTE）

標準脳構築ソフト（BrainComposer）

シミュレーション前のデータの流れ

免疫染色

標準脳

抽出細胞の
マッピング

オーバーラッピングの推定

NEURON K+

5000個の神経細胞（各5000 コンパートメント）を0.025msec単位でリアルタイムに計算するには、約300
TFLOPS必要
・現在は最大187 TFLOPS（20万コア）を達成

シミュレーションを用いた神経パラメータ推定

謝辞
本ソフトウェアの開発に際しては、京速コンピュータ
京の試験利用、理化学研究所情報基盤センターの
RICC、東京大学情報基盤センターのHA8000とFX10 を用いた。京上の実装におけるISLiM高度化
チーム、特に舛本氏、大野氏のサポートに感謝する。

211

昆虫全脳シミュレーション開発チーム
神崎亮平‒ 並木重宏‒ ハウプト・S・周一‒
加沢知毅‒ 高嶋聰‒ 櫻井健志‒ 岩月知香
佐藤陽平‒ 宮本大輔‒ 森友亮‒ 田渕理史
藤原輝史‒ 峰岸諒‒ 佐藤秀仁
池野英利 ‒ 石井愛弓‒ 新田倫子
西川郁子‒ 小林亮太‒ ‒ ‒ 山岸嘉彦‒ 小杉展弘
小野島隆之‒ ‒ 五十嵐吉輝

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

H-1: cppmd;4fbkneml0aa

gjicdbohpl a



;ROHFXODU4\QDPLFV@LPXODWLRQ`
aAKHFHOOLVFRQVWUXFWHGE\PROHFXOHVVXFKDVZDWHU"SURWHLQ ;ROHFXODU4\QDPLFV@LPXODWLRQRQWKH9FRPSXWHUHWF$5YHU\PROHFXOHVDUHFRQVWUXFWHGE\DWRPV$AKHVHDWRPV aBVLQJWKH9FRPSXWHU"ZHDFKLHYHG*$)/>6:=>@"
LQIOXHQFHHDFKRWKHUDQGPRYHFRPSOH[O\$;ROHFXODUG\QDPLFV *($/HIILFLHQF\ZLWK+((PLOOLRQDWRPVADEOH' $;4 VLPXODWLRQFDOFXODWHVWKHLQWHUDFWLRQDQGPRWLRQRIDWRPVADEOHsa>HUIRUPDQFHRI;DVVLYH;4@LPXODWLRQVDQGUHYHDOWKHVWUXFWXUHDQGIXQFWLRQVRIWKHELR#PROHFXOHV$`a2HFDXVHFRXORPEIRUFHWKDWLVIRUFHEHWZHHQFKDUJHGDWRPV<XPEHURI3>B-/".-(.("/**LVDIIHFWWRORQJGLVWDQFH"ZHPXVWFDOFXODWHIRUFHEHWZHHQDOO<XPEHURIDWRP+((PLOOLRQ+*)PLOOLRQSDLURIDWRP$8WWDNHVYHU\ORQJWLPHZKHQWKHQXPEHURIDWRPLVODUJH$BVLQJSDUDOOHOFRPSXWHU"LWUHTXLUHVPDQ\<XPEHURIDWRPSHU3>B
,+*(
,+*(
FRPPXQLFDWLRQ$AKHUHIRUHZHXVHPDQ\WHFKQLTXHVWKDWUHGXFH
'',$*VHF''($'VHFALPHIRU'&&&VWHS 
FDOFXODWLRQDQGFRPPXQLFDWLRQFRQVLGHULQJFRXORPEIRUFHLVVPDOODWORQJGLVWDQFH$>HUIRUPDQFH
*$)/>6:=>@*$&)>6:=>@
5IILFLHQF\*($/?HGXFH3>BWRILWVLPXODWLRQER[).$&ARSRORJ\ZDVQRWDGMXVWHG

ADEOH($@WURQJ@FDOLQJaa
aWLPHFRQVXPSWLRQVIRU)")*/",+,DWRPV
Number of CPU>DUDOOHO>HUIRUPDQFH`
aCHXVHGVSDWLDOGHFRPSRVLWLRQE\UHFWDQJXODUIRUSDUDOOHOL]DWLRQ$=QH3>BFDOFXODWHDWRPVLQRQHUHFWDQJXODUER[$CKHQUHJLRQWKDWRQH3>BKDVLVVPDOO"WKHFRPPXQLFDWLRQWLPHLVODUJHUWKDQWKDWRIFDOFXODWLRQ$ARWDOVLPXODWLRQWLPHLVGHFUHDVHSURSRUWLRQDOWRUHFLSURFDORIWKHQXPEHURI3>B
<3>B ZKHQ<3>BLVVPDOO"EXWWKLVGHFUHDVHLV
OLPLWHGDWODUJH<3>B$AKHVHGHFUHDVHRIVLPXODWLRQWLPHDJDLQVWWRWKHQXPEHURI3>BIRUVLPXODWLRQZLWKIL[HGVL]HLV^VWURQJVFDOLQJ_$CHREWDLQHGWKHUHVXOWWKDWWKHOLPLWZDV'&&DWRPVSHU3>BADEOH
(DQG6LJXUH( $6XOO9FRPSXWHUZLOOSHUIRUPVLPXODWLRQZLWKRYHU'&PLOOLRQDWRPV$aAKHSHUIRUPDQFHLQFUHDVHZKHQWKHVL]HRIVLPXODWLRQSHU3>BLVIL[HGLV^ZHDNVFDOLQJ_$8QWKHFDVHRIWKHQXPEHURIDWRPSHU3>BLV,+&&"
WKHSHUIRUPDQFHZDVFRPSOHWHO\VFDOHGADEOH) $

64

4,096

32,768102

Number of atom per CPU

52,338

6,542

817

2,232

936

504

342

Target of communication

26

26

124

342

Total

823.07110.54

25.90

10.77

Force

731.66

91.53

12.50

2.41

59.28

13.69

11.48

7.38

32.13

5.31

1.92

0.98

(ms /
Communication
step)
Other

*	
  volume	
  of	
  data	  swap	  area	  

ADEOHva6RUFHFDOFXODWLRQDWRQH3>Ba,"+)(DWRP
ALPHFRQVXPSWLRQ--$*+VHF>HUIRUPDQFH

.&$/*/76:=>@

5IILFLHQF\,)$(zxywUDWLR+-$(SIMD ration include all instruction

6LJXUHt@WURQJ@FDOLQJ

ADEOHuCHDN@FDOLQJa
ALPHFRQVXPSWLRQIRU,"+*(DWRP%3>B
Number of Node

512

1PRXQWRIFRPPXQLFDWLRQ!

Time
FiguresaExample of Proteinqhide waterr

64

512

4,096

32,768

79,872

82,944

Number of Atom

418,707 3,349,656

26,797,248

214,377,984

522,546,336

542,644,272

Time Total
(ms / Forcestep)
Communica/on

109.058

110.535

111.186

111.672

112.414

112.085

91.622

91.528

91.601

92.329

91.262

91.641

12.124

13.694

14.011

14.012

15.820

15.067

Other

5.312

5.313

5.574

5.332

5.332

5.376

Performance(PFLOPS)

0.003

0.025

0.201

1.599

3.871

4.031

Efficiency (%)

39.0

38.5

38.3

38.1

37.9

38.0

212

@LQJOH3>B>HUIRUPDQFH
a1WRPVDVVLJQHGWRD3>BDUHGLVWULEXWHGWR.FRUHV$CKHQWKHQXPEHURIDWRPSHU3>BLVODUJHUWKDQVHYHUDOKXQGUHG"WKHORDGXQEDODQFHLVVPDOODQG.
FRUHVZHOOSHUIRUP$`
a@8;4LQVWUXFWLRQLVDSSOLHGWRIRUFHFDOFXODWLRQEHFDXVHWKHQXPEHURIDWRPDIIHFWWRDQ
DWRPLVODUJHHYHQLILJQRUHIDUDWRPV$ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

H-2: LSV

大規模データ可視化ソフトウェアLSVの開発 	
開発責任者: 小野謙二 (理化学研究所 計算科学研究機構) 	

	
LSV “Large-Scale data Visualization software”	
n 大規模データの並列可視化n 共通UIによる統一化されたリモート／ローカル可視化環境n インタラクティブ／バッチ可視化n ソフトウェア／ハードウェアレンダリングn プラグインによる機能拡張n XMLによるスクリプト処理	

システム概念図	
オペレーションモー
ド	
大規模データの並列可視化
インタラクティブ

画像重畳	
定義されたシナリオによる動画作成
バッチ	

小規模データの可視化
インタラクティブ・バッチ	

RICCでの並列可視化テスト	
Flat MPI BS+BT Compositing (512x512 RGBA)
80
70
60

FPS

50

マルチステップ画像重畳
ノードをサブグループに分けて多段階に重畳することでネットワークの使用効率を向上	40
30

Flat MPI BS (1024) + BT (4)20Flat MPI BS (512) +BT (8)10Flat MPI BS

0
1024

2048

4096

Number of cores (compositing nodes)n データセット（XXX x YYY x ZZZ, 100GB）n 100ノードを使用したリモートインタラクティブ可視化n インタラクティブな視点・可視化パラメータの変更操作を達成
p データロード: 46 secp コンターライン作成: 0.14 sec
p 画像重畳: 0.04 secp レンダリング: 0.6 sec	

今後の開発計画	
高速データ圧縮	

インテリジェントデータリダクション	

n データロード時間の短縮
n 予測差分可逆圧縮n 比較p Move-To-Front + オメガ符号化p 完全二分木符号化（CBT）
p Range符号化 [Lindstrom and Isenburg, 2006]p zlib: 汎用圧縮ライブラリ [Jean-loup Gailly and Mark Adler]	

213n 特徴を保存した非可逆圧縮n Level-Of-Detailn Region-Of-Interestn 特徴抽出n データベース・メタデータの利用ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

H-3: SPHERE
Simulation Framework for Large scale Coupled Analysis

	

開発責任者: 小野謙二 (理化学研究所 計算科学研究機構) 	

	

背景	
  
・シミュレーションプログラム開発の課題	
  ・シミュレーション対象がMul%-­‐physics/Mul%-­‐scale化する事により、複雑なコードとなり、開発の難易度が高くなる	
  ・HPCアーキテクチャーが複雑化(Multi-core化、ヘテロジーニアス化)し、効率的なプログラム開発が難しい	
  ・新しいアルゴリズムを用いてHPCの恩恵を得るには、物理と計算機の両方のスキルが必要	
  
・解決策	
  
・アルゴリズムの研究開発に専念できるシミュレーションプログラム開発環境を提供	
  ・多様化するアーキテクチャーのローカライズを吸収することにより、今後のアーキテクチャーにも対応	
  

	
  

SPHERE	

Skelton	
  for	
  PHysics	
  and	  Engineering	
  REsearch	  	  	
  並列シミュレーションプログラム開発のフレーム
ワーク環境	
  ・実行環境、計算条件設定インターフェース	
  (XML)	
  ・並列File	  I/O	
  ・動的配列確保	  →自動領域分割、ノード通信テーブル作成	
  →領域間通信用ライブラリの提供	
  ・プログラムスケルトンの提供	
  Fig.1	  SHPERE	
  system	sphereを利用

Fig.3	
  Scalability	
  of	
  SPHERE	
  on	
  RSCC	Fig.2	  An	  example	
  of	
  coupled	
  analysis	
  on	
  the	
  middleware	
PlatypusFMM/CG"
PlatypusFREIN"
MARBLE"
CafeMol"
ProteinDF"
PlatypusFQM/MMFFE"
Phase II < 8192
Phase III on K
Phase I < 256
PlatypusFQM"
PlatypusFQM/MM"
II-2
II-0
II-1
1024nds 12288nds 82944nds
PlatypusFCGM/MM"RICS"
ZZFEFSI"ZZFDOSE"ZZFHIFU"ZZFLUNG"
UTHeart"
ParaHaplo"
4.5PFLOPS,"42.7%
NGS"analyzer"
ExRAT"SiGNFBN"Fig.4	  Performance	
  of	
  SoPware	
  which	  based	
  on	
  SPHERE	SiGNFL1"SiGNFSSM"
SBiP"
LiSDAS"MEGADOCK"
NEST"
214
CMDN"
VSM"

ISLiM ソフトウェア研究開発報告会 (2013.1.10-11)

H-4: VLSVL

合成可能な化学構造および反応スキームからなる大規模仮想ライブラリ
開発責任者: 船津公人 (東京大学 大学院工学系研究科)

１．背景・ 創薬の第一歩は有望なリード化合物の発見で、ハイスループットスクリーニング（HTS）が重要な役割を果たしてきた。しかし、HTSで有望なリード化合物が見いだせないケースもあり、その探索効率とコストが問題となっている。
・ 現在は、コンピュータ支援バーチャルスクリーニングによるリード化合物探索が 推進されており、そのための、医薬品になりうる質の高い仮想化合物群からなる 大規模なバーチャルライブラリの構築が望まれている。
・ バーチャルスクリーニングにおいて、高スコアのリード化合物群を得られるかどうかは、バーチャルライブラリを構成する仮想化合物群の質や多様性、規模などに左右され、医薬品開発の成否に大きな影響を与える。総じて、バーチャルライブラリの質と量が重要な意味を持つといえる。
・ 一方、スクリーニング結果、高スコアのリード化合物群を絞り込んでも、文字通りバーチャルであるが故に、対象化合物を入手するための合成検討に多大なコストを要する。
この問題に対する解決策が必要とされている。

２．目的

４．システムの構成

１. リード化合物となりえる仮想化合物群からなる、
大規模な化合物バーチャルライブラリ（VL）の構築
２. VLに含まれる仮想化合物の多様性を確保し、仮想化合物の合成ルートに関する情報提供を可能とする

３．方法① 化学反応スキームに表現されるリアクタントとプロダクトについて、それぞれの反応部位情報と構造特徴の変化から記述されるtransformを
反応データベースから抽出・集約する。
② 入力されたドラッグライクなターゲット構造に対して、このtransformを適用し、ターゲット構造を得るための合成前駆体を提案させ、蓄積する。
③ 出力された合成前駆体を、再度ターゲット構造としてシステムに再入力し、合成前駆体を提案させるという処理を繰り返す。
大規模な反応データベースからtransformを自動抽出することによって、多様な反応事例に適応できるtransformを多量に蓄積し、その適用によって誘導される仮想化合物群の多様性を確保する。

④ 入力構造に対して、反応予測方向にもtransformを適用し、反応生成物も提案させ、これを繰り返して、合成ルート樹を形成する化合物ライブラリとする。

５. transform・ transformには、反応スキームを構成する各化合物の反応中心情報が収納される。
具体的には、反応中心の部分構造とその周囲の構造特徴
情報、結合の切断部位、結合次数の変化した部位とその次数、新たに生成した単結合の部位、脱離した置換基の種類と部位、加わった置換基の種類とその位置など。

７.バーチャルライブラリの構成

６.発生化合物群の新規性

Virtual Library
10億構造
・1億構造
・1億3000万スキーム
5億構造

・ システムに入力された化学構造に、各transformに記述された部分構造が含まれる場合は、該当部位をtransform構造に置き換えた反応スキームを提案する。

逆合成
種構造

化合物DB

順合成

反応例
O

O

O

O

5億構造

+

：リード化合物になりえる化合物：リード化合物にならない化合物：反応スキーム構成要素抽出されたトランスフォーム例
1

1

6

2

+

2

6

3

5

○印：再結合部位・システムに化合物DBから種構造が入力されると、逆合成提案の場合は、種構造を合成するための前駆体を発生し、順合成提案の場合は、 種構造を出発物質に含む反応生成物を発生する。
そこで得られた化合物を種として、これらの処理を順次繰り返して、化合物ライブラリを構築する。
・矢印は反応スキームを表し、その両端の丸印は、各反応スキームを構成する化合物を示している。
・発生した化合物には、反応スキームの経路情報が付与され、合成経路検討の有力な情報となる。

８.構造出力例

9. Lipinski’s rule of 5 を指標とした評価例

3

5

ｒ

4

4
○印：切断部位

・下に、ある医薬品をtargetとした場合に、このシステムが提案する合成前駆体例を示します。
・これらの化合物は、 入力構造（target）の基本骨格を反映していることが確認できます。
そのため、発生化合物の物理化学的、及び、薬理学的な性質もある程度受け継がれていると推測されます。
・医薬品とそのリード化合物については、構造的な差異は小さく、共通の骨格を持つ１）とされています。
・よって、ドラッグライクネスな化合物を種構造として、当手法により構築されたバーチャルライブラリには、
医薬品のリード化合物としての要求を満たす、質の良い化合物が包含されていると期待されます。
入力構造

１）J.R.Proudfoot, Bioorg. Med. Chem. Lett., 12, 1647(2002)

215

分布の異なる種構造群の活用検討