生命科学のグランドチャレンジで開発中のソフト
ウェアの現状とそのターゲット
次世代生命体統合シミュレーション研究開発グループ
グループディレクタ
姫野龍太郎

この研究開発の位置づけ
次世代スパコン開発プロジェクトの一部
現在
平成18年度 平成19年度 平成20年度 平成21年度 平成22年度 平成23年度 平成24年度
（2006）
（2007）
（2008）
（2009）
（2010）
（2011）
（2012）

システム

（

吔
听吇
吟呀
呉叹
叽 吠吮
叾 吘呁
叹 吺合

詳細設計

試作・評価・製造

チューニ
ング

供用開始

次世代ナノ統合シミュレーション

開発・製作・評価

実証

ー



呃
呉后
吏吾
呉

性能

概念設計

）

次世代生命体統合
シミュレーション

計算機棟

開発・製作・評価

設計

実証

建設

施
設

研究棟

設計

建設

2

動機
生命現象は最も複雑で難しい問題
複雑で美しい振舞いを示す超多体系多階層問題

10-8

10-5

10-3~-2

Meso

Micro

100

3

Macro

基礎方程式に基づく解析的アプローチと、大量の実験データから未知の法則に迫る実験データから解析へのアプローチ、さらには多階層を連結するアプローチにより、異なるスケールの研究と実験データを統合的かつ有機的に結びつけ、ペタスケールという桁違いの性能を持つスーパーコ
ンピュータの性能をフルに発揮し、生体で起こる種々の現象を理解し医療に貢献するためのソフト
ウェアを開発する。
スケール間連結アプローチ 実験データから解析
解析的アプローチ
へのアプローチ
イオンチャ!生命現象の統
TGCTCTTATCTTCCTCCCACAGCTCネル
CTGGCCCATCATGGCTGGTGTGGCT合的な理解（＝分子スケール
AATGCCCGCTATTAAACTTAATAAA
AAACATTTATTTTCATTGCAATATTT
生命プロ グラムTACTGATATTATACAGGGGGCATGG
TTTGACT……
の理解・再現・
予測）
神経細胞
ペタスケール・シミュレーション
細胞スケール
局所回路
!ヘルスサイエライフサイエン
ンスへの貢献、
データ解析融合
スの新たな手先端医療等の段の提供
臓器全身スケール
システム
技術基盤の構全脳
築

脳・神経系
基礎原理（方程式）

モデルによる抽象化

大規模データy=f(x)+g(x)exp(az)･･･

in!

!out

4

赤枠は大きく進展した
もの、血栓形成は必要性が高まり、今後加速

各チームの主ターゲットとチーム間連携受 データ解析融 分子スケー
合T

提供

5

ルT

細胞スケー
ルT

臓器全身
スケールT

脳神経系T

データ解析融 肺がんと薬
合T

データ同化
技術

生体分子ネ
ットワーク
モデル

画像処理
パラメータ
推定

パラメータ推定(モデル化）

分子スケー
ルT

タンパク質リガンド

代謝・膜

膜での輸
送モデル

血栓形成

神経可塑性
・変性・イオンチャネル

細胞スケー
ルT

生体分子ネ
ットワー
クデータ

代謝反応・
肝細胞
膜での物
質輸送データ

複数細胞から臓器へ・血栓形成

細胞プラッ
トフォーム
供給

臓器全身
スケールT

医療画
像データ

データ提供
・ドラッグデ
リバリ

血流・分泌
物輸送

循環器系

細胞の変形

脳神経系T

神経細
胞データ・
局所回
路データ

可塑性や
神経変性
に関するデ
ータ

成長・変形
モデル

運動制御
臓器制御

細胞から
高次機能
までの一貫

高度化T

分析・高速化 分析・高速化 分析・高速化 分析・高速化 分析・高速化

ＱＭ／ＭＭ

整理前呂

粗視化シミュレーション

分子動力学計算法

ＱＭ／ＭＭ
共通的な
開発対象
の設定

呂

細胞ｼﾐｭﾚｰｼｮﾝ統合ﾌﾟﾗｯﾄﾌｫｰﾑ

超音波伝搬ｼﾐｭﾚｰｼｮﾝ
肺ｼﾐｭﾚｰｼｮﾝ

生命体データ同化ﾌﾟﾛｸﾞﾗﾑﾀﾝﾊﾟｸ質ﾄﾞｯｷﾝｸﾞ解析ﾌﾟﾛｸﾞﾗﾑ
大規模SNP解析ｿﾌﾄｳｪｱ

呂

吞

吖
解
析
脳
神
経


吖
解
析
融
2010.12.6 合

共通的な
開発対象
の設定

臓
器
全
身
吐
合



吞 大規模遺伝子ﾈｯﾄﾜｰｸ探索ｿﾌﾄｳｪｱ
ープログラム

全身ﾎﾞｸｾﾙﾃﾞｰﾀ・全身力学ﾓﾃﾞﾙ

呂

ー

ー 
呂

心臓ｼﾐｭﾚｰｼｮﾝ

蛋白質の構造サンプリング技術

短期目標

細胞ｼﾐｭﾚｰｼｮﾝ統合ﾌﾟﾗｯﾄﾌｫｰﾑ

長期目標

肝細胞・肝小葉
（代謝）

長
期
目
循環器系ｼﾐｭﾚｰｼｮﾝ
標(血球・血小板・血流・血管網・心臓）
双向全身ﾎﾞｸｾﾙﾃﾞｰﾀ・全身力学ﾓﾃﾞﾙ 厳
叀
超音波伝搬ｼﾐｭﾚｰｼｮﾝ
課
題
大規模遺伝子ﾈｯﾄﾜｰｸ探索ｿﾌﾄｳｪｱ


血流ｼﾐｭﾚｰｼｮﾝ

細
胞
吐
合

ー 

臓
器
全
身
吐
合

血小板



ー 

イオンチャネル

呂

計算対象

膵臓β細胞

開
発
対
象
叏
重
点
化
双
叩
召
整
理
見
直
厹

ー 

計算対象

肝細胞（代謝）

叀課
題

粗視化シミュレーション

蛋白質の構造サンプリング技術
細
胞
吐
合

長

期
全電子量子化学計算
分目子標
ハイブリッドQM/MM法双吐 膜タンパク質・代謝酵素
向合
分子動力学計算法
厳ー 

ハイブリッドQM/MM法

ー 

計算手法

全電子量子化学計算

分
子
吐
合

生命体同化ﾌﾟﾛｸﾞﾗﾑ

肺がんと薬

ﾀﾝﾊﾟｸ質ﾄﾞｯｷﾝｸﾞ解析ﾌﾟﾛｸﾞﾗﾑ
大規模SNP解析ｿﾌﾄｳｪｱ
神経細胞・局所回路ｼﾐｭﾚｰｼｮﾝ
脳全体ｼﾐｭﾚｰｼｮﾝ

他チームとの連携による効率化

6

開発目標：量子化学計算（ＱＭ）・分子動力学計算（ＭＭ）・粗視化モデル計算（ＣＧ）を総合化する技術を開発、タンパク質や細胞の機能発現過程のシミュレーショ
ンにつなげ、細胞スケールとの有機的な連携を図る。
ターゲット：多剤排出トランスポータ、脂肪酸代謝酵素反応
開発計画：ＱＭ、ＭＭ、ＣＧの各スケールでプログラムの開発を進めるとともに、それらの手法を結合したQM/MM、MM/CG法によってマルチスケールシミュレー
ションを実現するためのプログラムを開発する。
量子化学計算

分子動力学計算

より小さく
より短時間
より厳密

粗視化モデル計算

より大きく
より長時間
より近似的

進捗状況：QM/MM/CGの３階層それぞれで計算方法をプログラム化し、テストを続けながら開発、8000並列程度まで性能が出るまでになっている。
7

開発目標：ペタフロップス級の計算力を活かして細胞を１００万のボクセルに区画、そこに包括的な実証データを組み込んだ肝細胞・肝小葉のシミュレーションの実現を目指す。薬剤等の作用や副作用の予測を行うシミュレーションの開発につなげる。
開発計画：生物の空間的情報を入れ込むことが出来るプラットフォームの開発と平行して、プラットフォームに実装するためのデータ収集とモデルの構築を進める。また、プラットフォームと各種データ・モデルとの有機的連携を図る。
細胞シミュレーション
プラットフォーム

ゴルジ体 実測データ・形態モデル

后
吾
呉



細胞内の反応情報

細胞の形状変化

代謝経路

ー

細胞情報の収集細胞に関する情報の数値
化・データ収集・統一形式
による記述

生物学的情報

細
胞
后
吶
吼
呃

細胞をボクセル（空間を格子状に区切った１つの区画）に分割し、生物学的情報を系統的に組み込む。

進捗状況：細胞を約3万個のボクセルに分割、複数のオルガネラを表現し、移流
拡散方程式による物質移動をシミュレーションできる細胞シミュレーションプラット
フォームを開発、E-CELL３をベースにした代謝反応がオルガネラ間も含めてシ8ミュレーションできるようになった.現在、8192並列までの性能テストを終了

開発目標：ペタフロップス級の計算量を用いて、数時間で実行可能な臓器全身シ
ミュレーションの構築を目指す。これにより、病態予測や治療予測等の医療支援
ツールの開発につなげる。
開発計画：血管網、各種臓器、全身を３次元的に再現した臓器全身モデルを構築し、病態予測や治療予測を行う臓器全身モデルを次世代スパコンに実装、循
環器系疾患を始めとする種々の病態のシミュレーションと、ガンなどの治療支援
シミュレーション（放射線・集束超音波など）につなげる。
治療・診断の例（超音波を用いた悪性腫瘍の治療予測）

疾患部位

個別患者のモデルを作成

超音波伝搬シミュレーション

進捗状況：1mm分解能の全身ボクセルモデルを開発すると同時に新しい構造流体連成手法と多媒質内の超音波伝搬解析手法を開発した。これらにより、外科手術シミュレーションや収束超音波・重イオンビームによるガンの治療等へつなげる
9
基盤を構築した。

達成目標：ペタフロップス級の計算によって、創薬ターゲット探索や個人差を考慮した医療のための基盤情報技術の構築を目指す。これにより、ヒト全遺伝子を対象とした創薬ターゲット遺伝子探索の実現につなげる。
開発計画：遺伝子ネットワーク推定・タンパク質ネットワーク推定・ゲノム多型解析技術等の研究、ならびにデータ同化技術の開発を進め、開発した解析法やデータ同化技術を次世代スパコンに実装し、データ解析とシミュレーションを融合した技術を開発する。ターゲット：肺ガンと薬
シミュレーションモデルの構築
モデル

関連するデータをモデルに同化

データ同化技術

病気のシステム的理解による医療開発イノベーション
仮説の自動生成

予測とエラーの発見

データ

（癌などの病気に関わっているモデル） （関連たんぱく質の時系列データ）

進捗状況：分子のネットワークを地図として抽出するための方式として、大規模遺伝子ネットワーク探索及びタンパク質構造に基づく相互作用予測の研究を行い、新たな技術開発の成功と新たな並列プログラムの開発により、これらのプログラム
10
が8000を超えるcoreで稼動するようになった。

開発目標：脳全体レベルでの入出力関係を再現できるモデルとシミュレーションソ
フトウェアを開発、次世代スーパーコンピュータの性能を引き出して、脳の柔軟な環境適応能力である脳の発達と学習の再現を目指す。
開発計画：神経細胞と局所回路のシミュレータ、および、脳のシミュレータとして
昆虫の匂い情報処理回路モデル、ほ乳類の網膜モデルとを開発、次世代スー
パーコンピュータに適したプログラムとすることで、昆虫の嗅覚系情報処理では実時間で、ほ乳類の視覚系情報処理は６０倍の時間で計算可能とする。

局所回路シミュレーション
（細胞数 105, シナプス数 109）

細胞極性形成シミュレーション

進捗状況：本チームは2008年10月に発足、昨年度は神経マルチフィジックスシミュレータでは神経細胞の極性形成について、分子レベルからのシミュレーションができた。また、局所
11回路シミュレータNESTでは105個の神経細胞、109個のシナプスからなる大規模局所回路のシミュレーションができた。並列性能に関しては32000並列までのテストを終了

開発目標：プロジェクトで開発される各種ソフトウェアの高性能化、特に次世代スー
パーコンピュータ向けの最適化を行い、次世代スーパーコンピュータの生命科学への応用を促進すると同時にグランドチャレンジを実現する。
開発計画：コアソフトウェア・基盤ライブラリの開発と他チームアプリケーションの調査・高速化に向けた検討を進め、次世代スーパーコンピュータ実機でのアプリ
ケーションの高速化、チューニングを行う。
性能

未並列化率

アムダールの法則䈊
並列化度が上がるにつれ、わずかな未並列化でも性能に大きな影響を及ぼす

並列化度

進捗状況：本チームは2007年11月に発足、これまでに分子動力学計算高速コアソ
フトウェア(cppmd)の解析・開発、量子化学計算ソフトウェアの高性能化を行うと同12時に、基盤ライブラリ・可視化ソフトウェアの調査・開発を進めた。Cppmdでは8000
並列、可視化ソフトでも100並列での動作テストを行った。

生命体基盤ソフトウェア開発・高度化チーム（HPCチーム）の詳細
役割•分子動力学や量子力学用ソフトの高速コアライブラリーの開発•並列ミドルウェア・超大規模データ処理可視化システム開発（領域型解法、粒子ベースの解法用。ライフサイエンス分野を主な対象としているが、汎用的に使える設計）•高並列化・高速化対応（各チームは1,000並列まで自助努力）
ハードウェアに寄り添った最適化•SIMD機構の最大利用：アセンブラ・コーディング•マルチスレッド並列とMPI並列の両方の活用•MPIよりも低レベルの通信ライブラリの活用•オンキャッシュ計算（キャッシュブロッキング、プリフェッチ）•計算と通信のオーバーラッピング•ロードバランシング
ハードウェアに向いた計算アルゴリズム•生体高分子の原子間の長距離力を求めるポアソン方程式! FFTから実空間マルチグリッド計算•酵素反応の機能解析・薬剤の正確な結合自由エネルギー予測：量子化学計算でのオーダーN手法
13
!"#

分 子

データ
細 胞 臓器全身解析融合 その他高性能化支援

共通基盤ライブラリー＋コアソフトウェア
直感的な操作等を実現し幅広
ＧＵＩ／ワークフロー等
いユーザーの利用を可能に
実現象 次世代スパコン用シミュレーションソフトウェア群
に応用
して
フィード
商用ソフトウェアへの改良
自ら改良
バック

学術利用・産業利用

各機関（各
チーム）の
ソフト開発
基盤ソフト開発・高度化支援
実証利用
支援
グランドチャレ
ンジ達成目標ソフトウェアハウス
14

「生命現象の統合的解明」に向け、スケールを超えた連携を視野に入れつつサイエンスとしてインパクトのある研究開発課題を検討

統合シミュレーションの例!分子レベルから個体レベルまでの代謝反応の予測!遺伝子変異・細胞のがん化・転移までを含むがんの発症機序の解明!各個人のデータに基づく個
人差を考慮した医療基盤の構築!発生・増殖といった生命現
象の根本原理の解明!神経変性疾患の発生機序
の解明

15

これまでの経緯と今後の予定

課題の明
確化と整
理
アプリ開
発支援・
高度化
チーム新
設
開始

外部審査
新規研究
課題調査

2006年

2007年

体制強化
MEXT
評価

並列性
能強化

脳神経
系チー
ム設置

開発状
況の可
視化・管
理強化

2008年

2009年

それぞれ
の性能目
標を明確
化、達成を
図る

開発したシ
ミュレーショ
ンを次世代
スパコンで
チューニン
グ

2010年

2011年

チューニ
ング完了、
本格活
用

16
2012年

２．ライフサイエンス分野における計算科学研究開発の世界の現状

17!$#１）世界的な研究の中心は" 三極：アメリカと欧州（＋豪州、ニュージーランド）、
日本
アメリカ：DoE、NIH、DoD、民間企業（ベンチャー、製薬企業）が主、DoEが基礎科学（生物学＋計算科学）、NIHが医療を担当するため、互いの協力は希薄。計算科学と医療をつなぐ動きがない。
欧州：EUがスポンサーとなり、IT技術を医療に生かす取り組みを推進。
一例：VPH(Virtual Physiological Human)、個別患者の治療が目標。大学・医療機関・製薬企業・医療機器メーカーが参加、マッチングファンド、
5年で数百億円規模。脳科学ではスイスがBlueBrainプロジェクトを推進。
世界をリード。

18!%#２）海外での研究開発の今後の方向•

世界的に取り組まれているのは– タンパクの構造や変化などの解析– 大量の実験データに基づく多次元因子解析など

・ 現在の研究開発でホットな話題はマルチスケール
NIHもEUでも二つ以上のスケールをつなぐ研究開発にファンディング
日本はグランドチャレンジとして既にマルチスケールに挑戦
・方程式に忠実にモデル化し、スケールを超える
・膨大な計算量は次世代スパコンで解消

http://simbios.stanford.edu/

欧米では医療機関で使うことを前提に簡略化したモデル化。
（脳科学では例外的にスパコンを指向）
戦略分野化で、日本が世界に貢献

19
http://ec.europa.eu/information_society/newsroom/cf/itemdetail.cfm?item_id=3956

http://www.nibib.nih.gov/Research/ProgramAreas/MathModeling!&#３）国際比較•

分子スケール– アメリカは超並列計算で先行– 粗視化モデルによる計算、全電子を入れたタンパク質の量子化学計
算では日本がリード
全電子計算では世界を•細胞スケールリード（ProteinDF)– システムバイオロジー（E-cell等）は日本発– 細胞群から臓器へ、分子から細胞へのアプローチはどこもこれから•

臓器・全身スケール– 国際的な研究開発体制が構築されつつある– 日本は心臓モデル、健常者からの詳細人体モデルでリード•

バイオインフォマティクス– 個人の多様性と医療をつないでゆくところでは日本は優位粗視化モデルによる分子モータ– 次世代超高速シーケンサー等による巨大データに直面、世界的な課
題•

脳科学– スーパーコンピュータによるシミュレーションではBlueBrainなどが先
行– しかし、計算論的神経科学では日本が世界をリード、BlueBrainではこの観点が今は抜けている

20

心臓

'(#

３）国際比較（続き）
•数万並列規模の計算能力をもったソフトウェア開発を推進
今後、次世代スパコンに向けた並列性能向上を加速
⇒分子・細胞・臓器全身の各スケールと実験データ解析、脳神経系を統合して研究開発★世界的にも全くない試み 
同時に行うことにより、手法やソフトを互いに利用し、開発を加速⇒次世代スパコンで世界をリードする

全電子計算での並列性能（ProteinDF）
2500コアまでの並列を確認

チーム間の連携

脳の局所回路シ
ミュレーションでの並列性能（BlueGeneLで1000並列までの速度向上を確認）

21'!#

３．ソフトウェア開発状況

22''#現在の開発状況

管理：開発フェーズを４つに分類
Phase I：プロトタイプ開発と並列化のテスト（想定2006年〜2008年)
Phase II：大規模並列化(想定2009年〜2010年)
Phase III：超大規模並列＋実機チューニング(想定2011年)
Phase IV：次世代スパコン上での本格的な実行とPR普及(想定2012年)
各I-IIIのフェーズの中に、さらに３つのマイルストーンを設定、１０段階に

開発ソフトウェア：全３４本
3ヶ月毎にアップデート、
問題があれば機動的に対処

20本：１０２４並列以上、15本：８０００並列以上
可視化ソフトも１００GPGPU並列

23

開発ソフトの優先順位とリソースの有効活用
背景
・ 稼働初期（部分稼動〜本格稼動の間）にはユーザーが使えるマシン時間は少ない
・ 高度化チームが同時に取り組めるソフトも限られる24

それぞれの成果アピール時期

第一走者

第三走者

第二走者

多剤排出トランスポータ 神経系統合シミュレータ
cppmd（分子動力学）
MARBLE細胞から臓器へ
Platypus
ProteinDF
分子から細胞へ
CafeMol
CafeMol(ヒストンDNA） RICS:肝細胞
HIFU ZZ-DOSE重イオン粒子
UTHeartSiGN
SSM L1GNE
SPH3D
LiSDAS
ParaHaplo
MEGADOCK
中長期目標
CMDN:大脳皮質局所回路モデル
NEST(神経回路網）
スケールを越えた完成後すぐに成完成後、1年以内
統合的理解に向 25
果をアピール
に成果をアピール
けた取り組み

第一走者の分類

計算機科学的インパクト

計算科学的インパクト（ゴードンベル賞狙い）

（ライフ分野向けのアピール）

ProteinDF
cppmd

UTHeartCafeMol(ヒストンDNA）

SPH3D

ParaHaplo

NEST
両分野での成果をアピール
26

大規模並列用MDコアプログラム:cppmd
開発責任者：泰地 真弘人（理化学研究所）

世界最速の分子動力学計算でGordonBell賞を目指す! タンパク質の機能を高速で長時間シミュレーションするための計算技術 !
ソフトウェアの特徴
!分子動力学計算ソフトウェア：10万コア以上の超並列化（100万-1000万原子系で）
10Petaflopsで１億原子級のシミュレーションを実現し、実効性能で最速を目指す○生体分子の運動の長時間シミュレーション
100万原子系のサブミリ秒シミュレーションを目指す
（対象例） 細胞膜構造、核膜輸送、ウィルスなど
【従来の１００倍以上の時間スケール】○これまで不可能だった時間スケールで、生理的に意味のある
タンパク質の大きな構造変化を捉えることにより
生命システムの原子レベルでの構成原理を理解すると共に
創薬に必要なレベルの計算精度を実現する
27

大規模分子動力学シミュレーション

密度汎関数法に基づく䈊
タンパク質全電子波動関数計算（ProteinDF）
開発責任者：佐藤 文俊 （東京大学）

世界最大のタンパク質全電子計算を目指す! タンパク質の電子レベルでの反応を正確に解明するための計算科学技術 !
ソフトウェアの特徴
○密度汎関数法による全電子波動関数計算ソフト
タンパク質の励起状態を１万並列超で計算○巨大なタンパク質の励起状態や電子移動の計算が可能
（１千残基、１０万軌道、励起状態計算）
→ Protein Data Bankの99％以上が計算可能に○ミネラルを含むタンパク質（酵素やヘムタンパク質）の働きを解明するのに有効（成果の例）
インスリンの凝集に伴う電子の再分布
6量体と単量体の全電子分布の差を描いたもの

○電子が主役の高速反応が詳細に解明可能になり、 10Petaでは光合成に関係するアンテ
生体模倣光電子素子、人工光合成などへの応用が期待  ナタンパクなどがターゲット
28
されるマルチスケール・マルチフィジックス䈊
心臓シミュレーション:UTHeart
開発責任者：久田 俊明 （東京大学）

世界最大規模の
心筋細胞レベルからの心臓全体シミュレーションを目指す
! 世界でも前例のないバーチャル心臓を世界最大規模でコンピュータ上に再現 !
ソフトウェアの特徴
○分子レベルの電気化学、力学現象を再現した、心筋細胞のモデルを使って
心臓を組み上げ、心臓の動きと血液の拍動を再現するシミュレーション・ソフト○各種心臓病(不整脈や拡張型心筋症など）の基になっている因子を細胞内で起きる
分子レベルの挙動から検討することが可能。医療・創薬への応用を検討。

29

全身ボクセルシミュレーション䈊
（ﾎﾞｸｾﾙ構造流体連成解析ﾌﾟﾛｸﾞﾗﾑ：SPH3D)
開発責任者：高木 周 （理化学研究所）

世界最大規模の
血栓の形成、輸送、梗塞の同時シミュレーションを目指す
! 医療応用に向け、やわらかな人体の解析・予測に適した計算科学技術 !
ソフトウェアの特徴
○大きな血管から毛細血管までの赤血球、血小板を入れた計算ができる構造流体連成ソフトウェア
○医療データ（ＣＴスキャン,ＭＲＩ等）から直接シミュレーション
を行うことができ、個人毎の診断に即応してシミュレーション
が利用可能に
○血栓形成・閉塞による心筋梗塞，脳梗塞の予測と薬効評価
○動脈瘤・動脈硬化症等の循環器系疾患の予測と治療法の検討
○全身血管網シミュレータとの連成による血圧波形（血圧測定）からの循環器系疾患の予測

Whole body
vesselblood
muscleStress-strain
Muscle force
velocity

Whole body voxel Multi physics
model
model

31

血栓形成と輸送のシミュレーション

32

大脳皮質局所神経回路シミュレーター:NEST
開発責任者：Marcus Diesmann （理化学研究所）

世界最大規模の大脳皮質神経回路の
活動シミュレーションを目指す
! 単純な神経細胞モデルから実際の脳の活動が説明できるかを解明 !
ソフトウェアの特徴
○大脳皮質の１００コラムに相当する１千万神経細胞、神経細胞間を接続するシナプス1千億の信号処理を再現・予測（従来の世界トップの１００倍の規模）
○超高並列プログラム（現時点で32,000並列）
次世代スパコン上では数十万並列を達成、世界最速を目指す

大脳皮質の情報処理単位
１コラム（1mm3）に１０万個の神経細胞33

粗視化モデル計算（CafeMol)
開発責任者：高田 彰二 （京都大学）

膨大な長さのDNAが核の中に収納され、必要なときに読み出せる謎に挑む
! 細胞核内でのDNAのヒストンへの巻き付きと、ほどくメカニズムの解明 !
ソフトウェアの特徴
○規模・時間的に巨大な生体分子の現象をシミュレーションするための粗視化モデル計算
細胞

染色体

○世界最大１千万原子規模・世界最長のミリ秒の現象を再現・
予測を目指す○学術的なインパクトを与える、遺伝情報が転写される際のDNAと
ヒストンのダイナミックスを再現
クロマチン

細胞中で膨大な長さのDNAはヒストンに巻き付き、コンパクトに核に収納されている（クロマチン構造）

ヒストン
遺伝子が発現する際には、
適切な場所のDNAをヒストンからほどき、遺伝情報を転写している。
iPS細胞の機能は、クロマチン構造による転写制御機構を初期化することによって達成されるといわれている。そのなぞにも挑戦できる 

34

DNA

ﾊﾌﾟﾛﾀｲﾌﾟ関連解析に於ける統計検定ソフトウェア（ParaHaplo)
開発責任者：鎌谷 直之（理化学研究所）

47疾患の原因遺伝子を一挙に発見することを目指す! 個人の遺伝情報と疾病、薬物反応性の関連を明らかに !
ソフトウェアの特徴
○複数の遺伝子や環境要因（身長、体重、喫煙、飲酒など）の組み合わせによって決ま る疾病や薬物の効き方、副作用などの関連を網羅的に解析
○全ゲノム（３０億塩基）の個人ごとの遺伝情報の違いの中から、疾病に関連する
遺伝情報を、網羅的に精度よく探し出すことが可能に

47疾患

SNP遺伝子型と疾患との関連を示すアーミテージ検定のP値の-log P値○バイオバンクジャパンに登録されている約20万人、47疾患を対象に解析

全ゲノム関連解析による疾患関連SNPの検索

35
染色体1番から22番までに並べた、約30万個のSNP

4．第一走者以外のソフトウェアの
概要

36
")#

アプリのリスト（１）

37

アプリのリスト（２）

38

多剤排出ﾄﾗﾝｽﾎﾟｰﾀｰにおける薬剤排出シミュレーション（MARBLE／Platypus／CafeMol ）
研究代表者：木寺 詔紀（理化学研究所）

抗生物質が効かなくなる
メカニズムの理論的解明を目指す
ソフトウェアの特徴
○電子スケール〜原子・分子スケール〜タンパク質全体スケール の多階層（量子化学・分子動力学・粗視化モデル）の連成計算に
よって巨大タンパク質の動作機序を明らかにする。
○計算対象：細胞膜にある多剤排出トランスポーター
３つのタンパク質が結合した巨大タンパク質。
各々、取り込み型 → 結合型 → 排出型 と順繰りに構造を変えながら、薬剤化合物を排出すると考えられている。そのメカニズムを探る ○細菌やがん細胞の薬剤耐性化の主要な原因の１つであるメカ
ニズムの解明につながり、薬剤耐性化しにくい抗生物質や、排 出を妨げる新薬の設計等への波及が期待できる。

多剤排出ﾄﾗﾝｽﾎﾟｰﾀｰAcrB

39

分子シミュレーションの可視化ムービー40

低侵襲治療シミュレーション:HIFU䈊
（ボクセル超音波伝播プログラム）
開発責任者：松本 洋一郎 （東京大学）

超音波治療機器の設計開発・安全性の確認に貢献
! 患部だけを焼く集束超音波治療の安全な適用に向けた計算科学技術 !
ソフトウェアの特徴
○人体内（骨や臓器など音響特性の異なる多媒質体内）の超音波
伝搬をシミュレーションするソフトウェア
○医療画像データから開発されたボクセル人体モデルを使って
シミュレーション。HIFU（強力集束超音波）を使った治療機器
の超音波の集束状況の高精度な制御をシミュレーション可能○現在の超音波治療では対応困難な肝臓などの体内深部にある
臓器や脳など骨で囲まれた部位に対して，集束超音波で腫瘍を焼灼する医療機器の開発に利用。シミュレーション結果をもとに
超音波の照射方法を検討し，手術計画を立案可能
頭蓋骨越しの!"#$照射
41
シミュレーション収束超音波による治療のシミュレーション

42細胞シミュレータ：RICS
反応ー拡散ー膜透過の連成計算を１００万Voxcel空間で実現！
(100３)

小規模モデルの計算時間（赤血球）
２" ２"２（＝８）ボクセルを逐次（１CPU）で計算
1000stepｓ/197秒 #ｔ=1ms （実時間1秒）

赤血球形状モデル
６４" ６４"２５（＝102400）ボクセルを逐次（１CPU）で計算
512並列：1.36h #ｔ= 0.05ms
実時間1分：600h １０万並列：３hr

肝細胞詳細モデル

１００"１００"１００（百万）ボクセルを１０万並列）で計算

２" ２"２ボクセル
ｏｘｙＨｂを表示

６４" ６４"２５ボクセル

フル代謝モデルを想定 #ｔ= 0.05ms
実時間1分 ：１０万並列：３０hｒ

肝小葉モデル（代謝骨格モデル）
５０"５０"５００（百万）ボクセルを１０万並列）で計算
フル代謝モデルを想定 #ｔ= 0.５ms
実時間1０分 ：１０万並列：４０hｒ

43

産業応用に向けた整備
• 大規模な分子シミュレーションを用いた
薬剤スクリーニング向けパイプライン
大規模仮想化合物
ライブラリ（東大）
ターゲット
タンパク質構造化合物
ライブラリ
Chemoinformatics

濃縮
ライブラリ 立体構造生成 
ドッキング 次世代
スーパーコンピュータ

MM-PB/SA 分子動力学

ドッキング
結果解析 
分子動力学
入力ファイル
生成 

電荷計算
分子軌道法 シミュレーション
分子動力学
結果解析

Accelrys Pipeline Pilot上に構築
44

リード最適化へ

大規模仮想ライブラリ構築現状
$

現状での構築規模
□ ４２万化合物構造を種として、逆合成スキームを２段処理
□ 1億個の新規仮想構造、1億3000万スキームを発生
□ 使用作業メモリ量 ４GB、 作業ディスク容量 4TB、2000時間（Xeon3.6GHz)

・1億構造
・1億3000万スキーム

仮想ライブラリ#

医薬品
データベース
42万分子

45付加的構造創出について
仮想ライブラリ#

構造記述子を満足する周辺構造を構造創出プログラムを利用して緻密に創出%プログラムは船津研独自のもの効果：
リード化合物との構造類似性（薬理活性）を保ちつつ、周辺構造を可能な限り網羅的に発生させて、 候補化合物群を得る

リード化合物１）
H

医薬品１）
１） J.R.Proudfoot, Bioorg. Med. Chem. Lett., 12, 1647(2002)

46

13機関：東京大学、大阪大学、京都大学、東北大学、北陸先端大学、東海大学、千葉大学、慶応大
学、横浜市大、東工大、広島大学、統計数理研究
所、理化学研究所
約200名の研究者（ポスドク約80名）
47

まとめ
• 開発ソフトウェア：全３４本– そのうち20本：１０２４並列以上– 15本：８０００並列以上– 可視化ソフトも１００GPGPU並列• 今後、並列性能の改善• 次世代スパコンにフィットした最適化• 計算時間に合わせた適正な計算規模を設定
し、利用計画を立案、フル稼働に備える
48

Contributers

Workshop in 2009

Workshop in 200849

添付資料

50*(#

ソフトウェアの高性能化
• MDコア
大規模並列化された分子動力学計算コア• MOコア
Platypus QM/MMのためのMOの並列化• 第一走者アプリケーションの高性能化– 他チームのアプリケーションを含めたチューニング
– 性能評価を完了、結果をフィードバック– 今後共同で高性能化を進める• 高度化チームとしての本番の活動は次世代スーパーコンピュータが稼働を始める今年度以降– 低レベル通信API– SIMD命令の直接的利用• 準備状況としては、ほぼ予定通り
51

世界の状況• 並列化の状況に関しては、アプリケーションによってま
ちまち。
• MDの場合：
Desmond (D. E. Shaw Research), NAMD(UIUC),
Blue Matter (IBM) などが数千並列以上の並列を実現。
何れのコードも、高性能計算の専門家が中心に参加して開発を進めている。
• ライフアプリケーションでの104以上の並列度について
は、世界的に見てもこれまでの蓄積は非常に少ない。
52

"
"

"

大規模並列に向けて、様々な並列化手法を盛り込んだ基盤ソフトウェア
大規模並列化の「トレーニング」
開発時点から次世代スーパーコン
ピュータを強く意識
多機能版
"

"

再利用性・手法比較

合計
通信
計算
コア数

Strong scaling
976,371 atoms, smallball, XYZ通信

高速版
"

"
"

"

二体相互作用カットオフ計算の高速化を優先高並列時の通信を考慮
水 976371原子 （110原子/コア）
RICC 8000並列での並列化確認
その他の機能は多機能版から移植中

性能（Atom/µs）

"時間（µs/step）

MDコア:cppmd（１）開発のねらいと状況

53コア数

Weak scaling 110atoms/coreMDコア（2）次世代ス−パーコンピュータの䈊
ネットワークトポロジを考慮した䈊
通信パターンの改良
通常の実装

全方向直接
" 通信相手が多い" 競合が激しくなる" 次世代スーパーコンピュータの特徴を生かせない"

今回の実装

x,y,z軸に逐次通信" 通信相手が少ない" 次世代スーパーコンピュータのネットワークトポロジ（トーラス構造）に一致54
８０００コアでの性能向上を実現"

通信の改良の効果

単純直接通信

XYZ独立通信

性能スケーリング（Strong scaling）。＋：全計
算時間、"：計算時間、＊：通信時間(RICCでの測定, fat-tree) 55MDコア（3）次世代スパコンでの展望
二体相互作用のカットオフ計算
B/Fの違いも考慮すると90原子/ノード程度までスケール（11原子/コア）" 次世代スパコン全体（80,000ノード）で7,200,000原子9" 2x10 step / day （効率10%= 1Pflops）" 2fs/stepで4µsec/day" 今後の課題
他の計算の負荷の見つもり
単体性能チューニング
"Integer cache missの改善（FX1での実行結果から）# OpenMP・SIMDの活用# 命令実行密度(CPI)の向上
#

56

MOコア
開発のねらいと状況"

Platypus QM/MMのための並列分子軌道法コ
アソフトウェア

"HF/RHF/CASSCF/CASCI"

ベクトル化（当初）、SIMD化についても調査"

RDFT Strong scaling
SP+HIS, 6-31G,
AO数：2488, シェル数:1188（阪大中村研による計測）

基本部分の開発を完了し、阪大中村研に引き渡し"

DFT/CASDFTについては阪大中村研で開発"

CASSCFのMO変換の性能向上などに特徴"

今後、さらに並列化率の向上に協力。

CASSCF Strong scaling
DNA, STO-3G, AO数：798,
MO数:798, シェル数:508

典型的な問題に対し、20,000コア以上までのス
ケーリング実現が目標"

その他、O(N)分子軌道法(NTChem, 有限要素基底)の高速化についても一部支援

57
問題規模を大きくすればさらに改善する見込み構造流体連成プログラムZZ-EFSI（１）
性能評価
Weak Scaling (1003 grids/core)

時間（sec）

臓器全身スケールチームで開発中のコード• １メッシュ当りの演算数– A=7144+827+18Ni– NiはSORのiteration回数• Weak/Strong scaling共に
良好

コア数

Strong Scaling (9603 grids/core)

時間（sec）

solphi 827flop 2.8GFLOPS@RICC(24% of peak)
solu

7144flop 1.5GFLOPS@RICC(13% of peak)

Solp_
sor4

18flop/0.71GFLOPS@RICC
iteration (6% of peak)

58
コア数

構造流体連成プログラムZZ-EFSI（２）次世代スーパーコンピュータに向けた展望•

次世代スパコン(10Pflopsマシン)
上でのペタスケール演算モデル– 現状コードでは15003ボクセルが限界• 並列FFTベースソルバの1000倍
遅い– 1Core当りのボクセル数が173：
通信ボトルネック– Poisson solverの改良が必須•

演算数（PFLOP）

– このときSORの反復数は48000回∝Nx5.2

∝Nx4

課題– Multigrid Poisson Solverの導入（MDコア等で開発）– Hybrid 並列化

グリッド数（1次元方向）

59

全ゲノム関連解析ParaHaplo䈊
性能評価と展望
基本的には、Embarrassingly Parallel
%
RICC 8000コアでスケーリングを確認%
ターゲット規模：1万人集団 100万SNP次世代スパコンで15時間
%ハードウェアカウンタでは383GFLOPSコア当たり0.05GFLOPS：整数演算中心
→ 整数演算の浮動小数点演算への置き換えを検討
%連鎖不平衡ブロックあたりのハプロタイ
プデータ数のアンバランスが、ロードバ
ランスに直結→ 配分の見直しによるロードバランス
の改善を検討

性能（GFLOPS）

%

コア数

60

NESTシミュレータ
http://www.nest-initiative.org

• 大規模神経回路モデルの分散シミュレーション– 現時点で世界最高水準の集積度を可能としている• O(100) プロセッサまで超線形、 O(1000) プロセッサまで線形の性能向上• CPU間のメッセージパッシングとマルチコアCPU内のマルチ
スレッディングのハイブリッドアーキテクチャ• 連続値でのスパイクタイミングを用いた精度良い積分• ユーザフレンドリーなPythonインターフェスPyNEST• 多種のニューロンモデルとスパイクタイミング依存可塑性(STDP) を含む多種のシナプスモデルを実装可能• 短期可塑性 (STP)も扱うことができる
61

Eppler, Helias, Muller, Diesmann, and Gewaltig (2008)
61
Frontiers in Neuroinformatics 2:12. doi:10.3389/neuro.11.012.2008

大規模シミュレーションのテスト
Strong scaling•

Weak scaling

現在のシミュレーションは106 - 107 ニューロンからなるモデルで実施中
Kunkel S, Potjans T, Morrison A, Plesser HE, Diesmann M

62

62

大規模可視化ソフトウェア（１）
• 大規模並列化され、大規模データに対応した
可視化ソフトウェア
• リモート可視化にも対応
• 人体ボクセルデータでのテスト(最高解像度：0.2mm pitch, 27.5 GVoxel, 107GB) • RICC GPGPUクラスタ(upc)を使用
‒ Nehalem+TESLA C1060
100台

63

大規模可視化ソフトウェア（2）
性能測定（人体ボクセル）
160
140
100

1GB

時間[s]

8GB

80

74.9

60
20

57.6
13.96

4.638

2.99
1.378

1.385

0

10

‒ データロード：ステージング＋高速化‒ レンダリング：ノード内並列化

25

50
並列数

46

2.93

2.92
1.09

75

100

レンダリング

イメージコンポジション
0.05
0.045
0.04
0.035
0.03
0.025
0.02
0.015
0.01
0.005
0

100GB

137.6

120

40

1.4
1.3

0.044

1.2

0.04
0.042 0.043

1

0.043

0.033
0.025 0.033
0.020.025
100GB
0.025
0.02
8GB

時間[s]

•••データロード

データ分割によりデータロードは1~3秒程度まで高速化を実現
レンダリングは0.4秒程度
イメージ重畳は一桁程短い時間
5FPS(0.2[sec/frame])の実現には
データロードとレンダリングのチューニングが必要

時間[s]

•0.8

100GB
8GB
1GB

0.6

0.6

0.8
0.53

0.65
0.4

0.4
0.2

1GB

0.4

0.35

0.36

0.34

0

10

25

50
並列数

75

100

10

25

0.6
0.4

50
並列数

75

10064アプリケーションミドルウェアSphere
並列ソフトウェア開発加速のためのプラットフォーム
•

開発者向け機能– ラピッドプロトタイピング
•
•
•

–
–
–
–

•

ライブラリ群の利用
ひな形制御構造の利用
コード部品の再利用

並列処理機能の利用
ソースポータビリティ
混合言語 C++/F90, GPGPU連成問題のスクリプト記述

エンドユーザ向け機能– 統一されたUIと実行環境– XMLによる制御– マルチプラットホーム••

XML file :!
<SphereConfig SolverType="Incompressible_flow_solver" >

次世代スーパーコンピュータ,
Linux cluster, Windows cluster,
BG, SX, Mac, Altix, T2K…

現在、臓器全身スケール（SPH3D,
HIFU）・細胞スケールチーム(RICS)
で利用

65