スーパーコンピューティングがス
パ コンピュ ティングが⽣体⾼分⼦に架ける夢ー ⼤規模⽣体分⼦シミュレーションが可能にすることー

東京⼯業⼤学 学術国際情報
学術国際情報センタ
学術国際情報センター
センター
センタ
⼤規模データ情報処理
⼤規模データ情報処理分野
分野
関嶋政和

分⼦動⼒学法• 生体分子の構造, ダイナミクス, 物理化学的特性の解析- フォールディング原理の解明
ルデ ング原理の解明- NMR,, X線結晶解析で得た立体構造の精密化など
線結晶解析で得た立体構造の精密化など• 生体分子の機能予測・解析- タンパク質の残基置換による安定性の変化の解析- 機能に関するダイナミクス

⽣体分⼦ 熱揺らぎ
⽣体分⼦の熱揺らぎ
赤：αヘリックス
β
黄色：βシート

分⼦動⼒学法の歴史
分⼦動⼒学法 歴史• 1957
1957年
年：剛体球の分⼦動⼒学法（：剛体球の分⼦動⼒学法（Alder
Alder and Wainwright←最Wainwright←最
初のMD
初の
初
MD）
）
• 1964
1964年
年：質点系への拡張：質点系への拡張((Rahman
Rahman))• 1971
1971年
年：剛体系への拡張：剛体系への拡張((Rahman and Stillinger
Stillinger)g )• 1977
1977年
年：拘束系への拡張（：拘束系への拡張（Rychaert
Rychaert等）
等）
BPTI
BPTIによる最初のタンパク質のシミュレーション
による最初のタンパク質のシミュレーション• 19801980年
年：定圧条件の導⼊（：定圧条件の導⼊（Andersen
Andersenの⽅法、の⽅法、Parrinello
Parrinello-Rahman法）
Rahman法）• 1983
1983年
年：⾮平衡系への拡張：⾮平衡系への拡張((Gillan and Di
Dixon)
on)• 1984
1984年
年：定温条件の導⼊（能勢：定温条件の導⼊（能勢‐‐フーバーの⽅法）• 1985
1985年
年：第⼀原理分⼦動⼒学法（：第⼀原理分⼦動⼒学法（→→カー・パリネロ法
カ
カー・パリネロ法）
・パリネロ法）・パリネロ法）• 1991
1991年
年：グランドカノニカル系への拡張：グランドカノニカル系への拡張((Cagin and Pettit)

⽣体分⼦のポテンシャル関数• 系内の各原⼦間にかかる⼒を、モデルで表現する– bond length （結合長）に関する力： Hookeのバネの法則
で代用– bond angle （結合角）に関する力： Hookeのバネの法則
で代用– torsion angle （二面角）に関する力： 好まれる角が底になるcosineカーブで代用– uncharged atom間の力： Van der Waals力 (L-Jポテン
シャル等で表現）– charged atom間の力： Coulomb 力AMBERのポテンシャル関数
AMBERのポテンシャル関数
ポ分⼦動⼒学法 (MD)
(
) の⼿順
はじまり

溶媒分子

初期化
力の計算
速度 座標の更新
速度，座標の更新
物理量の計算
生体
生体分子

収束
判定

Newtonの運動方程式 F = ma を数値積分により力を求める
数値積分により力を求める．

おわり

MD
MDの⽬指す計算スッテプ数の⽬指す計算スッテプ数
ジャンボジェットの飛行高度

静止軌道衛星の高度36000k36000km

10km

6km
1010
15

wikipedia commons

1000km1012

wikipedia commons

1km
9
10

ケジラミ
黄色ブドウ球菌

1m
106

wikipedia commons

MDの
1step

1mm
103

1μm
1
fs

s

Proteinms
F ldi
Folding

μs
μ

ns

ps
1μmを1ステップとして、1000km～を目指していく
1fsを1ステップとして、1msを目指していくコンフォメーションの存在状態
Conformational
OrderFree energy

Unfold

生理条件下でも天然状態と変性状態は混在しており、本来は相互変換は可逆的に揺らいでいる
揺らいでいる。

I

N2
N1

Native

N1

N2

I

U

～85% ～16% ～0.1% それ以下

通常のNMRなどでは観測し難い

Curr Opin Struct Biol. 1999 Feb;9(1):92-101.

2008
2008年に記録された⽣体分⼦
年に記録された⽣体分⼦
の最⻑
の最⻑MD
MDシミュレション
シミュレション
• 10μ
10μ秒
秒
• WW domain（
domain（3535残基）
残基）• Extended 状態
からのシミュレ ション
からのシミュレーション
• 最初に
最初にα
αへリックスが形成され それが破壊形成され、それが破壊されるプロセスを観測• NAMD• NCSAのNCSAの329CPUを⽤いて329CPUを⽤いて3ヶ⽉で達成• 111n秒
111n秒/⽇

P. L. Freddolino et al., 2008
(Schulten group)MD
MDの⽬指す計算スッテプ数の⽬指す計算スッテプ数
ジャンボジェットの飛行高度10km

2008年、ジャンボジェッ
トの⾶⾏⾼度に
到達

1km
9
10
1m
106

wikipedia commons

1mm
103

fs

1000km1012

wikipedia commons

黄色ブドウ球菌

1μm
1

6km
1010
15

wikipedia commons

ケジラミ

MDの
1step

静止軌道衛星の高度36000k36000kms

Proteinms
F ldi
Folding

μs
μ

ns

ps
1μmを1ステップとして、1000km～を目指していく
1fsを1ステップとして、1msを目指していく2009
2009年⽣体分⼦の
年⽣体分⼦のMD
MDシミュ
シミュレーションはミリ秒の世界へ

D. E. Shaw et al., 2009

9 8 秒/日 2008年の最長記録/日9.8μ秒/日=2008年の最長記録/日MD
MDの⽬指す計算スッテプ数の⽬指す計算スッテプ数
ジャンボジェットの飛行高度

静止軌道衛星の高度36000k36000km

10km

6km
1010
15

wikipedia commons

1000km1012

wikipedia commons

1km
9
10

ケジラミ
黄色ブドウ球菌

1m
106

wikipedia commons

MDの
1step

1mm
103

1μm
1
fs

ps

s

Proteinms
F ldi
Foldingμs
μ2009年、Antonは⾼度1000kmに到達。
ns しかも、毎⽇2008年
しかも 毎⽇2008年の世界記録の⾼さを進む
1μmを1ステップとして、1000km～を目指していく
1fsを1ステップとして、1msを目指していくD. E. Shaw
• D. E. Shaw Researchのチーフサイエンティスト
Researchのチーフサイエンティスト
• D.
D E.
E Shawは
ShawはStanford Univ.でUniv.
Univ でComputer Scienceの分野でPh.D.
の分野で
Ph.D.をを1980年に取得後、1980年に取得後、19861986年まで
年まで
Columbia Univ.でUniv.でShaw ggroup
groupを率いた後、pを率いた後、1988
1988年
年にD. E. Shaw & Co.,L.P.
Co.,L.P.を設⽴。D.
を設⽴。D. E. Shawgroupは計量投資の分野で有名。
groupは計量投資の分野で有名。 1996
1996年には
年にはShaw
Shaw
はFortune
Fortune誌で誌で”” King Quant”と呼ばれた
Quant”
Quant”と呼ばれた。グルーと呼ばれた グルと呼ばれた。グルー
プ全体でプ全体で1500
1500名の従業員、運⽤資産額は約名の従業員、運⽤資産額は約390
390億ド
億ド
ルで世界最⼤級のヘッジファンドとして有名。
• D. E. Shaw Researchはそこで得た資産を元に設⽴。
Researchはそこで得た資産を元に設⽴。
• 現在は、
現在は、D
現在は、D.
D.
D E.
E Shaw Researchにおける研究開発を
Researchにおける研究開発をフルタイムで⾏っている。

Anton•••512
512ノードで構成されるノードで構成されるMassively
Massively Parallel Supercomputer
application--specific integrated circuits (ASICs, エーシック：
application
エーシック：特定⽤途集
特定⽤途集積回路)が3D積回路)
3Dトーラスネットワークで結合
ト ラスネ トワ ク 結合
トーラスネットワークで結合
ASIC内は２つのASIC内は２つのsub
sub systemsystemにより構成
により構成– ある距離内の直接計算を行う
High Throughput Interaction Subsystem(HTIS)– それ以外の計算等を行うsub system• 高速な数値計算の為の8つのgeometry cores• データの流れをコントロールする4つのTensilica LX cores• 計算の陰で通信を行う4つのデータ転送エンジン– その他にも、隣接ノードへ50
その他にも、隣接ノ ド 50.6Gb/s
6Gb/s– ASICは90nmテクノロジで製作され、HTIS内でペア計算をするPPIPが970MHzで動作する他は485MHzで動作している。

•

このシステムにより、例えば直接計算についてx86
ついて
x86上の上のGROMACSGROMACSで実⾏時間ので実⾏時間のAntonでは
では12%12%になっている。
になっている。
89%
89%だっただったものが、ものが、Anton
D. E. Shaw et al., 2009

A t のASIC
AntonのAnton
AntonのASICは日本製でしたFujitsu 90nm CS100HP series

Original slide Martin M. Deneroff@D.E.Shaw Research

GPU
GPUは別の道を⽰せるか？
は別の道を⽰せるか？
• MD
MD計算への計算へのGPU(Graphics
GPU(Graphics(
Processingg Unit)の利⽤Unit))の利⽤– 高い計算能力– コストパフォ
コストパフォーマンスが高い
マンスが高い
– 電力効率が高い– 近年スーパーコンピュータへの導入も盛んに行われている
近年ス パ
ンピ
タ の導入も盛んに行われている

TSUBAME2.0

MDプログラムのMDプログラムのGPU
GPU化
化

non bonded interaction
・Coulomb force
・Van
V D
Der W
Waals
l fforce

In our work, all of non bonded interactions are
directly calculated by GPUs.
Protein and water molecules(bonded interactions are limited inter protein)

GPU
GPU化の効率化の効率130 residues (2023 原⼦)
5685 ⽔分⼦(17055 atoms)
N = 19078
N*N = 19078*19078 = 3.6397008 * 10^8
CPU:Core-i7
CC
920 D0 2.66GHz
G
GPU: nVIDIA GeForce GTX295 1.792GB
DDR3 576 MHz
OS: Linux(Fedora10 64bit)
memory: 3GB

1CPU 4.18127 G FLOPS
2GPU 430.6
430 6 G FLOPS
おおよそ100倍！

Lysozyme

GPU
GPUの省電⼒性に関しての省電⼒性に関して

実⾏環境

CPU

Intel Core i7-860

2.80GHz×4 core
256KB×4 L2 caches
8MB L3 cache

GPU

GT240

1.34GHz×96 CUDA core
512MB GDDR5RAMDDR3 SDRAM 6GB

OS

Ubuntu 9.04

CUDA toolkit

バージョン3.0

実験に⽤いたMD
実験に⽤いたMD• 原⼦間の相互作⽤の計算には
レナ ド ジョ ンズポテンシャルを利⽤
レナード・ジョーンズポテンシャルを利⽤
  12    6 
φrij   4      
r  
 rij  ij  rij:原⼦ij間の距離
ε,σはパラメータ• VerletVerlet法
法で次のステップの座標と現在の速度を計算 r t    2r t   r t    a t t 2 r(t) :時刻tの座標

1
r t   r t vt  2t22a(t):時刻tの加速度v(t):時刻tの速度
Δt :時間幅CPU S
Seriali l VS GPU
atoms
8

64

512

65536

value

SerialGPU

Serial/GPU

Sec

0.00300.0089

0.337

Watt

92 5
92.5

114

0 811
0.811

Joule

0.2775

1.015

0.273

Sec

0 160
0.160

0 038121
0.038121

4 20
4.20

Watt

94.3

115

0.820

Joule

15 08815.088

4 384
4.384

3 44
3.44

Sec

8.280

0.2941

28.1

Watt

94 8
94.8

121

0 783
0.783

Joule

784.944

35.59

22.1

Sec

1065081554.98

68.5

Watt

98.5

136

0.724

Joule

10491038

211477

49.6

計算時間

消費 ネ ギ
消費エネルギー

Results(CPU Serial VS GPU)• GPU
GPUの⽅が、の⽅が、CPU
CPUででserialserial計算に対して多くの計算に対して多くの供給電⼒が必要• 原⼦数８個の場合は原⼦数８個の場合はCPU
CPUにおけるにおけるserial
serial計算の
計算の
⽅が⾼速
• 原⼦数
原⼦数64
64個以上では個以上ではGPU
GPUが計算速度、消費エネが計算速度、消費エネ
ルギーで圧倒ルギ で圧倒Results(MPI VS GPU)
atoms

8

64

512

65536

value

MPI
(8 processes)

GPU

MPI/GPU

Sec

0.020

0.0089

2.25

Watt

168

114

1.47

Joule

3.36

1.015

3.31

Sec

0.090

0.038121

2.36

Watt

168

115

1.46

Joule

15.12

4.384

3.44

Sec

3.53

0.2941

12.0

Watt

170

121

1.40

Joule

600.1

35.59

16.9

Sec

26164.63

1554.98

16.8

Watt

182

136

1.34

Joule

476196221147722.5

27

Results (計算時間(計算時間
計算時間))

Results(MPI VS GPU)
• MPI
MPIで
で8プロセス実⾏する⽅が、プロセス実⾏する⽅が、GPU
GPUを使⽤するを使⽤するよりも多くの電⼒を消費• 計算速度は、単⼀スレッドの場合より改善されたがたが、GPU
たが、GPU
GPUの⽅が⾼速の⽅が⾼速(65536(65536原⼦で原⼦で16
原⼦で16.8
16
16.8倍
8倍
8倍 )
• 計算速度、消費電⼒、消費エネルギーすべての場合でGPU
場合でGPUの⽅が勝ったの⽅が勝った⽣体分⼦ではどうだろう？
シミュレーション対象

BPTI(PDBID:6PTI)
57残基、4804水分子((Antonでは4215水分子)
は
水分子)
トータル15111原子WWdomain
35残基、4741水分子(Schulten groupでは総原子数が3万程度という言及のみ)
トータル34966原子

水は両者とも、TIP3Pモデルのexplicit water

実⾏環境
HPCテック社製
HPCテック社製GPU
GPUクラスタ
クラスタ• Intel Xeon 5550 2.66GHz• DDR3 1333 12GB/node• NVIDIA GTX480(1.4GHz×
GTX480(1.4GHz×480CUDA core)• InfiniBand SDR• AMBER11 pmemdのpmemdのCUDA
CUDA版
版（現在はsingle（現在はsinglei l GPUのみ、数⽇中に
GPU
GPUのみ
のみ
のみ、数⽇中にmulti
数⽇中にmulti版の
lti
lti版の
版の
パッチがリリースの⾒込み）• ff99SB

実⾏結果 ⽐較
実⾏結果の⽐較

Anton (Shaw group)• 9.8μ秒
9.8μμ秒/⽇

NCSA(Schulten group)
NCSA(Schulten• 111n111n秒
秒/⽇

GTX480（１枚）
GTX480（１枚）• 13.6n秒
13.6n秒/⽇• ざっくりと
ざっくりと1000
1000倍遅い
倍遅い

GTX480（１枚）
GTX480（１枚）• 7.0n7.0n秒
秒/ ⽇• ざっくりと
ざっくりと16
16倍遅い
倍遅い

実⾏結果を振り返って実⾏結果を振り返• Schulten groupによるgroupによるWWdomain
WWdomainにおける実
における実
⾏では1
⾏では
1枚のNVIDIA
枚のNVIDIA GTX480の１枚でGTX480の１枚で16
16倍遅い
倍遅い
程度なので、NCSA程度なので、NCSAのスパコンのスパコン329CPU
329CPUと同程度と同程度
は、1は、1ノードに3
ノードに3枚の枚 NVIDIA Tesla M2050を搭
枚のNVIDIA
M2050を搭搭載するTSUBAME2.0
載する
TSUBAME2.0では６ノードあれば⼗分実では６ノードあれば⼗分実現可能ではないか？
• Shaw groupによるgroupによるBPTI
BPTIにおける実⾏では
BPTIにおける実⾏では、における実⾏ではにおける実⾏では、1000倍という圧倒的な差を付けられているので、1000倍という圧倒的な差を付けられているので、GTX480を
GTX480をT
TeslaにしてTeslal にしてmultiにしてmultiノードにしても、
lti
ltiノノ ドにしてもノードにしても、
例えば
例えば100100倍遅い程度にしかならない可能性が倍遅い程度にしかならない可能性がある。

AntonAntonを前に⽩旗を揚げるを前に⽩旗を揚げるしかないのか？
かか• D.E.Shaw
D.E.Shawもいずれ
もいずれAnton
Antonをコミュニティで使えるようをコミュニティで使えるようにするとしているので、チャンスがあれば乗り遅れないようにする？！
• 現在の
現在のGPU
GPU上で動作する上で動作するMD
MDプログラムは、プログラムは、GPU
GPUのみのみで動作している訳では無い。
無– Antonのように出来る限りGPUで実行することで性能向上• Folding@Home
Folding@Homeのようなのような戦い⽅もある。熱揺らぎの構ようなような戦戦い⽅もある。熱揺らぎの構
戦 ⽅もある 熱揺らぎ 構
造サンプリングなら、TSUBAME2.0
造サンプリングなら、
TSUBAME2.0でで100ノード
100ノード(300GPU)使⽤しようすれば(300GPU)使⽤しようすればAnton
Antonのの3倍の時間程度になる。
• マルチカノニカル法やレプリカ交換法を始めとする⼿法の改善もある。
Antonに学びながらも、まだまだ出来ることはある
富士通さんに「京」の隣に1024ノードほど置いて頂けると嬉しい⾼速で⼤規模な計算の先に何が⾒えるだろうか？
何
え だか• フォールディング原理の解明
フォ ルディング原理の解明• タンパク質の設計• 創薬への応⽤

フォールディング原理の解明
フォルディング原理の解明• μ〜m秒のタンパク質のシミュレーションから、
秒 タ パク質 シミ
シからタンパク質のフォールディング原理が解明• 例えば、プリオンタンパク質– 正常な構造のプリオンタンパク質は、わたくし達の体内に正常な構造のプリオンタンパク質は わたくし達の体内に存在– 遺伝的な疾患もしくは外部から異常構造のプリオンタンパ
遺伝的な疾患も く 外部
常構造 プ オ タ パ
ク質を摂取することで、正常構造が異常構造に変異し、プリオン病の原因に？！

プリオン病• Prion Protein is known as a disease factor of priondisease such as BSE, scrapie
scrapie,, and CJD.
• Dynamics and functions of the normal cellular form
(PrPC) remain unknown.
• The process underlying the conformational change fromPrP
P PC tot it
its pathogenicth
i isoform
i f(PrP
P PSc) isi inapparent
iinapparent.
t.
Normal

vCJD

Nomal

BSE

Normalpathogenic isoform

CNN

Both brains have manyy vacuoles(microscopic holes).

α42%
β：3%

α：30%
β：43%

プリオンタンパク質の不思議
Virus

nucleic acid to
infectious

Prion Diseases

O l Protein？
Only
P t i ？

3次元の次元のPCA
PCA空間の⽐較
空間の⽐較

野生型（１０２Ｐｒｏ）

Φ値

変異型（
変異型（１０２Ｌｅｕ））

Ψ値

ロイシンのdihedral angleの柔軟性が プリオンタンパク質の柔軟性が、プリオンタンパク質のβシート形成を加速したのではないか？
現在、追実験中⽣体分⼦ 機能と揺らぎ
⽣体分⼦の機能と揺らぎ• ⽣体分⼦は、
⽣体分⼦は、PDB
PDBの構造そのままの形状で機能しての構造そのままの形状で機能しているとは限らない。
いるとは限らない• どのように構造の揺らぎを表現したらよいか分かりにくい？
• ⼤規模分⼦動⼒学シミュレーションから⾃由エネル
ギー地形解析システムを開発する– ペプチド、タンパク質などの生体分子の熱揺らぎを理解しやすくペプチド タンパク質などの生体分子の熱揺らぎを理解しやすくするものとする– 分子動力学シミュレーションの初心者にも分かりやすいものと分子動力学シミュレ ションの初心者にも分かりやすいものとすることで、分子生物学者が気軽に使用出来、理論的な裏付けのある生体分子設計に役立てるものとする

⾃由 ネ ギ⾃由エネルギーの定義
定義• F=
F=--kBT log P
P ある状態の構造が出現している確率
P:ある状態の構造が出現している確率P:
kB：ボルツマン定数
T：温度
ヒストグラムから確率密度分布を求めて-logを取る
logを取る
⾃由 ネルギ が低
⾃由エネルギーが低い＝ある状態のあ 状態構造が出現している確率が⾼い
構造が
現し
る 率が⾼

シ
システムの概要
ム 概要

トラジェクトリ解析

自由エネルギー地形作成

大規模分子動力学シミュレ ション
大規模分子動力学シミュレーション
ヒストグラム作成

様々な種のプリオンタンパク質のNMR
NMRで決定された構造で決定された構造

bovine（ウシ）human（ヒト）feline（ネコ）mouse（マウス）

canine（イヌ）swine(ブタ)elk（シカ）プリオンタンパク質の種による配列の違い“種の壁”をどう考えよう？！

Lysek et al., PNAS, 2004より

イヌとネコのプリオンタンパク質は、上記の範囲では4箇所しか異ならないが・・・
BSEからの伝搬実験によれば、
BSEからの伝搬実験によれば
feline（ネコ）は容易にプリオン病に感染する
この違いは何だろう？！
一方、TSE infected canine（イヌ）は現在まで報告されていない

500K
500KにおけるにおけるRg
Rgと
とrmsd
rmsdの
の
⾃由エネルギー地形解析
⾃由エネルギ
地形解析
felineRG

RMSD

bovine
RG

mouse
RG

RMSD

swine
RMSD

RG

RMSD

種の壁を容易に越える種には、アンフォール
ディングシミュレーション
ディングシミュレション
から、準安定状態と言える構造があることを発見

⾼速で⼤規模な計算の先に何が⾒えるだろうか？
何
え だか• フォールディング原理の解明
フォ ルディング原理の解明• タンパク質の設計• 創薬への応⽤

シニョリンタンパク質• CM001
Chi
Chignolinli (stable( t bl controlt l sequence))
GYDPETGTWG
CM001： Chignolin 1UAO
determined by NMR• GPM012 (unstable control sequence)
GYDDATKTFG
GPM012： 45-52 residues from 1PGA
and added Gly to N- & C- terminus region• ff99SB amber force field, 315K, Generalized Born Water
Motel NTP
Motel,
NTP, 1μS（all simulations are executed on BlueProtein）
BlueProtein）
condition s simulations are required 230,400 core
• Both condition’s
hours.

⾃由エネルギー解析と隠れマルコフモデル
⾃由エネルギ
解析と隠れマル フモデル
による解析

Two stable structure’s
cluster.

CM001

There are no specificstructures.

GPM012

タンパク質のフォールディング
経路のネットワーク解析
経路 ネ
ク解析

Red lines： single directional transitions
Blue lines: bi-directionalbi directional transitions

K-means clustering of PCA results

ONLY
0.16Å Difference!
PDB

simulation

Molecular Dynamics Simulation
Based Protein Design
Collaboration:
Dr. S
Shinyay HondaAIST
Novel protein design in
20 residues or more

New Sequence: YYDPETGTWY
S Honda et al.,S.
al "Crystal Structure of a Ten
Ten-Amino
Amino Acid Protein"
Protein",
Journal of the American Chemical Society, 130,
pp.15327-15331, 2008

⾼速で⼤規模な計算の先に何が⾒えるだろうか？
何
え だか• フォールディング原理の解明
フォ ルディング原理の解明• タンパク質の設計• 創薬への応⽤

結合⾃由エネルギ 解析
結合⾃由エネルギー解析
To obtain binding free energy of protein
and ligandgaffinity
ffi i bbetween protein
i andd liligand
d

リガンド
タンパク質
We developed a system to obtain the binding freeenergy between protein and ligand with higher
accuracy.

Bi di Free
Binding
F
EnergyE∆G∆GSolvewater∆Gcomplex

Binding Free Energy ∆G (2)1. Molecular Dynamics Simulation
on many couplingli constant λλc.
0  λc  1

WF

WR

2. Forward path (condition i to i+1) work
is obtained from work distribution.
3. Forward path (condition i+1 to i) work
is obtained from work distribution.
4. ∆GCi,i+1
4
i i 1 is obtained from cross point ofwork distributions.

Simulation Target andcondition
We used 2JUP from the Protein
D t BankData
B k (PDB) as a calculationl l tiobject in this study.

9 residues

0  λc  1：0, 0.1, 0.2, 0.3, 0.4, 0.5,
0.6, 0.7, 0.8, 0.9, 1
0  λvdw  1：0, 0.05, 0.1, 0.15, 0.2, 0.25,
0.3, 0.35, 0.4, 0.45, 0.5, 0.55
06 0
0.6,
0.65,
65 0
0.7,
7 0
0.75,
75 0
0.8,
8 0
0.85
85
0.9, 0.95, 1.0
×30 different initial
velocity simulations
We totally calculated 990 times 1ns NPT
ensemble MD simulations
simulations.

2JUP

37 residues今年秋に
今年秋にTSUBAME2
今年秋にTSUBAME2.0
TSUBAME2 0 を導⼊
TSUBAME2.0
を導⼊!!

57

⽇本初・世界最⾼クラスの「ペタコン」TSUBAME2.0「ペタコン」
タ ン」TSUBAME2.0

58

TSUBAME2.0の特徴
TSUBAME2.0の特徴
1. 世界⼀クラスのペタコン
世界⼀クラスのペタコン:: 倍精度
倍精度2.4
2.4ペタフロップス
ペタフロップス• 最新型
最新型GPU
GPU・・CPU
CPUによるベクトル・スカラー混合アーキテクチャ：圧倒的計算性能・バンド幅によるベクトル・スカラー混合アーキテクチャ：圧倒的計算性能・バンド幅- 2.4 Petaflops,
Petaflops, メモリバンド幅
メモリバンド幅0.72
0.72ペタバイト
ペタバイト/s/s (地球シミュレータの(地球シミュレータの4.3
4.3倍
倍)• 世界最⾼速の
世界最⾼速の200200テラビット級のバイセクションバンド幅を実現した光ネットワーク
テラビット級のバイセクションバンド幅を実現した光ネットワーク((0.66TB/s))• 最新の
最新のSSD
SSDなどを活⽤した多階層ストレージによるなどを活⽤した多階層ストレージによる15PB
15PBの⼤規模化と⾼速化の⼤規模化と⾼速化(0.66TB/s)

2. 世界⼀環境「グリーンスパコン」• TSUBAME1同等のエネルギー消費・
TSUBAME1同等のエネルギー消費・30
30倍の電⼒性能⽐・倍の電⼒性能⽐・PUE=1.28
PUE=1.28・「・「Green500
Green500」世界⼀？
」世界⼀？
- GPUマルチコア
GPUマルチコアCPU
CPUの⼤幅活⽤による⾼効率化の⼤幅活⽤による⾼効率化
活
⾼ 率化- 最先端の冷却法： 密閉型の⽔冷ラック
密閉型の⽔冷ラック,, 負荷集中での⾼熱勾配負荷集中での⾼熱勾配,, 夏季の負荷キャップ- JSTJST-CREST Ultra Low PowerPower--HPC
HPCの成果の応⽤の成果の応⽤• => PUE 1.28以下
1.28以下((他の国内のセンターは他の国内のセンターは1.7~2.0
1.7~2.0程度
程度))

3. 「クラウドスパコン」：総合的学内「クラウドスパコン」：総合的学内IT
ITホスティング
ホスティング• Windows
Wi d
HPC/Linux
HPC/Linuxなど複数
HPC/ iなど複数OSなど複数など複数OS,OS
OS, 複数環境のサポート
複数環境のサポ ト• 仮想化による種々のデータセンターホスティング機能のサポート• 教育⽤
教育⽤/Kiosk/Kioskシステムのバックエンド化、全学アカウント・総合的学内システムのバックエンド化、全学アカウント・総合的学内IT
ITの集中化・費⽤削減の集中化・費⽤削減

4. 東⼯⼤東⼯⼤GSICGSICでのでの種々の基礎研究・メーカー共同開発の成果
種々の基礎研究・メーカー共同開発の成果• JST
JST--CREST “Ultra Low Power HPC”, 科研特定領域「情報爆発」
科研特定領域「情報爆発」,, ⽂科省
⽂科省--国⽴情報研
NAREGI/CSI等
NAREGI/CSI等、多くの基礎研究
NAREGI/CSI等 多くの基礎研究
等、多くの基礎研究• 海外企業とも： NVIDIA CUDA CoE (⽇本初
⽇本初),), Microsoft TCI 包括共同研究契約• NEC, HP, NVIDIA, Microsoft, Voltaire, DDN 等との共同開発体制

TSUBAME2.0 の特徴
ベクトル・スカラ混合型アーキテクチャ
ベクトル スカラ混合型ア キテクチャ– Intel のx64 CPU コアによる「スカラ演算」– 最新型 Fermi コアの NVIDIA Tesla GPGPU による「ベクトルよる「ベクト演算」• NVIDIA Tesla M2050 を約4200台搭載• GPGPUGPGPUクラスター環境を共同利⽤により⽇本全国へ提供
クラスター環境を共同利⽤により⽇本全国へ提供– 日本における GPGPUの普及へ貢献– TSUBAME 1.2 の特徴を継承• GPU コンピューティング研究会– CUDA プログラミング講習会– GPU セミナー
nVIDIAVIDIA TTeslal M2050
GPUコンピューティングモジュール

TSUBAME2.0 システム概念図
ペタバイト級HDD ストレージ：
ストレ ジ Total
T t l 7.13PB
7 13PB (Lustre(L t + h
home))
並列ファイルシステム領域MDS,OSSHP DL360 G6 30nodes
Storage
5.93PB
DDN SFA10000x5x5(10 enclosures x5)
Lustre (5 Filesystems)
OSS: 20 OST: 5.9PB
MDS: 10 MDT: 30TB
OSS x20

MDS x10

ホーム領域
1.2PB

Sun SL8500
テープシステム～８PB

Storage Server
HP DL380 G6 4nodes
BlueArc Mercury 100 x2
Storage
DDN SFA10000 x1（10 enclosures x1）

NFS,CIFS x4

SuperTitenet

NFS,CIFS,iSCSI
Accelerationx2

SuperSinet3

ノード間相互結合網: フルバイセクションノンブロッキング光QDRCore Switch
Edge Switch(w/10GbE)
Edge Switch
Infiniband
ネットワーク
12 switches
179 switches
Voltaire Grid Director 4700
IB QDR: 324ports

Voltaire Grid Director 4036
IB QDR : 36 ports

計算ノード： 2.4PFlops(CPU+GPU)
NEW DESIGN Hewlett Packard CPU+GPU
Thin計算ノード224
224.69TFlops(CPU)
69TFl
(CPU)
High BW Compute Nodes x 1408

・・・・・・

Intel Westmere-EP 2.93GHz(TB 3.196GHz） 12Cores/node
Mem:55.8GB(=52GiB)or 103GB(=96GiB)GPU NVIDIA M2050 515GFlops
515GFlops,
3GPUs/node
SSD 60GB x 2 120GB ※55.8GB node120GB x 2 240GB ※103GB node
OS: Suse Linux Enterprise + Windows HPC

4224 NVIDIA “Fermi”
1408nodes
GPUs(32node x44 Racks)
Memory Total：80.55TB

6 switches

Voltaire Grid Director 4036E
IB QDR:34ports
10GbE: 2ports

Medium計算ノー
4Socket Server 24nodes
ド HPCPU
Nehalem-EX 2.0GHz

管理サーバ群

Fat計算ノード
HP 4Socket Server 10nodes
CPU Nehalem-EX 2.0GHz
32Core/node
Mem:274GB(=256GiB)x8
549GB(=512GiB) x2
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise

32Cores/node
Mem:137GB(=128GiB)
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise

24 nodes 6.14TFLOPS

10 nodes2.56TFLOPS

PCI –E gen2 x16 x2slot/node/
GSIC:NVIDIA Tesla S1070GPU (34 units)

クラウド型グリーンスパコン
TSUBAME2.0 の主な特徴(1/3)の主な特徴(1/3)
演算性能

 汎⽤
汎⽤CPU
CPUと
とGPU
GPU型アクセラレータによるGPU型アクセラレ
型アクセラレータによる型アクセラレタによる2.4PFLOPS
2 4PFLOPSの演算性能と毎秒 0.7 PBの⾼メモリバンド幅
PBの⾼メモリバンド幅

通信性能

 計算機間の通信は、計算機間の通信は、Fat
Fat Tree接続によるフルバイセクシ
Tree接続によるフルバイセクシ
ョン・ノンブロッキングン ノンブロ キング

ストレージ ペタバイト級ストレージとして、７ペタバイト級ストレージとして、７PB
PB強のディスク
強のディスク 最新
最新SSD
SSD技術と⾼密度技術と⾼密度HDD
HDDによる毎秒
による毎秒 0.66 TB
TBのの合算データ I/O 性能

省スペース
省スペ ス

 計算ノード部分は僅か 200 平⽅メートルの設置⾯積

クラウド型グリーンスパコン
TSUBAME2.0 の主な特徴(2/3)の主な特徴(2/3)• 「クラウド型スパコン」― 教育や事務系サービスへの仮想化機能を実現
 Linux
Linuxおよび
およびWindows
Windows HPC ServerというServerという22つのつのOS
OS環境の選択環境の選択
 動的なプロビジョニングを⾏える資源配分機能
 仮想化環境の実現• 「グリーンスパコン」― システム及び設備冷却系を含む省エネ設計を実現
 ピーク消費電⼒の抑制
 省エネ運⽤環境の実現

クラウド型グリーンスパコン
TSUBAME2.0 の主な特徴(3/3)の主な特徴(3/3)• ベクトル・スカラ混合型アーキテクチャ– Intel のx64 CPU コアによる「スカラ演算」– 最新型 Fermi コアの NVIDIA Tesla GPGPU による「ベクトル演算」• NVIDIA Tesla M2050 を約4200台搭載• GPGPUGPGPUクラスター環境を共同利⽤により⽇本全国へ提供
クラスター環境を共同利⽤により⽇本全国へ提供– 日本における GPGPUの普及へ貢献– TSUBAME 1.2 の特徴を継承• GPU コンピューティング研究会
ンピ
テ ング研究会– CUDA プログラミング講習会– GPU セミナー

nVIDIAVIDIA TTeslal M2050
GPUコンピューティングモジュール

TSUBAME2 0 11⽉稼働を⽬指して！
TSUBAME2.0
11⽉稼働を⽬指して！

TSUBAME の共同
の共同利用
利用
平成19
平成
19年度～
年度～

民間企業へ TSUBAMETSUBAMEを提供
を提供– 文部科学省 先端研究施設共用促進補助事業

平成21
平成
21年度～
年度～

TSUBAME 共同利用

– 東工大独自事業として、外部利用制度の確立「産業利用」 にて大きな成果
4年間で民間企業の47課題を採択・実施
50
40
30
20
10
0

新規採択課題
継続課題
終了課題数

41

47

26

11
H19

H20

H21

H22

成
成果報告会 6/29（火）/13:00～ 蔵前会館
東工大・TSUBAME共用促進シンポ

文部科学省より最高の文部科学省より最高の評価
評価（22
22機関中、機関中、33機関のみ）
機関のみ）

平成22
平成
22年度～
年度～ 学際大規模情報基盤共同利用・共同研究拠点– 「ネットワーク型」の共同利用・共同研究拠点

日本最先端のスパコン環境を提供し、学術・産業・社会
日本最先端のスパコン環境を提供し、日本最先端のス
ン環境を提供し、学術ン環境を提供し、学術
学術・産業・社会へ貢献
産業 社会へ貢献
貢献
最新GPGPU
最新
GPGPUクラスター環境
クラスター環境を提供を提供し、し、 GPGPUGPGPUの普及へ貢献の普及へ貢献GGPU
コンピコンピューティング研究会
テ ング研究会
東京工業大学 学術国際情報センタ の中の研究会活動
東京工業大学・学術国際情報センターの中の研究会活動

活動内容：

・⽉に⼀度の CUDA 講習会
・2〜3ヵ⽉毎にセミナー
・国際ワークショップ
・年⼀回シンポジウム
・ML を通じた情報交換

東⼯⼤の教員・学⽣だけでなく、他⼤学・研究機関、
東⼯⼤の教員学⽣だけでなく 他⼤学 研究機関
⺠間企業の⽅も参加（⼊会）可能。 基本的に無料。

http://gpu-computing.gsic.titech.ac.jp/
67