学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

15-NA15分子性液体の積分方程式理論による大規模生体分子系における高速な溶媒和自由エネルギー計算プログラムの開発
丸山 豊（理化学研究所 計算科学研究機構）
生体系のメカニズム解析や創薬への応用を目指して、大規模な生体分子系における溶媒和自由エネルギー計算の高速化を行なうのが本研究の目的である。そのために生体分子の周りの水を統計力学的に取り扱う事のできる分子性液体の積分方程式理論のプログラムのベクトル化及びマルチ GPU 化を行なった。さらにプログラムの精度を検証するた
めに蛋白質-蛋白質相互作用の計算を行い、実験との比較を行なった。

1.

共同研究に関する情報	 	  この水の効果は溶媒和自由エネルギーという物(1) 共同研究を実施した拠点名	 

理量で表わす事ができる。通常の分子動力学法

東北大学(MD)シミュレーションでは、あらわに水を入れて東京工業大学取り扱う事ができるが、溶媒和自由エネルギーや(2) 共同研究分野	 

部分モル体積などの物理量を計算するのは計算コ■	 	 超大規模数値計算系応用分野	 

ストが大きく難しい。また、蛋白質の揺らぎを考o

超大規模データ処理系応用分野	 

えると多数のコンフォメーションにおける計算がo

超大容量ネットワーク技術分野	 必要となり、MD における計算はより困難となっo

超大規模情報システム関連研究分野	 ている。

(3) 参加研究者の役割分担	 	  このように重要な生体反応の多くは膜蛋白質で丸山 豊(理化学研究所 計算科学研究機構):起こっており、生体膜も含めた水中の大きな生体研究総括、プログラム作成、計算科学

分子系における高速で正確な溶媒和自由エネルギ

額田 彰(東京工業大学):ーの計算が求められている。これに対応する一つプログラム作成、大規模並列処理、GPU コンピュの解として積分方程式理論によるアプローチが挙ーティング、3D-FFT の高速化並列化、計算機科げられる。分子性液体の積分方程式理論

学(3D-RISM)は生体分子の周りの水を統計力学的に取り扱う事ができる。分子の周りの水の分布関数

2.

研究の目的と意義	 を計算し、それにより溶媒和自由エネルギーなど	  生体系のメカニズム解析や創薬等への応用を目の物理量を求められる。計算時間も GPU を用い指して、大規模な生体分子系における溶媒和自由て数秒から数分（タンパク質の大きさに依存する）エネルギー計算の高速化を行なう事が本研究の目で計算可能である。ただ、GPU は一般に CPU よ的である。

りもメモリが小さいために GPU 単体で計算可能	  重要な化学反応や生体反応の多くは水中で起こなタンパク質の大きさに制限がある。しかし、こっている。また、蛋白質などの生体分子が構造をの制限はマルチ GPU 化によって克服可能である。

形成し機能を発揮するためには水が必要不可欠で	  溶媒和自由エネルギーは、例えば薬効分子と蛋ある。つまり蛋白質の自発的な構造形成のメカニ白質の結合強度などを正確に見積もるために重要ズムを明らかにし、創薬などで薬効分子との結合な物理量である。今までの 3D-RISM 理論では、を考慮するためには、周りの水を考慮する必要が計算値が溶質分子の大きさに依存して実験値からある。

乖離していく傾向がある事が知られていた。これ1

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

は、理想流体を出発点として理論を構築しているグラムを広く利用してもらう事を考慮し GPU クためである事が近年明らかになった。そこで我々ラスターにおける開発も行なった。GPU の欠点はは剛体球を参照系とする事で正確な値を算出するメモリ量が少なく単体では大規模計算に向かない溶媒和自由エネルギー表式(RMDFT)を導いた。

ためにマルチ GPU 化が必要であった。しかし、

3D-RISM 理論と RMDFT 表式を組み合わせる事丸山がシングル GPU での高速化と超並列マシンでアミノ酸側鎖分子の溶媒和自由エネルギーが実用の並列プログラムの実績があり、MPI によるマ験値と良く一致する事を示した[1]。

ルチ GPU 用プログラムの開発は比較的容易に行	  ベクトル型スパコンやマルチ GPU に対応したなえた。

3D-RISM と RMDFT のプログラムを作成し、大	  以上のようにベクトルマシンと GPU クラスタ

規模な生体分子系における溶媒和自由エネルギーーの 2 つのタイプのコンピュータにおける開発を計算の高速化を行なった。

アプリケーション側とシステム側で効率的に行な	  さらに理論の精度の検証を行なうために、作成うために、公募型共同研究を利用した。

したプログラムを用いて蛋白質-蛋白質間の相互[1] Y. Maruyama and F. Hirata, J. Chem.

作用エネルギーを計算した。

Theory Comput. 8, 3015-3021 (2012).

[1] T. Sumi, A. Mitsukake, and Y. Maruyama, J.

[2] Y. Maruyama, N. Yoshida, H. Tadano, D.

Comput. Chem. 36, 1359-1369 (2015).

Takahashi, M. Sato and F. Hirata J. Comput.
Chem. 35, 1347-1355 (2014).

3. 当拠点公募型共同研究として実施した意義	  	  [3] 額田彰, 西田晃, 「地球シミュレータを用いた	  大規模な生体系における高速な溶媒和自由エネ

高性能 2 次元 FFT」, 2007 年先進的計算基盤シス

ルギー計算を目指して、ベクトルマシンや GPU

テムシンポジウム論文集, 137-144, 情報処理学会,を搭載したクラスター上でのプログラム開発を行(2007).

なった。プログラムの開発を効率的に行なうため[4] A. Nukada, D. Takahashi, R. Suda, and A.にアプリケーション側（丸山）とシステム側（額Nishida.

田）の共同研究を実施した。アプリケーション側

International Conference on High Performanceの丸山は 3D-RISM プログラムの GPU 化[1]や超Computing and Communications (HPCC 2007),並列化（京スパコン）[2]に取り組んできた経験がLecture Notes in Computer Science 4782,ある。一方、システム側の額田は地球シミュレー

396-407, Springer, (2007).

タや SGI Altix 3800、IBM Blue Gene/L など多様

[5] A. Nukada, Y. Hourai, A. Nishida and Y.

なシステムで FFT の高速化に取り組んできた実Akiyama.

績がある。[3-5]InternationalSymposium	  当該プログラムは 3 次元 FFT を多用し、計算時DistributedProcessing間における割合が大きい。そこで、額田がベクト(ISPA07), Lecture Notes in Computer Science

ルマシン用の FFT のチューニングを行なった。ま4742, 958-969, Springer, (2007).

InIn

ProceedingsofProceedings

theofThird

theFifthon

ParallelandandApplications

た、当該プログラムの FFT 以外の部分もメモリ律

4. 前年度までに得られた研究成果の概要	 

速であるため、スカラーマシンよりもメモリバンド幅の大きいベクトルマシンの方が高速化に適している。額田が作成した FFT プログラムを結合し、 5. 今年度の研究成果の詳細	 さらに他の部分のベクトル化を行なった。

5.1	 3D-RISM 及び RMDFT	 	  一方でベクトルマシンは数が少なく一般のユー	  ここでは 3D-RISM 理論及び RMDFT 表式の詳細にザーが利用するは難しい。そこで、開発したプロは触れずに主に計算手順について説明する。	 
2

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月	  3D-RISM 理論は 3D-RISM 方程式	 

大な生体分子にどこまで適用できるかは不明である。我々はこの問題点を本質的に改善するために、

hγuv (r) = ∑ cγuv' (r)∗ (ωγvv'γ (r ) + ρv hγvv'γ (r ))密度汎関数理論に基づき、剛体球を参照系とする

γ'とクロージャー方程式(PLHNC 方程式)	 た。この式は	 %exp(χ ) − 1 for χ ≤ 0= &χfor χ > 0'hγuv (r)€

高精度の新しい溶媒和自由エネルギー表式を導いΔµ = −

χ = −βuγuv (r) + hγuv (r) − cγuv (r)1∑ ∫ drργ hγ (r)β γ− ∫ dr %&ργ hγ (r){ ∫ d r'WOO (| r − r' |)の 2 つから成り、それぞれ交互に計算して収束さ× [ ρO hO (r') fHS' ( ρO hO (r')) − ρO fHS' ( ρO )]せていく。ここで h (r) 及び c (r) は、全相関関数+ ∫ drWOO (| r |)ρO fHS' ( ρO )} − ρO fHS' ( ρO ) ∫ drWOO (| r |)ρO )* 	 uvγ

€uvγ

及び直接相関関数、ω (r) は分子内相関関数、γ 及vv
γ 'γ

ρ0∑ ∑ ∫ dr d r'Cγγ ' (| r − r' |)ργ 'hγ ' (r')β γ γ'1+∑ ∑ ∫ dr d r'Cγγ ' (| r − r' |)ργ hγ (r)ργ 'hγ ' (r')
2β γ γ'+び γ ' は溶媒分子の相互作用点のインデックス、

hγvv (r) はバルクの溶媒の全相関関数、 ρ v は溶媒の数 密 度 、 uγuv (r) は 相 互 作 用 ポ テ ン シ ャ ル 、

β = 1 / (kBT ) は逆温度である。また*は畳み込み積分と表される。ここで fHS! ( ρ ) は剛体球の 1 粒子当たを表す。この畳み込み積分により 3D-RISM 方程式

りの余剰エネルギーの 1 次微分、 Cγγ ! (r) は剛体球はフーリエ空間で積の形で表されるため、各要素の効果を含んだバルクの溶媒の直接相関関数、を 3 次元フーリエ変換してフーリエ空間で計算すWγγ ! (r) はバルクの剛体球の 2 次の直接相関関数をる。一方、クロージャー方程式は実空間で計算を表す。この表式により溶媒和自由エネルギーの絶行なう。このため、3D-RISM 理論を解くためには、対値がより正確に求められるようになった。	 

3 次元 FFT を繰り返して実行し、収束させていく	  具体的な計算手順は	 必要がある。	 

(1) 入力ファイルの読み込み	 	  物理量の一つである溶媒和自由エネルギーは、(2) 計算セルの各グリッド点におけるポテンシャ

今まで Singer-Chandler(SC)表式	 

Δµ = ρ kBT ∑ ∫ V drαcell!12#" (hγ (r)) Θ(−hγ (r))
2!
1−cγ (r) − hγ (r)cγ (r)#.
"2ルの計算	 
(3) クロージャー方程式の計算	 
(4) 3 次元 FFT 正変換	 	 (5) 3D-RISM 方程式の計算	 
(6) 3 次元 FFT 逆変換	 

により計算されてきた。しかしこの式は溶質の原(7) 収束判定をして収束していれば(9)へ	 子数に依存して絶対値を過大評価してしまう。こ(8) 収束加速法により新しい予測分布を求めての問題は 1 次元の RISM 理論でも指摘されていた。

(3)へ	 

その一方で自由エネルギー差はおおよそ正しい値(9) 物理量の計算	 を与える事も知られていた。そのため、溶質の原となる。この計算は(3)から(8)の繰り返し部分が子数が変化しない現象、例えば蛋白質の折りたた最も重くなっている。また 3 次元 FFT はその中でみ問題に適用し、自由エネルギー差を論点とするも約 40%(Intel	 Xeon で OpenMP による計算した場場合には大きな問題とならなかった。	 

合)を占める。	 (9)の物理量の計算で SC や RMDFT	  この溶媒和自由エネルギーの過大評価の問題をの式により溶媒和自由エネルギー等を求める。	 

改善するために経験的な修正を加える式がいくつ	  また、MPI で並列化する場合、3D-RISM 方程式及か提案されている。これらの式は低分子での結果びクロージャー方程式の計算は完全に並列化されを元に修正を行なうものであり、蛋白質などの巨通信を行なわない。通信を行なうのは 3 次元 FFT
3

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月と収束判定であり、実行時間の割合は 3 次元 FFT

軸方向の変換に必要なデータはとびとびのアドレの部分が大きい。また 3D-RISM の結果を用いて溶スに格納されており、すべてをプロセッサ内に集媒和自由エネルギーの計算を行なう RMDFT は、複める際には同じキャッシュライン上にあるデータ数回の 3 次元 FFT を必要とする。	 

が全て転送されるためメモリバンド幅を著しく浪	  以上のように 3 次元 FFT は溶媒和自由エネルギ費する。これを避けるため、複数のデータセットー計算において必要不可欠なものであり、また、に対して同時に変換を行う multi-row FFT アルゴ

高 速 化 が 望 ま れ て い る 。 我 々 は SX-ACE 及 び

リズムを用いることによってメモリから転送されTSUBAME2.5 で 3 次元 FFT の高速化や並列化に取りたデータを全て無駄なく使用する方法を採用する。

組んだ。特に大規模な生体系の計算を念頭に置いレジスタ数やオンチップ shared memory の容量て 512×512×512 の高速な 3 次元 FFT を目指した。	  の問題から、Y 軸方向、Z 軸方向の変換を一回の5.2	 SX-ACE	 

メモリ読み書きで完了することはできないため、	  NVIDIA 社製 GPU と SX-ACE のベクトルプロそれぞれ複数回（通常２，３回）に分割して変換セッサではある程度の類似性があると考えられる。 を行うことになる。その結果、メモリアクセス量メモリ階層としては、共に高いメモリバンド幅をも増大するが、アクセスパターンが連続であるこ備える外部メモリと、内部メモリとして高速にアとなどから実効メモリバンド幅も高く、とびとびクセス可能だが容量の限られるキャッシュメモリのメモリアクセスを行う実装よりもはるかに高速またはスクラッチパッドメモリを備える。またになる。

SX-8 までと異なり、SX-ACE では 64 バイトまた	  256×256×256 の変換は以下の５ステップで実は 128 バイト単位で外部メモリへのアクセスが行現される。

われるという点で GPU と同じであるとともに、(1) Z 方向の 16 点 FFT 第一段階

これまでのバンクコンフリクトさえ避ければよか(2) X 方向の 256 点 FFTったベクトルプロセッサ向けの FFT アルゴリズ(3) Z 方向の 16 点 FFT 第二段階

ムが使用できなくなったことを意味する。そこで(4) Y 方向の 16 点 FFT 第一段階

2008 年に提案した GPU 向け 3 次元 FFT アルゴ(5) Y 方向の 16 点 FFT 第二段階

リズムを SX-ACE 向けに拡張する方向で実装・評

Y 軸、Z 軸方向に関しては 16 点 FFT２回によっ価を行った。て 256 点 FFT の計算を完了する。X 方向の変換か	  3D-RISM の計算で用いる３次元 FFT は倍精度ら始まらないことには意味がある。データは通常複素数でサイズが 256×256×256 または 512×(256,256,256)の配列に格納されているが、この場512×512 を用いる。いずれも２のべき乗であるた合に SX-ACE ではバンクコンフリクトが多発してめ演算効率がよく、また SX-ACE のベクトル長でしまう。これを避けるために配列にパディングをある 256 の倍数ということで実装もシンプルにな挿入することで大きく性能が改善する。(x,y,z)要る。

素は[x + (256 + 16) * y + ((256 + 16) * 256 + 16) *GPU 向けの３次元 FFT アルゴリズムでは X 軸方z]のアドレスに格納されるようにしており、また向と、Y 軸方向、Z 軸方向の各変換に対して別の複素数データの実部と虚部は別の配列に格納してアルゴリズムを適用することによって GPU メモいる。データの初期配置および最終配置ではパデリが不得意とするアクセスパターンを避けるもの

ィングがない状態を想定して、最初と最後のステである。データが連続アドレスに格納されているップにパディングあり・なしの配列間のコピーをX 軸方向の変換についてはオンチップの shared含めている。

memory を使用しながら複数のスレッドで１つの	  512×512×512 の変換は以下の 7 ステップで実変換を細粒度並列処理する。一方、Y 軸方向、Z現される。
4

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月(1) Z 方向の 8 点 FFT 第一段階	 

実行時間	 性能	 (2) X 方向の 512 点 FFT

Z 軸方向(1)	 

3.42	 msec	 

97.8	 Gflops	 	 156.6	 GB/s	 

9.87	 msec	 

67.9	 Gflops	 	 

81.58	 GB/s	 

3.32	 msec	 

100.9	 Gflops	 	 161.5	 GB/s	 

3.62	 msec	 

92.5	 Gflops	 	 147.9	 GB/s	 

3.52	 msec	 

95.2	 Gflops	 	 152.3	 GB/s	 

(3) Z 方向の 8 点 FFT 第二段階
(4) Z 方向の 8 点 FFT 第三段階

X 軸方向	 

(5) Y 方向の 8 点 FFT 第一段階
(6) Y 方向の 8 点 FFT 第二段階

Z 軸方向(2)	 (7) Y 方向の 8 点 FFT 第三段階
Y 軸方向、Z 軸方向に関しては 8 点 FFT３回によY 軸方向(1)	 って 512 点 FFT の変換を完了する。	  それぞれ 8 点 FFT と 16 点 FFT に分割していY 軸方向(2)	 

るが、このサイズの上限はベクトルレジスタの数で決定される。SX-ACE は 8 個のベクトルレジス	 タと 64 個のベクトルデータレジスタを持ってい上記の表は 256×256×256 の３次元 FFT を実行しるが、ベクトルレジスタはベクトル演算器の入力た際の各処理の実行時間および演算性能、メモリとなるためデータを保持する用途では使用できなバンド幅の計測結果である。Y 軸方向、Z 軸方向でい。64 個のベクトルデータレジスタで 32 点の複は十分なメモリバンド幅が達成されていることが素 FFT のデータを保持するには十分ではなく、２わかる。FFT 計算ではメモリ読み込みと書き込みのべき乗としては 16 点 FFT が最大となる。

がほぼ同量であることから STREAM ベンチマーク	  X 方向の実装は GPU と大きく異なる。GPU で等よりはバンド幅が低下する。X 方向は Flops、メ

256 点 FFT を計算する場合には 64 スレッドで 4モリバンド幅ともに低い。Write-Through による点 FFT を計算し、オンチップ shared memory をメモリ書き込みも含んだ数値である。また ADB か介してスレッド間でデータ交換をしながら計算をらの Read 時のバンクコンフリクトが回避できて完了する。256 点 FFT をベクトル長が 256 であるいないことと、整数のベクトル命令が多く実行さベクトルプロセッサで計算することになるが、１れていることが主な要因である。	 

個の 256 点 FFT の計算に並列度は 256 確保でき	 ない。このため 16 個の 256 点 FFT を同時に計算	 実行時間	 

性能	 することによって 256 の並列度を確保している。

Z 軸方向(1)	 

32.2	 msec	 

62.6	 Gflops	 

また SX-ACE の ADB はキャッシュであるためデ	 	 

133.7	 GB/s	 

ータ保持に利用できるが、Write-Through 方式でX 軸方向	 

106.9	 msec	 

56.4	 Gflops	 あるためメモリ書き込み量は増大する。	 	 

80.3	 GB/s	 	  512 点 FFT の場合は 8 点 FFT３回に分解する。

Z 軸方向(2)	 

31.0	 msec	 

64.8	 Gflops	 

１個の 512 点 FFT で 64 の並列度が確保できるた	 	 

138.3	 GB/s	 

Z 軸方向(3)	 

31.3	 msec	 

64.3	 Gflops	 	 	 137.2	 GB/s	 

Y 軸方向(1)	 

29.9	 msec	 

67.4	 Gflops	 	 	 143.7	 GB/s	 

Y 軸方向(2)	 

31.1	 msec	 

64.7	 Gflops	 	 	 138.1	 GB/s	 

Y 軸方向(3)	 29.4	 msec	 

68.4	 Gflops	 

め、4 個の 512 点 FFT を同時に計算することで256 の並列度が確保できる。ADB へのアクセスが増加するため、メモリ書き込み量が多くなる。
ADB 上でデータ交換を行うためにインデックス計算やアドレス計算も必要となるためベクトル命令数も多い。これらの要因により X 軸方向の変換は GPU の場合ほど高速とはならない。	 
5学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月	 	 示す GPU の結果(5.3 参照)と比べて高速である事

146.0	 GB/s	 	 がわかる。これは 3D-RISM がベクトルマシンに向上記の表は 512×512×512 の３次元 FFT を実行しいているプログラムである事を示している。また、た際の各処理の実行時間および演算性能、メモリSX-ACE での計算では、grid 点の増加（8 倍）に伴バンド幅の計測結果である。基本的な傾向は 256

い、ほぼ線形（8.7 倍）に計算時間が増加している。の場合と変わらない。データが大きくなったためこれはプログラムが SX-ACE の性能を充分に引き出にバンクコンフリクトを容易なパディングで回避している証であると考える。	 

することが難しくなっており、Y 軸方向、Z 軸方向5.3	 TSUBAME2.5	 の計算時のメモリバンド幅が低下している。	 	  GPU クラスターである TSUBAME2.5 において GPU	 一つでは 512×512×512 グリッドの大規模計算に必要なメモリを確保できない。そこで最初から MPIを使用した並列プログラムの作成に取り組んだ。
また、将来的に大規模並列を実行する事を想定して計算セルを 2 次元分割する事とした。	 	  一般に YX 分割の 3 次元 FFT の正変換を実行する
場合は以下のような手順となる。	 
(1) X 軸の 1 次元 FFT を実行する。	 
(2) Y 軸を揃える通信を行なう。	 	 

(3) Y 軸の 1 次元 FFT を実行する。	 

上記のグラフは我々が開発した実装と SX-ACE を(4) Z 軸を揃える通信を行なう。	 

開発した NEC が提供する ASL ライブラリとの性能(5) Z 軸の 1 次元 FFT を実行する。	 

比較である。ASL ライブラリに関してはパディン(6) Z 軸を戻す通信を行なう。	 

グパターン、スレッド数を変えて網羅的に性能計(7) Y 軸を戻す通信を行なう。	 

測を行い、その中で最高性能となるものを選んでここで(6)及び(7)は通信を行なっているだけであいる。256 と 512 のいずれのデータサイズにおいり、これを実行しない場合、フーリエ空間での分ても ASL ライブラリの約２倍以上の性能を達成し割が XY 分割となる。つまり実空間とフーリエ空間ている。	 の分割パターンの差違を許容すれば 4 回行われる	  この 3 次元 FFT を 3D-RISM 及び RMDFT プログラ

通信のうち 2 回を行なわずにすむ。特に大規模ノムに取り入れてベクトル化を行なった。テスト系ード数になった場合、FFT の計算時間よりも通信として原子数 1960 のリゾチーム(PDB	 ID:6LYZ)の時間の割合が大きくなるため通信を行なわない方計算を行なった。5.1 の計算手続のうち(3)から(8)が計算速度的に有利である。この場合、フーリエの繰り返し部分の計算時間を測定した。計算セル

逆変換は	 は同じ大きさにして 512×512×512 はグリッド間(1) Z 軸の 1 次元 FFT 逆変換を実行する。	 

隔を 256×256×256 の半分とした。	 

(2) Y 軸を揃える通信を行なう。	 	 

(3) Y 軸の 1 次元 FFT 逆変換を実行する。	 
SX-ACE	 

(4) X 軸を揃える通信を行なう。	 

256×256×256	 89.8	 s	 (5) X 軸の 1 次元 FFT 逆変換を実行する。	 

512×512×512	 

783.2	 s	 となる。この実空間とフーリエ空間の分割パター

grid	 	 ンが違う事についてはプログラムで対応させなけ

上記の表は SX-ACE1 ノードでの結果を表す。後にればならない。しかし、その対応をするメリット6

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月があると考え、加えて大規模ノードでの実行を念在するが、蛋白質はその物が難しい。そこで、蛋頭においてプログラムの作成を行なった。1 次元

白質間の相互作用を計測した X 線散乱実験との比FFT は NVIDIA のライブラリである cufft を使用し較を行なう事で計算精度の検証を行なう事を考えた。	 

た。対象の蛋白質はリゾチーム(PDB	 ID:	 6LYZ)を	  この 2 次元分割版の GPU 用 MPI プログラムを作用いた。重心間距離に対する相互作用を計算する成し、TSUBAME2.5 上でテスト計算を行なった。テために 24 個の回転構造を生成し、距離一点についスト系は 5.2 と同じリゾチームである。	 て 576(=24×24)の計算を行い、統計平均を取った。	 	 	 161000RMDFT
SC

512x512x512
256x256x256

Iteration time [s]Potential [kcal/mol]

1412108642010011030100	 

#GPU35404550r [Å]55606570	 	 	 上記の図は、繰り返し部分の計算時間の GPU 数依

上記の図は、リゾチーム間の重心間距離と蛋白質存性を示す。横軸は GPU 数で、縦軸は計算時間を間ポテンシャルの関係を示す。実線は RMDFT、点表す。使用メモリの関係で 256×256×256 では

線は SC によるポテンシャルである。RMDFT 及び SC

2GPU から、512×512×512 では 8GPU からとなってともに 35Å付近にローカルミニマムが観察される。

いる。256×256×256 では 16GPU で 112.6 秒、512これは 34Å付近にコンタクトがあるという X 線散×512×512 では 32GPU で 346.8 秒が最も速くなっ乱の実験結果と一致する。[2]リゾチームは正に帯ている。SX-ACE と比較すると 256×256×256 では電しているので、溶媒の効果がなければ斥力のみ16GPU でも及ばなかった。これは FFT における通信となりコンタクトは発生しない。つまり溶媒の効の割合が大きくなり、リニアにスケールしないた果がなければリゾチーム同士が接触しない事になめである。512×512×512 では 32GPU で SX-ACE1る。	 

ノードの倍程度の速度を達成している。	 	  一方で計算結果ではローカルミニマムのエネル[1] A. Nukada, Y. Ogata, T. Endo and S.

ギーが遠方よりも高いところにありリゾチーム間

Matsuoka.

In2008の距離が離れた方が安定となっている。これは、ACM/IEEE

conference

Supercomputing

計算条件と実験条件の違いによるものであると考(SC'08),

Proceedings

5:1—5:11,

onAustin,oftheIEEE

Press,

えられる。計算ではリゾチーム 2 個のみの無限希

November (2008).

釈系を想定しているが、実際の 10	 wt.%の濃度と	 なっている。このリゾチームがより混雑した状況

5.4	 蛋白質-蛋白質相互作用	 

下ではリゾチームがあるリゾチームから離れても	  溶媒和自由エネルギーの計算精度を調べるため別のリゾチームに接近してしまう。そのためあるに蛋白質-蛋白質相互作用を計算し比較を行なっ一定以上の距離を取る事ができない。そのようなた。低分子は溶媒和自由エネルギーの実験値が存混雑した状態における効果を計算にとり入れる、
7学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

もしくは補正を行なう必要がある。	 

よる影響が想定よりも大きかった事による。より[2] T. Sumi, H. Imamura, T. Morita and K.

定量的な議論をするためにはダミーのイオンを分Nishikawa. J. Mol. Liquids 200, 42-46, (2014).

布させるなどして実験条件に近い環境で計算を実行する必要があることがわかった。計算条件を整6.

今年度の進捗状況と今後の展望	 

えて、溶媒和自由エネルギー計算の精度をより定	  SX-ACE 及び TSUBAME2.5 上で大規模な生体量的に評価するための計算を行なっていきたい。

系における溶媒和自由エネルギーを高速に計算するプログラムを作成した。

7.

研究成果リスト	 	  今回 SX-ACE を初めて使用したが、様々な性能(1) 学術論文	 

計測を経てこのプロセッサの特性を大分理解する

T. Sumi, A. Mitsukake, and Y. Maruyama, J.

ことができた。ベクトル化だけではなく ADB 及

Comput. Chem. 36, 1359-1369, (2015).

びメモリバンクの２段階におけるバンクコンフリ(2) 国際会議プロシーディングス	 

クト回避が重要であることが判明し、FFT のような規則的なメモリアクセスを行う場合においても(3) 国際会議発表	 工夫が必要である。	  今回 SX-ACE で達成された性能は当初想定して(4) 国内会議発表	 

いた性能の上限と比較するとやや低い。この点は非常に残念であるが、その分マルチノードを使用(5) その他（特許，プレス発表，著書等）	 

した並列実行時の強スケーリング性能が期待され	 る。ノード間のデータ転送速度が低いためノード間データ転送がボトルネックとなることは避けられないが、ノード内の計算をどれだけオーバラップすることができるかがポイントとなる。	  大規模計算を実行するにあたりマルチノードマ
ルチ GPU が必須となる TSUBAME2.5 では、3次元 FFT でノード間通信が発生する。使用ノード数（GPU 数）が増加するにつれて計算よりも通信の割合が増加する。そのため通信性能が計算速度に 大 き く 影 響 す る 。 現 状 の TSUBAME2.5 はInfiniBand が Connect-X2 であるため GPUDirect
Version3 が使用できない。そのため GPU からMPI の通信をする時に GPU と InfiniBand 間での直接データ転送(RDMA)する機能が利用できなかった。この RDMA を利用する事ができれば 3 次
元 FFT における通信時間を減少させスケーラビリティを向上させる事が可能と考える。次世代のTSUBAME3.0 等での比較検討を行ないたい。	  溶媒和自由エネルギーの計算精度を検証するために行なった計算は、定性的な傾向を示すだけに留まった。これは、実験条件と計算条件の差違に8