11TSUBAME-KFC : 液 浸冷 却を用いた
世界一 省エネなスーパーコンピュータ
TSUBAME-KFC : the Greenest Supercomputer in the World
With Liquid Submersion Cooling

超 並列 計算 機 TSUBAMEの利用による幾つかの有機 化合 物のシュレーディンガー解の計算
Solving the Schrödinger Equations of Some Organic Moleculeswith Superparallel Computer TSUBAMEGPGPUによる地 震ハザード評 価
Application of GPGPU to Seismic Hazard Assessment

TSUBAME-KFC : 液 浸 冷 却を用いた
世 界 一 省エネなスーパーコンピュータ
遠藤 敏夫

額田 彰

松岡 聡

東 京 工 業 大 学 学 術 国 際 情 報センター

近 年のスーパーコンピュータの性 能の限 界を決 定する最 大の要 因は消 費 電 力である。
次 世 代の TSUBAME3.0 やエクサスケールスパコンに向けたプロトタイプとして、TSUBAME-KFCを構 築した。
Green Revolution Cooling 社などとの協 働により、TSUBAME-KFCでは高 密 度 高 性 能な計 算ノード群の全 体を冷 媒 油に液浸させ、最 終 的な排 熱は蒸 散 冷 却 塔により外 気は排 出される。この方 法により冷 却に係る電 力や半 導 体リーク電 流を削 減させることができる。その結 果、TSUBAME-KFC は 2013 年 11 月の Green500ランキングとGreen Graph500ランキングの双 方で世 界 一を獲 得した 。

はじめに

1

度で 645TFlops 、倍 精 度で 217TFlopsである。そして消 費 電 力はTSUBAME2 の一ラック（35kWatt）とほぼ同程度に抑えられている。
先 進 的 な 冷 却・ ハ ー ドウ ェ ア・ ソフトウ ェ ア 技 術 に よ り、
TSUBAME-KFC は省エネスパコンランキングである Green500 お
よびGreen Graph500 の両方において、2013 年 11 月に世界一を獲将 来のエクサスケールスーパーコンピュータを実 現するにあたっ

得することができた。同ランキングで世 界 一となったのは、国 内て最 大の課 題のひとつは消 費 電 力であり、スパコンの省 電 力 性のシステムとして初めてである。

に関する研 究の重 要 性はすでに広まっている。DARPA exascale
report [1] ではエクサスケールを 2018 ～ 20 年ごろに 20MWattで実現する（ 50GFlops/Wattに相当）という目標が提示されており、その実現のために解決の必要な課題についても低電力設計を中心に述べられている。
東工大学術国際情報センターにおいても、スパコンの省電力化

TSUBAME2 の消費電力の議論の研 究には早くから取り組んできた。その一 例はメニーコアアー

2

キテクチャに基づいたGPUなどのアクセラレータの、スパコンにおける大 規 模 利 用 [2,3] である。その研 究 成 果は 2010 年 11 月に稼TSUBAME2システムにおいて電 力を大きく消 費する要 素として、働開始したTSUBAME2.0 に集約された。TSUBAME2.0 は日本初の冷 却 設 備と半 導 体リーク電 流が挙げられる。TSUBAME2 ではHP

ペタスケールスパコンとなっただけでなく、スパコン省エネ性の社のModular cooling system（MCS）ラックにより、空冷・液冷の

世界ランキングであるGreen500（ www.green500.org）においてハイブリッド方 式が用いられている。冷 却 水の温 度は入 口で 8 ～958MFlops/Wattを記録し、世界三位およびgreenest production

9℃、出 口で 15 ～ 18℃となっている。冬 季を除きこの温 度は外気

supercomputer 賞を獲得した。

温より低いため、冷 却 水の温 度を保つための圧 縮 機が大きく電 力

しかしながら 50GFlops/Wattという目 標は依 然 遠く、我々はそれに向けてウルトラグリーンスパコンプロジェクトを文部科学省

この方式は一般的なデータセンターなどの空冷より電力効率にに提 案し採 択された。本 稿で解 説するTSUBAME-KFCシステムはすぐれているものの、上 述した圧 縮 機やラックに搭 載された冷 却

このプロジェクトの主要成果であり、2013 年秋に完成した。

ファンのために冷却電力を押し上げる。計測によるとTSUBAME2TSUBAME-KFCの最大の特徴は、計算ノード群の冷却のためにエの年 間 平 均 PUE は 1.29 であり（ PUE の詳 細な説 明については 4.2

ネルギー効 率の高い液 浸 冷 却 方 式を用いていることである。これ章参照）、計算機のシャーシファンなどを考慮すると、システム全は、平均的スパコン・データセンターより高効率なTSUBAME2 の体の電力のうち約 30%も冷却に費やされている。

冷 却 方 式よりも、さらに省エネな方 式である。そして計 算ノード
および冷却機器は無人のコンテナに格納されている。
TSUBAME-KFCは、2016 年に導 入を予 定しているTSUBAME3.0
スパコンに向けたプロトタイプの役割を持つ。高密度実装されたアクセラレータ利 用 技 術、多 数の電 力・温 度センサとそれを効 率利用した自動制御技術などの研究プラットフォームとして活用していく予 定である。TSUBAME-KFCにはたった一ラックに高 性 能な計算ノード群が格納されており、その合計理論演算性能は単精02を消費していることが分かっている。

またGPUがフル稼働する際には、GPU温度は80 ～ 90℃にも達し、それがリーク電流を増大させるという問題も判明している。

TSUBAME-KFC

3

温 度の上 昇した油の冷 却のために、熱 交 換 器を介して熱を二 次
冷 却 水ループへ移 動させる。冷 却 水は、TSUBAME-KFCコンテナに隣接する蒸散冷却塔によって冷却される。冷却水は冷却塔の上部からゆっくり流れ落ち、その際の蒸散熱によって冷却される。以上のような経 路により、計 算サーバ群の発 熱は最 終 的に外 気へ拡

3.1 概要

散されている。

冷 却 設 備まで含めたスパコン全 体の省エネ技 術の実 証のために、
我々はTSUBAME-KFC（ Kepler Fluid Cooling）システムを、NEC 、
NVIDIA 、米国 Green Revolution Cooling（ GRC）社らと協働で設計・開発した。このシステムでは液浸冷却技術、高密度高性能な
計 算ノード群、多 数の電 力・温 度センサが統 合されている。図 1
はTSUBAME-KFCのシステム全体の概要を、図 2 はシステムを格納し屋 外に設 置された 20フィート型コンテナと、その隣の冷 却 塔の外観を示す。
冷媒油を用いた液浸冷却技術として、GRC 社 Carnot Jetシステ
ム（ 図 3）を用いている。TSUBAME-KFCでは体積 1000リットル強
で比較的高温の冷却油に、計算ノード群の全体が液浸されている。
この方式により、標準的なラックマウントサーバに小さい改造（後述）を施すことによって、そのまま液浸することができる。図 4 に、

図 2 TSUBAME-KFC の外 観 。
屋 外の 20フィート型コンテナに格 納されており、その隣に蒸 散 冷 却 塔が置かれている 。

計算サーバ群が冷媒油に浸されている様子を示す。

図 1 TSUBAME-KFCシステムの概 要 。
計 算ノードが発した熱は冷 媒 油、冷 媒 水へと移 動し、最 終 的に外 気へ拡 散される 。

03

TSUBAME-KFC: 液 浸 冷 却を用いた
世 界 一 省エネなスーパーコンピュータ

3.2 液浸冷却の詳細
TSUBAME-KFCの計 算ノード群は液 浸 機 能を持った 42Uラックに格 納されている。このラックは横 倒しに設 置され、風 呂 桶のように冷 媒 油が満たされている。現 在 格 納されている計 算ノード群の最大消費電力は 40kWatt 程度であるが、Carnot Jetシステム自身
は最大 100 kWattの冷却性能を持つ。
我が国の法 規 上の問 題をクリアするために、GRCのオリジナルのシステムに対して変 更を加える必 要があることが分かった。当初 提 案されていた冷 媒 油は、安 全 性が高く粘 度が低いという良好な性 質を備えていたものの、引 火 点が 177℃であった。引 火 点
250℃以 下の液 体は日 本の消 防 法においては危 険 物に分 類され、TSUBAME-KFCでの利 用および、将 来のさらなる大 規 模 利 用を想定すると、ふさわしくないと判断した。NECおよびGRCと検討した
結果、より引火点の高いExxon Mobil 社のSpectrasyn8 PAO（polyalpha-olefin）
を選定した。この冷媒油の引火点は 260℃であり、危険物該当外であり、なおかつ十分な安全性を持つ。
3.3 計算ノード群とその改造
TSUBAME-KFCは計算ノードとして、NEC/Supermicro 104Re-1G
図 3 コンテナ内に設 置された GRC 社 液 浸 冷 却ラック
(Carnot Jetシステム) 。

を改造したものを 40 台用いている。この計算ノードは標準的な形状の 1Uラックマウントサーバであり、1Uに 2CPUと 4GPUを備えるという高 密 度 実 装がなされている。ノード仕 様は下 記の通りである：●

Intel Xeon E5-2620 v2 (IvyBridge) 6 コア 2.1GHz x 2●

DDR3 メモリ 64GB●

NVIDIA Tesla K20X GPU x 4●

SATA3 SSD 120GB x 1+ 500GB x 2●

4x FDR InfiniBand HCA x 1

ノードあたりの理論演算性能は単精度浮動小数で 16.1TFlops 、倍精度で 5.4 TFlopsである。40ノード全体では、単精度 645TFlops 、
倍 精 度 217TFlopsと、たった一ラックでペタスケールに近い性 能を持っている。
標 準 的なサーバを基にしつつも、冷 媒 油 中での動 作を可 能とするため、下記のような改造をNEC 、GRCと協働で施した。
●

稼働パーツの除去：液体内での動作を可能とするため、サーバ内の冷却ファン（12 個）を含む物理的な稼働パーツの除去を行った。これにより、ファン電力が必要なくなるという利点もある。なおハードディスクを用いる場合はそれへの対処も必要だが、我々は稼働部分を持たない SSD を用いているため、この点は問題ない。

●

熱伝導グリスの除去：通常、CPU や GPU とヒートシンクの間には熱伝導グリスが塗布されているが、冷媒油の中では溶け出す可能性がある。そのため、金属製熱伝導シートと置き換えた。

図 4 Carnot Jetシステムに
計 算ノードが液 浸されてる様 子 。

04

3.4 電力・温度センサ
TSUBAME-KFC は数多くの電力・温度センサを備えており、採取されたデータはネットワークを介して集計される。センサとその計測対象は下記の通りである：
電力センサ

●

▶

各計算ノード▶

ネットワークスイッチ

▶

冷却塔

▶

冷却油用ポンプ、冷却水用ポンプ

図 5 TSUBAME-KFC 液 浸ノードと空 冷ノードの温 度・電 力 比 較 。

温度センサ

●

4.2 PUE 評価▶

各 CPU、GPU▶

冷却油 、冷却水（それぞれ入口、出口）

PUE（ power usage effectiveness ）はデータセンター等で広く電力▶

外気および、コンテナ内使用効率を表す指標として用いられ、以下で求められる：

このような細粒度なセンサデータの利用により、電力・温度の詳細制御を可能とし 、さらなる省エネ化を実現する予定である。
これまでに述べた TSUBAME-KFC は 2013 年 10 月に完成し稼働

ここで、PE はIT 機器（計算ノードやネットワーク機器など）の消費開始した。2016 年春に導入が予定されている次世代 TSUBAME3.0

電 力であり、P I は付 帯 設 備の消 費 電 力であり、本 稿では冷 却に係

スパコンの省エネ設計に向けて、様々な実験を行う予定である。

る電 力とする。PUE=1 は冷 却に電 力が不 要な理 想 的な ケースを意 味し、PUE=2 は、冷 却のためにIT 機 器と同 等な電 力を消 費してしまうケースを意味する。

TSUBAME-KFC の電力性能評価

4

TSUBAME-KFCのPUEを評価するために、全計算ノードに前節と同 様のGPU 行 列 積 演 算の負 荷をかけた。高 負 荷 時の計 算ノード、
ネットワークスイッチ、冷却機器の電力をセンサによって計測し、その結果を図 6 に示す。比較対象として空冷時のケースを示すが、その値は下 記のような仮 定による：一ノードの空 冷ノードに同じ

4.1 液浸冷却の計算ノードへの影響
液浸冷却方式がTSUBAME-KFCの計算ノードの消費電力や温度に負 荷をかけ、その際の電 力を外 挿することにより計 算ノード群の電力を見積もる。またTSUBAME2 と同等の冷却方式を用いることを仮定し、PUE=1.29 から冷却電力を見積もる。

与える影 響を評 価する。比 較 実 験のために、上 記 計 算ノードと全く同じ仕様 (CPU/メモリ/GPUなど)を持ち、空冷されるノードを用いた。
図 5 で、空冷ノード（air-cooled）で吸気 26℃の場合と、液浸ノード（ submersion）の電 力と温 度を比 較する。後 者については、冷媒油の入口温度29℃の場合と19の場合を示す。計測中は、計算ノー
ドに負荷をかけるために、全 GPU 上で倍精度密行列積演算を実行し続けた。
空 冷ノードと液 浸ノードの温 度を比べると、冷 媒 油 温 度が高いときですら、後 者のほうがCPUおよびGPUの温 度が低いことが分かる。ノードの電 力を比 較すると、液 浸ノードのほうが約 7.8%低いことが分かった。これは冷 却ファンの除 去と、プロセッサ温 度低下によるリーク電流低下の双方の影響と考えられる。

図 6 TSUBAME-KFC と空 冷システムの PUE 評 価 結 果 。

05

TSUBAME-KFC: 液 浸 冷 却を用いた
世 界 一 省エネなスーパーコンピュータ

計測の結果、TSUBAME-KFCのPUEは 1.09 と、TSUBAME2 と比べても大きく 1 に近づけることができた。さらに計 算ノードの電 力

4.4 Green Graph 500 測定も削 減されていることを考 慮し、空 冷 時のIT 機 器 電 力を基 準とすGreen Graph 500 ランキング（ green.graph500.org ）は新しい省

ると、修正後のPUEは 1.001 と、ほぼ理想値が実現されている。

エネランキングであり、近年注目を浴びているビッグデータ処

4.3 Green500 測定

理における電力性能比に注目する。このランキングでは、大規模グラフ構造に対する幅優先探索（BFS ）ベンチマークを用いる。

本節ではTSUBAME-KFCのGreen500ランキングにおける結果につ

BFS の速度は TEPS（ Traversed Edges per Second ）値で表され、いて述べる。Green500ではスパコンの電力性能比のランキングを、Green Graph500 では TEPS / Watt 値を競う。

Linpackベンチマーク実行時において比較する。つまり（ Linpack

Linpack ベンチマークにおいては、GPU の利用が電力性能比向速 度（ Flops）/ 電力（ Watt））が高い方が高 位となる。ここでの電上に不可欠であったが、BSP ベンチマークはより不規則な構造を力には冷 却 電 力を含まなくて良いとされる。そのためTSUBAME-持つため、その点が自明ではない。我々は最適化されたアルゴリ

KFCにおいては、冷 却 電 力 自 身の低 下は本ランキングに直 接 関 係

ズムに基づく CPU 版と GPU 版の実装を比較することによって [4]、しないものの、計算ノードの電力低下が有利に働く。

前者を選択した。

TSUBAME-KFC 上で電 力 性 能 比を向 上させるために、これまで

そ の 結 果、TSUBAME-KFC の 32 ノ ー ド を 用 い て 6.72 MTEPS/

述べた要 素に加え、下 記のようなアーキテクチャからソフトウェ

Watt（ = 44.01GTEPS / 6.55kWatt ）を記録した。この記録は 2013

アレベルに渡る方策を取った:

年 11 月の Green Graph 500 ランキングのビッグデータカテゴリ●

ノードアーキテクチャにおいては、GPU と CPU のプロセッにおいて世界一を獲得した。前節の Green500 の世界一と合わせサ比を 2：1 とし、一般的な 1：1 のケースよりも CPU などて、TSUBAME-KFC は二冠を獲得することができた。

の相対的な消費電力を削減した。

4.5 フェーズフィールド計算の評価●測定に用いた Linpack ソフトウェアは、NVIDIA 社による効率的な In-core アルゴリズムを採用したものである。

本章の最後に、実際のシミュレーションアプリケーションである●

Linpack の性能には、数多くの実行時パラメータが影響する。

フェーズフィールド計算における電力性能比を示す。このアプリ

よく知られたブロックサイズ（NB）やプロセスグリッドサイ

ケーションはステンシル計算に基づいて金属結晶の凝固過程を計ズ（P&Q）などのパラメータ探索に加え、GPU クロック周波数

算するものであり、2011 年にゴードンベル賞を受賞している [5]。

を変化させながら性能測定を繰り返した。

我々は長年、このアプリケーションを用いて世代の異なる計算機

数多くの性能測定を通して、我々は速度性能が良いことが必ずシステムの電力性能比向上を評価してきた。このため 2006 年に

しも最良の電力性能比をもたらすわけではないことを観測した。

導入された TSUBAME1.0 の計算ノードからの性能比較を行うこと

図 7 に示すように、最速の実行のケースと比べて、電力性能比がができる。

24%も高いケースが存在することを確認した。

図 8 に 2006 年以来の複数計算機システム上で本アプリケーシ

結果として、TSUBAME-KFC の電力性能比は 4.503GFlops/Watt

ョンを実行した際の電力性能比の推移を示す（冷却電力を含まなに達した。この記録は 2013 年 11 月の Green 500 ランキングにい）。TSUBAME-KFC では、2006 年の時点と比べて 420 倍もの電

おいて世界一を獲得した。なお二位のシステムとは 24%の大差を

力性能比の向上がなされている。

つけている。

図 7 TSUBAME-KFC 上の種々設 定 下でのLinpackベンチマークの速 度 性 能と電 力 性 能 比 。
各 点は各ベンチマーク実 行に対 応する 。

06

図 8 異なる世 代の計 算 機 上におけるフェーズフィールド計 算の性 能 電 力 費の推 移 。

グ ラ フ 中 で 2006 年 と 2008 年 の 間 に 大 き な 隔 た り が あ る が、

[5]

Takashi Shimokawabe, Takayuki Aoki, Tomohiro Takaki,

これは 2008 年以降のマシンでは GPU を用いているためである。

Akinori Yamanaka, Akira Nukada, Toshio Endo, Naoya

2008 年以降の性能向上を外挿すると、2016 年ごろには 2006 年

Maruyama, Satoshi Matsuoka. Peta-scale Phase-Field

時 点 の 1210 倍 の 電 力 性 能 比 で あ る 15.5GFlops/Watt の 実 現 がSimulation for Dendritic Solidification on the TSUBAME

期待される。この成果は、エクサスケールにおける目標である

2 . 0 S u p e r c o m p u t e r. I n P r o c e e d i n g s o f t h e A C M / I E E E2020 年ごろの 50GFlops/Watt の実現へ向けて大きく前進するもconference on Supercomputing (SC11), pp. 1--11, Seattle,のである。

November 2011.

おわりに

5

本 稿では次 世 代の超 省エネスパコンに向けたプロトタイプである TSUBAME-KFC について解 説した。先 進 的な液 浸 冷 却 技 術を中 心に、アーキテクチャレベル・ソフトウェアレベルの研 究 成 果を統 合することにより、Green 500 とGreen Graph 500 の二つのランキングにおいて、電 力 性 能 比 世 界 一を獲 得した。特に液 浸
冷 却 技 術の採 用などにより、同じ種 類の GPU を備えるシステム（TSUBAME2.5 を含む）よりも高い電力効率を実現している。
このTSUBAME-KFCを用いて更なる省エネ技 術のための実 証 実験・研 究 開 発を進める予 定である。特に、外 気 温が 35℃を超える
ようなケースにおける本 方 式の冷 却 効 率を測 定するには、夏 季を待って実 験する必 要がある。TSUBAME-KFC 上の研 究 成 果を、次世 代の超 省エネ・ビッグデータ対 応スパコンであるTSUBAME3.0の開発にフィードバックしていく予定である。
参考文献
[1]

P. Kogge, K. Bergman et al. ExaScale Computing Study:
Technology Challenges in Achieving Exascale Systems,
DARPA Technical report 2008-13, 2008.

[2]

Akira Nukada and Satoshi Matsuoka. Auto-Tuning 3-D FFT
Library for CUDA GPUs. In Proceedings of the ACM/IEEE
conference on Supercomputing (SC09), 10 pages, ACM
Press, Portland, November 2009.

[3]

Ta k a s h i S h i m o k a w a b e , Ta k a y u k i A o k i , C h i a s h i M u r o i ,Junichi Ishida, Kohei Kawano, Toshio Endo, Akira Nukada,
Naoya Maruyama, Satoshi Matsuoka. An 80-Fold Speedup,
1 5 . 0 TFlops, Full GPU Acceleration of Non-Hydrostatic
Weather Model ASUCA Production Code. In Proceedingsof the ACM/IEEE conference on Supercomputing (SC10),
pp.1-11, New Orleans, November 2010.

[4]

Koji Ueno and Toyotaro Suzumura, Parallel Distributed
Breadth First Search on GPU, IEEE International Conference
on High Performance Computing (HiPC 2013), India, Dec.
2013.

07

超 並 列 計 算 機 TSUBAME の利 用による
幾つかの有 機 化 合 物のシュレーディンガー解の計 算
中辻 博

中嶋 浩之

量 子 化 学 研 究 協 会・研 究 所

理 論とシミュレーションの目的は現 象の完 全 予 測にあり、正 確な予 言こそがその使 命である。化 学の世 界の支 配 原 理はシュレーディン
ガー方 程 式であるので、これを正 確に解くことができれば、化 学 現 象を正 確に予 測することができる。2000 年以降、中 辻によりその正確な一 般 的 解 法がはじめて発 見され、その理 論 体 系は自由完員関 数 法（ FC 法）としてまとめられた。さらにその変 数の決 定にあたって、分 子 上に採ったサンプリング点でシュレーディンガー方 程 式が成り立つ必 要 条 件 : Local Schrödinger Equation（LSE）法を用いることで、任 意の原 子・分 子 系にも適 用することができる。我々は、超 並 列 計 算 機 TSUBAME のグランド・チャレンジ利 用によって、幾つかの簡 単な有 機 化 合 物のシュレーディンガー方 程 式の解を計 算し、絶 対エネルギーとして化 学 精 度（kcal/mol の精 度）を満 足するシュレーディンガー解を得ることができた。計 算の律 速 部 分である波 動 関 数の反 対 称 化 計 算は、計 算負荷が等 価なサンプリング点の分 配により各プロセスに均 等に分 散することができる。実 際に、TSUBAME の 4600コアを用いたテスト計 算では、111.5%の高い並 列 性が得られた。これらの成果は基礎科学として重要な意義を持ち、今後、化学現象の理論予測に応用する計算化学技術の確立に繋げたい。

はじめに

1

本研究で得られる基礎的計算データの蓄積と、理論・計算技術の開発・改良により、今後の有機化学分野での「正確なシミュレー
ション理論化学」の構築に向けて努力したい。

現 象の完 全 予 測のためには、シミュレーションに用いる理 論が原
理 的に正 確であり、それを高 速で解く手 法が必 要である。天 体の運 行 予 測や惑 星 探 検を例にとると、ここではニュートン力 学と僅

自由完員関数法の流れ

かの相 対 論が基 本 原 理であり、この原 理を本 来の精 度で解く道 筋

2は明 快に確 立されている。そのため、火 星 探 検や「はやぶさ」の快挙など、素晴らしい実例が沢山ある。他方、よく知られているよ

まず、我々の理論的基礎である自由完員関数（FC）法を説明する。

うに、化学はシュレーディンガー方程式によって支配されている。

詳 細は、レビュー [4] 等を参 照して欲しい。図 1 に自 由 完 員 関 数 法

従って、この方程式を正確かつ高速に解くことができれば、化学のの流れを示した。

世界でも正確な予言が可能となり、実験と並んで「シミュレーショ
ン理 論 化 学」が正 確な予 言 学として活 躍している筈であった。しかし、量子力学の誕生以 来 80 年の努 力から、むしろシュレーディ
ンガー方 程 式を正 確に解くことは不 可 能とされ、量 子 化 学は「理解と解 釈のための学 問」の地 位に甘んじてこざるを得なかった。
しかし、2000 年 以 降、中 辻によってシュレーディンガー方 程 式の正確な一般的解法が世界で初めて発見され、その理論体系は自由完員関数（Free Complement（ FC））法としてまとめられた。[1,2] 積
分の困難を克服するために導入したLocal Schrödinger Equation（ LSE）法 [3] を用いて、どのような原 子・分 子 系にも適 用することのできる汎用プログラム「プリンシピア」を開発している。
本研究では、水素、炭素、窒素、酸素などの軽い元素から成る簡
単な有機化合物のシュレーディンガー方程式の精密解を、2013 年

図 1 自 由 完 員 関 数 法の流れ

10 月 8-15 日、超並列計算機 TSUBAMEのグランド・チャレンジ利
用によって計 算した。これらの分 子の正 確なシュレーディンガー
解は、未だどの量子化学理論でも計算されておらず、その成果は基２．１

FC 法 : 完員関数の生成

礎科学としても重要な意義がある。また、我々の方法は、理論の性

自 由 完 員 関 数 法は、正 確な波 動 関 数の構 造 論に基づき、「系のハ格上高い並列性が得られることが予測され、TSUBAMEを用いた高ミルトニアンが自らの解の完 全な関 数 空 間を作る」という理論で並列計算でそれを確認することも意義深い。

ある。この理論により、（ 1）式に示されるように、ハミルトニアン
を適当な初期関数08に何度か作用させることにより、正確な波動関数に収束をすることが保証される。[1,2]3FC-LSE 法の並列計算アルゴリズム
ここで、 、 は、繰り返し（またはオーダー） における変分係数とエネルギーである。

は原 子・分 子のハミルトニアンの持つクーロン発散項を抑える関数である。[2]（1）式の右辺を独立関数に

FC-LSE 法の並 列 計 算アルゴリズムを図 2 にまとめた。以 下、その展 開することで、系の正 確な波 動 関 数を張る解 析 関 数 : 完 員 関 数

手順を簡単に説明する。

（Complement Function（cf））

が生成される。即ち、（2）式のように、正確な波動関数はこの完員関数の線形結合で書かれること

ステップ1,2:が証明される。

系のハミルトニアンに基づき、完 員 関 数を生 成する。このステップは解析的な演算部位であるため、計算量は僅かである。そのため、あらかじめ低並列計算機で実行する。

ここで、は完 員 関 数の数（次 元 ）、 はそれぞれの完 員 関 数の

未 知の線 形 係 数であり、変 分 法あるいはサンプリング法に基づく

ステップ3.1:

LSE 法により決定する。

LSE 法に基づき、サンプリング点

２．２においてシュレーディンガー方程式が成立する条件（（3）式）を計算する。（3）式は行列固有値

LSE 法 : 積分不要なサンプリング法に方程式、基づく解法変分法は、完員関数のハミルトニアン行列と重なり行
列を積 分により計 算できる時 可 能であり、高 度に正 確な結 果を得ることができる。しかし、積分可能な系は小さな原子・分子に限らに置き換えることができる。ここで、行列れる。一方、LSE 法は、局所的なサンプリング点でシュレーディンガー方程式が成立するという必要条件、、 の要素はであり、 、 はそれぞれ係数ベクトルと対応するエネルギー（対角行列）である。
各サンプリング点に対するとの計 算は、電 子の反 対 称 化 計 算を伴うため、FC-LSE 法 全 体で最も計 算 律 速な部 分を用い解を決定する方法である。[3] ここで、はサンプリング点でである。しかし、計 算 負 荷が等 価なサンプリング点を各プロセスある。そのため、解析的な積分計算は不用で、原理上いかなる原子・（コア）に均等に分配することができるため、極めて高い並列性能

分子、いかなる関数形にも適用可能である。

が期 待できる。さらに、このステップではプロセス間の通 信も発計算の最も律速部分である波動関数の反対称化計算（2.3 で示す）

生しない。サンプリング点は通常 10 6-7 個の点を用いるため、Peta-

は、計算負荷が等価なサンプリング点を、各プロセスに分配するこ

Flops 超 並 列マシンでは各プロセスは 1-10 点のみを担 当することとで、容易に高い並列性が得られる。

になる。

２．
３ パウリ原理と反対称化法

ステップ3.1 の計 算コストは、、となる。ここで、はサンプリング数及び電子数である。

電子のシュレーディンガー方程式を解く際には、同時に波動関数がPauli 原理を満たすことが要求され、これを保証することは、一般にステップ3.2:

多電子系の正確な波動関数の計算において大きな負担となる。

完 員 関 数の次 元

我々は、行列式をベースに、露わな相関関数を含む完員関数においても、分子軌道計算とほぼ同じ速度（電子数の約 3-5 乗に比例）で（ 4 ）式のよりも多くのサンプリング点を用いる場 合、、 行列は長方行列となる。そこで、を（4 ）式の左からかけることで、反対称化演算を行うことのできる理論を考案し、これをNk 法と呼んだ。[5] この計算手法はほぼ確立されており、これまで多くの原子・分子系に適用し、実績を積んでいる。本研究では、
主にこのNk法を用い、を得る。ここで、

有機化合物の計算を行った。

アン行列と重なり行列に対応する。 行列は常に正定値対称行列

他 方、最 近、分 子 系の反 対 称 化の負 担を飛 躍 的に軽 減することのできるinter Exchange（ i Exg）理論を発見し [6] 、計算負荷が系のであり、 行 列もであり、それぞれハミルトニ
行 列に比べ対 称 行 列に近づくため、固 有 値 問

題（ステップ4）を比較的安定に解くことができる。

にしか増えないことを理 論 的に示した。

このステップでは、 、 行列を計算するために行列積の演算がこの理論は、今後、大きな分子のシュレーディンガー解を計算して必 要であるが、計 算 機 環 境に最 適 化されたBLAS3ライブラリを使いく上で、明るい見透しを与えてくれる。この手法については、今用する。ここでの計算コストは後、論文・学会等で発表していく。

は発生しない。

大きさに対しオーダー、となり、プロセス間の通信

09超 並 列 計 算 機 TSUBAME の利 用による
幾つかの有 機 化 合 物のシュレーディンガー解の計 算

ステップ3.3:
このステップでは、各プロセスで計算した、 、 行列を集約する。

簡単な有機化合物のノード間にまたがる場合は、MPI_Reduceにより和をとりながら集

シュレーディンガー解の計算約する。データ転送量はである。

ステップ4:

我々は、FC-LSE 法を図 3 に示す幾つかの簡 単な有 機 化 合 物のシュ

完成した行列方程式（（5）式）の固有値問題を解く（行列対角化）。

レーディンガー解の計算に適用した。

ここでは、一 般 的な並列化固有値問題ライブラリを利用し、中 程度の並 列 化 性 能を期 待することができる。しかし、並列計 算 機 資
源を有効に利用するために、ステップ3 終了後、いったん計算を打
ち切り、低並列度での計算を行う。
ステップ5:
ステップ4 で得られた固 有ベクトル（波 動 関 数 ）を用い、エネル
ギーや各物理量を計算する。波動関数の正確さを示す指標である
H-square Errorも計算する。このステップの計算量は僅かで、メモリやディスク資源もほとんど必要としない。

図 3 FC-LSE 法を適 用した有 機 化 合 物

図 2 FC-LSE 法の並 列 計 算アルゴリズム

104

FC 法（（1）式）に従い生成される完員関数は、一般に（6）式のように表される。

の局所性に基づき原子間にまたがる露わな相関関数（ Inter-r ij ）は採用しなかった。Inter-r ij の効果については、現在より詳細に検討中である。
計算は、TSUBAMEグランドチャレンジ課題（カテゴリー B）
で行った。表 1 に、CHからH 2 CO（16 電子系）まで、FC 法のオーダー n =2で計 算した結 果を示した。実 験 値 等から見 積もられた正 確なエネ
ルギーの推 測 値と計 算 値のエネルギー差は、表 1 のすべての分 子
でkcal/mol 程 度であり、絶 対エネルギーとして、ほぼ化 学 精 度を

ここで、

、

は、それぞれ電 子 数と原 子 核の数である。 、は電 子、 は原 子 核のインデックスを示す。
原 子を示す。

は電 子

満足している。また、表 2 に、36 電子系のフラン、ピロール、42 電の属する子 系のベンゼン、ピリジンの n =1 でのテスト計 算の結 果を示す。

の属する原 子 軌 道を示し、ここでは

n =1 であるため、正 確なエネルギーの推 測 値とはまだ少し差があ原子のHartree-Fock 軌道を用いた。[7]は電 子はスピン関数を示し、分るが、例えばベンゼンにおいて、従来の量子化学に基づく進んだ電子の化学結合は原子価結合法に基づき構成した。FC法は、オーダー子相関理論（MP2-F12 法）による計算値 : -231.835 6 a.u.と比べれを上げることにより、どのような出 発 関 数からも正 確な解に収ば、[9] FC-LSE 法の計算結果は絶対エネルギーでかなり正確な解と束することが保 証されているため、原 子 価 結 合 法に見られるよう言える。本計算は、まだテスト段階であり、今後高いオーダーの本

な多くの配置を採用する必要はない。

格計算を実施し、より精密なシュレーディンガー解を算出したい。

分 子 の サンプリング 点 は、原 子 の サンプリング 点 を Local

TSUBAMEの超 並 列 計 算 機パワーにより、これらの分 子の計 算

Sampling 法により合成し、各サンプリング点の局所的分散値を基

すべてが 1 週間で完了し、得られた計算結果の成果と共に、結果を準にサンプリング点を最適化するH-square Error Stationary（HSES）

すぐに方 法 論・アルゴリズムの改 良に反 映することができ、有 意[8]Algorithmも導入した。 また、計算を簡単化するため、電子相関

義な研究を遂行できた。

表 1 簡 単な有 機 化 合 物のシュレーディンガー解の計 算（FC 法のオーダー : n =2）

表 2 中 程 度の有 機 化 合 物のテスト計 算（FC 法のオーダー : n =1）

11

超 並 列 計 算 機 TSUBAME の利 用による
幾つかの有 機 化 合 物のシュレーディンガー解の計 算

並列化効率

5

し、理論の大きな進展があった。[6] 本研究での成果を基礎に、新しい理 論を発 展させ、それを実 現できる方 法 論とプログラムを開 発していく。
謝FC-LSE 法の並列化効率をテストするために、ベンゼンのテスト計

辞本 研 究は、TSUBAMEグランドチャレンジ課 題（カテゴリー B）の算での並 列 化 加 速を測 定した。図 4 に、460 並 列の計 算 時 間を基

採 用により、東 京 工 業 大 学 学 術 国 際 情 報センターの大 型 計 算 機

準に、2300 並 列、4600 並 列の計 算でのスピードアップを示した。

（ TSUBAME2）を主に利 用した。また、自 然 科 学 研 究 機 構 計 算 科

その結果、4600 並列で、111.5%の超並列の加速を得た。大きな原学研究セーターの計算機もその事後の計算処理に利用した。ここ子・分 子 系では、最も計 算 律 速な反 対 称 化 計 算（図 2 のステップに記して深く感謝したい。さらに、川上量生氏にはQCRIの研究に3.1）の演算が増すため、より並列化効率は良くなると考えられる。

対するサポートを深く感謝したい。

並列化効率が 100%を超えている理由は、単体プログラムのチュー
ニング不 足が考えられるが、並 列 度を上げることによるメモリの参考文献

分散効果によるものが大きいと考えている。

[1]

H. Nakatsuji: Structure of the Exact Wave Function, J.
Chem. Phys., Vol. 113, pp.2949-2956 (2000). H. Nakatsuji
and E. R. Davidson: Structure of the Exact Wave Function.
II. Iterative Configuration Interaction Method, J. Chem.
Phys., Vol. 115, pp.2000-2006 (2001)[2]

H. Nakatsuji: Scaled Schrödinger Equation and the Exact
Wave Function, Phys. Rev. Lett., Vol.93, pp.030403-1-4 (2004).
H. Nakatsuji: General Method of Solving the Schrödinger
Equation of Atoms and Molecules, Phys. Rev. A, Vol. 72,
pp.062110-1-12 (2005)[3]

H. Nakatsuji, H. Nakashima, Y. Kurokawa, and A. Ishikawa:
Solving the Schrödinger Equation of Atoms and Molecules
without Analytical Integration Based on the Free IterativeComplement-Interaction Wave Function, Phys. Rev. Lett.,
Vol.99, pp.240402-1-4 (2007)

図 4 ベンゼンのテスト計 算での並 列 化 効 率[4]

H. Nakatsuji: Discovery of a General Method of Solving
the Schrödinger and Dirac Equations That Opens a Way
to Accurately Predictive Quantum Chemistry, Acc. Chem.

おわりに

6

Res., Vol. 45, pp.1480-1490 (2012)[5]

H. Nakashima and H. Nakatsuji: Efficient antisymmetrization
algorithm for the partially correlated wave functions in thefree complement - local Schrödinger equation method, J.
Chem. Phys., Vol. 139, pp. 044112-1-16 (2013).

原 子・分 子のシュレーディンガー方 程 式の正 確な解を求めること[6]

H. Nakatsuji: ACS meeting, Indianapolis, U.S.A. (2013)

は、化 学の夢であり、本 研 究により簡 単な有 機 化 合 物の計 算を行[7]

E. Clementi and C. Roetti: Roothaan-Hartree-Fock Atomic
Wavefunctions, Atomic Data and Nuclear Data Tables, Vol.

うことができた。計 算 結 果について、さらに検 証を重ねる必 要が14, pp.177-478 (1974)

あるが、従 来の量 子 化 学では到 達できない精 密な解を得ることができた。方 法 論と計 算アルゴリズムは、まだまだ改 良の余 地があ[8]

H. Nakatsuji: Local sampling method and H-square error[9]

D. Yamaki, H. Koch, and S. Ten-no: Basis set limits of thestationary algorithm, to be submitted.

り、TSUBAMEグランドチャレンジは、理論とアルゴリズム・プロ
グラムの検証という立場で大変有用であった。既存の量子化学理
論は、精度の高い理論ほど並列化が難しい。一方、FC-LSE 法は、普second order Møller-Plesset perturbation energies of

通の計算機は勿論、超並列計算機の本来の力をそのまま反映する

water, methane, acetylene, ethylene and benzene, J.

ことのできる理論体系を持っており、非常にフレキシブルである。

Chem. Phys., Vol. 127, pp.144104-1-5 (2007)

最近、分子の波動関数の合成法や、新しい反対称化理論を提案

12

GPGPU による地 震ハザード評 価
青井 真 *

前田 宜浩 *

* 防災科学技術研究所

青木 尊之 **** 東京工業大学 学術国際情報センター

将来発生する地震によりどのような揺れが生じるかを予測する地震ハザード評価では高精度かつ大規模な地震波伝播シミュ
レーションが必 要となる。防 災 科 学 技 術 研 究 所が開 発してきた地 震 動シミュレータGMSをTSUBAME 上に実 装し、格 子 数が数 百 億 規 模の極めて大 規 模かつ現 実 的なモデルまで高いスケーラビリティ（ 弱スケーリング）が得られることが分かった 。
また、本 研 究で開 発したシミュレーションシステムを応 用し、南 海トラフで発 生すると考えられる海 溝 型 巨 大 地 震を対 象とした長 周 期 地 震 動のハザード計 算について紹 介する。

はじめに

1

イズは計 算すべき最 短 波 長により決 定されるため、均 一の格 子サイズで離 散 化する場 合には、モデルのごく一 部のみが低 速 度の媒質である場合でも計算領域全体を小さな格子に分割せざるを得ず、
大 規 模なモデル計 算の大きな障 害となっていた。そこで、大きさの異なる格 子を組み合わせることにより効 率 的かつ高 精 度に計 算

3 次 元 差 分 法は、長 周 期 地 震 動をはじめとする地 震ハザードを評を行うことの出来る不連続格子による差分法の定式化が提案され価する際に行われる複雑な地下構造を考慮した地震波伝播シミュている [4][5] 。

レーションにおいて、現 在 最も標 準 的に用いられている手 法であGMSでは、軟弱な（＝地震波速度が低い）表層が存在する浅い部る。しかしながら、詳細な3次元地下構造を十分な精度で離散化し、分（領域 I ）は細かい格子点間隔とし、深い部分（領域 II）は領域 I の

短 周期の地震波まで計算するためには細かな格 子が必 要であるた

3 倍の粗い格 子 点 間 隔とした格 子モデルを用いている（図 1）。領め、実 用 的な計 算においては格 子 数が数 億から数 十 億に及ぶ規 模

域 I の下端部と領域 IIの上端部は格子が重なっており、波動場の連のモデルを扱うことになる。近年の計算機環境の劇的な進歩の恩続性が保たれるよう内挿される。この不連続格子を用いることで、恵を受けたとはいえ、大きな計算機リソース（CPU パワーおよびメ

典 型 的な盆 地 構 造モデルの計 算において、均 一な格 子による場合モリ）を必 要とし、実 務 等で一 般 的に使 用 可 能な計 算 機では数 日と比較し数倍から十数倍程度効率が向上することが分かっている。

以上の計算となる事もしばしばである。
こ の よ う な 状 況 を 打 開 す る 手 段 と し て GPGPU（ General
Purpose Computation on Graphics Processing Unit）の利用が考えられる [1][2][3] 。本 稿では、東 京 工 業 大 学が運 用するTSUBAMEのGPUを用いた 3 次元差分法の大規模並列シミュレーションについて紹介する。

GPU による3 次元差分シミュレーション

２．１

2

GMSによる波動場の計算

本 研 究では、不 連 続な食い違い格 子 [4] を用いた、空 間 四 次・時 間
二 次 精 度の差 分 演 算 子による実 用コードである GMS（ Ground
Motion Simulator）[5] を用いる 。GMS は、防 災 科 学 技 術 研 究 所に
よってパッケージ化された、3 次元差分法により地震波伝播シミュ
レーションを行うためのツール群であり、主に Fortran90 で書かれた差 分 計 算ソルバはソースコードも公 開されている 。

図 1 （中 央）計 算に用いる不 連 続 格 子 。（右）不 連 続 格 子の垂 直 断 面 。領 域 I と領 域 II の接 続部 分で、内 挿のために格 子が重なっている 。（左）領 域 II の最 上 面（A 面）と領 域 I の最 下 面（D 面）
における不 連 続 格 子の水 平 断 面 。

差 分 法による地 震 波 伝 播シミュレーションを行う場 合、格 子サ

13

GPGPU による地 震ハザード評 価

２．２

GPUでの差分計算処理ためGPUでの計 算 処 理と通 信とを同 時に行うことで、通 信に要す
る時 間の隠 蔽を行っている。一 般に通 信の隠 蔽を行う際には、通GMSでは、NVIDIA 社から提供されているCUDA（Compute Unified

信の対 象となる袖 領 域の計 算を事 前に行い、内 部 領 域を計 算してDevice Architecture）を使 用して、差 分 計 算 処 理のほぼ全てをいる間に並行して袖領域の通信を行う手法がとられることが多い。

GPU 上で行うように実 装されている。CUDAでは、演 算 処 理を担しかしこのような方法では、袖領域を計算する際にGPU が苦手と当するGPUと、その演 算 処 理に必 要なデータを格 納するビデオメする不 連 続なメモリアクセスが生じるため、袖 領 域の事 前 計 算そモリ（グローバルメモリ ）により構 成されるデバイスをアクセラのものが足かせとなってしまう可 能 性がある（図 3）。そこで本 研

レータとして用いることを前提としている（図 2 左）。

究では、GMS が 2 つの領域（領域 I 、領域 II）からなる格子モデルを差 分 法の計 算を行う際は、スレッド（ GPUで計 算 処 理を行う際採 用していることに注 目し、一 方の領 域を計 算する間に他 方の袖の実行の最小単位）の集合であるブロックを 2 次元で構成し、計算領域の通信を行うことで袖領域のみの計算を別途行う必要性を回の対 象となる x-y 平 面にブロックを敷き詰めるように配 置してい避した（図 4）。なお、この方法は、不連続格子を用いていないアルる。ブロック内の各スレッドは z 方向の始点から終点まで 1 格子点

ゴリズムにも拡 張が可 能で、事 前 計 算などの余 分なオーバーヘッ

ずつ計算処理を進め、3 次元領域全体の計算処理を行う（ 図 2 右）。

ドが無いことから、通信を隠蔽する際には有効な手段と言える。

差分法のように大量のメモリアクセスを伴う計算ではメモリバン
ド幅がボトルネックになることが多いため、GPU 上に搭 載されている高 速なレジスタやシェアードメモリをキャッシュのように使用して、低 速なグローバルメモリへのアクセスを軽 減する工 夫を行っている。

図 3 通 常 行われる通 信 時 間の隠 蔽 方 法（袖 領 域の事 前 計 算が必 要）。

図 2 （左）GPU のアーキテクチャ、（右）GPU での計 算 処 理 。
x-y 面 方 向の隣 接 参 照には shared memory 、z 方 向の隣 接 参 照には register を使 用 。

２．３

複数 GPUを用いた並列化

複数 GPUを用いた並列化においては、水平二方向（x 方向、y 方向）の領 域 分 割 法を用いている。分 割した各 部 分 領 域には、それぞれ
1 つのGPUを割り付けて計 算 処 理を行う。各 部 分 領 域には、隣 接する部 分 領 域のデータを収める袖 領 域を設け、データが更 新された際に、各 部 分 領 域 間で MPI（ Message-Passing Interface）ライ
ブラリを用いてデータを交換する。
GPU の演算は極めて高速であるために相対的に通信に要する時
間の割 合が大きくなり、CPUのみを用いて並 列 化した場 合に比べて、並 列 性 能が低くなる傾 向がある。GMSでは、これを改 善する

14

図 4 本 研 究で開 発した通 信 時 間の隠 蔽 方 法（袖 領 域の事 前 計 算が必 要ない）。

２．４

並列計算の性能試験

GPU での実 行に対 応した差 分 計 算ソルバについて TSUBAME 2.0を用いて性 能 試 験を行った。使 用したノードには GPUに NVIDIA
Tesla M2050 が 3 基、CPUにIntel Xeon X5670 2.93GHzが 2 基搭載されており、ノード間はInfiniBand 4x QDRにて接続されている。
まず、単体 GPUでの性能を評価するため、GPU 版プログラム、および比較用としてCPU 版プログラムの 1 並列での性能試験を実施した。計 算モデルには領 域 Iが 420 × 420 × 100 、領 域 IIが 140 ×
140 × 200 の 21,560,000 格子からなるモデル（以下、Unit420 と呼ぶ）を使 用し、浮 動 小 数 点 演 算はGPU 版プログラム、CPU 版プロ
グラム共に単 精 度となる。比 較 用の CPU 版プログラムの実 行にはIntel Xeon X5670 の 1CPU コアを使用し、コンパイラにはIntel
Compiler 11.1 を用いている。単 体 GPUでの性 能 試 験の結 果（表1）から、CPU 版プログラムに比べて GPU 版プログラムは 20.4 倍の性能となり、相当な高速化が図られたことが確認された。また、
NVIDIA CUDA に付属する性能解析ツールを用いてGPU-VRAM（グローバルメモリ）間のメモリ転 送 速 度を計 測したところ、最 大で理論性能の 70%以上となることから、律速の要因が演算処理ではなくメモリ転送速度であることが確認された。計算の主要部分に

図 5 並列数（N GPUs ）と- 高速化率（Speed Up ）の関 係 。

おいて、メモリ転 送が理 論 性 能に対して十 分に高 速に行われており、ハードウェアの性能を生かしていることから、更なる高速化の

これは、並列数の増加に伴い各 GPUが担当する格子数が減少する

余地はそれほど大きくはないと考えられる。

ため、相対的に通信の時間が大きくなること、およびGPUで生成されるスレッド数が減 少することが要 因として考えられる。通 常 行
われるシミュレーションのタイムステップ数は数 万ステップであり、モデルサイズに応じた計 算 機 資 源が確 保されている場 合には計算に要する時間（ turn around time）は数分から数十分程度となるため、過 剰な並 列 度による更なる高 速 化の必 要 性は実 用 的にはほとんど無いと考えられる。
また、実行時間と浮動小数点演算数を用いてFLOPS（ Floatingpoint Operations Per Second）を算 出した（図 6）。GPU 版プログラム で は、Unit6720（ 約 55 億 格 子 ）の 256GPU に よ る 性 能 が

表 1 単 体 GPU での性 能 評 価

21.1TFLOPS 、Unit13440（約 220 億格子）の 1024GPUによる性能

続いて、複数 GPUを用いた並列性能の評価を実施した。計算モ

Unit13440 の 1024 並列での性能が 2.3TFLOPSであることから、約

デルには、Unit420 を単位モデルとし、これを水平方向に 2 × 2 、3が 79.7TFLOPS になることが確 認された。CPU 版プログラムでは34 倍の性能が得られたことになる。

× 3 、4 × 4 、8 × 8 、10 × 10 、16 × 16 、32 × 32 個並べて、全体の格子数がそれぞれ 4 倍、9 倍、16 倍、64 倍、100 倍、256 倍、1024 倍となるようなモデル（それぞれ、Unit840 、Unit1260 、Unit1680 、Unit3360 、Unit6720 、Unit13440 と呼ぶ）を使用し、最大で 1024
GPU（342ノード）を用いた評価を行った。複数 GPUでの性能試験の結 果（図 5）から、1GPU 当りのモデル規 模を固 定しGPU 数を増加させる弱スケーリングに関しては、ほぼ線形（実際には線形を超える）の性能が得られていることが分かる。一方、モデルを単位モ
デルに固定し使用するGPU 数を増加させる強スケーリングに関しては、4 GPU では 3.2 倍の演算性能が得られるものの、16 GPUでは7.3倍の性能となり、高並列時に効率が低下することが分かった。

15

GPGPU による地 震ハザード評 価

海溝型巨大地震の長周期地震動の評価

3

本 研 究で開 発したシミュレーションシステムを用いて、南 海トラ
フで発生すると考えられる海溝型巨大地震を対象とした長周期地震 動の試 計 算を行った。南 海トラフの地 震の震 源 域は、最 大で駿河 湾から日 向 灘まで及ぶと考えられており [6] 、計 算 対 象 領 域は九州から関 東までを含む広 大なものとなる。地 震 波 伝 播シミュレー
ションに用いる地 下 構 造モデルと震 源モデルは、次のように設 定した。まず、地下構造モデルは、全国１次地下構造モデル [7] から、
南北 950㎞、東西 1150㎞、深さ 100㎞までの領域を切り出して、水
平 方 向 200m 、深さ方 向 100m（ 8km 以 深ではその 3 倍の大きさ）の格 子 点 間 隔で離 散 化し、約 32 億 点からなる格 子モデルを構 築した。また、震源モデルは、「南海トラフの地震活動の長期評価（第二版）について」[6] を参考に設定した。震源（破壊開始点）で始まった断層運動が、地震波を強く励起する領域（アスペリティ）を破壊しながら同心円状に拡がる様子を、約 43 万個の点震源によってモ
図 6 並 列 数と FLOPS の関 係（GPU：GPU 版
プログラム、CPU：CPU 版プログラム）。

デル化し、差分格子上に配置した。
今 回の計 算では、このモデルを水 平 方 向に 9 × 9 の部 分 領 域に分 割して、それぞれ１つの GPU を割り付けて計 算 処 理を行った。
計 算 結 果は、GMSの１D Dump 機 能を利 用し、地 動 速 度の 1 成 分
を 1ファイルとして東 西、南 北、上 下の 3 成 分について出 力した。
1ファイルには、陸 域に約 2㎞ 間 隔で設 定した約 8 万 観 測 点の毎タ
イムステップ（全 部で 72000ステップ）の地 動 速 度 値が記 録されており、1ファイルで約 90GBである。計 算された波 動 場を可 視 化した例として最 大 地 動 速 度 値の空 間 分 布を図 7 に示す。これらは同じ震 源 域とアスペリティを持っているものの、破 壊 開 始 点の違
いにより地 震 動の空 間 分 布が大きく異なることがわかる。また、
震 源 域から離れた堆 積 平 野において長 周 期 地 震 動が増 幅される特徴が再現されている。
以 上の計 算の実 行 時 間は、TSUBAME2.5 の 81GPU（ 27ノード）を使 用して 2.5 時 間 程 度であった 。一 方、同じ震 源モデル、地 下
構 造モデルに対して、防 災 科 学 技 術 研 究 所で使 用している計 算機（Altix4700）で 252core（Intel Itanium 1.66GHz）を用いた場 合の実 行 時 間は約 43 時 間であった 。南 海トラフなどで発 生する海溝 型 巨 大 地 震については、その発 生パターンの多 様 性が指 摘されており、多 数の震 源モデルに基づいた地 震ハザード評 価が必 要となる。TSUBAMEを使用することで 100ケースを超える多数の計算を現実的な時間で実行できる環境が得られたといえる。

16

おわりに

4

3次元差分法は、複雑な地下構造を考慮した地震波伝播シミュレー
ションにおいて最も標 準 的に用いられている手 法である。本 研 究
では、防災科学技術研究所が開発している3次元地震波伝播シミュ
レーションシステムGMSの差分計算ソルバのGPU 化を行い、大幅な計算性能向上を達成した。東北地方太平洋沖地震の経験から、ハザード評価において巨大地震の発生パターンの多様性を考慮することが重 要な課 題となっている。そのためには可 能 性のある多数の発生パターンを対象とした高精度かつ大規模な地震波伝播シ
ミュレーションが必 要となる。これまでは計 算 機リソースの制 約により困難であったこれらの計算がGPGPUを用いることで現実的な時間で行うことが可能となりつつあり、この環境を活かし、今後の地震ハザード評価を行っていく予定である。
謝

辞本研究では、学際大規模情報基盤共同利用・共同研究拠点、および、
革 新 的ハイパフォーマンス・コンピューティング・インフラの支援によりTSUBAMEを利用しました。また、本研究の一部は、文部科 学 省の「長 周 期 地 震 動ハザードマップ作 成 等 支 援 事 業」の支援によるものです。記して謝意を表します。
参考文献
[1]

青 井 真・西 沢 直 樹・青 木 尊 之， “GPGPUを用いた三 次 元 波
動 伝 播シミュレーション”，日 本 地 震 学 会 2009 年 秋 季 大 会
講演予稿集，A12-09，（2009）[2]

D . M i c h é a , a n d D . K o m a t i t s c h , “A c c e l e r a t i n g a t h r e e dimensional finite-difference wave propagation code using
GPU graphics cards,” Geophysical Journal International.
vol. 182, pp. 389-402, (2010)[3]

T . O k a m o t o , H . Ta k e n a k a , T . N a k a m u r a , a n d T . A o k i ,“Accelerating large-scale simulation of seismic wave
propagation by multi-GPUs and three-dimensional
domain decomposition,” Earth, Planets and Space. vol. 62,
pp. 939-942, (2010).

図 7 南 海トラフの最 大クラス地 震を想 定した地 震
波 伝 播シミュレーションによる最 大 地 動 速 度
値の空 間 分 布 。青 線で囲んだ領 域は震 源 断 層面、震 源 断 層 面 内の黒 線で囲んだ領 域はアス
ペリティ、星 印は破 壊 開 始 点を示している 。

[4]

S. Aoi, and H. Fujiwara, “3-D finite difference method using
discontinuous grids,” Bulletin of the Seismological Societyof America. vol. 89, pp. 918-930, (1999)[5]

青 井 真・ 早 川 俊 彦・ 藤 原 広 行， “ 地 震 動 シミ ュ レ ー タ：
GMS， ” 物理探査， vol. 57, pp. 651-666, (2004)[6]

地 震 調 査 委 員 会， “ 南 海トラフの地 震 活 動の長 期 評 価（第二版）について”，94pp．(2013)[7]

地震調査委員会， “「長周期地震動予測地図」2012 年試作版─ 南海地震（昭和型）の検討 ─ ”，59pp．（2012）17

● TSUBAME e-Science Journal vol.11
2014 年 6 月 20 日 東京工業大学 学術国際情報センター発行 ©
ISSN 2185-6028
デザイン・レイアウト：キックアンドパンチ
編集： TSUBAME e-Science Journal 編集室
青木尊之 ピパットポンサー・ティラポン
渡邊寿雄 佐々木淳 仲川愛理
住所： 〒 152-8550 東京都目黒区大岡山 2-12-1-E2-6
電話： 03-5734-2085 FAX：03-5734-3198
E-mail：tsubame_j@sim.gsic.titech.ac.jp
URL： http://www.gsic.titech.ac.jp/

18

vol.

TSUBAME 共同利用サービ ス『みんなのスパコン』TSUBAME 共同利用サービスは、
ピーク性能 5.7PFlops 、18000CPUコア、4300GPU 搭載
世界トップクラスの東工大のスパコンTSUBAME2.5 を
東工大以外の皆さまにご利用いただくための枠 組みです。

課 題 公募する利 用 区 分とカテゴリ
共同利用サービスには、「学術利用」「産業利用」、「社会貢献利用」、の3つの利用区分があり、さらに「成 果公開」と「成 果非公開」のカテゴリがあります。
ご利用をご検 討の際には、下記までお問い合わせください。

他大学や公的研究機関の研究者の 学術利用［有償利用］

TSUBAME

民間企業の方の 産業利用［有償・無償利用］

共同利用とは…

［有償利用］
その他の組織による社会的貢献のための 社会貢献利用

共同利用にて提 供する計算資源
共同 利 用サービスの利 用区 分・カテゴリ別の利 用課 金 表を下 記に示します。TSUBAME
における計算 機 資 源の割 振りは口 数を単 位としており、1 口は標 準 1ノード
（12 CPUコア,
3GPU, 55.82GBメモリ搭載）の 3000 時間分（≒約 4 ヵ月）相当の計算 機資 源です。
1000 CPUコアを1.5日利用する使い方や、100 GPUを3.75日利用する使い方も可能です。
利用区分

利用者

制度や利用規定等

カテゴリ

利用課金（税抜）※

学術利用

他大学または研究機関等共同利用の利用規定に基づく

成果公開

1口：120,000 円

産業利用

民間企業を中心としたグループ「先端研究基盤共用・プラットフォーム形成事業」に基づく

非営利団体、公共団体等共同利用の利用規定に基づく

社会貢献利用
※成果公開

トライアルユース（無償利用）
1口：120,000 円

成果非公開

1口：480,000 円

成果公開

1口：120,000 円

成果非公開

1口：480,000 円

平成 26 年度の利用課金です。最新の利用課金については、下記 URL をご参照ください。

http://www.gsic.titech.ac.jp/kyodou/kakin

産業利用トライアルユース制度（先端研究基盤共用・プラットフォーム形成事業）
東 工 大のスパコンTSUBAMEを、より多くの企 業の皆さまにご利 用いただくため、初めて
TSUBAMEをご利 用いただく際に、無 償にてご試 用いただける制 度です。
（文部 科 学省 先 端 研 究 基 盤 共 用・プラットフォーム形成事業による助成）

詳しくは、下 記までお問い合わせください。

お問い合わせ●東京工業大学 学術国際情報センター 共同利用推進室●e-mail kyoyo@gsic.titech.ac.jp Tel. 03-5734-2085 Fax. 03-5734-3198
詳しくは http://www.gsic.titech.ac.jp/tsubame/をご覧ください。

11