（様式第 20）成果報告書

共同利用 成果報告書 平成 21 年度 課題種別

利用課題名 CUDA を用いた GPU によるフラグメント分子軌道法の高速化
英文： Acceleration of Fragment MO method using CUDA on GPGPU
利用課題責任者 古賀良太
First name Surname Ryota Koga
所属 株式会社クロスアビリティ
Affiliation X-Ability Co.,Ltd.
URL http://x-ability.jp/
邦文抄録
本プロジェクトでは、GPGPU による高速量子化学計算ソルバーを CUDA を用いて開発し、TSUBAME 上の NVIDIA Tesla C1060 で実行することを目標とした。具体的には、二電子積分など計算負荷の大きい部分をGPGPU で 高 速 化 し た 、 各 種 量 子 化 学 ソ フ ト ウ ェ ア に 結 合 可 能 な 汎 用 量 子 化 学 モ ジ ュ ー ル で ある”XA-CUDA-QM”を開発し、著名な量子化学ソフトウェアである GAMESS, Gaussian に結合し、TSUBAME上での評価を試みた。具体的には、GAMESS + XA-CUDA-QM による FMO、および独自開発済の GPGPU
FMO/RI-MP2 ソフトウェアを Gaussian + XA-CUDA-QM に結合、および評価を試みた。
英文抄録
The purpose of this project is the evaluation of GPGPU original high-performance QM softwaredeveloped using CUDA on TSUBAME. The original software “XA-CUDA-QM” is developed for add-on
to all sorts of QM softwares, and accelerate ERI etc. We tried to connect the software to famous QM
softwares for the purpose of FMO Acceleration, and evaluate both of GAMESS + XA-CUDA-QM andoriginal GPGPU FMO/RI-MP2 + Gaussian + XA-CUDA-QM.

Keywords: GPGPU, QM, CUDA, ERI, FMO

背景と目的して高まっている。

計算機性能の目覚しい向上と、タンパク質をはじめと世界最高レベルのスーパーコンピュータ TSUBAMEする巨大分子も扱える分子軌道計算法の開発により、を用いて、高電力効率、かつ原子・分子レベルの現象生体分子にも第一原理分子軌道計算が適用できるように基づく薬品開発に関する計算を行うことは、マルチに な っ て き た 。 近 年 Graphics Processing UnitGPGPU による FULL-QM スクリーニングを実施するた(GPU) を 搭 載 し た グ ラ フ ィ ッ ク カ ー ド を 汎 用 目 的めの礎となり産業界からバーチャルスクリーニング実用(General Purpose)の計算に利用する GPGPU 計算が化の期待に応えるものである。

普及し始めて来ている。特に NVIDIA 社による CUDA開発環境を用いて様々な計算機シミュレーションが高速化されつつある。

以下、TSUBAME 利用にあたり遭遇した問題点について述べる。
実装に関しては、弊社が独自に所有している

主に製薬業界において、FULL-QM スクリーニング

GPGPU サーバで開発しており、問題は起きていない。

を指向した量子化学計算によるバーチャルスクリーニン

GPGPU による HF 交換項のインターフェース開発以グが待望されているが、主に速度面で実用段階に達し外は、ほぼ計画通りに進行したといえる。ただ、ておらず、研究開発工程に量子化学計算が入り込めてTSUBAME で同プログラムをインタラクティブノードでいない。しかし近年のハードウェアの低価格化・高速化、並列実行するに当たり、関連ソフトウェアなどの設定におよびアッセイの手間を減らす自動リキッドハンドリング

問題が頻発し、TSUBAME 上で開発プログラムを適切システムの導入に伴い、計算化学的手法によるバーチに実行できなかったということが一番の問題点として挙ャルスクリーニングによる事前選定の期待が以前にも増げられ、結果として TSUBAME における評価がほとん

（様式第 20）成果報告書
どできなかった。具体的には、例えば、mpicxx(PGI コ

結果および考察ンパイラ)でコンパイルしたオブジェクトファイルと、nvcc

Valinomycine の密度汎関数法によるエネルギー勾でコンパイルしたオブジェクトファイルのリンクができず、配計算の実行時間とエネルギーの値を表１、２に示す。

既 開 発 済 の FMO/RI-MP2 (MPI & OpenMP &弊社保有マシン（表１）では、Gaussian03 に対しては、CUDA)[1]ソフトウェアの並列計算を流すことができず２～３倍程度の高速化、同様に GPGPU を用いたソフトに終了した。

ウェアである TeraChem[7]に対しても優位な速度での本報告書では、FMO の GPGPU による高速化の根計算を達成した。インプットファイルは Gaussian の幹となる、量子化学計算の GPGPU による高速化に焦Test397 を基にした。なお、Gaussian, GAMESS のビ点を当てた。名大・安田が既に確立した手法[2][3]であル ド に つ い て は 、 Intel Fortran Compiler

る、J Matrix Engine と FMM を用いた GPGPU モジ

11.1/CUDA 2.3/Intel Math Kernel Library 10.2 をュールに HF 交換項などの新しい機能を追加し、CPU用いている。TSUBAME（表２）では、Gaussian のビとのハイブリッド計算を可能とした”XA-CUDA-QM”[4]ルドは PGI Fortran / CUDA 2.2 / ATLAS で行ったたを開発した。これにより、FMO の GPGPU 高速化に必め、弊社保有マシンで評価した Intel 系でビルドした場要な最も困難な部分に目処がついたといえる。将来、合よりもパフォーマンスよりは落ちているが、CPU に比XA-CUDA-QM を GAMESS に結合することで FMO

べて同様の高速化を見せた。

GAMESS が高速化でき、更に弊社が過去に開発したGPGPU に よ る FMO/RI-MP2 ソ フ ト ウ ェ ア と表 1：パフォーマンス測定比較（弊社保有マシン）

Gaussian を XA-CUDA-QM に 結 合 す る こ と で時間[秒]収束エネルギー[a.u.]

Gaussian 03 rev. B.01

289.93-3772.609959

GAMESS 2009 Jan

3819.50-3772.609882

TeraChem beta3 (1GPGPU)

192.76-3772.608483

124.96-3772.609078

113.80-3772.609077

FULL-QM スクリーニングに必要な要素である、FMO
MP2/6-31G*以上の量子化学計算が可能になる。

概要
各種量子化学計算ソフトウェアを加速する汎用GPGPU モ ジ ュ ー ル ”XA-CUDA-QM” を 開 発 し 、Gaussian03[5]に結合してパフォーマンス測定を行った。弊社所有マシンともパフォーマンス比較した。
XA-CUDA-QM に具体的に実装した機能は以下のようなものである。
・ 密度汎関数(DFT)法、ハートリー・フォック法にGaussian + XA-CUDA-QM(1GPGPU)
Gaussian + XA-CUDA-QM(2GPGPU)

密度汎関数は blyp、3-21G 基底を使用
実行環境は、CPU: Intel Xeon E5540 2.53 GHz 8 core
GPGPU: Tesla C1060 x 2

よる電子状態計算
・ 構造最適化(エネルギー勾配)計算
・ マルチコア、マルチ GPGPU に対応

表 2：パフォーマンス測定比較（TSUBAME）

・ 各種汎関数、基底関数対応
・ 既存の GAMESS[6]、Gaussian のインプットフ
ァイルをそのまま使用可能
・ 二電子積分(J 行列、K 行列)、DFT 法におけるGaussian 03 rev. B.01

時間[秒]収束エネルギー[a.u.]

1159.09-3772.609959

407.52-3772.609077

Gaussian + XA-CUDA-QM(2GPGPU)

格子点上の電子密度の計算と密度汎関数の基

密度汎関数は PBE/PBE、3-21G 基底を使用

底空間への変換、および DFT 法によるエネルギ

実行環境は、CPU: AMD Opteron 2.4 GHz 4 core

ー勾配計算における二電子積分の部分を

GPGPU: Tesla C1060 x 2

GPGPU で加速

（様式第 20）成果報告書
まとめ、今後の課題
各種量子化学計算を高速化する汎用 GPGPU モジ
ュール XA-CUDA-QM を開発し、CPU で最速である
Gaussian と結合しパフォーマンス測定比較することで、Valinomycine のエネルギー勾配計算が TSUBAMEの GPGPU ノードで３倍程度高速化することを確認した。
今後の課題は、GAMESS FMO on GPGPU を可能にするために、GAMESS へ XA-CUDA-QM を結合したものを GPGPU クラスタで評価し、１フラグメント１残基のサイズが小さい場合においても CPU マルチコアに比して高速化させることである。将来は、FMO から得られたエネルギー値を別途開発中のエネルギー表示法に よ る 自 由 エ ネ ル ギ ー 計 算 (EnergeticRepresentation : ER) モ ジ ュ ー ル に 組 み 込 み 、GPGPU による FMO-MD-ER という高精度自由エネルギー計算ソフトウェアを開発し、製薬企業の研究開発工程に利用してもらうことである。

参考文献[1] 2009 日本コンピュータ化学会・春季年会 ポスター
資料2P09[2] Yasuda, K., J. Comput. Chem. 2008, 29, 334-342.
[3] Yasuda, K.., J. Comput. Chem. 2008, 4, 1230-1236.
[4] 2010 日本コンピュータ化学会・春季年会 ポスター
資料 2P07[5] M.J.Frisch, et al, Gaussian,Inc., Wallingford CT,2004.
[6] M.W.Schmidt et al., J. Comput. Chem., 14,1347-1363(1993)[7] TeraChem beta3, PetaChem,LLC, Los Altos Hills,CA, 2009