分子動力学シミュレーションソフトウェア「GENESIS」ハンズオン講習会
part1 GENESISの概要
小林千草
理化学研究所・計算科学研究センター・運用技術部門ソフトウェア開発技術ユニット

2022/05/11
1

今日の内容• 13:00-13:10 連絡事項
• 13:10-13:30 GENESISの概要• 13:30-14:20 GENESISでのMDハンズオン (前半)
• 14:20-14:35 休憩• 14:35-15:15 GENESISでのMDハンズオン (後半)
• 15:15-16:00 フリーディスカッション
2

講義の内容• 分子動力学法ソフトウェアGENESIS• GENESISの高速化、性能• GENESISでできること• 今日のハンズオンの簡単な説明

3分子動力学法(MD)シミュレーション
ニュートン方程式による計算

1.
2.

タンパク質（水溶液中）原子に働く力を計算
数値積分（時間発展）の繰り返しにより運動の解析が可能

1msの計算には5×1011回の繰り返しが必要
ボトルネックは力の計算

dri pidtmdpi Fi 力dtpiri (t  t )  ri (t )  tmpi (t  t )  pi (t )  Fi t

運動方程式

数値積分

長時間の原子・分子運動4Generalized Ensemble Simulation Systems(GENESIS)• 理化学研究所にて2010年から開発

Version 1.0: Jung, Mori, et al. WIREs Comput. Mol.
Sci. 5:310-323, (2015)
Version 1.1.x: Kobayashi, Jung, et al. J. Comput.
Chem. 38, 2193-2206 (2017)• スーパーコンピュータの性能を最大限に引き出すことを目的に独自の高速化、超並列手法• HPCIシステムの多くのスパコンにプリインストール(https://www.hpci-office.jp/pages/hardware_software?tab=software)• フリーソフト(LPGLv3)として公開中 → 最新は公開版1.7.1と開発版2.0b
GENESISウェブページ
https://www.r-ccs.riken.jp/labs/cbrt/“GENESIS riken”で検索してください！

5

ソフトウェアGENESIS• 2つのMDエンジンと30を超えるトラジェクトリ解析用ツールからなるアプリケーションスイート• 異なるアルゴリズムを持つ２つのMDエンジン
 超並列・高速化コードを持つspdyn (富岳利用はこちら)
 粗視化モデルやQM/MM計算も可能で、ユーザが比較的容易に機能を導入可能なatdyn• 言語はFortran90、一部がC言語• spdyn/atdyn共にMPIとOpenMPによるハイブリッド並列
6

GENESISの特徴

独自に開発された高速化・並列手法

レプリカ交換MD法(REMD)など

全原子・粗視化モデルによるマルチのサンプリング計算

レゾリューション手法
7

内容• 分子動力学法ソフトウェアGENESIS• GENESISの高速化、性能• GENESISでできること• 今日のハンズオンの簡単な説明

8生体分子MDの力の計算
力の計算は結合性、非結合性相互作用により計算
Etotal 2k(bb) b0Bond (ex. 1-2, 2-3, …)

 ka (  0 )2Angle (ex. 1-2-3, 2-3-4,..)

bonds

12345

水素: 薄灰炭素: 濃灰酸素: 赤窒素: 青…

angles Vn [1  cos(n   )] Dihedral (ex. 1-2-3-4, …)結合性O(N)dihedrals

126
 

r
rqq
  0ij0ij
 i j



2



  ij  r rrij i, jbonding   ij  ij  van der Waals
Coulomb(ex. 1-5, …) :(ex. 1-5, …) :演算時間のボトルネックは非結合性相互作用計算

非結合性O(N2)9非結合性相互作用• ボトルネックとなる非結合相互作用をカットオフ長より近い部分と遠い部分に分け、遠い部分をフーリエ変換により逆空間で計算• 直接のペア計算はNのオーダーとなる
全ペア
O(N2)

カットオフ長より近い部分
O(CN)+ 遠い部分

126
 

rrqqerfc(r)exp(k 2 / 4 2 )  0ij
0ij
ijij


FFT(Q(k ))  2
 f (rij )  ij  
2
rrr
kij ij k 0 ij  rij  R &i , jbonding  実空間, O(CN)
計算・メモリアクセス・１対１通信

逆空間, O(NlogN)
全体通信10

ドメイン分割:Midpoint cell method
Jung et al. J. Comput. Chem. 35, 1064 (2014)

1.
2.
3.

シミュレーション空間をMPIのプロセス数に応じてサブドメインに分ける
サブドメインを更に小さなセルに分ける
MPIコミュニケーションは隣接プロセスと境界のセルの部分について行う

利点•

高い並列効率•

プロセス数が増えると演算、メモリ双方が減少
11

スーパーコンピュータ「富岳」
1st in TOP500, HPCG, HPL-AI and Graph500 (Jun. & Nov. in 2020 & 2021)• 158,976 nodes (1 CPU/node)• CPU: A64FX– Armv3.2-A SVE 512 bit SIMD
– 48 cores (12cores/CMG)– Normal 2.0 GHz (boost 2.2GHz)••••

メモリ: 32 GiB/node
ストレージ: 3階層(LLIO, FEFS, cloud)I/O: PCIe Gen3 x 16 lane
Interconnect: Tofu Interconnect D (28 Gbps x 2 lane x 10 port)
12

「富岳」に向けた高速化
短距離相互作用Version 2.0b

Jung et al. J. Comput. Chem. 42, 231-240 (2021)
https://doi.org/10.1002/jcc.26450

1. 力の計算のループ長を伸ばす
2. 力の計算と対生成での座標等の配列構造を変える
3. L1 cacheに対してprefetchを掛ける
4. 構造体内の配列に“CONTIGUOUS”属性を付ける

長距離相互作用1.

FFT計算やグリッド計算の手法を複数用意し、計算サイズや並列度により実行時に選択

bバージョン (GENESIS2.0b)として公開中（現在正式公開に向け準備中）

「富岳」でのGENESIS 2.0bの性能「京」の1/8のノード数利用で４倍の性能

11.9 ns/day

Jung et al. J. Comput. Chem. 42, 231-241 (2021).

14

内容• 分子動力学法ソフトウェアGENESIS• GENESISの高速化、性能• GENESISでできること• 今日のハンズオンの簡単な説明

15

GENESISでできること (MD編)
GENESISのマニュアルより(chapter 3)

Version 1.7.1

Version 1.7.1 & 2.0b

16

GENESISでできること (解析編)

Version 1.7.1

トラジェクトリ解析用ツール(CPUマシンで利用可)の一部
解析ツールのほとんどはデスクトップ、ラップトップでも利用可能•

Distance/angle/dihedral angles計算 : trj_analysis•

RMSD計算: rmsd_analysis•

PCA計算: avecrd_analysis, flccrd_analysis, eigmat_analysis, prjcrd_analysis(avecrd_analysis, flccrd_analysisでRMSF計算も）•自由エネルギー解析: mbar_analysis, wham_analysis, pmf_analysis …

•

拡散計算: msd_analysis, diffusion_analysis•

膜分子の計算: lipidthink_analysis, tilt_analysis…

17

GENESIS 2.0bについて• 高速化されたspdyn (マシンやMPI数により最適な方法を自動的に選択）• より長い時間幅の計算、新しいmultiple time step(MTS)手法が可能(Jung & Sugita J. Chem. Phys. 153 234115 (2020), Jung et al. J. Chem. Theory Comput. 17, pp5312-5321 (2021))• 可能な計算 SPDYN & all atom FF (CHARMM/AMBER FF)– MD, Minimization– Simulations with replicas: REMD, REUS, gREST, GaMD, String method• 2.0bのSPDYNで出来ない機能– Leapfrog integrator (削除)– Langevin thermostat (削除)
– FEP (1.7.1を利用ください)• 2022年初夏に2.0として正式公開予定
18

GENESISの使い方

Version 1.7.1

現在2.0用を作成中

チュートリアル、サンプルインプットを用意(バージョンに合わせて更新)

レベル別 (Level1-3)

https://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/• PDBからの入力ファイルの作成• システムのセットアップ、シミュレーション、解析と一連の計算の流れを確認できます

必要な計算環境19

MDのセットアップ
チュートリアルhttps://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/

Version 1.7.1

現在2.0用を作成中
ただし、どのバージョン
でも基本は共通

vmd1によるセットアップ(CHARMM力場:水溶性タンパク質)
vmd1によるセットアップ(CHARMM力場：水溶性タンパク質,DNA-protein)
AmberTools2によるセットアップ(AMBER力場:水溶性タンパク質,DNA-protein)
Charmm-gui3によるセットアップ(CHARMM力場：膜分子)
以下のソフトのライセンス・利用条件は各自でご確認ください
1. https://www.ks.uiuc.edu/Research/vmd/
2. http://ambermd.org/AmberTools.php
20
3. https://www.charmm-gui.org/

GENESIS計算の例 #1
レプリカ交換MD法によるサンプリング

2D REMD https://www.r-ccs.riken.jp/labs/cbrt/samples/sample-of-2d-remd/

Version 1.7.1 & 2.0b

Sugita & Okamoto, Chem. Phys. Lett. 314, 141–151 (1999),
Sugita et al., J. Chem. Phys. 113(15), 6042–6051 (2000).

異なる物理パラメータを持つ複数のレプリカ（=シミュレーションシステムのコピー）を同時に計算することでより効率の良いサンプリング計算を達成

Replica-exchange molecular dynamics simulation (REMD) : https://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/tutorial-10-1/
Replica-exchange umbrella sampling (REUS) : https://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/tutorial-11-1/
Replica-exchange solute tempering (gREST) : https://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/genesis-tutorial-12-1/

21

GENESIS計算の例 #2

Version 1.7.1

Free-energy perturbation によるタンパク質-リガンド結合エネルギー計算
https://www.r-ccs.riken.jp/labs/cbrt/tutorials2019/genesis-tutorial-15-1/

Kim et al. J. Chem. Theory Comput., 16, 7207-7218 (2020).

22

GENESIS計算の例 #3

Version 1.7.1

Cryo-EM flexible fitting•••

GGBP using a simulated density map
Multi-scale cryo-EM flexible fitting
Flexible fitting refinement for de novo models
T. Mori et al., Structure, 27, 161-174.e3 (2019).
O. Miyashita et al., J. Comput. Chem., 38, 1447-1461 (2017).
M. Kulik et al., Front. Mol. Biosci., 8, 631854 (2021).
T. Mori et al., J. Chem. Inf. Model., DOI: 10.1021/acs.jcim.1c00230.

GGBP using a simulated density mapより
初期構造 (シアン)と fit後の構造 (ピンク) の比較

Version 1.7.1

23

内容• 分子動力学法ソフトウェアGENESIS• GENESISの高速化、性能• GENESISでできること• 今日のハンズオンの簡単な説明

24

今日のハンズオン
1. 富岳でのシミュレーション• 富岳用に高速化されたGENESIS2.0bを使ってspdynでの計算を行います
2. レプリカ交換MD(REMD)計算• GENESISの特徴であるREMD計算を富岳で行います25

ここまでのまとめ• GENESISは
 スーパーコンピュータの性能を最大限に引き出すことを目的に独自の高速化、超並列手法を持つフリーソフト
 ２つのMDエンジンと30を超える解析ツールを持つ
アプリケーションスイート
 利用方法、サンプルは公式サイトに用意• 今日は富岳でのGENESIS計算のハンズオンを行います26