分子動力学計算専用計算機
MDGRAPE-4の開発

泰地真弘人

taiji@riken.jp

理化学研究所 主任研究員
生命システム研究センター副センター長

Current MDGRAPE-4 System分子動力学シミュレーション
 力の計算 ニュートンの法則で原子の運動を計算  求めたい値を計算
 時間刻み 1fsec→ μsec～msecまで追いかける 

タンパク質の動的な性質   →

原子から細胞へ
Time
s
msμs
ns
ps
fs

細胞
大規模構造変化
局所的構造変化J. E. Steinberg et al.,on youtube.com

分子混雑
K computer

分子振動nmμmmm

Size

R. Harada, Y. Sugita, M. Feig,
JACS 134(10), 4842-4849 (2012).

Y. Shan et al., PNAS 106(1), 139–144 (2009). 分子シミュレーションの問題
Times
ms
μs
ns
ps
fs

Strong scaling –

細胞大規模構造変化
局所的構造変化
分子振動nm

分子混雑
Weak scaling – K computer
μmmm

Size

 時間刻み～fsec 目標到達時間
μsec～sec
109～1015 のギャップを埋める必要性京コンピュータ上での分子動力学シミュレーションのスケーリング
強スケーリング～50 原子/コア~300万原子/Pflops

1,674,828
atoms

7

専用計算機の歴史
 第一世代 : 初期の電子計算機▷Atanasoff-Berry Computer 第二世代 : 「丸ごと」専用計算機▷デルフト分子動力学計算機(Delft Molecular Dynamics Processor)など▷開発が大変で、時間かかった

 第三世代 : m-TIS/GRAPE▷パソコンやワークステーションの加速装置

 第四世代 : Anton, MDGRAPE-4▷System-on-Chip専用計算機・アクセラレータ

m-TIS:スピン系のモンテカルロ計算専用計算機
 日本における専用計算機のさきがけ
 東京大学理学部
現工学部伊藤伸泰助教授と共同
 1987-88：1号機
学部生のとき、趣味で製作
 1990-92: 2号機
書き換え可能ゲートアレイを使った
たぶん最初の計算機

m-TIS (1987)
  
 

GRAPE計画
 1989～ GRAPE (GRAvity PipE）計画
 銀河・銀河団、球状星団、惑星形成、宇宙論など
 重力多体問題のための専用計算機
 原子を星と思えば、分子にも使える 東京大学教養学部宇宙地球科学教室で始まり、
 その後東京大学理学部/理化学研究所/国立天文台

GRAPEの歴史

Eight Gordon Bell Prizes`95, `96, `99, `00 (double), `01, `03, `06

GRAPE as Accelerator Accelerator to calculate forces
by dedicated pipelines
HostComputer

Particle Data

GRAPE
Results

Most of Calculation  GRAPEOthers
 Host computer•Communication = O(N) << Calculation = O(N2)•Easy to build, Easy to use•Cost Effective

GRAPE in 1990s
 GRAPE-4(1995): The first Teraflopsmachine
Host CPU~ 0.6 Gflops
Accelerator PU~ 0.6 Gflops
Host:Single or SMP

GRAPE in 2000s
 MDGRAPE-3: The first petaflops machine
Host CPU~ 20 Gflops
Accelerator PU~ 200 Gflops
Host:Cluster

MDGRAPE-3: 並列性能の問題
 Gordon Bell 2006 Honorable Mention, Peak Performance Amyloid forming process of Yeast Sup 35 peptides
 1700万原子 0.55sec/step
 実効性能185 Tflops 効率 ~ 45 %
 ペタスケールの性能には100万原子以上が必要
 ホスト計算機＋ネットワークの制約Problem in Heterogeneous System - GRAPE/GPUs In small system▷Good acceleration, High performance/cost In massively-parallel system▷Scaling is often limited by host-host network,
host-accelerator interface
Typical Accelerator System

SoC-based System
System-on-Chip

Accelerator

Accelerator

Low-Bandwidth
HostComputer

HostComputer

Host NetworkAccelerator

Accelerator

Generalpurpose core

Generalpurpose core

Embeddedmemories

EmbeddedmemoriesHigh-Latency

High-Bandwidth
Low-Latency

HostComputer
Low-Bandwidth
High-Latency

Network
Low-Latency

Anton (D.E.Shaw研究所)




Bill Gates visit at Schroedinger Inc.

Anton D. E. Shaw Research 専用パイプライン（GRAPE類似）+ 汎用CPUコア+ 専用ネットワーク
 ~20μsec/step, ~10μsec/day
 Anton-2 : ~2μsec/step, ~85μsec/day
 汎用部・ネットワークとの統合の重要性を示した

R. O. Dror et al., Proc. Supercomputing 2009, in USB memory.

MDGRAPE-4
 Antonに追いつき追い越す 目標性能▷5万原子の系を一日に数μsec

 世界的に使われているソフトウェア
GROMACSを移植
 完成: 2014年
 MDGRAPE-3からの拡張▷130nm → 40nm process▷ネットワークと汎用CPUをシステムオンチップに集積

MDGRAPE-4 System
MDGRAPE-4SoC
12 lane
6Gbps
Electric= 7.2GB/s(after 8B10Bencoding)
48 OpticalFibers

12 lane
6Gbps
Optical

Total 512 chips(8x8x8)

Node(2U Box)
Total 64 Nodes(4x4x4)=4 pedestals

MDGRAPE-4 BoardMDGRAPE-4 System-on-Chip
 理研QBiCで設計▷アカデミアで設計したLSIとして最大▷理研とD.E.Shaw Research だけが可能 40 nm (日立製作所), ~ 230mm2
 専用パイプライン64本@ 0.8GHz 2.5TFLOPS 汎用コア65個
Tensilica Extensa LX4@0.6GHz
 3次元トーラスネットワーク@ 7.2GB/sec/一方向SoC Block Diagram
Instruction
Memory (CGP)
Pipeline Blocks

Control GP

Instruction
Memory (1)GP Blocks

8 Pipelines
Core

8 Pipelines

CoreInstruction
Memory (2)

IMem

IMem
DMem

CoreIMem
DMem

DMem
Core

Message
QueueIMem
DMem

Bus Arbiter/DMAC

8 Pipelines

CoreIMemDMem

Bus Arbiter/DMAC

Global Memory

Network Unit

xyz

6Gbps x 12 x 6

FPGA IF
100MHz x 128

SoC Physical ImageFPGA Interface

Pipelines
GlobalMemory
GP
Cores

ControlGPGP
Cores

Pipelines
Inst.
Mem.

SerDes & Network IFs

SerDes & Network IFs

SerDes & Network IFs

Inst.
Mem.

Pipeline Functions
 Nonbond forces and potentials

 Gaussian charge assignment & back interpolation
 Soft-core ~50G interactions/sec/chip = 2.5 TFLOPS equiv.

Synchronization
 8-core synchronization unit
 Tensilica Queue-based synchronization
send messages▷Pipeline → Control GP▷Network IF → Control GP▷GP Block → Control GP

 Synchronization at memory– accumulation at memory

Technical Advantages of Special-Purpose
Computers for MD
 High performance▷> 2Tflops/chip Low communication latencies
 Low power consumption▷65W/chip (Worst), 50Gflops/W▷65KW system (MAX, currently ~40KW)▷~10 times better than GPUs using the sametechnology

 Communication latencies and power consumption
will become more serious problems in futurehigh-performance MD simulations

Current status of MDGRAPE-4
 Hardware▷Mostly completed

 Software▷Porting GROMACS 5▷Collaboration with Prof. Lindahl, Stockholm
University

Reflection
Though the system is not finished yet
 Latency in Memory Subsystem▷More distribution inside SoC

 Latency in Network▷More intelligent Network controller▷Better SERDES Pipeline / General-purpose balance▷More general-purpose computing power▷Specialized functions in GP▷increase # of Control GP or faster messaging system Pipeline▷Automatic balancing within a block▷FMM support

Future Perspectives of MD machine Single-chip system▷ Multichip Modules using 2.5D technology▷ >1/16 of the MDGRAPE-4 system can be embedded into asingle module with 11nm process▷ For typical simulation system it will be the most convenient▷ Still network is necessary inside SoC

 For further performance improvement▷ # of operations / step / 20Katom ~ 109▷ # of arithmetic units in system ~ 106 /Pflops
Exascale means “Flash” (one-path) calculation▷ More specialization is required今後の高性能計算

TOP500CPU

 さらなる並列化の必要性
 ますます性能向上が困難にTOP500 Average Power Efficiency(MFLOPS/W)MFLOPS/W  





Linpack GFLOPS Year Pro : Exponential Growth Con: Growth speed slower than performance growthDilemma in power performance Larger systems require better powerperformance For better power performance▷Lower operational frequency▷More arithmetic units These make “real efficiencies” ofmassively-parallel systems lower

Importance of strong scalingNot only for MD
 Fine-grain parallelization▷Hardware & software support▷May decrease power efficiency & nominal
peak performance Data flow computing
 Network-driven computing
 Large-scale Artificial Neural Network

Programming models for fine-grain paralleloperations
 Erlang▷message送信/receive▷独立アドレス空間

 Future / Promise▷http://en.wikipedia.org/wiki/Futures_and_promises▷C++11, Java/Scala etc.
▷Futureで関数の「予約」・完了待ち▷Promiseで関数の結果・完了通知▷Promise pipelining による通信の削減

京コンピュータから京コンピューティングへ 京の次＝エクサ(1018) スケール?
 ほとんどの生命科学系計算は（単一計算では）Exaflopsに到達しない▷累積計算ではExaflopsを利用可能▷分子シミュレーションなど、京クラスの計算の高速化が重要なものが多い

 京クラスの計算をより高い実効性能で多量に実行する「京コンピューティング」の実現が重要Acknowledgements
 RIKEN
Mr. Itta Ohmura
Dr. Gentaro Morimoto
Dr. Yousuke Ohno
Mr. Aki Hasegawa
Dr. Noriaki Okimoto
Dr. Yoshinori Hirano Japan IBM Service
Mr. Ken Namura
Mr. Mitsuru Sugimoto
Mr. Masaya Mori
Mr. Tsubasa Saitoh

 Hitachi Co. Ltd.
Mr. Iwao Yamazaki
Mr. Tetsuya Fukuoka
Mr. Makio Uchida
Mr. Toru Kobayashi
and many other staffs

 Hitachi JTE Co. Ltd.
Mr. Satoru Inazawa
Mr. Takeshi Ohminato