筑波大学計算科学研究センターにおけるPCクラスタのあゆみ
朴 泰祐
筑波大学計算科学研究センター・センター長

2021/12/08

1

PCCC21
Center for Computational Sciences, Univ. of Tsukuba

筑波大学計算科学研究センター
Center for Computational Sciences (CCS)
広範な計算科学分野の研究者と⾼性能計算⼯学分野の研究者が常駐する研究センターnn

n

計算科学分野nn

素粒⼦物理，宇宙物理，物性物理，地球環境，⽣命情報

計算機⼯学分野n

⾼性能計算システム，グリッド，⼤規模データベース，マルチメディア

応⽤側のニーズとシステム側のシーズの融合nnn

アプリケーションの研究者とシステムの研究者の⽇常的な共同研究
このようなセンターは⽇本中にほとんどない

実応⽤に即した⾼性能計算に関する研究の⽇常的推進
研究に必要な計算機を、ただ買ってくるのではなく⾃ら設計し作り上げる（メーカーとの共同研究開発で）

nn

2

2008/06/13 計算科学研究センター紹介

Center for Computational Sciences, Univ. of Tsukuba

PACSとは？
n

筑波大学においてアプリケーション指向で開発・導入を続けてきた並列計算機・スーパーコン
ピュータのプロジェクト名
1992年の計算物理学研究センター（CCP）設立 ⇒ CP-PACS (PACS-VI), MPP, 筑波大+日立
2004年の計算科学研究センター（CCS）への改組⇒ PACS-CS (PACS-VII), HA-PACS (PACS-VIII), COMA (PACS-XI), Cygnus (PACS-X)

nnnnn

星野力教授＋川合敏雄氏（当時日立）による「マイクロプロセッサの並列処理で核炉心シミュレーションができないか」の発想から8bit マイクロプロセッサMC6800を9台，2次元トーラス結合したPACS-9が開発された（1978年）
PACS = Processor Array for Continuum Simulation⇒ 後に PAX (Processor Array eXperiment) (PAX-128から)⇒ さらにCP-PACS = Computational Physics by Parallel Array Computer System⇒ さらに PACS-CS = Parallel Advanced Computer System for Computational Sciences⇒ さらに HA-PACS = Highly Accelerated Parallel Advanced system for Computational Sciences
HA-PACSの後，「PACSなんとか」という命名を廃止，ローマ数字の番号を補助名とし，システ
ム名は独立に付けるようになった（システムニックネームは付ける）

32021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba

筑波大学におけるPACS (PAX)シリーズ開発の歴史
nnn

1978
1st gen: PACS-9

1977: research started by T. Hoshino and T. Kawai
1978: PACS-9 (with 9 nodes) completed
1996: CP-PACS, the first vendor-made supercomputer at CCS, ranked as #1 in TOP500
1980

2nd gen. PACS-32

Year
1978
1980
1983
1984
1989
1996
2006
2012~13
2014
2019

1989
5th gen, QCDPAXNamePACS-9
PACS-32
PAX-128
PAX-32JQCDPAX
CP-PACS
PACS-CS
HA-PACSCOMA (PACS-IX)
Cygnus (PACS-X)

1996
6th gen: CP-PACS
Ranked #1 in TOP500

Performance
7 KFLOPS
500 KFLOPS
4 MFLOPS
3 MFLOPS
14 GFLOPS
614 GFLOPS
14.3 TFLOPS
1.166 PFLOPS
1.001 PFLOPS
2.5 PFLOPS

2006

2012~2013

7th gen: PACS-CS

8th gen: GPU cluster HA-PACS

nnn

2014

2019

9th gen: COMA

10th gen: Cygnus

co-design by computer scientists
and computational scientists
toward “practically high speedcomputer”
Application-driven development
Sustainable development
experience

AHeDD2019/IPAB2019@Kawasaki

4

2019/11/29

Center for Computational Sciences, Univ. of Tsukuba

変革１：PCクラスタの導入〜PACS-CS (2006)
1996/11にTOP500 #1となったCP-PACS (HPL: 360GFLOPS)の後，しばらく大型システム予算がつかずCP-PACSを10年近く運用⇒#1になったマシンは退役までTOP500を落ちることはなかった
n 概算要求ベースの研究システムをようやく導入⇒実装をどうする？
n

もはやCP-PACS型のMPP開発は大学予算では不可能
n PCクラスタで検討，ただしn

通常のクラスタではCPU性能：メモリバンド幅：ネットワークバンド幅の比率が悪い
n CS (Computational Science)のためには総ピーク性能追求よりもバンド幅追求で実行効率重視
n 相互結合網は？（Myrinetなど？）
nn

安価なGbEthernetを束ね，latencyよりもbandwidthを稼ぐ戦略
nn

5Single core CPU x 1, DDR memory, GbE x 8 (6 for computation, 2 for management)

6本のGbEで3次元のHXB (Hyper Crossbar Network)をソフトウェ実装 (PM-Ethernet for 3D HXB)

2021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba

Motherboard+chassis
CPUChipset

PCI bridge

GbE NICs
VGA
USBx2

Memory68 portsof RJ-45

Center for Computational Sciences, Univ. of Tsukuba

ソフトウェア：SCoreの導入⇒2560 nodeシステムが完成
nn

CP-PACSで培った3-D HXB (Hyper Crossbar)ネット
ワークの資産（アルゴリズム上のルーティングなど）を活用
ネットワークはEthernetなのでソフトウェアでのルーティングを行う
SCoreを導入し，ネットワークドライバであるPMを3D-HXB用に構築

nn

ハードウェアは日立，ソフトウェアは富士通という画期的なタッグ
SCoreとPM-Ethernetの実装技術は富士通がリードしていた筐体設計は日立，3D-HXBの経験も豊富

nnnn

3-DHXBはメッシュ・トーラスに近い特性を持っていて，ノード間のジッターに弱かった
SCoreの導入を機にPCクラスタコンソーシアムに加入
72021/12/08

PCCC21HA-PACS (2560 node), 2006
Hitachi + Fujitsu
16x16x10 3D-HXB with PM/SCore
Peak 14.3 TFLOPSHPL 10.35 TFLOPS (#34 in TOP500, 2006/06)

Center for Computational Sciences, Univ. of Tsukuba

変革２：マルチコアCPU時代〜T2K-Tsukuban

筑波大・東大・京大のアライアンス (T2K) に基づく共通基本仕様のクラスタの構築
AMD Opteron (quad-core)の全面採用
InfiniBand DDR x 4chan. によるFull Bisection
Bandwidth Interconnectnnn

PACSシリーズには含まれていない
PACS (PAX) は研究開発予算によるシステム開発・実装・運用
T2K-TsukubaはVPP-5000で運用されていたスーパーコンピュータ・レンタル予算の系列（元々は学内センターだった学術情報メディアセン
ターのスーパーコンピュータ予算をCCSに移行）⇒ Oakforest-PACSも同様

nnn

筑波大として初めて外資系システムを導入

T2K-Tsukuba (640 node), 2008
Appro X3-Server, Opteron quad-core x 4/node
Peak 95.3 TFLOPSHPL 76.46 TFLOPS (#20 in TOP500, 2008/06)

Appro + Cray Japan
Mellanox, DDN

nn

82021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba

変革３：GPUの導入〜HA-PACS
nn

本格的なGPU時代に突入，演算性能重視＋アクセラ
レータ対応コード開発
HA-PACS = Highly Accelerated PACS (PACS-VIII)PCI gen3 x 40 lane を搭載したIntel SandyBridge x 2でNVIDIA M2090 (Fermi) GPUx4をフルバンド幅でサポートn

InfiniBand QDR x 2
その後拡張部分としてTCA (Tightly CoupledAccelerator)というFPGAを追加したHA-PACS/TCAを導入，Green500で3位を獲得（NVIDIA Kepler K40導入）
nn

3.5 GFLOPS/W (HPL ratio 76%)
IvyBridge x 2
TCA (Altera Stratix-V) interconnect for GPU direct comm.

nnn

92021/12/08

PCCC21HA-PACS (268 node), 2012
Appro, Intel SDB, NVIDIA M2090
Peak 802TFLOPSHPL 421.6 TFLOPS (#41 in TOP500, 2012/06)

Center for Computational Sciences, Univ. of Tsukuba

変革４：many-core導入〜COMA, Oakforest-PACSn

COMA (Cluster Of Many-core Architecture,PACS-IX)Intel KNC (Knights Corner)n Xeon + KNC
n InfiniBand FDRnn

COMA (393 nodes), 2014
Cray, Intel KNC+IB FDR
Peak 1001 TFLOPSHPL 746 TFLOPS(#51 in TOP500 2014/06)

Oakforest-PACS (JCAHPC with 東大)Intel KNL (Knights Landing)n Intel OmniPath (OPA) x 4
n Linux + McKernel
n MCDRAM
nn10

Oakforest-PACS (8208nodes), 2016
Fujitsu, Intel KNL+OPA
Peak 25 PFLOPSHPL 13.5 PFLOPS(#6 in TOP500 2016/11)

cache mode | flat mode

2021/12/08

PCCC21Center for Computational Sciences, Univ. of Tsukuba

変革 ５：複数種類のアクセラレータ•••••Cygnus (PACS-X)
GPUだけでは最終的に加速できないコード部分（アムダール則的に）にFPGAを投入⇒ Multi-Hybrid Accelerating Supercomputer
CHARM concept (Cooperative HeterogeneousAcceleration with Reconfigurable Muilti-devices)
NVIDIA Tesla V100 x4 + Intel Stratix10 FPGA (32 nodeのみ)
宇宙物理コードにおいてGPUのみの場合に対し最大17倍の高速化
The world first practical supercomputer with Multi-Hybrid (GPU +FPGA) Accelerating Architecture: 320 GPUs (V100) + 64 FPGAs(Stratix10) in 80 nodes

Cygnus (81 nodes) + 4 nodes, 2019 (+2020)
NEC, NVIDIA V100 x4 + Intel Stratix10 x 2 (32 nodes)
Peak 2.5 PFLOPSHPL 1.58 PFLOPS (#264 in TOP500 2019/06)

11Center for Computational Sciences, Univ. of Tsukuba

2021/12/08

PCCC21

CHARM: Cooperative Heterogeneous Acceleration with Reconfigurable Multi-devices
multi-physics/multi-scalecomplicated problem

Basic cluster with GPUs (by InfiniBand)

invoke GPU/FPGA kernsls
data transfer via PCIe
(invoked from FPGA)
GPU
CPU

PCIe

FPGAcomp.
comm.

CPU

PCIe
Application oriented
FPGA-FPGA communication

GPUFPGAcomp.
comm.

100Gbps direct optical link（参考）朴泰祐, “oneAPIによるFPGAとGPUの複合演算加速
アプリケーション実行”, Intel FPGA Technology Day, 2022年
12月9日
122021/12/08

PCCC21FPGA Network

Center for Computational Sciences, Univ. of Tsukuba

GPU-only vs GPU-FPGA coworking on astrophysics simulation ARGOT

Single node GPU (V100) + FPGA (Stratix10) evaluation on Cygnus
R. Kobayashi, et. al., “Accelerating Radiative Transfer Simulation with GPU-FPGA Cooperative Computation”, ASAP2020, Jul. 2020.

132021/06/21

HEART2021 Special Session

Center for Computational Sciences, Univ. of Tsukuba

PCクラスタの導入の最大のメリット＝拡張性+自由度nPACS-CSから4世代に渡るPACSシステム（+T2K+OFP)の演算装置の変遷
nnnnn

single-core
multi-coreGPUmany-coreGPU+FPGA

特にGPU, FPGAの導入はPCクラスタだからこそ可能n 演算器，ネットワーク，メモリ，ストレージの組み合わせをアンサンブルできること
がPCクラスタのメリットn 筑波大CCSはcodesignの「老舗」⇒ 基本的なクラスタの構成に対し演算加速やネットワーク等のシステム拡張のチャレンジを行ってきた⇒ 拡張容易性が大事
n142021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba

次の一手=Cygnus-BD (Big Memory Supercomputer)nkey word: 大規模計算科学と超高速ファイルシステムのためのNVRAMの活用
PMEM (Persistent Memory)技術が実用になっている
n PMEMは memory mode と I/O mode (Intel: app-direct) の両面を持ち混用も可能
n memory modeではDDRをlast level cacheとしてその向こうにPMEMという使い方もできる
nn

Extreme Computing + Big Data + AI
宇宙物理，気象などではノード内の演算性能に対しメモリ容量が小さ過ぎる
n アプリによってはバンド幅よりも容量が大事
n in-situ的なアプリケーションのカップリング（例：HPC+AI）では local file systemの速度も重要
nn

AI for HPC (HPC with AI): Cygnus-EC + Cygnus-BD が次の一手
Cygnus-EC: Cygnus for Extreme Computing（これまでのCygnusをrename）
n Cygnus-BD: Cygnus for Big Data（新規調達）
n15

2021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukubaなぜ Big Memory が必要なのか？
CPU/GPU Performance andこの8年でCPU性能は50xにMemory size per core Fugaku
なったがメモリサイズは
n3.8xしか増えてない
n データサイエンス，AIにとっては深刻な問題
nnPersistent Memoryの導入
n16

メモリサイズとストレージ性能が鍵memory modeによりメモリサイズ問題を，direct mode
によりストレージ性能問題を解決

2021/12/08

PCCC211,000
100
101Summit
CPU/GPU performance [PFLOPS]

K

10200

25

Oakforest-PACS/Cori

1.90

1.84

Memory size per core [GB]02012

5142014

2016

0.75

FugakuSummit2018

Center for Computational Sciences, Univ. of Tsukuba

0.64

2020

Cygnus-BDのイメージ（仕様変更の可能性あり）
2022/08運用開始（目標）n 総合性能nnn

260 nodes, 5.6 PFlops, 300 TB

ノード仕様（現状）~2 TFlops (CPU), ~20 TFlops (GPU)n 128 GB DRAM, 1 TB PMEM
n 3 TB NVMe SSD
nn

相互結合網nn

17200 Gbps full bisection

共有ファイルシステム（通常）n200Gbps full bisection

9 PByte, 80 GB/s
2021/12/08

PCCC21CPU2 TF

GPU20 TF

DRAM 128 GB
PMEM 1 TB

260 nodes

NVMe SSD 3 TB

Center for Computational Sciences, Univ. of Tsukuba

PMEMを用いた ad hoc ファイルシステム
node-local storageを利用した高速ファイルシステム
n 演算性能とI/O性能のギャップを埋めるn• 筑波大CCSにおいて CHFS (Consistent Hash File System) ad hoc file system を開発中
• metadataを持たず逐次処理部分を排除することで性能とスケーラビリティを向上• CHFSについては2022/01の HPC Asia 2022 でも発表
O. Tatebe, et.al., “CHFS: Parallel ConsistentHashing File System for Node-local PersistentMemory”, HPC Asia 2022, Jan. 14th, 2022.

18

2021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba

おわりに
筑波大学CCSでは，その始まりであるCP-PACS (MPP)から，より柔軟性が高く対価格性能比に優れたPCクラスタに舵を切り，15年以上に渡り研究開発を続けてきたn PCクラスタは構成の柔軟さ（design parameter空間の広さ）に加え，PCIeなどに支えられたアーキテクチャ拡張性が幅広いバリエーションを生んでいる⇒ 我々のcodesigningにとって非常に強力
n single-core ⇒ multi-core ⇒ GPU ⇒ many-core ⇒ FPGA (with GPU) ⇒ PMEM と最先端のテクノロジを駆使して，単なるシステム調達だけでなく研究開発要素を含むスーパーコンピュータの導入をしてきた
n 超並列・大規模システムは電力性能的にMPP実装が避けられないが，小規模〜大規模システムでは圧倒的にPCクラスタが有利
n アクセラレータの導入はPCクラスタの機能・性能を飛躍的に高めた
n CCSは今後も先端的スーパーコンピュータの開発を続けていく
n19

2021/12/08

PCCC21

Center for Computational Sciences, Univ. of Tsukuba