第3世代
JAXAスパコンが目指すもの-"TOKI"導入の目的と初期性能評価-

国立研究開発法人 宇宙航空研究開発機構
スーパーコンピュータ活用課長/航空技術部門研究領域主幹

藤田 直行
2021/02/04

TOKI 概要

P.1

目次
"TOKI"導入の目的
JSS3概要
初期性能評価
おわりに2021/02/04

TOKI 概要

P.2

■"TOKI"導入の目的

■三つの柱
■背景
• スパコンと共に発展してきた数値流体力学(CFD)は、振興から実用の時代へ• スパコン利用分野がCFDのみならず、地球観測データ処理やAI基盤というデータ処理へと広範囲化

I. 航空宇宙分野の国際競争力を強化する数値シミュレーション実施基盤
II. 大規模データ解析基盤としてのデータセン
ター機能
III. 新たなニーズを受け止める研究開発基盤
2021/02/04

TOKI 概要

P.3

目次
"TOKI"導入の目的
JSS3概要
初期性能評価
おわりに2021/02/04

TOKI 概要

P.4

稼働開始

■JSS3概要

2021/02/04

2020年12月1日

TOKI 概要

P.5

■JSS3概要■名前に込めた思い JSS3:Jaxa Supercomputer System generation 3
 TOKI:TOkyo and ibaraKI、時(SORAと合わせて時空)、解き、朱鷺 SORA: Supercomputer for earth Observation, Rockets,and Aeronautics
 RURI: all-RoUnd Role Infrastructure ST : STandard
JSS3
 GP : GPgpu
TOKI
 XM : eXtra large Memory
SORARURIFS LM : Large MemoryST FS : File System
GPLI
XM
 LI : LogInLM
 -Txx : -Tsukuba xx-Txx
2021/02/04

TOKI 概要

J-SPACE

P.6

■JSS3概要■TOKI-SORA

Supercomputer forearth Observation, Rockets, and Aeronautics

調布設置
JSS3

TOKI

SORA
RURI

ST
GP

筑波設置
TRURI

XM
LM

LI

J-SPACE

2021/02/04

FS

TLI

TST

TGP
TLM

TFS

TOKI 概要

P.7

■JSS3概要■TOKI-SORA
PRIMEHPC FX1000

Supercomputer forearth Observation, Rockets, and Aeronautics

1ノードあたりの構成
CPU
プロセッサ

x5,760
主記憶

インタコネクト

A64FX(Armv8.2-A + SVE)

プロセッサ数

1プロセッサ

理論演算性能3.3792TFLOPS

種別

HBM2

容量32GiB

メモリバンド幅

1,024GB/s

種別

TofuインターコネクトD

理論性能

最大40.8GB/s × 双方向

ラックあたりの構成
計算ノード数

384ノード

HPCシステム全体構成- 総理論演算性能 19.4 PFLOPS
3.3792TFLOPS/ノード × 384ノード/ラック × 15ラック≒ 19.464 PFLOPs- 総主記憶容量 180TiB
32GiB /ノード × 5,760ノード＝ 180 TiB

2021/02/04

TOKI 概要

P.8

■JSS3概要■TOKI-RURI

all-RoUnd Role Infrastructure

調布設置
JSS3

TOKI

SORA
RURI

STGP

筑波設置
TRURI

XM
LM

LI

J-SPACE

2021/02/04

FS

TLI

TST

TGP
TLM

TFS

TOKI 概要

P.9

■JSS3概要■TOKI-ST
PRIMERGY RX2540 M5x375

STandard
1ノードあたりの構成
CPU
プロセッサ
プロセッサ数
理論演算性能
GPU
種別
GPU数
主記憶種別
容量Intel Xeon Gold 6240 (2.6GHz/18コア)
2プロセッサ2.9952TFLOPS (2.6GHz × 18コア × 32命令 × 2CPU)NVIDIA Quadro P4000(1,792 CUDAコア, 8GiBメモリ)1基
16GiB DDR4 2933MHz RDIMM (ECC)
192GiB (16GiB × 12枚)

メモリバンド幅 281.5GB/s (2933MHz × 8byte × 12)
内蔵ディスク種別
実効容量
インターコネクト 種別
理論性能
ネットワークインターフェース
筐体内監視
高さ
電源

2021/02/04

M.2 Flash モジュール
240GB
InfiniBand HDR100 × 1ポート
100Gbps (双方向)1000Base-T×2ポート
iRMC (CPU,メモリ,HDD,カード,ファン,電源,温度,電圧等)
2U
800W×2 (80PLUS PLATINUM)※冗長化、活性交換可能

TOKI 概要

P.10

■JSS3概要■TOKI-GP(1/2)
PRIMERGY CX2570 M5(水冷)

GPgpu

PRIMERGY CX2570 M5 1台あたりの構成
CPU

プロセッサ

Intel Xeon Gold 6240 (2.6GHz/18コア)

プロセッサ数

2プロセッサ

理論演算性能2.9952TFLOPS (2.6GHz x 18コア x 32命令 x 2CPU)

種別

SXM2版 NVIDIA Tesla V100 (5,120 CUDAコア, 32GiB HBM2)

GPU数4基

理論演算性能倍精度 31.2TFLOPS (7.8TFLOPS x4基)
単精度 62.8TFLOPS (15.7TFLOPS x4基)
Tensor 500TFLOPS (125TFLOPS x4基, 半精度・単精度混合)

種別

32GiB DDR4 2933MHz RDIMM (ECC)

容量384GiB (32GiB x 12)

メモリバンド幅

281.5 GB/s (2933MHz x 8byte x 12チャネル)

内蔵
ディスク

種別

M.2 Flash モジュール

実効容量256GB

インターコネクト

種別

InfiniBand EDR x 2ポート

理論性能200Gbps (双方向)GPUx32
主記憶

PRIMERGY CX400 M4
シャーシ(水冷)x16

ネットワークインターフェース

1000BASE-T x 1ポート

筐体内監視iRMC (CPU,メモリ,HDD,カード,ファン,電源,温度,電圧等)

PRIMERGY CX400 M4 1シャーシあたりの構成

2021/02/04

搭載サーバノード

PRIMERGY CX2570 M5 x 2ノード

シャーシの高さ

2U

電源

電源ユニット(2400W) x 2

TOKI 概要

P.11

■JSS3概要■TOKI-GP(2/2)

GPgpu

GPU
SXM2 TrayGPU
PCI-Express3.0 (x16)GPU

GPU間接続網(NVLink)
300GB/s(片方向25GB/s(双方向50GB/s) x 6)

PCI-Express3.0 (x16)

SwitchGPU

SwitchGPU

PCI-Express3.0 (x16)4-GPU-NVLink
コア間相互接続網
10.4GT/s x 3

DDR4
メモリ32GiB

メモリ32GiB

メモリ32GiB

UPI

メモリ32GiB
メモリ32GiB

DDR4

CPU

メモリ32GiB
メモリ32GiB

CPU

メモリ32GiB

メモリ32GiB

メモリ32GiB
メモリ32GiB

メモリ32GiB
PCI-Express3.0 (x16)

M.2 Flash 256GB

140.7GB/s

チップセットEthernet NIC(1Gbps x1)

iRMC(サーバ監視プロセッサ)

InfiniBand HCA
カード(100Gbps)

InfiniBand HCA
カード(100Gbps)

Ethernet

相互接続網

相互接続網

Ethernet

2021/02/04

TOKI 概要

P.12

■JSS3概要■TOKI-XM/LM(1/2)

eXtra large Memory / Large Memory

1ノードあたりの構成

PRIMERGY RX2540 M5x2
XM

CPU

プロセッサ

Intel Xeon Gold 6240 (2.6GHz/18コア)

プロセッサ数

2プロセッサ

理論演算性能2.9952TFLOPS (2.6GHz x 18コア x 32命令 x 2CPU)

種別

NVIDIA Quadro P4000 (1,792 CUDAコア, 8 GiBメモリ)

GPU数

1基

種別

64GiB DDR4 2933MHz RDIMM (ECC)

容量768GiB (16GiB x 12枚)

メモリバンド幅

255.9 GB/s (2666MHz x 8byte x 12)

種別Intel Optane DC パーシステント・メモリ

容量6TiB (128GiB x 12枚)

内蔵ディスク

種別

M.2 Flash モジュール

容量240GB

インターコネクト

種別

InfiniBand HDR(100Gbps) x 2ポート

理論性能

200Gbps (双方向)

GPU
主記憶

PRIMERGY RX2540 M5x7
LM

不揮発性メモリ

ネットワークインタフェース

2021/02/04

1000Base-T x 2ポート

TOKI 概要

P.13

■TOKI-XM/LM(2/2)

DCPMM 512GiB

UPI

CPU

DIMM×6・・・

メモリ64GiB

メモリ64GiB
メモリ64GiBCPUDCPMM 512GiB
・・・

DCPMM×6・・・

GPU・・・

DCPMM×6

コア間相互接続網
10.4GT/s x 2

メモリ64GiB

DIMM×6eXtra large Memory / Large Memory

DCPMM 512GiB

DCPMM 512GiB

PCI-Express3.0 (x16)InfiniBand HCA
カード(100Gbps)

相互接続網

PCI-Express3.0 (x16)

M.2 Flash 240GB

チップセットEthernet 2port NIC(1Gbps x2)

Ethernet

32GB/s(2GB/s×16)
iRMC(サーバ監視プロセッサ)
Ethernet NIC(1Gbps)Ethernet

InfiniBand HCA
カード(100Gbps)

相互接続網

上図はXMの場合

2021/02/04

TOKI 概要

P.14

■JSS3概要■TOKI-LI、TOKI-FS
調布設置
JSS3

TOKI

SORA
RURI

ST
GP

筑波設置
TRURI

XM
LM

LI

J-SPACE

2021/02/04

FS

TLI

TST

TGP
TLM

TFS

TOKI 概要

P.15

■JSS3概要■TOKI-LI

LogIn

PRIMERGY RX2540 M5x14

1台あたりの構成
CPUGPU
主記憶

ログインシステム全体構成

内蔵ディスク- 総理論演算性能 47.9 TFLOPS
2.9952TFLOPS/ノード x 16ノード≒ 47.9 TFLOPS- 総主記憶容量 6.0 TiB
384GiB/ノード x 16ノード＝ 6.0 TiB

2021/02/04

インターコネクト

プロセッサ

Intel Xeon Gold 6240 (2.6GHz/18コア)

プロセッサ数

2プロセッサ

理論演算性能2.9952TFLOPS (2.6GHz x 18コア x 32命令 x 2CPU)

種別

NVIDIA Quadro P4000 (1792 CUDAコア, 8GiB, GDDR5)

GPU数

1基

種別

32GiB DDR4 2933MHz x 12 (ECC)

容量384GiB (32GiB x 12枚)

メモリバンド幅

281.5 GB/s (2933MHz x 8byte x 12 / 1000)

種別

600GB SAS HDD (15krpm) x 2 (RAID1)

実効容量600GB

種別

InfiniBand HDR(100Gbps) x 2枚 (2ポート)

理論性能200Gbps (双方向)ネットワークインターフェース

10GBASE-T x 2ポート、1000BASE-T x 2ポート

電源

電源ユニット(800W) x 2

TOKI 概要

P.16

■JSS3概要■TOKI-FS
FEFSクライアント

File System

TOKI-SORA

InfiniBandスイッチ

FEFSサーバ

システム管理ノード
計算クラスタ管理ノード

TOKI-LI

TOKI-RURI・・・

InfiniBandスイッチ

OSS

OSS

メタデータサーバ (MDS)
PRIMERGY RX2540 M5 x 4台

[1台当たり]CPU: Intel Xeon Gold 5222
(4コア/3.8GHz) x 2
Memory: 384GiB (32GiB x 12)
HDD: SAS 900GB(10krpm) x 2 (RAID1)Interconnect: InfiniBand HDR100 x 2
SAN: Fibre Channel (16Gbps) x 2

SSD: 1.92TB x 68
RAID1+0構成(4D+4M)x8+4HS

上記構成を x1セット

上記構成を x1セット

OSSOSS

データストレージ (OSS/OST)
ホーム用
DDN SFA7990XE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
HDD: NL-SAS 8TB(7.2krpm) x 87
(43 Drive x 2 DCR Pool + 1 HS)

メタデータストレージ (MDT)ETERNUS AF250 S3 x 1台

レプリケーションサーバ

OSS

OSS

データストレージ（OSS/OST）
データ用(SSD)
DDN SFA200NVXE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
SSD: 15.36TB × 23
(22 Drive × 1DCR Pool + 1 HS)

データストレージ (OSS/OST)
データ用(HDD)DDN SFA7990XE × 1台
VM: OSS × 2
DDN SS9012 × 4台
HDD: NL-SAS 14TB(7.2krpm) x 340(42 Drive x 8 DCR Pool + 4 HS)

上記構成を x12セット

上記構成を x39セット

UPSで保護2021/02/04

TOKI 概要

P.17

■JSS3概要■TOKI-Txx-Tsukuba xx

調布設置
JSS3

TOKI

SORA
RURI

ST
GP

筑波設置
TRURI

XM
LM

LI

J-SPACE

2021/02/04

FS

TLI

TST

TGP
TLM

TFS

TOKI 概要

P.18

■JSS3概要■TOKI-Txx-Tsukuba xx

止まらないスパコン

2021/02/04

TOKI 概要

P.19

目次
"TOKI"導入の目的
JSS3概要
初期性能評価
おわりに2021/02/04

TOKI 概要

P.20■初期性能評価■導入時JAXAアプリベンチマーク
3.5
3.0

時間

電力

2.5
2.0

満点

1.5
1.0
0.5
0.0

2021/02/04

HINOCAUPACS-Lite

P-FLOW

TOKI 概要

LS-FLOWFaSTARP.21

■初期性能評価■TOP500
 測定条件 実行ノード数: 5,760ノード(TOKI-SORA全系)
 総コア数: 276,480 (5,760ノード×(4プロセス×12スレッド/ノード)) 理論演算性能: 19.4642 PFLOPS
 ノード形状: 20x18x16:torus

 実行時パラメータ
 N(問題規模)=4,208,640、P=96、Q=240

 測定結果 性能: 16.592 PFLOPS
 実行効率: 85.24%
 順位: 19位 (国内 3位)

2021/02/04

TOKI 概要

P.22

■初期性能評価■HPCG
 測定条件 実行ノード数: 5,760ノード(TOKI-SORA全系)
 総コア数: 276,480 (5,760ノード×(4プロセス×12スレッド/ノード)) 理論演算性能: 19.4642 PFLOPS
 ノード形状: 20x18x16:torus

 実行時パラメータ Local Domain Dimensions: nx=160, ny=160, nz=160
 Processor Dimensions: npx=40, npy=36, npz=16 測定結果 性能: 0.61422 PFLOPS
 実行効率: 3.15%
 順位: 8位 (国内2位)

2021/02/04

TOKI 概要

P.23

■初期性能評価■Graph500
 測定条件 実行ノード数: 5,760ノード(TOKI-SORA全系)
 総コア数: 276,480 (5,760ノード×(4プロセス×12スレッド/ノード)) 理論演算性能: 19.4642 PFLOPS
 ノード形状: 60x96

 実行時パラメータ SCALE(測定規模): 36 測定結果
 性能: 10,813 GTEPS 順位: 3位 (国内2位)

2021/02/04

TOKI 概要

P.24

■初期性能評価■IO500

今後計測予定2021/02/04

TOKI 概要

P.25

目次
"TOKI"導入の目的
JSS3概要
初期性能評価
おわりに2021/02/04

TOKI 概要

P.26

■おわりに(1/2)
"TOKI"導入の目的
JSS3概要
初期性能評価

2021/02/04

TOKI 概要

P.27

■おわりに(2/2)
 "TOKI"導入の目的
 JSS3概要
 初期性能評価

 これからのJSS3～新たな利用～
 TOKI-FSのランダムIO性能
 IOPSを必要とする処理の本格実行

 TOKI-SORA/RURIの仮想化技術
 外部コンピュータ環境との連携加速

 TOKI-GPのGPGPU利用
 JAXA初の大型GPGPU基盤

 演算性能の向上→大規模チャレンジ 大規模3D可視化
 液滴蒸発のDNS
 ロケットエンジン燃焼器のLES
2021/02/04

TOKI 概要

P.28

ありがとうございました。
JAXAスパコン公開Webサイト

https://www.jss.jaxa.jp/2021/02/04

TOKI 概要

P.29