Society 5.0実現を⽬指す
シミュレーション・データ利活⽤のためのプラットフォーム
東京⼤学

2021/12/10

情報基盤センター塙 敏博
Japan Lustre Users Group 2021

1

2021/12/10

FY11

12

13

14

15

16

17

Yayoi, Hitachi SR16000/M1

19

20

21

Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Oakleaf-FX, Fujitsu PRIMEHPC FX1025

OFP-II(JCAHPC)
100+ PF ?

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu

SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

利用者2,600+名
55％は学外24

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

東京大学情報基盤センターのスパコン

23Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

Oakforest-PACS (OFP) (JCAHPC)AMD Opteron140.0 TF, 38.1 TB/sec.

22

Oakbridge-CX, Fujitsu

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

T2K Tokyo, Hitachi

18

Integrated Supercomputer System for
Simulation, Data & Learning

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.
Japan Lustre Users Group 2021

2

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）
2021/12/10• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（引退）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Data/Learning Nodes（Aquarius）
Japan Lustre UsersReedbush
Group 2021

Oakforest-PACS

Oakbridge-CX
3

Society 5.0：未来社会のコンセプト• 超スマート社会： AI, IoT, ビッグデータなどの⾰新技術を社会全体に活⽤し、サイバー空間（仮想）とフィジカル空間（現実）を⾼度に融合させた社会• 持続可能な開発⽬標(SDGs)：経済発展と社会的課題•
解決の両⽴

2021/12/10

経団連HP http://www.keidanrensdgs.com
Japan Lustre Users Group 2021

4

2021/12/10

5

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続
Japan Lustre Users Group 2021
– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース2021/12/10

6

November 2021 (SC21)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

Graph500

HPL-AI

Wisteria/BDEC-01（Odyssey）

17

27

9

3

9

Wisteria/BDEC-01（Aquarius）

106

15

58

-

-

Japan Lustre Users Group 2021

2021/12/10

Simulation Nodes

Odyssey

計算科学コード

25.9 PF, 7.8 PB/s

シミュレーション
最適化されたモデル， ノード群，Odyssey
Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

パラメータ

Wisteria/BDEC-01

機械学習，DDA

Data/Learning Nodes

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析

Aquarius
7.20 PF, 578.2 TB/s

サーバー
ストレージ
DB
センサー群
他
7

計算結果

外部ネットワークJapan Lustre Users Group 2021

外部
リソース

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)
シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク(TofuインターコネクトD)
総理論演算性能(倍精度) : 25.9PFLOPS
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

・外部ネットワーク
・柏キャンパス・mdxシステム

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
⾼速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群

管理サーバ群ネットワークストレージ

OSS,OST x16セット

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TBJapan Lustre Users Group 2021

Wisteria-Odyssey： Fujitsu PRIMEHPC FX1000
相互結合用 IB-EDR(100 Gbps)

2021/12/10

Japan Lustre Users Group 2021

1 Shelf(48 node)9

Wisteria-Aquarius： Fujitsu PRIMERGY GX2570 M6

InfiniBand-HDR 200Gbps
Full bisection BW Fat-Tree

2021/12/10

Japan Lustre Users Group 2021

外部接続ネットワーク

10

Aquariusの構成• Intel Xeon Platinum 8360Y (36c 2.4GHz) x 2ソケット, 512GBメモリ• ノード当たり8基のNVIDIA A100 GPU
メモリバンド幅：
409.6 GB/sec

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

x16

IBHDR

IB HDR:
200 Gbps x 4 link
(ノード当たり)x16

PCIe Gen4
x16

A100

UPI

CPU1
Intel Xeon Platinum
8360Y
(ICX)

CPU2
Intel Xeon Platinum
8360Y
(ICX)

x16

x16

PCIsw

x16

x16

IBHDR

A100

PCI Express:
Gen4 x16 = 16 GHz x 16 (128b130b)= 31.5 GB/s (⽚⽅向)

x16

PCIsw

PCIsw

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

PCIsw

x16

x16

x16

x16

x16

A100

A100

A100

A100

IBHDR

x16

A100

x16

IBHDR

PCIe Gen4
x16

A100

NVLink3:
GPU当たり 50 GHz x4x2 x6= 300 GB/s (片方向)NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
2021/12/10

Japan Lustre Users Group 2021

11

Wisteria/BDEC-01のストレージ• FEFS (Fujitsu Exabyte File System)• 並列ファイルシステム(4 rack)• 25 PB, 500 GB/s
• 4 MDS• OSS/OST: DDN SFA7990XE x16• ((12TB x 22)x8+2 spare) x16• 8D2P相当• 128 OST• /work• ⾼速ファイルシステム(2 rack)• 1 PB, 1 TB/s
• 2 MDS• OSS/OST: DDN SFA400NVXE x16• NVMe SSD ((3.84TBx11)x2+1 spare) x16• 8D2P相当• 128 OST

• /data/scratch: スクラッチ• /data/perm: 恒久
2021/12/10

Japan Lustre Users Group 202112

ストレージの写真

⾼速ストレージ：
MDS：PRIMERGY RX2530 M5 x 2
MDT：ETERNUS AF250 S3 x 1

⼤容量ストレージ：
MDS：PRIMERGY RX2530 M5 x 4
MDT：ETERNUS AF250 S3 x 1（富⼠通製）

⾼速ストレージ：
OSS/OST: SFA400NVXE x 16

⼤容量ストレージ：
OSS/OST: (SFA7990XE+SS9012) x 16
(DDN製)
2021/12/10

Japan Lustre Users Group 2021

13

2021/12/10

項目

総理論演算性能

Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

6 次元メッシュ / トーラス

Full-bisection Fat Tree

総ノード数
総主記憶容量ネットワークトポロジー

共有ファイルシステム

高速ファイル
システム

14

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/s

Japan Lustre Users Group 2021

2021/12/10

Wisteria-O (Odyssey)
FUJITSU Supercomputer
PRIMEHPC FX1000

項目

マシン名
プロセッサ名
CPU

GPU

A64FX

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)
NVLink x 12本(1本あたり片方向25GB/s)-

CPU-GPU間接続
GPU間接続
15

Wisteria-A (Aquarius)
FUJITSU Server PRIMERGY
GX2570 M6Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

インターコネクト

Japan Lustre Users Group 2021
TofuインターコネクトD

InfiniBand HDR(200Gbps) x 4

ストレージ性能• メタデータ性能 (mdtest)• 共有FSに対し，複数のクライアントから，個別のディレクトリに対するファイル操作• ⾼速FSも並列FSと同等の性能• O: 4シェルフ 100*4=400 Gbps有効?
• A: 8ノード 200*4*8=6.4 Tbps
Odyssey

Aquarius

4x4x8ノード
1024プロセス

8ノード
128プロセスFilecreation

63,59653,856File stat120,498

281,756

Fileremoval26,72092,4722021/12/10• ファイル書き込み性能 (IOR)• 共有FSに対し独⽴なファイルの書き込み性能 (MiB)• O: 極⼒GIOノードを割り当て• A: 全ノード
Odyssey
⾼速FS

20x12x16
ノード確保
960
プロセス

並列FS

16x24x16
ノード確保
3072
プロセス

Japan Lustre Users Group 2021

Aquarius

455,372

45ノード
720
プロセス

322,115

281,480

45ノード
720
プロセス

236,643

16

17
17

2021/12/10

h3-Open-BDEC「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤
科研費基盤（2019年度～2023年度，代表：中島研吾，
北大，東大，名大，東工大，九大各センター協力）① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
ü Hierarchical, Hybrid,
Heterogeneous ⇒ h3

h3-Open-BDEC
New Principle for
Computations

Simulation + Data +Learning

Numerical Alg./LibraryApp. Dev. Framework

h3-Open-MATH

h3-Open-APP:
Simulation

Algorithms with HighPerformance, High Reliability& Mixed/Adaptive Precision

Application Developmenth3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

Verification of Accuracy

Automatic Tuning
Japan Lustre Users Group 2021

Data Science

Data Driven Approach

Integration +Communications+Utilities
Control & Utility

h3-Open-SYS

Control & Integration

h3-Open-UTIL

Utilities for Large-Scale
Computing18
18

2021/12/10

三次元地震シミュレーション＋
リアルタイムデータ同化/観測

計算科学コード

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

計算結果

Wisteria/BDEC-01

機械学習，DDA

観測データ

データ・学習ノード群
Aquarius

JDXnetの観測データを利用したリアルタイ
ムデータ同化/観測㋪㊡㋖㋪㊡㋴㌉㌅㌋& ㎮㍮4

5 Points
Observation Network
for Earthquake:㊩64O(10
亜8etc,))价偬冓&㎃㍠; )僳㌸价偬冓& '4000㍱)㍨僳价偬冓& '2000㍱)

データ同化
データ解析

[c/o Furumura]

外部リソースServer, Storage, DB, Sensors他& 丼)㌒㍞㊩6
争@傠㌸㌙僳䁘們E6㋃㋡& 4000㍱)

JDXnetJDXnetFast Network

NIED
University’s

Originallydeveloped in
ERI/U.Tokyo

Case 1ERI

Case 2IP Network

TDX

Univ.

JMA

Local univ.

L2VPN
SINET5 / JGN

IP Network

Case N

Real-Time Data/Simulation Assimilation
Real-Time Update of Underground Model
Japan Lustre Users Group 2021

〔資料提供：古村孝志教授（東大・地震研）〕

2021/12/10

19「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

• O-A利用：WaitIOとの連携

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕
Japan Lustre Users Group 2021

19

2021/12/10

20

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO
IceLake+A100

ARM: A64FXHPC App(Fortran)

A huge amount ofsimulation data
outputAnalysis/ML
App(Python)Surrogate
Model
Visualiztion

F<->P adapter
h3o-U/MP

h3o-U/MP

Statistics

Coupling

Odyssey

IB-EDR

Aquarius
Japan Lustre Users Group 2021

20

21
21

2021/12/10

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO連携• h3-Open-UTIL/MP– （現状）MPIによるコンポーネント間通信：1対1，集団通信– Odyssey-Aquarius間はMPIによる通信は不可⇒
h3-Open-SYS/WaitIO-SocketによりO-A間通信実現

h3open modules
Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

Aquarius

Fortran APP(NICAM)

Python APP(PyTorch)

h3open modules

Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI wrapper

MPI
MPI

現状：MPI通信可能な環境を前提 Japan Lustre Users Group 2021

IB-EDR

h3opp.pyh3open_py.f90
h3open modules

Jcup

h3opp.pyh3open_py.f90

h3-Open-UTIL/MP

Python APP(PyTorch)

h3open modules

Jcuph3-Open-UTIL/MP

Fortran APP(NICAM)

Odyssey

WaitIOMPI+WaitIO

MPI

22
22

2021/12/10

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定しているJapan Lustre Users Group 2021

23
232021/12/10
東京大学
柏キャンパス

Ipomoea-01

10G

1 PB
IME

• 東大の全システム+OFP+mdxで共有• 2022年1月運用開始予定, 富士通– 25.9 PB, 168億inode– RoCE (RDMA over Converged
Ethernet)

移行用
移行用

100G x4

40G

移行用
移行用
ノード
ノード
ノード
ノード

Oakforest-PACS (JCAHPC)

ログイン
ノード

25 PB

利用支援
Webサーバ

100G x2

Ipomoea-01

接続用
サーバ

スパコン室2（第2総合研究棟2階)

SINET5

25G
/ノード

100G

40G x2• 2拠点にまたがる• InfiniBand, OmniPath混在環境

10G
/ノード
GPU
+DCPMM
Nodes

Oakbridge-CX拡張

100G
x2

• 2022 年5月末までにOFPのLustre領
域の必要ファイルについて移行完了• 既存システム（2021年3月末）– OFP
50億ファイル 11 PB– OBCX 8.5億ファイル 2.6 PB

26.0 PB
Lustre

ログイン
ノード

ログイン
ノード

外部接続
ノード
外部接続
ノード

12.4 PB
Lustre
NVMe
NVMe
SSD
NVMe
SSD
NVMe
SSD
NVMe
SSD
SSD

Oakbridge-CX

NVMe
NVMe
SSD
SSD

スパコン室1（第2総合研究棟1階)

25G / ノード

Wisteria/BDEC-01

ログイン
ノード

NFS
サーバ

共有ストレージ
25.8 PB, FEFS

25G / ノード
Aquarius

高速ストレージ
1.0 PB, FEFS

Odyssey

400G x2(プライベート,
L2)

SINET5100G
x2

25G / ノード

VM

計算ノード

東京大学
柏IIキャンパス

Japan Lustre Users Group 2021

VM

外部共有
オブジェクトストレージ
10 PB, S3/Lustre

スパコン室（情報基盤センター)

大容量HDD
ストレージ
16 PB, Lustre

高速NVMeストレージ
1.0 PB, Lustre

mdx

2021/12/10

24

東大情報基盤センターのスパコン
FY16

17

18

19

20

21

22

23

24

25

Oakbridge-CX, Fujitsu

26

27

28

29

30

OFP-II (JCAHPC)Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

100+ PF ?

Oakforest-PACS (OFP) (JCAHC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Wisteria-Mercury
BDEC: Wisteria/BDEC-01, Fujitsu

Yayoi
Oakleaf-FX
Oakbridge-FX

Fujitsu A64FX +Intel Xeon Ice Lake/NVIDIA A100
33.1 PFLOPS, 8.38 PB/sec.

BDEC-02 ?

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H/L, HPE

大規模共通ストレージ
システム群（Ipomoea）

Ipomoea-01

Ipomoea-03
Ipomoea-02

Japan Lustre Users Group 2021

データ活⽤社会創成プラットフォーム「データ活⽤社会創成プラットフォーム」は⽤途に応じてオンデマンドで短時間に構築・拡張・融合できる
データ収集・集積・解析機能を提供するプラットホーム。

研究所 (2)• 国⽴情報学研究所、産業技術総合研究所
⼤学 (9)• 北海道⼤、東北⼤、筑波⼤、東京⼤、
東京⼯業⼤、名古屋⼤、京都⼤、⼤阪⼤、
九州⼤

データ活⽤社会創成プラットフォーム ３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム：仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

⾼性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い
⾼精度の予測を⾏えるようにする

異種データ・異種知識の融合活⽤の推進と利⽤者⽀援2021/12/10

様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。
Japan Lustre Users Group 202125

mdxとは• データ利活⽤・セキュリティを重視した⾼性能仮想化環境• 9⼤学2研究所が共同運営し、全国共同利⽤• 東京⼤学 柏2キャンパスに設置

2021/12/10

Japan Lustre Users Group 2021

26

の構成
仮想プラットフォーム• 仮想プラットフォーム• 柔軟・セキュアな環境の構築が可能• ⾼性能な「マルチテナント」環境

モバイル

SINET

• ⼤容量ストレージ

インターネット• セキュア• データ共有

パブリック
クラウド

• SINET・モバイルSINETと接続
共有オブジェクト
ストレージ• セキュアなIoT環境の構築が可能• ABCI, BDECなど既存・将来設置のスパコンと連携
AIST ABCI

コールド
ストレージ

セキュア・
⾼速ストレージ
2021/12/10

スパコン(東⼤BDEC等)
Japan Lustre Users Group 202127

mdxが提供するもの• ⾼性能と分離を両⽴したInfrastructure as a Service (IaaS)基盤• Platform as a Service (PaaS)も提供予定• 計算環境，データ集積のインフラをユーザに提供する• ⾼速なネットワーク、⼤容量のストレージで⽀える• ユーザはインフラ上で仮想マシン(VM)を作成してアプリを作ったり
それを利⽤する• ユーザは仮想マシンに好きなOSを使い、root権限を持って好きにできる• ユースケースに則したテンプレートを提供
Application
mdx上でユーザが制御する範囲

RuntimeOS

mdxの提供する範囲(Infrastructure)
2021/12/10

Virtualization
Compute Network Storage
Japan Lustre Users Group 2021

28

利⽤イメージ• ユーザごとに分離された仮想環境を構成• mdx運⽤ポータルを通じて仮想環境を操作(VMのデプロイ、設定、etc)• 運⽤ポータルへのログインはNIIが運⽤する学認と連携(予定)＋独⾃の認証基盤
mdx運⽤ポータル

分離

ユーザAの仮想資源

ユーザA
ユーザBの仮想資源

仮想資源の割り当て(vCPU, vMem, etc)

認証連携
学術認証
フェデレーション

2021/12/10

mdx全体の計算機資源

Japan Lustre Users Group 2021

ユーザB

29

⾼性能計算環境• 2021年3⽉ 稼働開始

• ネットワーク• 設置場所：柏IIキャンパス••••• フロントエンド(Juniper) ：25G Ethernet ベース<2.0 MVA(冷却込み)、<170 m2
東⼤BDECシステムと同部屋 (2021年5⽉稼働予定)
産総研ABCIとも連携
富⼠通が設置・運⽤• 100G to SINET (400G アップデート予定)• 400G to BDEC
• ストレージ, RDMA (Mellanox/NVIDIA) ：100G Ethernet with RoCEv2• EVPN-VXLANによるオーバレイ• 計算ノード• 汎⽤CPUノード：Intel Xeon (IceLake-SP) x2ソケット 368
ノード，2.1 PFLOPS (FP64)• GPUノード： Intel Xeon (IceLake-SP) x2ソケット+NVIDIA
A100 x8 GPU, 40ノード
6.4 PF (FP64), 6.7 PF (FP32), 100 PF (FP16)•• ソフトウェア

mdx

PCIe パススルー：ベアメタルと同様のGPU直接アクセス

共有オブジェ
クトストレージ• 仮想化：VMware vSphere• オーケストレーション• ストレージ• ⾼速ストレージ：1 PB, 250 GB/s, NVMe SSD, Lustre(DDN)• 内部ストレージ：16 PB, 150+ GB/s, Lustre (DDN)• 共有オブジェクトストレージ: 10 PB, 60+ GB/s, S3互換
(DDN Lustre + S3 Data Service)

コールドス
トレージ

セキュア・
⾼速ストレージ• 光ディスクドライブ (Sony ODS)

2021/12/10

Japan Lustre Users Group 2021

柏IIキャンパス30

物理構成• 2つのネットワーク

対外接続ルータ (Ethernet 100Gbps)• 外部接続ネットワーク• SINETと100G x2で接続• SINET6で増速予定

Ethernet (100GbE/25GbE)• 内部⾼速ネットワーク• RDMA、ストレージ• 複数のストレージx368• ⾼速ストレージ (1PB, NVMe)• 内部ストレージ (16PB)• オブジェクトストレージ(10PB)

2021/12/10

x40

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

1.0PB

Japan Lustre Users Group 2021

16.3PB

10.3PB31

計算ノード構成• 汎⽤CPUノード, 368台
• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット• GPUノード, 40台• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット+ NVIDIA A100 x8 GPU• Hyper Visor• VMware vSphere• 外部接続ネットワーク向けNICは25Gbps• 内部⾼速ネットワーク向けNICは100Gbps
汎⽤CPUノード
富⼠通PRIMERGY CX2550 M6
2021/12/10

GPUノード
富⼠通 PRIMERGY GX2570 M6
Japan Lustre Users Group 2021

32

外部接続ネットワーク• Virtual eXtensible LAN (VXLAN)によるオーバーレイネットワーク• データセンター向けの仮想ネットワーク技術• 物理はSpine/LeafのIP Clos Fabric ネットワーク• IPネットワーク上にVXLANでVLANを通す(Ethernet over IP)
外部接続ルータ

VXLANオーバーレイ
L3スイッチL3スイッチL3スイッチL3スイッチ

外部接続ルータ
100
Gb
ps

100G/400G Coreルータ

L3スイッチ

100G多ポートSpineスイッチ

L3スイッチL3スイッチ...

L3スイッチ

25Gbpsノード

ノード

VLAN 10

...

ノード

VM
2021/12/10

100G+25G多ポートLeafスイッチ

VM
Japan Lustre Users Group 2021

33

オーバーレイを使う利点• IPネットワークの利点を維持したままVLANを延伸• 複数パスを使ったロードバランスと冗⻑• ユーザのVMがどのノードにいても同じVLANに接続できる• 仮想マシンのネットワーク性能と分離• トンネルやルーティングの処理をHVのS/Wではなく外部のH/Wスイッチで実施• 仮想マシンのNICが仮想NICでもSR-IOVでもネットワーク側は1つのロジックで制御できる• 万が⼀HVが乗っ取られても、他のVLANにはアクセスできない

VXLAN Encap/Decap
Leafスイッチ
VLAN 10VLAN 20

物理NIC
仮想スイッチSR-IOV

vNIC

vNIC

VF

VM

VM

VM

計算ノード

2021/12/10

Japan Lustre Users Group 2021

34

内部⾼速ネットワーク• RDMA over Converged Ethernet (RoCE) over VXLAN• RoCE: RDMAをIPネットワーク越しに⾏う技術• 外部接続ネットワークと同様、IP ClosトポロジにVXLANを利⽤• Infinibandでは⼗分なテナント間の分離を実現できなかった• 各ノードのNICは100Gbpsで、ネットワークはフルバイセクション
VXLANカプセル化
Eth

IP

RoCEv2フレーム

UDP VXLAN Eth

ネットワークを流れるパケット

IP

UDP IB BTH

L3スイッチIB Payload

L3スイッチ...

L3スイッチ
200Gbps

VXLANオーバーレイ
L3スイッチEthIP

UDP IB BTH

L3スイッチIB Payload

VMの送信したRoCEv2フレーム

2021/12/10

200G多ポートSpineスイッチ...

L3スイッチ

200G多ポートLeafスイッチ

100Gbps

ノード

...

ノード

VMJapan Lustre Users Group 2021
VM

35

VMの割り当てポリシ
資源割り当て• 汎⽤CPUノード：コア単位で指定、コア当たりメモリ量を⽐例配分• 演算加速GPUノード：GPU単位で指定、コア数、メモリ量はノード全体の 1/8ずつ• ノード占有：ノード単位での割り当て

2021/12/10

Japan Lustre Users Group 2021

36

内部⾼速ネットワークとストレージ接続
内部⾼速ネットワークへの接続• デフォルト(PortGroup): VM間のグループ、LustreはTCP接続• PVRDMA (準仮想化RDMA): ノード間のRDMA通信は可能（LustreはTCP接続）• SR-IOV: Lustre，ノード間も含めRDMAによる通信
ストレージの割り当て• プロジェクトのサブディレクトリを直接mount• ⼤容量内部ストレージ：53 OST (通常)+ 40 OST (セキュア⽤途)• 通常プロジェクトはQuota制御• セキュアプロジェクトにはOSTを個別に割り当て (26.7 TB/プロジェクト，最⼤ 40プロ
ジェクト)

• ⾼速内部ストレージ：32 OST
2021/12/10

Japan Lustre Users Group 2021

37

SINETとの連携• SINETのL2VPNサービスを通じて、セキュアな閉域網経由でVLANをmdxに接続可能• 他のSINETサイト(⼤学・研究機関)ともセキュアに接続• モバイルSINET経由で、IoTデバイスからmdx上の計算環境へセキュアにデータを転送

2021/12/10

モバイル

SINET
パブリック
クラウド

対外接続ルータ (Ethernet 100Gbps)

Japan Lustre Users Group 2021

Ethernet (100GbE/25GbE)

VM

VM

VM

VM

VM

VM

38

まとめ
• Wisteria/BDEC-01は「計算・データ・学習」融合を実現する，ヘテロジニアスなシステムとしては世界でも初めてのもの• HPCI，JHPCN構成機関とも協⼒して「計算・データ・学習」融合推進を継続する• 増⼤するデータ⇒Ipomoeaシリーズの導⼊• 東⼤センターとしては初の「共通ストレージ」システム• データ科学・活⽤のための基盤 mdx:データ活⽤社会創成プラットフォームを導⼊• 9⼤学（北⼤、東北⼤、筑波⼤、東⼤、東⼯⼤、名⼤、京⼤、阪⼤、九⼤）＋NII, AIST
• 幅広く利⽤可能なIaaSベースの仮想化計算基盤• ⾼性能計算機・ストレージ• VPNによる隔離• SINETとの連携による、セキュアIoT（モバイルSINET）• mdx＋Wisteria/BDEC-01はじめ他のスパコンとの連携• mdxを利⽤したデータ集積およびデータ提供、データ解析、⾼性能処理などのプラットフォー
ム構築＋スパコンの強⼒な計算能⼒の協調
2021/12/10

Japan Lustre Users Group 2021

39