mdx: データ活⽤社会に向けた産学官連携のための共創プラットフォーム
東京⼤学

2021/6/18

情報基盤センター塙 敏博
PCCC WS in 柏2021

1

Society 5.0：未来社会のコンセプト• 超スマート社会： AI, IoT, ビッグデータなどの⾰新技術を社会全体に活⽤し、サイバー空間（仮想）とフィジカル空間（現実）を⾼度に融合させた社会• 持続可能な開発⽬標(SDGs)：経済発展と社会的課題•解決の両⽴2021/6/18

PCCC WS in 柏2021

経団連HP http://www.keidanrensdgs.com

2Society 5.0が実現する知識集約社会

データの収集・集約
⾼度な処理
⾼速な計算基盤

知の抽出・データの活⽤
h"p://www8.cao.go.jp/cstp/society5_0/

2021/6/18

PCCC WS in 柏2021

3データ活⽤社会創成プラットフォーム「データ活⽤社会創成プラットフォーム」は⽤途に応じてオンデマンドで短時間に構築・拡張・融合できるデータ収集・集積・解析機能を提供するプラットホーム。

研究所 (2)• 国⽴情報学研究所、産業技術総合研究所
⼤学 (9)• 北海道⼤、東北⼤、筑波⼤、東京⼤、東京⼯業⼤、名古屋⼤、京都⼤、⼤阪⼤、九州⼤

データ活⽤社会創成プラットフォーム ３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム：仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

⾼性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い⾼精度の予測を⾏えるようにする

異種データ・異種知識の融合活⽤の推進と利⽤者⽀援2021/6/18

様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。
PCCC WS in 柏2021

4mdxとは• データ利活⽤・セキュリティを重視した⾼性能仮想化環境• 9⼤学2研究所が共同運営し、全国共同利⽤• 東京⼤学 柏2キャンパスに設置

2021/6/18

PCCC WS in 柏2021

5

の構成
仮想プラットフォーム• 仮想プラットフォーム• 柔軟・セキュアな環境の構築が可能• ⾼性能な「マルチテナント」環境

モバイルSINET• ⼤容量ストレージ

インターネット• セキュア• データ共有

パブリック
クラウド

• SINET・モバイルSINETと接続
共有オブジェクト
ストレージ• セキュアなIoT環境の構築が可能• ABCI, BDECなど既存・将来設置のスパコンと連携
AIST ABCI

コールドストレージ

スパコン(東⼤BDEC等)

セキュア・
⾼速ストレージ
2021/6/18

PCCC WS in 柏2021

6mdxが提供するもの• ⾼性能と分離を両⽴したInfrastructure as a Service (IaaS)基盤• Platform as a Service (PaaS)も提供予定• 計算環境，データ集積のインフラをユーザに提供する• ⾼速なネットワーク、⼤容量のストレージで⽀える• ユーザはインフラ上で仮想マシン(VM)を作成してアプリを作ったりそれを利⽤する• ユーザは仮想マシンに好きなOSを使い、root権限を持って好きにできる• ユースケースに則したテンプレートを提供
Application
mdx上でユーザが制御する範囲

RuntimeOS

mdxの提供する範囲(Infrastructure)
2021/6/18

Virtualization
Compute Network Storage
PCCC WS in 柏2021

7

mdx GPU演算加速ノード• Intel Xeon Platinum 8368 (38c 2.4GHz) x 2ソケット, 512GBメモリ• ノード当たり8基のNVIDIA A100 GPU
メモリバンド幅：
409.6 GB/sec

25G Ethernet
25 Gbps x 2 link DDR4
DDR4
DDR4(ノード当たり) DDR4
DDR4
フロントエンド
DDR4
DDR4
DDR425GNIC
100GNICx16x16

PCIe Gen4x16100G Ethernetwith RoCE
100 Gbps x 4 link
(ノード当たり)
RDMA/ストレージ⽤

2021/6/18

A100

UPICPU1Intel Xeon Platinum
8368(ICX)x16x16PLXx16x16100G
NIC

A100

DDR4DDR4DDR4DDR4DDR4DDR4
DDR4DDR4CPU2Intel Xeon Platinum
8368(ICX)
x16

PLX

PLX

25G
NIC

PLX

x16x16x16x16x16

A100

A100

A100

A100100G
NIC

x16

A100x16

PCI Express:
Gen4 x16 = 16 GHz
x 16 (128b130b)= 31.5 GB/s (⽚⽅向)

100G
NIC

PCIe Gen4x16

A100

NVLink3:
GPU当たり 50 GHz x4x2 x6= 300 GB/s (⽚⽅向)NVSwitch
NVSwitchNVSwitch
NVSwitch
NVSwitch
NVSwitch
PCCC WS in 柏2021

8

利⽤イメージ• ユーザごとに分離された仮想環境を構成• mdx運⽤ポータルを通じて仮想環境を操作(VMのデプロイ、設定、etc)• 運⽤ポータルへのログインはNIIが運⽤する学認と連携(予定)＋独⾃の認証基盤
mdx運⽤ポータル

分離

ユーザAの仮想資源

ユーザA
ユーザBの仮想資源

認証連携

仮想資源の割り当て(vCPU, vMem, etc)

学術認証
フェデレーション

2021/6/18

mdx全体の計算機資源

PCCC WS in 柏2021

ユーザB

9

⾼性能計算環境• 2021年3⽉ 稼働開始

• ネットワーク• 設置場所：柏IIキャンパス• フロントエンド(Juniper) ：25G Ethernet ベース• <2.0 MVA(冷却込み)、<170 m2• 東⼤BDECシステムと同部屋 (2021年5⽉稼働予定)• 産総研ABCIとも連携• 富⼠通が設置・運⽤• 100G to SINET (400G アップデート予定)• 400G to BDEC
• ストレージ, RDMA (Mellanox/NVIDIA) ：100G Ethernet with RoCEv2• EVPN-VXLANによるオーバレイ• 計算ノード• 汎⽤CPUノード：Intel Xeon (IceLake-SP) x2ソケッ
ト 368ノード，2.1 PFLOPS (FP64)• GPUノード： Intel Xeon (IceLake-SP) x2ソケット+NVIDIA A100 x8 GPU, 40ノード
6.4 PF (FP64), 6.7 PF (FP32), 100 PF (FP16)• ソフトウェア

mdx

共有オブジェ
クトストレージ• 仮想化：VMware vSphere• オーケストレーション• ストレージ• ⾼速ストレージ：1 PB, 250 GB/s, NVMe SSD,Lustre (DDN)• 内部ストレージ：16 PB, 150+ GB/s, Lustre (DDN)• 共有オブジェクトストレージ: 10 PB, 60+ GB/s, S3互換 (DDN Lustre + S3 Data Service)• 光ディスクドライブ (Sony ODS)
2021/6/18

PCCC WS in 柏2021

コールドストレージ

セキュア・⾼速ストレージ

柏IIキャンパス

10物理構成• 2つのネットワーク

対外接続ルータ (Ethernet 100Gbps)• 外部接続ネットワーク• SINETと100G x2で接続• SINET6で増速予定

Ethernet (100GbE/25GbE)• 内部⾼速ネットワーク• RDMA、ストレージ• 複数のストレージx368• ⾼速ストレージ (1PB, NVMe)• 内部ストレージ (16PB)• オブジェクトストレージ(10PB)

2021/6/18

x40

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

1.0PB

PCCC WS in 柏2021

16.3PB

10.3PB11

計算ノード構成• 汎⽤CPUノード, 368台
• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット• GPUノード, 40台• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット+ NVIDIA A100 x8 GPU• Hyper Visor• VMware vSphere• 外部接続ネットワーク向けNICは25Gbps• 内部⾼速ネットワーク向けNICは100Gbps
汎⽤CPUノード
富⼠通PRIMERGY CX2550 M6
2021/6/18

GPUノード
富⼠通 PRIMERGY GX2570 M7
PCCC WS in 柏2021

12外部接続ネットワーク• Virtual eXtensible LAN (VXLAN)によるオーバーレイネットワーク• データセンター向けの仮想ネットワーク技術• 物理はSpine/LeafのIP Clos Fabric ネットワーク• IPネットワーク上にVXLANでVLANを通す(Ethernet over IP)
外部接続ルータ

VXLANオーバーレイ
L3スイッチL3スイッチL3スイッチL3スイッチ

外部接続ルータ
100Gbps100G/400G Coreルータ

L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ...

L3スイッチL3スイッチ

25Gbpsノード

ノード

VLAN 10...

ノード

VM
2021/6/18

100G+25G多ポートLeafスイッチ

VM
PCCC WS in 柏2021

13オーバーレイを使う利点• IPネットワークの利点を維持したままVLANを延伸• 複数パスを使ったロードバランスと冗⻑• ユーザのVMがどのノードにいても同じVLANに接続できる• 仮想マシンのネットワーク性能と分離• トンネルやルーティングの処理をHVのS/Wではなく外部のH/Wスイッチで実施• 仮想マシンのNICが仮想NICでもSR-IOVでもネットワーク側は1つのロジックで制御できる• 万が⼀HVが乗っ取られても、他のVLANにはアクセスできない

VXLAN Encap/Decap
Leafスイッチ
VLAN 10VLAN 20

物理NIC
仮想スイッチSR-IOV

vNIC

vNIC

VF

VM

VM

VM

計算ノード

2021/6/18

PCCC WS in 柏2021

14内部⾼速ネットワーク• RDMA over Converged Ethernet (RoCE) over VXLAN• RoCE: RDMAをIPネットワーク越しに⾏う技術• 外部接続ネットワークと同様、IP ClosトポロジにVXLANを利⽤• Infinibandでは⼗分なテナント間の分離を実現できなかった• 各ノードのNICは100Gbpsで、ネットワークはフルバイセクション
VXLANカプセル化
EthIP

RoCEv2フレーム

UDP VXLAN Eth

ネットワークを流れるパケット

IP

UDP IB BTH

L3スイッチIB Payload

L3スイッチ...

L3スイッチ
200Gbps

VXLANオーバーレイ
L3スイッチEthIP

UDP IB BTH

L3スイッチ...

L3スイッチ

200G多ポートLeafスイッチ

100Gbps

IB Payload

VMの送信したRoCEv2フレーム

2021/6/18

200G多ポートSpineスイッチ

ノードVM

...

ノード

PCCC WS in 柏2021 VM

15

VMの割り当てポリシ（予定）
資源割り当て• 汎⽤CPUノード：コア単位で指定、コア当たりメモリ量を⽐例配分• 演算加速GPUノード：GPU単位で指定、コア数、メモリ量はノード全体の 1/8ずつ• ノード占有：ノード単位での割り当て

2021/6/18

PCCC WS in 柏2021

16内部⾼速ネットワーク、GPUの接続
内部⾼速ネットワークへの接続• デフォルト: VM間のグループ、LustreはTCP接続• PVRDMA (準仮想化RDMA): ノード間のRDMA通信は可能• SR-IOV: ノード間、Lustreも含めRDMAによる通信GPU接続• PCIe パススルー：ベアメタルと同様のGPU直接アクセス

2021/6/18

PCCC WS in 柏2021

17

SINETとの連携• SINETのL2VPNサービスを通じて、セキュアな閉域網経由でVLANをmdxに接続可能• 他のSINETサイト(⼤学・研究機関)ともセキュアに接続• モバイルSINET経由で、IoTデバイスからmdx上の計算環境へセキュアにデータを転送

2021/6/18

モバイル

SINET
パブリッククラウドPCCC WS in 柏2021

対外接続ルータ (Ethernet 100Gbps)

Ethernet (100GbE/25GbE)

VM

VM

VM

VM

VM

VM

22

まとめ• データ科学・活⽤のための基盤 mdx:データ活⽤社会創成プラットフォームを導⼊• 9⼤学（北⼤、東北⼤、筑波⼤、東⼤、東⼯⼤、名⼤、京⼤、阪⼤、九⼤）• NII, AIST

• mdxの特徴• 幅広く利⽤可能なIaaSベースの仮想化計算基盤• ⾼性能計算機・ストレージ• VPNによる隔離• SINETとの連携による、セキュアIoT（モバイルSINET）、他のスパコンとの密な連携• mdxの利⽤について• https://mdx.jp/• 利⽤開始に向けて鋭意準備中• mdxを利⽤したデータ集積およびデータ提供、データ解析、⾼性能処理などのプラット
フォーム構築を、幅広い分野の⽅々が容易に実現できるように
2021/6/18

PCCC WS in 柏2021

23