データ利活⽤に向けた仮想化基盤mdx
東京⼤学 情報基盤センター
塙 敏博
2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

1Society 5.0：未来社会のコンセプト• 超スマート社会： AI, IoT, ビッグデータなどの⾰新技術を社会全体に活⽤し、サイバー空間（仮想）とフィジカル空間（現実）を⾼度に融合させた社会• 持続可能な開発⽬標(SDGs)：経済発展と社会的課題•解決の両⽴2022/3/14

経団連HP http://www.keidanrensdgs.com
Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

2Society 5.0が実現する知識集約社会

データの収集・集約
⾼度な処理
⾼速な計算基盤

知の抽出・データの活⽤
http://www8.cao.go.jp/cstp/society5_0/2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

3

データ利活⽤の推進を⽀える環境
⽤途に応じてオンデマンドで短時間に構築・拡張・融合できるデータ収集・集積・解析機能を提供するプラットホーム

データ活⽤社会創成
プラットフォーム計画

３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム：仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

⾼性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い⾼精度の予測を⾏えるようにする

異種データ・異種知識の融合活⽤の推進と利⽤者⽀援
様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。

2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

4mdxとは• データ利活⽤・セキュリティを重視した⾼性能仮想化環境• 9⼤学2研究所が共同運営し、全国共同利⽤• 東京⼤学 柏2キャンパスに設置

2022/3/14

研究所 (2)• 国⽴情報学研究所、産業技術総合研究所

⼤学 (9)• 北海道⼤、東北⼤、筑波⼤、東京⼤、東京⼯業⼤、名古屋⼤、京都⼤、⼤阪⼤、九州⼤

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

5

6柏キャンパス
OFP，OBCX

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI

TX「柏の葉キャンパス」駅
2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

6mdxの構成

2つのネットワーク• 外部接続ネットワーク
ü SINETと100G x2で接続
ü 2022年4⽉400G x2増速

• 内部⾼速ネットワーク
ü RDMA、ストレージ
モバイル
SINET

汎⽤CPUノード
Intel IceLake x2ソケット x368ノード
理論ピーク性能(FP64): 2.1PFLOPS
総メモリバンド幅: 150.7 TB/s

外部接続ルータ(100/400Gbps)

GPU 演算加速ノードIntel IceLake x2ソケット+NVIDIA A100 x8 x40ノード
理論ピーク性能(FP64): 6.4PFLOPS
理論ピーク性能(FP16): 100.7PFLOPS
総メモリバンド幅: 496.3 TB/s

Ethernet Network (100GbE/25GbE)

⾼速 NVMe ストレージ
x368

x40

Lustre Filesystem
1.0 PB (NVMe SSD)
252 GByte/sec

⼤容量HDDストレージ
Lustre Filesystem
16.3 PB (HDD)
157.5 GByte/sec

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

外部共有オブジェクトストレージ
1.0PB

16.3PB

10.3PB

2022/3/14
Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

S3 Data Service
10.3 PB (HDD)
63.0 GByte/sec

7

SINET 6(400G bps)へ

SINET 5・モバイルSINET• SINET 5（有線）• 全都道府県にノード• ノード間は ³ 100Gbps• 冗⻑経路• 広域VPN （L3/L2）

クラウド

⼤学等

汎⽤サーバ

⾼性能サーバ等

データ

データ

データ

データ

共同研究データ
共同研究データ• モバイルSINET（広域データ収集基盤）• SINET VPNに直結できるモバイル環境

ノード

ノード

SINET直結モバイル網

各都道府県に設置• mdxの個別のプロジェクトからVPNをSINETへ延伸可• IoTデバイスのセキュリティ確保に有⽤
2022/3/14

⼤学

企業

地⽅公共団体Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

遠隔地

広範囲エリア

海上・危険地域

8

mdx全景• 免震台(ストレージのみ)• ⼊室管理• スパコン室＋ケージ

2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

9計算ノード• 汎⽤CPUノード, 368台
• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット• GPUノード, 40台• Intel Xeon Platinum 8368 (38c, 2.4GHz, IceLake-SP) x2ソケット+ NVIDIA A100 x8 GPU• 外部接続ネットワーク向けNICは25Gbps• 内部⾼速ネットワーク向けNICは100Gbps
汎⽤CPUノード
富⼠通PRIMERGY CX2550 M6
2022/3/14

GPUノード
富⼠通 PRIMERGY GX2570 M6
Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

10mdx GPU演算加速ノード• Intel Xeon Platinum 8368 (38c 2.4GHz) x 2ソケット, 512GBメモリ• ノード当たり8基のNVIDIA A100 GPU
メモリバンド幅：
409.6 GB/sec

25G Ethernet
25 Gbps x 2 link DDR4
DDR4
DDR4(ノード当たり) DDR4
DDR4
フロントエンド
DDR4
DDR4
DDR425GNIC
100GNICx16x16

PCIe Gen4x16

100G Ethernetwith RoCE
100 Gbps x 4 link(ノード当たり)
RDMA/ストレージ⽤

2022/3/14

A100

UPICPU1Intel Xeon Platinum
8368(ICX)x16x16

PCIeswx16x16100G
NIC

A100

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4CPU2Intel Xeon Platinum
8368(ICX)
x16

PCIesw

PCIesw

25G
NIC

PCIeswx16x16x16x16x16

A100

A100

A100

A100

100GNICx16

A100x16

PCI Express:
Gen4 x16 = 16 GHz
x 16 (128b130b)= 31.5 GB/s (⽚⽅向)100GNIC

PCIe Gen4x16

A100

NVLink3:
GPU当たり 50 GHz x4x2 x6= 300 GB/s (⽚⽅向)NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
Cyber HPC Symposium 2022@大阪大学(オンライン)

11

計算ノードノード占有も可能

仮想化ソフトウェア： VMware vSphere (vCenter, ESXi)• 汎⽤CPUノード• 演算加速GPUノード• 1 vCPU+メモリ1.6 GB= 1CPUパック• 1GPU+18 vCPU+メモリ60GB = 1GPUパック• GPU接続: PCIe パススルー• ベアメタルと同様のGPU直接アクセス• ライセンスの関係でvGPUは使⽤不可

分離
ユーザAのVM
2 vCPU, 3.2 GB mem

ユーザBのVM…

4 vCPU, 6.4 GB mem

仮想資源の割り当て (vCPU, vMem, etc)

ユーザCのVM
1 GPU, 18 vCPU,60 GB mem…
分離

ユーザDのVM
2 GPU, 36 vCPU,
120 GB mem

ノードあたり全152コア(38c x 2ソケットx 2 SMT)…

…
2022/3/14…
Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

12

利⽤イメージ「学認」を使える⽅は https://mdx.jpからプロジェクト申請が可能です。
まずはご相談ください！

mdx運⽤ポータル

モバイル

SINET
プロジェクトごとに分離された仮想環境

パブリック
クラウド

御制、イ 設定
ロ
プ ーク
デの トワ
VM ッネ

対外接続ルータ (Ethernet 100Gbps)

Ethernet (100GbE/25GbE)

プロジェクトごとに分離された仮想環境

2022/3/14

VM

VM

VM

VM

VM

VM

ユーザA

認証連携
学術認証
フェデレーション

ユーザB＋独⾃認証基盤

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

13

ネットワークインタフェース• 外部接続ネットワーク：VMXNET3 (準仮想化)• CPUノード: ノードあたり 25 Gbps Ethernet• GPUノード: ノードあたり 25 Gbps Ethernet x2• 内部⾼速ネットワーク（ストレージ，ノード間通信⽤）への接続• 各ノードのNICは100Gbps: x1/CPUノード、x4/GPUノード• デフォルト(VMXNET3, RDMA無し)： VM間，Lustre共にTCP接続• PVRDMA(準仮想化RDMA)： VM間のRDMA通信，Lustreは未対応• SR-IOV: VM間，Lustreも含めRDMAによる通信• 動作には mlx5ドライバが必要
2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

15

外部接続ネットワーク• Virtual eXtensible LAN (VXLAN)によるオーバーレイネットワーク• データセンター向けの仮想ネットワーク技術• 物理はSpine/LeafのIP Clos Fabric ネットワーク• IPネットワーク上にVXLANでVLANを通す(Ethernet over IP)
VXLANオーバーレイ

外部接続ルータ

L3スイッチL3スイッチL3スイッチL3スイッチ

外部接続ルータ100Gbps

100G/400G Coreルータ

L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ...

L3スイッチL3スイッチ

25Gbps
ノード

ノード

...

VLAN 10
ノード

VM
2022/3/14

100G+25G多ポートLeafスイッチ

VM
Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

16

オーバーレイを使う利点• IPネットワークの利点を維持したままVLANを延伸• 複数パスを使ったロードバランスと冗⻑• ユーザのVMがどのノードに存在しても同じVLANに接続できる• 仮想マシンのネットワーク性能と分離• トンネルやルーティングの処理をHVのS/Wではなく外部のH/Wスイッチで実施• 仮想マシンのNICが仮想NICでもSR-IOVでもネットワーク側は1つのロジックで制御できる• 万が⼀HVが乗っ取られても、他のVLANにはアクセスできない

2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

VXLAN Encap/Decap
Leafスイッチ
VLAN 10VLAN 20物理NIC
仮想スイッチSR-IOV

vNIC

vNIC

VF

VM

VM

VM

計算ノード

17

内部⾼速ネットワーク• RDMA over Converged Ethernet (RoCE) over VXLAN• RoCE: RDMAをIPネットワーク越しに⾏う技術• Infinibandでは⼗分なテナント間の分離を実現できないため• 外部接続ネットワークと同様、IP ClosトポロジにVXLANを利⽤• 各ノードのNICは100Gbps，ネットワークはフルバイセクション• Mellanox ConnectX-6 Dx x1/汎⽤CPUノード、x4/演算加速GPUノード
VXLANカプセル化
EthIP

RoCEv2フレーム

UDP VXLAN Eth

ネットワークを流れるパケット

IP

UDP IB BTH

L3スイッチIB Payload

L3スイッチ...

L3スイッチIP

UDP IB BTH

L3スイッチIB Payload

VMの送信したRoCEv2フレーム

2022/3/14

200G多ポートSpineスイッチ

200Gbps

VXLANオーバーレイ

Eth

L3スイッチ...

L3スイッチ

200G多ポートLeafスイッチ

100Gbps

ノード

...

ノード

VM Symposium 2022@⼤阪⼤学(オンライン)
VM
Cyber HPC

18

外部とのデータ連携• データ利活⽤・解析のためには…
• データ共有、検索• 研究データ管理、公開

NII Research Data Cloud•••Gakunin RDM︓データ管理
JAIRO Cloud: データ公開
CiNii: データ検索• Gakunin RDMとの連携
1. mdxのオブジェクトストレージと連携
2. BinderHubを⽤いたストレージ-計算機の連携
3. 内部⼤容量ストレージ（Lustreファイルシステム）との連携

Storage

対外接続ルータ(Ethernet 100Gbps)

Ethernetネットワーク (100GbE/25GbE)

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

20

各スパコンとの密な連携• ⽬的：⾼負荷・⼤容量処理をスパコンにオフロード• スパコンはバッチ処理主体：時間的な制約が少ない場合が前提• SINET6により各スパコンセンターとmdxは⾼速に接続• mdxとWisteria/BDEC-01は 400 Gbps x2 で直結• 課題• ストレージの連携• scp, sftpまたはsshfs• S3オブジェクトストレージ• LustreのNFS export

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s• ネットワーク構成• スパコン側での実⾏• ジョブのsubmission• Python, JupyterLab• Container

対外接続ルータ (Ethernet 100Gbps)s

2.0TB/s

Fast File
System

共有ファイルシステム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

1PB, 1.0TB/s

7.20PF, 578.2TB/s

800 Gbpsx368

External
Resourcesx40

16.3PB

外部リソースExternal Network
外部ネットワーク

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

1.0PB

2022/3/14

400GbpEthernet (100GbE/25GbE)

Shared File
System

10.3PB

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

21

データプラットフォーム構築

⾼付加価値 気象データプラットフォーム
JST共創の場 地域気象データと先端科学による戦略的社会共創拠点 ClimCORE

PL、スライド提供:
東⼤先端研 中村尚先⽣

2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

22

マテリアル先端リサーチインフラ（ハブ）
情報基盤センター

mdx: データ活⽤社会創成プラットフォーム•••

⾼性能計算機(*)
スパコン性能：25 PFLOPS
⼤容量データストレージ(*)
26 PB
⾼速ネットワークSINET 5（*スーパーコンピューター：Oakforest-PACS）

・データ管理・構造化
・データ利活⽤・データ⼈材育成
情報基盤センター mdx

ナノ⼯学研究セン
微細構造解析PF ター

・先端ナノ計測・研究開発・⽀援・データ創出武⽥先端知
スーパークリーンルーム

微細加⼯PF・先端デバイス加⼯・研究開発・⽀援・データ創出代表、スライド提供: ナノ⼯学研究センター 幾原雄⼀先⽣

23地域資源を活⽤した物質・エネルギー⽣産システム設計のためのシミュレーション基盤
個別事例で蓄積した地域・技術のデータやシミュレータを統合

原料

材料

部品

製品

販売

原料

材料

部品

製品

販売

ガラス
カレット

銅製品

PV

アルミ

リユース

PV

グラスウール

銀

PL: 東⼤未来ビジョン研究センター 菊池康紀先⽣スライド提供: 東⼤「プラチナ社会」総括寄付講座
兼松 祐⼀郎 先⽣

板ガラス
リビルト

高度処理

埋立PV

選別

分離

排出破砕

CH4Off gas

Gas/liquid
separatorcompressor

技術開発・モデル構築・システム設計・評価condenser

CH4OH

H2O

compressor

Reforming
reactors

21

Gas/liquid
separators

Methanolpurification
columnwastewater

H2

wastewater

Wastewaterreboiler

Methanolreactor

蓄電池を援用した
電解水素製造Heat exchanger/heater/cooler
Cold Process (Endothermic)
Hot Process (Exothermic)
Cold Stream (demands heat)
Hot Stream (supplies heat)

オープンデータの活用と成果のオープン化の推進
http://www.k.u-tokyo.ac.jp/info/entry/22_entry706/
https://www.nims.go.jp/news/press/2018/12/201812130.html

Kikuchi et al., Int J Hydrogen Energ, 44, 1451–1465 (2018)
Sako, Okubo, Kikuchi et al., J. Clean. Prod., 298, 126809 (2021)

拡張型地域産業連関表
い
⾖も類
類

そ砂 の糖 他
原 の料 ⾷
作 ⽤
物 作物

精製
⿊糖
糖・・ で原
油
そ ん料
脂の ぷ
糖・
他 ん
調の味
糖
料
類

そのガ 他
ソ のリ ⽯
ン 油製
品

送配発 変
電 電販
売

バ
イ バ
バ
オ イ
イエ オ
オ
タ マ
マノ ス
ス
N 熱
発
ル ⽣
電⽣ 産
産

内⽣部
⾨計

最終
需
要部
⾨計

島
内⽣
産
額

オープンデータ

いも類
⾖類
砂糖原料作物
その他の⾷⽤作物
原料糖
⿊糖・その他の糖
でんぷん
精製糖・油脂・調味料類

クラウド⾼速計算環境としてmdx活⽤を検討中

ガソリン
その他の⽯油製品

発電
送配変電販売内⽣部⾨計粗付加価値部⾨計
島内⽣産額（一部非公開）

学会・研究PJ
共同研究・コンソ

地域協働Ø サトウキビ由来未利⽤熱発⽣とバイオマス由来熱の熱需要の時空間ギャップ
ü ゼオライトによる蓄熱輸送
化学蓄熱＆輸送

木質バイオマス地域熱供給

風力熱発電＋蓄熱

Harvesting
amountForestGenerator

Yamaki, Kanematsu , Kikuchi, Energy, 205, 118056 (2020)

Hot
heat

BoilerChipping
site

Demand scale& composition

PowerTurbine

Timber2022/3/14

Plant scale
Tank capacity

G

Chip

120 °
C

蓄熱

精製糖

Heat
Recovery

CHP

既設
ボイラ

春

夏

出熱装置

秋
冬

春

夏

秋

出 熱発電・・・

圧搾Coldheat
Absorption
Chiller

冬

原料糖・・・

Wind-thermal energy converter(WECth)Thermal energy storage(TES)
Turbine

熱需要地（島外出荷）

結晶・効⽤化

地域経済情報バイオエタノール⽣産
バイオマス熱⽣産
バイオマス発電

TankConsumers

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)
DHC
Kanematsu, Oosawa, Okubo, Kikuchi, Applied Energy, 198, 160–172 (2017)

サトウキビ

バガスボイラ

製糖⼯場

蓄熱装置

購⼊重油

ゼオライトの⽔蒸気吸脱着サイクルを⽤いた蓄熱輸送システムを検討

24

Fujii, Kanematsu, Kikuchi et al., Appl. Energy, 238, 561-571. (2019)

まとめ• データ科学・活⽤のための基盤 mdx:データ活⽤社会創成プラット
フォームを導⼊• 9⼤学（北⼤、東北⼤、筑波⼤、東⼤、東⼯⼤、名⼤、京⼤、阪⼤、九⼤）, 2研究所（NII, AIST）• mdxの特徴• 幅広く利⽤可能なマルチテナントの仮想化計算基盤• 「学認」による利⽤申請• スパコン⾒学会録画 (mdx & Wisteria/BDEC-01)• Gakunin RDMとの連携
https://www.youtube.com/watch?v=utCmjkkZPOM• VPNによる隔離• SINET6との連携によるセキュアIoT（モバイルSINET）• mdx紹介と研究事例イメージ

https://www.youtube.com/watch?v=--7h6tWECX8• スパコンとmdxとの密な連携
2022/3/14

Cyber HPC Symposium 2022@⼤阪⼤学(オンライン)

25