⼤学・研究機関連携で作る新しい学術情報基盤mdxとそのネットワーク構成
ADVNET 2021
東京⼤学 情報基盤センター 助教
中村 遼

データ活⽤社会創成プラットフォーム「データ活⽤社会創成プラットフォーム」は⽤途に応じてオンデマンドで短時間に構築・拡張・融合できるデータ収集・集積・解析機能を提供するプラットホーム。

研究所 (2)• 国⽴情報学研究所、産業技術総合研究所
⼤学 (9)• 北海道⼤、東北⼤、筑波⼤、東京⼤、東京⼯業⼤、名古屋⼤、京都⼤、⼤阪⼤、九州⼤

データ活⽤社会創成プラットフォーム ３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム︓仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

⾼性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い⾼精度の予測を⾏えるようにする

異種データ・異種知識の融合活⽤の推進と利⽤者⽀援
様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。

2

mdxとは• 9⼤学2研究所が共同運営し、全国共同利⽤に供する、データ活⽤にフォーカスした⾼性能IaaS環境• 東京⼤学 柏2キャンパスに設置

3mdxの概要
仮想プラットフォーム• 仮想プラットフォーム

モバイル

SINET

インターネット• 柔軟・セキュアな環境の構築が可能• ⾼性能な「マルチテナント」環境• ⼤容量ストレージ

パブリック
クラウド

•
•

共有オブジェクト
ストレージ

セキュア
データ共有

• SINET・モバイルSINETと接続
AIST ABCI• セキュアなIoT環境の構築が可能• ABCI, Wisteria/BDEC-01など既存・将来設置のスパコンと連携

コールド
ストレージ

セキュア・
⾼速ストレージ

スパコン(東⼤Wisteria/BDEC-01等)

4

利⽤イメージ• ユーザごとに分離された仮想環境を構成• mdx運⽤ポータルを通じて仮想環境を操作(VMのデプロイ、設定、etc)• 運⽤ポータルへのログインはNIIの運⽤する学認と連携(予定)
mdx運⽤ポータル

分離

プロジェクトAの仮想資源

ユーザ1
プロジェクトBの仮想資源

仮想資源の割り当て(vCPU, vMem, etc)

認証連携
学術認証
フェデレーションmdx全体の計算機資源

ユーザ2

5

物理構成
• 2つのネットワーク

対外接続ルータ (Ethernet 100Gbps)• 外部接続ネットワーク

Ethernet (100GbE/25GbE)• SINETと100G x2で接続• 内部⾼速ネットワーク• RDMA• 複数のストレージx368• ⾼速ストレージ (1PB, NVMe)• 内部ストレージ (16PB)• オブジェクトストレージ(10PB)

x40

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

1.0PB

16.3PB

10.3PB6

計算ノード構成• 汎⽤CPUノード, 368台

• Intel Xeon Platinum 8368 (IceLake-SP) x2ソケット• GPUノード, 40台• Intel Xeon Platinum 8368 (IceLake-SP) x2ソケット + Nvidia A100 x8 GPU• Hyper Visor• VMware vSphere• 外部接続ネットワーク向けNICは25Gbps• 内部⾼速ネットワーク向けNICは100Gbps
汎⽤CPUノード
富⼠通CX2550 M6GPUノード
富⼠通GX2570 M67

2種類のネットワーク• 外部接続ネットワーク• VMがEthernet/IPで外部と通信するためのネットワーク• Spine/LeafトポロジでVXLANオーバーレイ• 構成機器• 外部接続ルータ: MX480 (MPC10E) x2, 400G ready!
• Spineスイッチ: QFX10002-72Q x4, 100G
• Leafスイッチ: QFX5120, Downlink 25G, Uplink 100G x4• CGN: SRX4600• 内部⾼速ネットワーク• VMがストレージやVM間でRDMAで通信するためのネットワーク• Spine/LeafトポロジでVXLANオーバーレイ• 構成機器• Spineスイッチ: SN3700 x16, 200G
• Leafスイッチ: SN3700, Downlink 100G, Uplink 200G x16
8

オーバーレイを使う利点• IPネットワークの利点を維持したままVLANを延伸• 複数パスを使ったロードバランスと冗⻑• ユーザのVMがどのノードにいても同じVLANに接続できる• 仮想マシンのネットワーク性能と分離• トンネルやルーティングの処理をHVのS/Wではなく外部のH/Wスイッチで実施• 仮想マシンのNICが仮想NICでもSR-IOVでもネットワーク側は1つのロジックで制御できる• 万が⼀HVが乗っ取られても、他のVLANにはアクセスできない

VXLAN Encap/Decap

Leafスイッチ
VLAN 10VLAN 20

物理NIC
仮想スイッチSR-IOV

vNIC

vNIC

VF

VM

VM

VM

計算ノード

9

外部接続ネットワーク• Virtual eXtensible LAN (VXLAN)によるオーバーレイネットワーク• データセンター向けの仮想ネットワーク技術• 物理はSpine/LeafのIP Clos Fabric ネットワーク• コントロールプレーンはEthernet VPN (RFC8365)、UnderlayはOSPFv2 + BFD
外部接続ルータ

VXLANオーバーレイ
L3スイッチL3スイッチL3スイッチL3スイッチ

外部接続ルータ
100
L3スイッチL3スイッチ...

100G/400G Coreルータ

G bps
L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ

25Gbps
ノード

ノード
VM

...

100G+25G多ポートLeafスイッチ

VLAN 10ノード
VM
10外部接続ネットワーク: ルーティング編• VM収容セグメントのDefault Gateway• VXLAN Anycast Gateway• Spineスイッチ4台で冗⻑+負荷分散
外部接続ルータ

L3スイッチL3スイッチL3スイッチL3スイッチ

ノード

ノード
VM

外部接続ルータ

L3スイッチL3スイッチ...

...

100G/400G Coreルータ

L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ

100G+25G多ポートLeafスイッチ

ノード
VM11

外部接続ネットワーク: ルーティング編• VM収容セグメント間、及び外部とのルーティング• Centrally Routed Bridging (CRB): mdxではCoreでVNI間ルーティングを実施• ACLを容量の⼤きいCoreルータに集約
外部接続ルータ

VXLANオーバーレイ
L3スイッチL3スイッチL3スイッチL3スイッチ

ノード

ノード
VM

外部接続ルータ

L3スイッチL3スイッチ...

...

100G/400G Coreルータ

L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ

100G+25G多ポートLeafスイッチ

ノード
VM
12

外部接続ネットワーク: ルーティング編• Carrier Grade NAT• VMにアサインされるのはIPv4
Private、IPv6 Global Unicast• コアルータに接続するSRXでCGN• VM -> the Internet: Source NAT• The Internet -> VM: Destination NAT• Core/CGN間はper-VRF BGP

SINET

CGN

NATCoreL3 Routing (VRF)
and VXLAN Decap
Spine
VXLAN Anycast Gateway
Leaf

VXLAN Encap

ノード
VM

13

ユーザはポータル画⾯から設定を変更• ACLの設定やグローバルv4アドレスの割り当て

14内部⾼速ネットワーク• RDMA over Converged Ethernet (RoCE) over VXLAN• RoCE: RDMAをIPネットワーク越しに⾏う技術• 外部接続ネットワークと同様、IP ClosトポロジにVXLANを利⽤• Infinibandでは⼗分なテナント間の分離を実現できなかった• コントロールプレーンはEthernet VPN、UnderlayはBGP unnumbered

VXLANカプセル化
EthIP

RoCEv2フレーム

UDP VXLAN EthIP

ネットワークを流れるパケット

UDP

IB BTH

L3スイッチIB Payload

L3スイッチ...

L3スイッチVXLANオーバーレイ

200Gbps

L3スイッチEthIP

UDP

IB BTH

200G多ポートSpineスイッチ

L3スイッチL3スイッチ...

ノード

200G多ポートLeafスイッチ

100Gbps

IB Payload

VMの送信したRoCEv2フレーム

...

ノード
VM

VM

15

異なるノード上のVM間通信• 外部接続ネットワーク (25Gbps NIC)
• 仮想NIC (vmxnet3)• iperf3で 23.5 Gbps

• 内部⾼速ネットワーク (100Gbps NIC)
• SR-IOV (mlx5)• ib_send_bwで 88.87 Gbps

16

SINETとの連携• SINETのL2VPNサービスを通じてセキュアな閉域網経由でVLANをmdxにもちこむことが可能• 他のSINETサイト(⼤学・研究機関)とセキュアに接続• モバイルSINET経由で、IoTデバイスからmdx上の計算環境へセキュアにデータを転送

モバイル

SINET

パブリック
クラウド

対外接続ルータ (Ethernet 100Gbps)

Ethernet (100GbE/25GbE)

VM

VM

VM

VM

VM

VM

17

まとめと、利⽤について• NII, AISTと9⼤学(北⼤、東北⼤、筑波⼤、東⼤、東⼯⼤、名⼤、京⼤、阪⼤、九⼤) は共同で、• データ科学・活⽤のための基盤 mdx を導⼊• 共同研究・産官学連携の仕組みを運⽤• mdx• 幅広い⽤途に使えるIaaS型の仮想化基盤• 計算資源、⾼速ネットワーク、⼤容量ストレージの提供• SINETとの連携による外部ネットワーク接続• 利⽤について => https://mdx.jp• 現在テスト利⽤が始まっています• データ活⽤、データ提供、プラットフォーム構築、⾼性能計算・デー
タ処理など、幅広い⽤途、分野のみなさまに利⽤できるように
18