mdx: ⼤学・研究機関連携でつくる
データ活⽤のための新しい学術情報基盤
JAPAN OPEN SCIENCE SUMMIT 2021
東京⼤学 情報基盤センター 助教
中村 遼

データ活⽤社会創成プラットフォーム「データ活⽤社会創成プラットフォーム」は⽤途に応じてオンデマンドで短時間に構築・拡張・融合できるデータ収集・集積・解析機能を提供するプラットホーム。

研究所 (2)• 国⽴情報学研究所、産業技術総合研究所
⼤学 (9)• 北海道⼤、東北⼤、筑波⼤、東京⼤、東京⼯業⼤、名古屋⼤、京都⼤、⼤阪⼤、九州⼤

データ活⽤社会創成プラットフォーム ３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム︓仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

⾼性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い⾼精度の予測を⾏えるようにする

異種データ・異種知識の融合活⽤の推進と利⽤者⽀援
様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。

2

mdxとは• 9⼤学2研究所が共同運営し、全国共同利⽤に供する、データ活⽤にフォーカスした⾼性能仮想化環境• 東京⼤学 柏2キャンパスに設置

3mdxとは (もうすこし技術的に/具体的に)• 性能と分離を意識したInfrastructure as a Service基盤• mdxは計算環境というインフラをユーザに提供する• 多数のCPU/メモリ/GPU、⾼速なネットワーク、⼤容量のストレージ• ユーザはインフラ上に仮想マシン(VM)を作成して利⽤する• ユーザは仮想マシンに好きなOSを使い、root権限を持って⾃由に使う
Application
mdx上でユーザが制御する範囲

RuntimeOS

mdxの提供する範囲(Infrastructure)

Virtualization
Compute NetworkStorage4

mdxの概要
仮想プラットフォーム• 仮想プラットフォーム

モバイル

SINET

インターネット• 柔軟・セキュアな環境の構築が可能• ⾼性能な「マルチテナント」環境• ⼤容量ストレージ

パブリック
クラウド

••共有オブジェクト
ストレージ

セキュア
データ共有

• SINET・モバイルSINETと接続
AIST ABCI• セキュアなIoT環境の構築が可能• ABCI, Wisteria/BDEC-01など
既存・将来設置のスパコンと連携

コールド
ストレージ

セキュア・
⾼速ストレージ

スパコン(東⼤Wisteria/BDEC-01等)

5

利⽤イメージ• ユーザごとに分離された仮想環境を構成• mdx運⽤ポータルを通じて仮想環境を操作(VMのデプロイ、設定、etc)• 運⽤ポータルへのログインはNIIの運⽤する学認と連携(予定)
mdx運⽤ポータル

分離

ユーザAの仮想資源

ユーザA
ユーザBの仮想資源仮想資源の割り当て(vCPU, vMem, etc)

認証連携
学術認証
フェデレーションmdx全体の計算機資源

ユーザB

6

物理構成
• 2つのネットワーク

対外接続ルータ (Ethernet 100Gbps)• 外部接続ネットワーク

Ethernet (100GbE/25GbE)• SINETと100G x2で接続• 内部⾼速ネットワーク• RDMA• 複数のストレージx368• ⾼速ストレージ (1PB, NVMe)• 内部ストレージ (16PB)• オブジェクトストレージ(10PB)

x40

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

1.0PB

16.3PB

10.3PB7

計算ノード構成• 汎⽤CPUノード, 368台

• Intel Xeon Platinum 8368 (IceLake-SP) x2ソケット• GPUノード, 40台• Intel Xeon Platinum 8368 (IceLake-SP) x2ソケット + Nvidia A100 x8 GPU• Hyper Visor• VMware vSphere• 外部接続ネットワーク向けNICは25Gbps• 内部⾼速ネットワーク向けNICは100Gbps
汎⽤CPUノード
富⼠通CX2550 M6GPUノード
富⼠通GX2570 M68外部接続ネットワーク• Virtual eXtensible LAN (VXLAN)によるオーバーレイネットワーク• データセンター向けの仮想ネットワーク技術• 物理はSpine/LeafのIP Clos Fabric ネットワーク• IPネットワーク上にVXLANでVLANを通す(Ethernet over IP)
外部接続ルータ

VXLANオーバーレイ
L3スイッチL3スイッチL3スイッチL3スイッチ

外部接続ルータ
100
L3スイッチL3スイッチ...

100G/400G Coreルータ

G bps
L3スイッチ

100G多ポートSpineスイッチ

L3スイッチ

25Gbps
ノード

ノード
VM

...

100G+25G多ポートLeafスイッチ

VLAN 10ノード
VM
9オーバーレイを使う利点• IPネットワークの利点を維持したままVLANを延伸• 複数パスを使ったロードバランスと冗⻑• ユーザのVMがどのノードにいても同じVLANに接続できる• 仮想マシンのネットワーク性能と分離• トンネルやルーティングの処理をHVのS/Wではなく外部のH/Wスイッチで実施• 仮想マシンのNICが仮想NICでもSR-IOVでもネットワーク側は1つのロジックで制御できる• 万が⼀HVが乗っ取られても、他のVLANにはアクセスできない

VXLAN Encap/Decap

Leafスイッチ
VLAN 10VLAN 20

物理NIC
仮想スイッチSR-IOV

vNIC

vNIC

VF

VM

VM

VM

計算ノード

10

内部⾼速ネットワーク• RDMA over Converged Ethernet (RoCE) over VXLAN• RoCE: RDMAをIPネットワーク越しに⾏う技術• 外部接続ネットワークと同様、IP ClosトポロジにVXLANを利⽤• Infinibandでは⼗分なテナント間の分離を実現できなかった• 各ノードのNICは100Gbpsで、ネットワークはフルバイセクション
VXLANカプセル化
EthIP

RoCEv2フレーム

UDP VXLAN EthIP

ネットワークを流れるパケット

UDP

IB BTH

L3スイッチIB Payload

L3スイッチ...

L3スイッチVXLANオーバーレイ

200Gbps

L3スイッチEthIP

UDP

IB BTH

200G多ポートSpineスイッチ

L3スイッチL3スイッチ...

ノード

200G多ポートLeafスイッチ

100Gbps

IB Payload

VMの送信したRoCEv2フレーム

...

ノード
VM

VM

11

異なるノード上のVM間通信• 外部接続ネットワーク (25Gbps NIC)
• 仮想NIC (vmxnet3)• iperf3で 23.5 Gbps

• 内部⾼速ネットワーク (100Gbps NIC)
• SR-IOV (mlx5)• ib_send_bwで 88.87 Gbps

12

SINETとの連携• SINETのL2VPNサービスを通じてセキュアな閉域網経由でVLANをmdxにもちこむことが可能• 他のSINETサイト(⼤学・研究機関)とセキュアに接続• モバイルSINET経由で、IoTデバイスからmdx上の計算環境へセキュアにデータを転送

モバイル

SINET

パブリック
クラウド

対外接続ルータ (Ethernet 100Gbps)

Ethernet (100GbE/25GbE)

VM

VM

VM

VM

VMVM

13

まとめと、利⽤について• NII, AISTと8⼤学(北⼤、東北⼤、筑波⼤、東⼤、東⼯⼤、名⼤、京⼤、阪⼤、九⼤) は共同で、• データ科学・活⽤のための基盤 mdx を導⼊• 共同研究・産官学連携の仕組みを運⽤• mdx• 幅広い⽤途に使えるIaaS型の仮想化基盤• 計算資源、⾼速ネットワーク、⼤容量ストレージの提供• SINETとの連携による外部ネットワーク接続• 利⽤について• 現在鋭意準備中• データ活⽤、データ提供、プラットフォーム構築、⾼性能計算・データ処理など、幅広い⽤途、分野のみなさまに利⽤できるように• https://mdx.jp/
14