学認アカウントで利用する
学術情報基盤mdx
東京大学 情報基盤センター
空閑 洋平

2022/5/31

NII OPEN FORUM 20221

mdxとは2021/3 導入，2021/9 試験利用開始
2022/4 JHPCN公募利用開始• データ科学・データ駆動科学・データ活用応用にフォーカスした高性能仮想化環境 https://mdx.jp/• 9大学2研究所が共同運営し、研究所 (2)全国共同利用• 国立情報学研究所、産業技術総合研究所
大学 (9)• 東京大学 柏2キャンパスに設置• 北海道大、東北大、筑波大、東京大、東京工業大、名古屋大、京都大、大阪大、九州大

2USのwhite paper• Ian Foster, Daniel Lopresti, Bill Gropp, Mark D. Hill, Katie Schuman.
“A National Discovery Cloud: Preparing the US for Global
Competitiveness in the New Era of 21st Century DigitalTransformation”• 2021 Apr https://arxiv.org/abs/2104.06953• The need for national discovery cloud:• DOE and NSF supercomputers provide access to powerful simulation
capabilities, but with access limited to small communities.
• With a few notable exceptions, AI-ready datasets for research use arelacking. Commercial clouds are accessible to anyone with a credit card,but there is little of the coordination needed to create nationally useful
discovery cloud services.

2022/5/31

NII OPEN FORUM 20223

mdxのターゲット
mdx上にデータ収集、解析、他システムとの連携といった研究コ
ラボレーション環境を、プロジェクトごとに構築できます
Disaster protection

Medicine
Shared infrastructureNetwork / Storage / Computers

SINET6SINET6SINET5SINET
mobileSINET6
Data

Agriculture / Fishing

Smart Cities
Energy / Power Grid

SINET6SINET6SINET6

mdxの構成

2つのネットワーク• 外部接続ネットワーク✓ SINET6と400G x2で接続• 内部高速ネットワーク✓ RDMA、ストレージ
モバイル
SINET

汎用CPUノード
Intel IceLake x2ソケット x368ノード
理論ピーク性能(FP64): 2.1PFLOPS
総メモリバンド幅: 150.7 TB/s

外部接続ルータ(400Gbps)

GPU 演算加速ノード
Intel IceLake x2ソケット+NVIDIA A100 x8 x40ノード
理論ピーク性能(FP64): 6.4PFLOPS
理論ピーク性能(FP16): 100.7PFLOPS
総メモリバンド幅: 496.3 TB/s

Ethernet Network (100GbE/25GbE)

高速 NVMe ストレージx368x40

Lustre Filesystem
1.0 PB (NVMe SSD)
252 GByte/sec

大容量HDDストレージ
Lustre Filesystem
16.3 PB (HDD)
157.5 GByte/sec

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

外部共有オブジェクトストレージ
1.0PB

2022/5/31

16.3PB

10.3PBNII OPEN FORUM 2022

S3 Data Service
10.3 PB (HDD)
63.0 GByte/sec

5

「学認」を使える方は https://mdx.jp からプロジェクト申請可能
まずはご相談ください！
現在は試験運用期間につき無償にて利用可能です。

利用イメージ

ユーザポータル

モバイル

SINET
プロジェクトごとに分離された仮想環境

パブリック
クラウド

ユーザA

認証連携

対外接続ルータ (Ethernet 100Gbps)

学術認証
フェデレーション

Ethernet (100GbE/25GbE)

プロジェクトごとに分離された仮想環境

2022/5/31

VM

VM

VM

VM

VM

VM

ユーザB＋独自認証基盤

NII OPEN FORUM 2022

6

柔軟な仮想化環境
項目

説明

仮想マシン名
パックタイプ

1CPUパック=1vCPU,1.51GB Mem
1GPUパック=18vCPU, 57.6GB Mem, 1GPU

パック数
仮想ディスク(GB)OSインストール先ローカルストレージ

ストレージネットワーク

ノード・Lustreストレージ接続ネットワークIF
仮想NIC・PVRDMA・SRIOVから選択

サービスネットワーク数

外部接続ネットワーク数

サービスネットワーク

利用する仮想ネットワーク(ACL/NAT)を選択

ログインユーザ名公開鍵
ゲストOS
2022/5/31

mdxポータル(web UI)からゲストOSのデプロイ、コンソールの利用などの環境構築が可能

mdxで用意したLinuxテンプレートや自分で好きなOSをインストールして利用可能
NII OPEN FORUM 20227

mdxの利用状況• 現在92プロジェクトが利用(運用目的の内部利用含む)• 来年度以降に本格的なサービス開始予定• 課金機能を準備中• 本格利用開始後はCPU・GPUリソースを動的に配分する予定• 現在の試験運用では、リソースに空きがあれば割当

1CPUパック=1vCPU,1.51GB Mem
1GPUパック=18vCPU, 57.6GB Mem, 1GPU

スパコンとの連携例: Wisteria/BDEC-01• 目的：高負荷・大容量処理をスパコンにオフロード• スパコンはバッチ処理主体：時間的な制約が少ない場合が前提• mdxとWisteria/BDEC-01の間も400 Gbps x2で直結• 連携の検討• データ，ストレージ

Shared File
System

2.0TB/s

Fast File
System

共有ファイルシステム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）Intel Ice Lake + NVIDIA A100

1PB, 1.0TB/s

7.20PF, 578.2TB/s

800 Gbps

400Gbps x2

対外接続ルータ ( Ethern et 1 00 Gbps)

Ethern et ( 1 0 0 GbE/2 5 GbE)

• mdx-スパコンの同期

2022/5/31

Odyssey

25.8 PB, 500GB/s• ジョブの実行• Python• Singularityコンテナイメージ

シミュレーションノード群
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s• 利用可能：scp, sftp, sshfs, S3• 今後実現：NFS / Lustre• スパコン側で実行するプログラム環境

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

ExternalResources
外部リソースExternal Network
外部ネットワークx3 6 8x4 0

RDMA/ストレージ/仮想ディスクストレージネットワーク ( 1 00 GbE、RDMA通信⽤)

1 . 0 PBNII OPEN FORUM 2022

1 6 . 3 PB

1 0 . 3 PB

9

NIIとの連携•

全国利用を想定

学認• 大学をまたがる認証基盤•

GakuNin RDM• 研究データ管理• データのカタログ化、共有・公開設定• 外部クラウド・S3ストレージとの連携機能•

だけではない準備中

両者を用いて• 研究者がサインアップし、すぐに使い始められる環境• データの検索から、ブラウザベース処理、高性能処理までをシームレスに実行できる環境• モバイルSINETとの連携• 広域センサデータをmdxでアーカイブ、解析プラットフォームに利用を想定
10• 連携方法は今後検討。利用検討の際はご相談ください

学認によるユーザ認証• mdxのプロジェクト申請ページ https://prjpl.mdx.jp/application-portal/

ログイン画面

プロジェクト申請画面

GakuNin RDMとの連携
1. mdxのオブジェクトストレージと連携• S3 Compatible Storage➔ s3ds.mdx.jp

2. (予定) BinderHub、Jupyterhubを用いたストレージ-計算機の連携
3. 内部大容量ストレージ（Lustreファイ
ルシステム）との連携
対外接続ルータ(Ethernet 100Gbps)
Ethernetネットワーク (100GbE/25GbE)

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

S3DS
2022/5/31

NII OPEN FORUM 202212

学認に参画している機関みなさまへ
mdxのSP利用許可設定をご検討ください• mdxはオンラインだけ(紙の書類提出無し)で利用申請可能• 学認認証を利用することで、自組織のアカウントで利用可能• 事前に各機関でmdxにSPの利用許可を設定いただく必要があります• 現在までにmdx SPを設定いただいた組織一覧(2022/5/12現在)• (構成機関)北海道大学、東北大学、筑波大学、東京大学、東京工業大学、NII、名古屋大学、京都大学、大阪大学、九州大学• 北見工業大学、群馬大学、愛媛大学、関西大学、関西学院大学、公立
はこだて未来大学、早稲田大学、静岡大学
2022/5/31

NII OPEN FORUM 202213

学認に参画している機関みなさまへ
mdxのSP利用許可設定をご検討ください• 設定項目• (1) Entity ID は以下の3つ

GakuninページのIdP・SP一覧に設定例が載っています• https://prjpl.mdx.jp/shibboleth-sp• https://oprpl.mdx.jp/shibboleth-sp• https://docs.mdx.jp/shibboleth-sp• (2) 発信属性は以下の3つ• eduPersonPrincipalName (必須)• displayName (選択)• mail (選択)• 設定に関するご質問は mdx-help@mdx.jp まで• 参考URL• （IdP運用担当者向け）attribute-filterの自動生成機能を使う
https://meatwiki.nii.ac.jp/confluence/pages/viewpage.action?pageId=14647811• 学認アカウントを利用したmdxのログイン方法について
https://docs.mdx.jp/ja/main/login.html

まとめ• データ科学・活用のための基盤 mdx:データ活用社会創成プラット
フォームを運用開始• mdxの特徴• 幅広く利用可能なマルチテナントの仮想化計算基盤• 学認による利用申請だけでなく、SINET6やGakuNin RDMなどNIIと連携しながら改善を継続• 今後も他スパコンやデータシステムとの連携を強化• mdxとのSP連携をご検討ください• スパコン見学会録画 (mdx & Wisteria/BDEC-01)
https://www.youtube.com/watch?v=utCmjkkZPOM

https://mdx.jp• mdx紹介と研究事例イメージ
https://www.youtube.com/watch?v=--7h6tWECX8• mdxのvision paper
2022/5/31

https://arxiv.org/abs/2203.14188
NII OPEN FORUM 202215