mdx : データ活用のためのプラット
フォーム, 現状と将来

田浦健次朗
東京大学情報基盤センター長
JHPCN共同利用共同研究拠点 拠点長
taura@itc.u-tokyo.ac.jp

mdxとはデータ活用社会創成シンポジウム2022

2022年12月20日

2

mdxとは▪ 9大学2研究所が共同運営し,▪ 全国共同利用に供する,▪ データ科学・データ駆動科学・データ活用応用にフォーカスした▪ 高性能仮想化環境 https://mdx.jp/▪ @ 東京大学柏IIキャンパス▪ 2021/9/22～利用可能な状態

データ活用社会創成シンポジウム2022

2022年12月20日

3ねらい
用途に応じてオンデマンドで短時間に構築・拡張・融合できる、データ収集・集積・解析機能を提供するプラットホーム
３本柱

SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築

遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに入力から出力を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム：仮想DP）を、使いたいときに即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ

高性能計算環境によるデータ科学と計算科学の融合
データ科学、計算科学の手法を融合し、さらに国内最高の計算環境を用いて他に無い高精度の予測を行えるようにする

異種データ・異種知識の融合活用の推進と利用者支援
様々な分野のデータ保持者、解析者、利用者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活用を目指す利用者へのコンサルティングや開発支援を実施する。

データ活用社会創成シンポジウム2022

2022年12月20日

4これまでの経緯～今後の予定
2018年度

2019年度

構想～予算要求

2020年度
技術検討～調達

2021年度
ユーザ視点のUI・技術改良

2022年度

無料期間

2023年度

本番運用

2018.3 構想開始
NOW
2018.5 予算要求
2018.12 予算承認
2019.1 10機関へ協力要請
2019.4 技術的な検討開始
2019.9 仕様策定開始（委員会発足）
2020.8 契約
2020.12 運用準備WG
2021.2 納入
2021.3 UI・技術的課題解決
2021.9.22 ユーザ向けリリース
2023.? 本番運用

データ活用社会創成シンポジウム2022

2022年12月20日

5mdxハードウェアスペック
汎用CPUノード

Ice Lake （76仮想コア）x 2 x 368ノード
総理論演算性能(倍精度)：2.1PFLOPS
総メモリバンド幅：150.7TByte/秒

演算加速GPUノード
NVIDIA A100 x 8 x 40ノード
総理論演算性能(倍精度)：6.4PFLOPS
総理論演算性能(半精度)：100.7PFLOPS
総メモリバンド幅：496.3TByte/秒

対外接続ルータ (Ethernet 100Gbps)

Ethernetネットワーク (100GbE/25GbE)

高速NVMeストレージ
Lustreファイルシステム
1.0PB (NVMe SSD)
252GByte/秒

x368x40

外部共有オブジェクトストレージ
S3 Data Service
10.3PB
63.0 GByte/秒

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

データ活用社会創成シンポジウム2022

16.3PB

大容量HDDストレージ
Lustre並列ファイルシステム
16.3PB
157.5GByte/秒

10.3PB

2022年12月20日

6これまでの（大学・研究機関の）マシンとの違い▪ これまで（ いわゆるスーパーコ ▪ mdx : 仮想化された高性能環境ンピュータ）▪ 分野、グループごとに異なる環境▪ 管理者が定める単一の環境

これまでのほとんどのシステム

テナントA

データ活用社会創成シンポジウム2022

BC

2022年12月20日

テナントD

7

ぜひお見逃しなく!
▪ Youtubeチャンネルにてオンデマンド教材公開中▪ 本日これらの動画制作者らによるmdxチュートリアル+なんでも相談会▪ 14:40-16:45▪ 空閑洋平 准教授▪ 中村遼 准教授
▪ 華井雅俊 特任助教
▪ 必要なすべての人に使ってもらえるよう今後もコンテンツを拡充します▪ 必要なコンテンツ・ご要望を教えてください▪ コンテンツ作成の協力者も歓迎です
データ活用社会創成シンポジウム2022

2022年12月20日

9利用状況・有料化後の制度データ活用社会創成シンポジウム2022

2022年12月20日

102021-09-22
2021-10-01
2021-10-102021-10-19
2021-10-28
2021-11-06
2021-11-15
2021-11-24
2021-12-03
2021-12-12
2021-12-21
2021-12-30
2022-01-08
2022-01-17
2022-01-26
2022-02-04
2022-02-13
2022-02-22
2022-03-03
2022-03-12
2022-03-21
2022-03-30
2022-04-08
2022-04-17
2022-04-26
2022-05-05
2022-05-14
2022-05-23
2022-06-01
2022-06-10
2022-06-19
2022-06-28
2022-07-07
2022-07-16
2022-07-25
2022-08-03
2022-08-12
2022-08-21
2022-08-30
2022-09-08
2022-09-17
2022-09-26
2022-10-05
2022-10-14
2022-10-23
2022-11-01
2022-11-10
2022-11-19
2022-11-28
2022-12-07
2022-12-16

n_projects allocatedプロジェクト（ 利用グループ）数

120

100

8060

40

20

0

date

データ活用社会創成シンポジウム2022
2022年12月20日
112021-09-22
2021-10-01
2021-10-102021-10-19
2021-10-28
2021-11-06
2021-11-15
2021-11-24
2021-12-03
2021-12-12
2021-12-21
2021-12-30
2022-01-08
2022-01-17
2022-01-26
2022-02-04
2022-02-13
2022-02-22
2022-03-03
2022-03-12
2022-03-21
2022-03-30
2022-04-08
2022-04-17
2022-04-26
2022-05-05
2022-05-14
2022-05-23
2022-06-01
2022-06-10
2022-06-19
2022-06-28
2022-07-07
2022-07-16
2022-07-25
2022-08-03
2022-08-12
2022-08-21
2022-08-30
2022-09-08
2022-09-17
2022-09-26
2022-10-05
2022-10-14
2022-10-23
2022-11-01
2022-11-10
2022-11-19
2022-11-28
2022-12-07
2022-12-16

gpu_pack allocatedGPU（max: 264）

250

200

注：一旦埋まった後も資源（GPU）をプロジェクト間で循環させる仕組
みがあります（今日は省略）

150

100

50

0date

データ活用社会創成シンポジウム2022
2022年12月20日
122021-09-22
2021-10-01
2021-10-102021-10-19
2021-10-28
2021-11-06
2021-11-15
2021-11-24
2021-12-03
2021-12-12
2021-12-21
2021-12-30
2022-01-08
2022-01-17
2022-01-26
2022-02-04
2022-02-13
2022-02-22
2022-03-03
2022-03-12
2022-03-21
2022-03-30
2022-04-08
2022-04-17
2022-04-26
2022-05-05
2022-05-14
2022-05-23
2022-06-01
2022-06-10
2022-06-19
2022-06-28
2022-07-07
2022-07-16
2022-07-25
2022-08-03
2022-08-12
2022-08-21
2022-08-30
2022-09-08
2022-09-17
2022-09-26
2022-10-05
2022-10-14
2022-10-23
2022-11-01
2022-11-10
2022-11-19
2022-11-28
2022-12-07
2022-12-16

cpu_pack allocatedCPU（max: 45296）

25000

20000

15000

10000

5000

0date

データ活用社会創成シンポジウム2022
2022年12月20日
134月以降の利用の形態・負担金▪ お試し利用：無料（3カ月、8仮想コアまで）▪ 通常利用：有料（従量課金）▪ 共同利用共同研究拠点（JHPCN）に応募▪ 採択課題は無料で中～大規模に利用可能▪ NII研究データエコシステム事業「ユースケース課題」に応募▪ もちろん普通に研究費で払うことも可能

データ活用社会創成シンポジウム2022

2022年12月20日

14通常利用の負担金
単位（パック）

単価

CPU起動保証

1仮想コア+1.5GB¥0.2 / 時間

CPU起動

1仮想コア+1.5GB¥0.2 / 時間

GPU起動保証18仮想コア+57GB+1 GPU ¥50 / 時間

GPU起動

18仮想コア+57GB+1 GPU ¥50 / 時間仮想ディスクストレージ

1GB¥0.03 / 日高速内部ストレージ

1GB¥0.03 / 日

大容量ストレージ

1GB¥0.02 / 日

オブジェクトストレージ

1GB¥0.01 / 日

データ活用社会創成シンポジウム2022

2022年12月20日

15起動保証とは▪ 起動保証  予約席・野球場ボックスシート・ディズニー｛ランド・シー｝年間パス▪ 起動しようとしたら必ず起動する（席が確保されている）▪ 予約しているだけでも料金発生（GPU:50円/時間）▪ 実際に起動している時間に対して別途料金発生（GPU:50円/時間）▪ 立ち上げっぱなしや長時間の起動向け▪ 起動保証なし（スポットVM） 当日券▪ 実際に起動している時間のみ料金発生（GPU:50円/時間）▪ 起動したいときにできるとは限らず、いったん起動した後も強制終了される場合がある（猶予時間1時間程度）▪ 突発的な計算需要向け。長時間の計算はチェックポイントを取りながらデータ活用社会創成シンポジウム2022

2022年12月20日

16料金シミュレーション▪ GPU 1つ搭載したマシンを1年間（360日）起動保証で予約し、6カ月（180日）間立ち上げる▪ 50 x 24 x 360 + 50 x 24 x 180 = 64万8000円▪ CPUを1ノード分まるごと（152仮想コア）起動保証で予約し、1年間（360日）立ち上げる▪ (0.2 +0.2) x 152 x 24 x 360 = 52万5312円▪ 1PBの大容量ストレージを12カ月利用▪ 0.02 x 1000000 x 360 = 720万円

データ活用社会創成シンポジウム2022

2022年12月20日

17

JHPCN（共同利用共同研究拠点）▪ 8つの情報基盤（的な）センターが多様な計算機（スパコン）と計算手法・計算機の専門家を提供▪ 採択課題には無料で利用可能なマシン時間が割り当てられる▪ 2022年度よりmdxも利用可能▪ 現在2023年度課題を募集中（締め切り：1月6日）

データ活用社会創成シンポジウム2022

2022年12月20日

182022年度採択課題▪ 15課題がmdxを利用（JHPCN全体では61）▪ 7課題は計算科学課題・mdxと他のスパコンと併用▪ 8課題はデータ科学・データ活用分野・mdxのみ利用
京都大学

長﨑正朗

ハイブリッドクラウドを用いたゲノム情報に基づく構造多型パネルの構築とアノテーション

日本原子力研究開発機構 小野寺直幸 超高解像度の即時予測の実現に向けた都市街区内風況データベースの構築
国立情報学研究所

柏崎礼生

Distcloudの拡張、継続性の向上、およびその応用研究

東京大学

塙敏博

次世代演算加速装置とそのファイルIOに関する研究

関西大学

村田忠彦

合成人口プロジェクト：mdxによる合成人口データベースの構築

日本原子力研究開発機構 奥村雅彦

統合機械学習分子動力学システムの構築

北海道大学

杉木章義

次世代学術情報基盤に向けた基盤ソフトウェアの実践的な研究・開発・評価

関西学院大学

地道正行

財務ビッグデータの可視化と統計モデリング東京大学

鈴村豊太郎 医療・介護領域の人材マッチングに最適化された大規模グラフニューラルネットワーク

東京大学

関本 義秀

エージェントモデルと統計データを用いた全国規模の疑似人流データの開発

国立所法学研究所

相澤彰子

大規模な日本語モデル構築・共有のためのプラットフォームの形成

東京大学

華井雅俊

グラフニューラルネットワークとマルチタスク学習による汎用的物性予測モデルの構築

東京大学

兼松祐一郎 ビヨンド・"ゼロカーボン"を目指し地域と技術をつなぐ情報基盤の構築

京都大学

安岡孝一

単語間に区切りのない書写言語における係り受け解析エンジンの開発

北海道大学

早川裕弌

多次元高精細地表情報（MHESD）の地球科学・歴史考古学における高度利活用

データ活用社会創成シンポジウム2022

2022年12月20日

19JHPCNにおけるmdx利用の仕組み▪ 従来のスパコン利用の仕組み▪ 申請者が自分の利用量を申告し、採択されればその分の資源（マシン時間）を与える▪ mdxでは以下のような問題意識で利用制度を見直し▪ 計算機の利用量は研究課題により多様（AI学習がっつり系、データ整備や探索的解析中心、サービス化中心など）▪ 1年通しての利用量は読めない▪ 多めに申告すれば余り、少なめだと応募する意味を感じない▪ 全員が自分の上限を多めに申告すればすぐに溢れる▪  資源の「共通プール」制度
データ活用社会創成シンポジウム2022

2022年12月20日

20共通プールの考え方▪ 1課題当たり○○円を「共通財布」にプール▪ 〇〇はいくら? （詳細省略してざっと）90万▪ 若干（10万程度）を各課題専用に予約▪  各課題ごとの上限を決めず、全課題合計だけ決める
共通財布
課題A

課題A用個人財布

課題B

課題B用個人財布

課題C

課題C用個人財布

スパコン
データ活用社会創成シンポジウム2022

mdx
2022年12月20日

21共通プール方式：申請者から見た利点▪ ☺ 気軽に応募が可能（自分が何時間使うかを気にする必要がない）▪ 余らせる心配をしなくてよい（他の人がありがたく使ってくれる）▪ データ整備や公開など、あまり計算機を大量に使わない課題にとっての応募のしやすさ▪ ☺ 各課題ごとに上限を課すよりもはるかに大きな資源を使える（可能性がある）▪ がっつりAI学習系にとっての大きなメリット▪ ただしがっつりAIばかりではない（多様性）のが前提

データ活用社会創成シンポジウム2022

2022年12月20日

22共通プール方式：潜在的欠点▪  がっつり系で早期枯渇の可能性（が心配になる）▪ これまでの経験からそうならないと田浦は予想▪ ただし、なった場合の制御の方法はあるので様子を見つつ検討▪  自分はがっつり系だがどのくらいヤンチャにふるまってよ
いか悩む▪ 共通財布の減り具合を公開する予定（空気読む材料）▪ 年間通じて「持つ」ペースであればどんどん使って問題ない• コミュニティを広げるための一つの実験です• 賛否・ご意見いただけると幸いですデータ活用社会創成シンポジウム2022

2022年12月20日

23

NII研究データエコシステム事業▪ （正式名称）AI等の活用を推進する研究データエコシステ
ム構築事業▪ NII Research Data Cloudを活用するユースケースを募集▪ 常時応募可能（予算枠の許す限り）▪ 応募～開始まで2カ月のスピード審査▪ 1回の応募で2年分申請可能▪ 9件採択済み▪ 全国から多くの分野にまたがる課題▪ ｛人文、モビリティ、医学、実験｝データ▪ 画像、NLP
データ活用社会創成シンポジウム2022

2022年12月20日

24

今後について

データ活用社会創成シンポジウム2022

2022年12月20日

26

連携: Gakunin RDMと▪ 1. mdxのオブジェクトストレージと連携▪ 2. BinderHubを用いたストレージ-計算機の連携▪ 3. 内部大容量ストレージ（Unixファ
イルシステム）との連携
Storage
対外接続ルータ(Ethernet 100Gbps)
Ethernetネットワーク (100GbE/25GbE)

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

データ活用社会創成シンポジウム2022

2022年12月20日

27

連携: スパコンと▪ mdx – スパコン ジョブ連携▪ mdxからスパコンへジョブを投入▪ mdx – スパコン データ連携▪ mdxのデータをスパコンからアクセス

データ活用社会創成シンポジウム2022

2022年12月20日

28

将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携▪ 将来的には多数の大学の共同利用マ
シンがGakunin RDMと接続▪ 大規模データの共有～直接処理までを迅速にできる環境

Storage〇〇大学□□△△大学●●◎◎大学◆◆▲▲大学☆☆
…
データ活用社会創成シンポジウム2022

2022年12月20日

29

将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携▪ 大学をまたがった大規模データ処理を
SINET 6経由で高速に、透明にできる環境▪ 要開発・研究

Storage〇〇大学□□△△大学●●◎◎大学◆◆▲▲大学☆☆
…
データ活用社会創成シンポジウム20222022年12月20日

30

Next mdxは?
▪ 現行のmdxは2021年度初頭より稼働▪ 2026年度いっぱい程度が寿命▪ mdxを利用するデータプラットフォームのために多拠点化、拡大を目指して実績作り（＋予算要求）を続けます▪ JHPCNとして令和5年度概算要求を行いその一部が令和4年度第2次補正予算として認められました▪ 規模は小さいですが、多拠点化により24時間365日稼働が必要なサービスをサポートできることを目指す▪ SINET6の性能とRDCを活用した、ちゃんと連携したデータ活用基盤を構築します
データ活用社会創成シンポジウム2022

2022年12月20日

31

まとめ
▪ mdxの現状、利用制度▪ コミュニティ創成、大学の情報基盤が果たすべき役割の拡大に向けた第一歩▪ 共同利用共同研究拠点として果たすべき役割の拡大に向けた第一歩▪ JHPCN（締め切り1/6）、NII研究データエコシステムへ（随時）の応募をご検討ください•

利用実績と、利用者による研究成果によりmdx発展・拡大・永続化の可能性が高まりますのでぜひご活用・ご指導をお願いします

データ活用社会創成シンポジウム2022

2022年12月20日

32