mdx : データ科学、データ駆動科学のための情報基盤

田浦健次朗
JHPCN共同利用共同研究拠点 拠点長
東京大学情報基盤センター長

自己紹介▪ 東京大学▪ 本務 情報理工学系研究科▪ 兼務 情報基盤センター長（2018.4～）▪ JHPCN（共同利用共同研究拠点）統括拠点長▪ HPCI（コンソ、計画推進委員会、第2階層まとめ役、etc.）▪ mdx仕様策定委員長▪ 研究分野: システムソフトウェア（とくに並列処理、並列プログラミング処理系、データ処理系）▪ 好きなソフト: SSH, Emacs, make, sqlite3
SS研HPCフォーラム2021

2021年9月2日

2

mdxとは▪ 9大学2研究所が共同運営し, 全国共同利用に供する, データ科学・データ駆動科学・データ活用応用にフォーカスした高性能仮想化環境 https://mdx.jp/▪ @ 東京大学柏IIキャンパス▪ もうすぐ… デビューします

SS研HPCフォーラム2021🙇‍♂️

2021年9月2日

3

mdx (名前) について▪

は何の頭文字? dx は DX?

▪と決めた時にはDXなんて言葉は流行ってませんでした▪ 今のところいくつかの言葉の量子重ね合わせ状態になっています▪
▪ = Massive Data Transformation (platform)▪ + Massive Data eXchange (platform)▪ + なんとか Digital Transformation (platform)▪ + … (良いアイデア募集) …
SS研HPCフォーラム2021

2021年9月2日

4

mdxのハイレベルゴール▪ 共同研究 5.0▪ ほぼ計算科学  {計算科学+データ科学}▪ 大学マシン 5.0▪ ほぼシミュレーション、DL  データ利活用、データプラットフォーム構築、Society 5.0実現へ向けたサービス構築、基盤ソフト研
究に使える基盤▪ 簡単に、迅速に使える基盤▪ 大学とベンダの協働 5.0▪ 大学マシン整備のための大学とベンダの新しい協働の形
SS研HPCフォーラム2021

2021年9月2日

5共同研究 5.0

SS研HPCフォーラム2021

2021年9月2日

6

8大学の共同利用・共同研究拠点（JHPCN）について▪ 8大学の基盤センターが運営する共同研究のための組織▪ 北大、東北大、東大、東工大、名大、京大、阪大、九大▪ 全国から共同研究を募集▪ 採択された課題に計算設備利用時間（主にスパコン利用時間）を割り当て▪ 現在シミュレーション中心の計算科学分野が多く集まる

SS研HPCフォーラム2021

2021年9月2日

7基盤センターとJHPCN拠点の使命▪ 情報の専門家と情報基盤を他の分野に提供▪ 情報学 x 〇〇学（学際貢献）▪ コミュニティ形成
mdxはこの使命をこれまでのシミュレーション中心・計算科学から、分野も基盤もセクターも「データ駆動科学・データ活用分野」に広げるための第一歩

SS研HPCフォーラム2021

2021年9月2日

8

JHPCNとmdx▪ JHPCNはこれまで計算科学中心の学際的共同研究で実績がある▪ データ科学分野の共同研究を歓迎し, そのための受け入れ態勢(拠点のexpertise)も強化したい

活用分野
共通ディシプリン：計算科学
情報基盤
原理のシミュレーション中心
核物理、材料・物性、生体分子、 高性能計算機、ストレー
燃焼、気象、地震、宇宙、etc.
ジ（スパコン）中心
共通ディシプリン：データ科学
データ解析、モデリング中心
医療、経済、空間、モビリ
ティ、環境、歴史（アーカイブ等）、ソーシャルデータ、etc.
SS研HPCフォーラム2021

データ共有基盤、データ解析環境、データプラッ
トフォーム構築、実時間
データ収集、モバイル
ネットワーク

情報系研究分野
数値計算アルゴリズム、HPC中心

機械学習、NLP, 画像処理、大規模データ処理、ネットワーク、クラウド、etc.
2021年9月2日

9そのために必要なこと▪ データ科学・活用は常に分野やセクタをまたがる横断的な活動▪ 1-1の共同では済まないこともしばしば
このデータでこんなことがわかるはずだがプログラミングできる学生が…

とある分野研究者A

このデータ、価値を生みそうだけど具体的には?

必要なのはとある企業事業部
人をつなぐ仕組み アルゴリズムはできたけど問年〇PBのデータを蓄積・バックアップするストレージの運用とかどうする?

とある分野研究者B
SS研HPCフォーラム2021

題設定これでいいのかな?

実データはどこ? このフィールドの意味は?

とある情報研究者
2021年9月2日

10JHPCNの共同研究の成立過程〇〇に関して共同研究！

拠点外研究者

応募書類

ぜひやりましょう

拠点の研究者拠点▪ マッチングは応募前になされている▪ 似た分野・知った研究者同士の共同向け

SS研HPCフォーラム2021

2021年9月2日

11今後目指すマッチング▪ チーム成立前のマッチングの相談を受付
相談・成立

提案
相談
相談

共同・連携模索

mdx
相談• 注：各大学・組織単位では行っていること（産学連携部）• 組織を超え、データ活用に特化して行う
SS研HPCフォーラム2021

2021年9月2日

12大学マシン 5.0

SS研HPCフォーラム2021

2021年9月2日

13データ科学のインフラに求められる要件
••
•
•
•

機械学習フレームワーク
JupyterなどWebベースインタラクティブ環境
分野ごとに異なるアプリケーションソフトウェア（流体、材料、ゲノム、etc.）
分野用データレポジトリなどの常駐サービス••••

フィールドのIoTデバイス（センサなど）からのデータ収集
キャンパスの実験機器などからのデータ収集
キャンパス・サイトをまたがったデータ処理研究室データの処理
リモートデスクトップなどGUI環境

要求••

機密性の高いデータの蓄積・処理
個人に由来するデータの蓄積・処理••

探索的データ処理
複数・多数のデータの活用

システム要件

1.
2.
3.
4.

ユーザごと、分野ごとに柔軟に構成可能な環境
自由度の高い構成が可能なネットワーク環境
ユーザごと、分野ごとに分離・隔離されたセキュアな環境
データ検索・発見・共有から計算へシームレスに移行できる環境▪  仮想化されたマルチテナント（クラウド）環境▪ データを蓄積・共有できるだけでは足りない▪ 高性能計算機と一体化の必要（特にML・AI利用）▪ これまでの高性能計算機だけでも足りない▪ GPUとMLフレームワークがあれば済むわけではない
SS研HPCフォーラム2021

2021年9月2日

14

mdxハードウェアスペック
汎用CPUノード
Ice Lake 2 x 368ノード
総理論演算性能(倍精度)：2.1PFLOPS
総メモリバンド幅：150.7TByte/秒
演算加速GPUノード
NVIDIA A100 x 8 x 40ノード
総理論演算性能(倍精度)：6.4PFLOPS
総理論演算性能(半精度)：100.7PFLOPS
総メモリバンド幅：496.3TByte/秒

対外接続ルータ (Ethernet 100Gbps)

Ethernetネットワーク (100GbE/25GbE)

高速NVMeストレージ
Lustreファイルシステム
1.0PB (NVMe SSD)
252GByte/秒

x368

x40

外部共有オブジェクトストレージ
S3 Data Service
10.3PB
63.0 GByte/秒

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

SS研HPCフォーラム2021

16.3PB

大容量HDDストレージ
Lustre並列ファイルシステム
16.3PB
157.5GByte/秒

10.3PB

2021年9月2日

15仮想化環境対外接続ルータ (Ethernet 100Gbps)▪ 仮想化(VMware)により利用グルー
プごとに占有環境(テナント)を提供▪ テナント = 仮想マシン + 専用ネット
ワーク (VPN)
仮想マシン

Ethernetネットワーク (100GbE/25GbE)閉じられたネットワーク(VPN)、サブネットを割り当て
x368

x40

産総研の多大なる協力により実現しています

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

SS研HPCフォーラム2021

16.3PB

10.3PB

2021年9月2日

16仮想化  使いやすさ・セキュリティ向上
1. 仮想化による柔軟性▪ ホストを (管理者権限で) 自由に設定可能

2. VPN (VLAN) による柔軟性▪ プロジェクトごとにネットワークの延伸が可能

3. 仮想化・VPNによるセキュリティ (分離)▪ 他のグループの環境のオペミスや脆弱性が他に影響しない

4. 環境の互換性・可搬性を高められる▪ VMテンプレート (cf. MateriApps)
SS研HPCフォーラム2021

スパコン…なんか不便…イ
メージを過去のものに…
2021年9月2日

17デモビデオ▪ 利用申請（プロジェクト作成）▪ 仮想マシンの作成～起動▪ ネットワーク設定～SSH▪ デスクトップ環境、Jupyter環境

SS研HPCフォーラム2021

2021年9月2日

18複数環境と環境構築フレームワーク▪ 複数の設定済み仮想マシンを提供▪ Ubuntu, CentOS, …
▪ 空の仮想マシン（isoから好きなOSをインストール）▪ 環境構築を自動化する仕組みを提供▪ Ansible利用▪ 各種用途用のAnsibleのレシピ（Playbook）を提供、コミュ
ニティで開発、共有▪ 東大情報基盤センター 空閑先生、中村遼先生

SS研HPCフォーラム2021

2021年9月2日

19使いやすさ: 様々な利用深度を想定▪ 対話的利用（ Kaggle, Colab）▪ 規定の環境（Jupyterhubなど）で直ちに利用開始▪ Gakunin RDMで共有したデータを処理する環境をBinderHubで起動▪ NII藤原先生、東大情報基盤センター松島先生▪ 独自環境（ AWS IaaS）▪ 独自にカスタマイズした環境（Jupyter, 特定MLフレームワーク、etc.）▪ その他、パブリックなIaaS同様、自由に環境を構築可能▪ そのための仮想マシンのテンプレート、そのレシピを公開（コミュニティで開発・共有）▪ 中規模クラスタ環境▪ 多数のノードからなる並列・分散処理環境（ビッグデータ、中規模AI・ML、データ収集・蓄積・サービス環境）▪ そのためのレシピも共有
SS研HPCフォーラム2021

2021年9月2日

20使いやすさ: 柔軟性・自由度▪ クラウド風の使い方(バッチスケジューラではなく)▪  仮想マシンを長時間, 常時稼働可能▪ = 申請した分の仮想マシンは一定時間以内に起動すること(実効的な常時稼働)を保証  起動保証VM▪ + 「資源が空いている間のみ稼働できる」仮想マシン
 スポットVM▪ 計算資源が必要, 実時間性は不要なジョブ( バッチジョブ)▪ 連携マシン(ABCI, Wisteria/BDEC01)での実行も可能▪ 外部通信▪ 各テナントが外部(インターネット)との通信を制御可能
SS研HPCフォーラム2021

2021年9月2日

21SINETとの連携▪ SINET L2VPNにより研究室, 他大学のマシンと(同一LANにいるかのように)接続可能VPNをmdxの外に延伸
対外接続ルータ (Ethernet 100Gbps)

〇〇大学
〇〇研究室

Ethernetネットワーク (100GbE/25GbE)

x368

x40

研究室データをmdxで処理
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

SS研HPCフォーラム2021

16.3PB

10.3PB

2021年9月2日

22モバイルSINETとの連携
モバイル
SINET
対外接続ルータ (Ethernet 100Gbps)▪ モバイルSINET  L2VPNをモバイルネットワークに延伸

Ethernetネットワーク (100GbE/25GbE)▪ 実験機器, 野外や実験室のセンサなどからデータを安全に収集可能
x40

x368

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

SS研HPCフォーラム2021

16.3PB

10.3PB

2021年9月2日

23産総研ABCIとの連携▪ mdxと同一キャンパス▪ 共有オブジェクトストレージを通じた連携を予定▪ NVIDIA A100 x 8 x 120

https://abci.ai/en/about_abci/computing_resource.html▪ NVIDIA V100 x 4 x 1088

https://abci.ai/en/about_abci/
SS研HPCフォーラム2021

2021年9月2日

24東大 Wisteria/BDEC01 との連携
▪ mdxと同一建物▪ シミュレーションノード部 (Odyssey)▪ Fujitsu A64FX x 7680ノード (25.9 PFLOPS)▪ ファイルシステム経由で連携▪ データ・学習ノード (Aquarius)▪ NVIDIA A100 x 8 x 45ノード (7.2 PFLOPS)▪ ファイルシステム経由で連携▪ GPUを占有利用し, そこにmdxテナントのネットワーク(VPN)を延伸することも検討中

SS研HPCフォーラム2021

2021年9月2日

25

つなげるを前提とした設計
▪

アップ可能

国内多くの大学・研究機関ですぐにサインと連携▪

▪ 様々なストレージ, データ・コードレポジトリとの連携機能▪
▪ Gakunin RDMの外部ストレージとして連携▪ まずはS3共有オブジェクトストレージ▪ （次）内部大容量ストレージ(Unixファイルシステム)との連携▪ （進行中）BinderHubを用いたストレージ-計算機の連携
SS研HPCフォーラム2021

NII藤原先生
東大松島先生公開基盤(JAIRO), 検索基盤
(CiNII)との連携も協議中

2021年9月2日

26

Gakunin RDMを用いたデータ共有とmdx
1. 「プロジェクト」を作成
2. プロジェクトにストレージを接続▪ Google Drive, Microsoft OneDrive, Dropbox,Githubなどを接続可能▪ Nextcloud, S3互換ストレージなど、オンプレストレージの接続も可能▪ NIIデフォルトストレージを提供

3. プロジェクトに共同研究者を招待▪ 参考: 北大、名古屋大

Storage
対外接続ルータ(Ethernet 100Gbps)

https://www.youtube.com/watch?v=SzS8-o5B3vw
Ethernetネットワーク (100GbE/25GbE)

mdxがGakunin RDMと接続するストレー
ジと、それを処理する計算基盤を提供
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

SS研HPCフォーラム2021

2021年9月2日

27

将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携▪ 将来的には多数の大学の共同利用マ
シンがGakunin RDMと接続▪ 大規模データの共有～直接処理までを迅速にできる環境

Storage〇〇大学□□△△大学●●◎◎大学◆◆▲▲大学☆☆
…
SS研HPCフォーラム2021

2021年9月2日

28

将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携▪ 大学をまたがった大規模データ処理をSINET 6経由で高速に、透明にできる環境▪ 要開発・研究▪ 以下の蓄積▪ HPCIシングルサインオン（NII）▪ 拠点間高速データ転送HpFP（NICT）▪ 分散ファイルシステムGfarm（筑波大）

SS研HPCフォーラム2021

Storage〇〇大学□□△△大学●●◎◎大学◆◆▲▲大学☆☆
…
2021年9月2日

29

mdx想定活用シナリオ
1. フィールドのデバイスからのデータ収集・処理▪ 環境センサー, モバイル機器▪  常時稼働, モバイルSINET, 外部通信

2. 実験機器からのデータ収集, 実験機器作動▪ 電子顕微鏡, 材料合成, 望遠鏡, シーケンサ, etc.
▪  常時稼働, L2VPN, モバイルSINET, 外部通信

3. 研究室環境の拡張▪ 研究室ローカルデータの処理, 計算機拡張▪  L2VPN

SS研HPCフォーラム2021

2021年9月2日

30

mdx想定活用シナリオ
4. 少数研究グループ間でデータ+計算機を共有した連携▪ Gakunin RDMやクラウドストレージで論理的な共有(ダウンロード可能にする)は可能だが, 大量データの共有にはストレージと一体の計算資源が必要▪  Gakunin RDM連携

5. 分野用環境の構築▪ 分野で必要とされるアプリをそろえた仮想マシンのテンプレート

6. 分野データプラットフォームの構築▪ アプリ + データをそろえたPaaS環境
SS研HPCフォーラム2021

2021年9月2日

31

多様な利用・連携を歓迎・追及▪ データ活用課題持ち込み（分野の、地方の、企業の、…）▪ 分野データの整備・プラットフォーム構築▪ データ提供・サービス（収益）化模索（ 商用クラウドへ展開）▪ 高性能AI・機械学習
学
情報系▪ 基盤技術・システム
研究・開発▪…
SS研HPCフォーラム2021

産
情報系

産
非情報系

データ・基盤技術・システム課題

mdx
基盤センター・NII・AIST

課題

官
政府・自治体課題・プラットフォーム
学
非情報系

2021年9月2日

32

マテリアル先端リサーチインフラ（ハブ）: 東大浅野キャンパスに集約
mdx: データ活用社会創成
プラットフォーム
•••情報基盤センター
代表: 幾原雄一
スライド提供:ナノ工学研究センター

高性能計算機(*)
スパコン性能：25 PFLOPS
大容量データストレージ(*)
26 PB
高速ネットワーク
SINET 5（*スーパーコンピューター：Oakforest-PACS）

・データ管理・構造化
・データ利活用・データ人材育成

情報基盤センター mdx

ナノ工学研究センター

微細構造解析PF・先端ナノ計測・研究開発・支援・データ創出

武田先端知スーパークリーンルーム

微細加工PF・先端デバイス加工・研究開発・支援・データ創出33

医療リアルワールドデータ解析プラットフォーム

スライド提供: 東京大学薬学系ITヘルスケアセンター 清水央子先生
SS研HPCフォーラム2021

2021年9月2日

34高付加価値 気象データプラットフォーム
JST共創の場(COI-NEXT) 地域気象データと先端科学による戦略的社会共創拠点
PL: 先端研 中村尚 先生

SS研HPCフォーラム2021

2021年9月2日

35産業界との連携への期待▪ mdxはアカデミアに利用限定するものではない▪ 学術・社会への貢献を広くとらえ、それに通じるオープンな（取り組みや知見を共有できる）利用を広く歓迎します▪ そのためにアカデミアが果たすべき役割を果たす「ツール」がmdx▪ 最初の敷居を低くし、利用者が交流し、関係する取り組みが出会い、混ざり合っていくことを目指したい
対外接続ルータ (Ethernet
100Gbps)Ethernetネットワーク (100GbE/25GbE)

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

SS研HPCフォーラム2021

2021年9月2日

36

大学ベンダ協働 5.0

SS研HPCフォーラム2021

2021年9月2日

37

mdxは大学とベンダの合作マシン▪ これまでの大学の共同利用情報基盤  スパコン
▪ ベンダーに長年の蓄積▪ mdx は、それとは大きく異なる環境・異なる運用▪ 仮想化（VMware）・プロジェクトごとのネットワーク分離▪ 大学にとってもベンダーにとっても初めてのチャレンジ▪ ユーザ環境ごとのVPN設定の自動化▪ ユーザポータル、管理者ポータルの作りこみ

SS研HPCフォーラム2021

2021年9月2日

38

大学に必要な意識（と自分が思うもの）▪ 大学が「ベンダーの長年の蓄積」だけに頼っては情報基
盤はソフトウェアの急激な進化・ユーザの期待値変化に対応できない▪ 新しい環境を共に創っていくという意識▪ while (1) {ベンダは確実に納品できるものを提案
大学は確実に納品できることを仕様に書く} ループからのbreak▪ 大学はただのお客になってはいけない▪ ベンダとともにリスクをとる▪ ゴールはしっかり据え、やることは臨機応変にSS研HPCフォーラム2021

2021年9月2日

39まとめ🙇‍♂️▪ mdx : 2020年度末もうすぐデビューの高性能仮想化
基盤▪ 9大学2研究所で離陸▪ 使いやすさ、利用を通じた利用者の交流▪  mdxを通じたセクター、分野を超えたマッチング・共同が行われることを目指す
ご清聴ありがとうございました。
今後のご指導、ご意見、ご利用、ご協力よろしくお願いします。

SS研HPCフォーラム2021

2021年9月2日

40

SS研HPCフォーラム2021

2021年9月2日

41参考▪ データ活用社会創成プラットフォームについて▪ https://www.itc.u-tokyo.ac.jp/wpcontent/uploads/2019/06/45079c24b24f942f0507
53afec7383c6.pdf▪ データ活用社会創成プラットフォーム▪ https://www.itc.u-tokyo.ac.jp/wpcontent/uploads/2019/02/dd70658fb1895375ac99
6ec257181671.pdf

SS研HPCフォーラム2021

2021年9月2日

42

SINET 5・モバイルSINET▪ SINET 5（有線）▪ 全都道府県にノード▪ ノード間は  100Gbps

クラウド▪ 冗長経路▪ 広域VPN （L3/L2）▪ モバイルSINET（広域データ収集基盤）

高性能サーバ等

データ データ

データ データ

共同研究
データ
共同研究
データ

ノード

▪ SINET VPNに直結できるモバイル環境
大学

SS研HPCフォーラム2021

大学等

汎用サーバ

ノード

SINET直結モバイル網

各都道府県に設置

企業

地方公共団体遠隔地

広範囲エリア

2021年9月2日

海上・危険地域

43