mdx : データ活用のためのプラットフォームと, 医療データでの活用について

田浦健次朗
東京大学 情報基盤センター長
大学院情報理工学系研究科 教授
JHPCN共同利用共同研究拠点 拠点長
tau@eidos.ic.i.u-tokyo.ac.jp

謝辞▪ mdx 構想・運営に参画している以下の機関の皆様▪ 日々運用、改善に尽力されている皆様▪ 利用者の皆様▪ すべての関係者の皆様に感謝いたします
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

2

自己紹介
▪ 東京大学▪ 情報理工学系研究科▪ 情報基盤センター長（2018.4～）▪ JHPCN（共同利用共同研究拠点）統括拠点長▪ 研究分野: システムソフトウェア（並列処理、高性能計算、並列データ処理系、（最近）プライバシー保護）

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

3

本日の目次▪ mdx▪  より広範な分野に使え・使いやすい、クラウド型の計算機▪ これまでほぼ大規模高性能シミュレーション/深層学習のためのスパコン  データ利活用、データプラットフォーム構築、Society 5.0実現へ向けたサービス構築▪ 共同利用共同研究拠点JHPCN▪ データ科学・データ活用を軸とした情報学 - 様々な分野との学際連携▪ これまほぼ計算科学  {計算科学+データ科学・データ活用}▪ プライバシー保護のためのシステムソフトウェア研究
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

4mdx▪ 9大学2研究所が共同運営し, 全国共同利用に供する, データ科学・データ駆動科学・データ活用応用にフォーカスした高性能仮想化環境 https://mdx.jp/▪ @ 東京大学柏IIキャンパス

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

5

mdx▪ 申請ポータルから利用申請（学認でサインイン）▪ 申請が受理されたらユーザポータルから「仮想マシン」を生成▪ 自分（たち）だけの環境が使える ▪ 自前で調達したサーバと同様、自由に環境を構築可能▪ 他のユーザ環境と隔離されている（高セキュリティ）▪ ハードウェア的にはそれなりの規模のものを共有 ▪ 簡単・迅速に仮想マシンを追加（環境の拡張）可能▪ 「Infrastructure as a Service」型のクラウド環境▪ 学認でサインインし、ほかのサービス（e.g., Gakunin RDM）とシングルサインオンで連携
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

6学認でサインインできます、が…
▪ 日本の多くの教育・研究機関の大学アカウントが学認と連携しています▪ したがって多くの教育・研究機関の方がすぐに申請ページにアクセスでき（るようになり）ます▪ しかし、各機関で学認連携担当者が「mdxというサービスの利用許可」を出す必要があります▪ もしmdxにアクセスして「このサービスにはアクセスできません」
的なエラーになったら、学認連携部署に「使いたい!」とご連絡いただけると幸いです▪ 設定に必要な情報： 「学認 SP 一覧」などで検索
https://www.gakunin.jp/participants
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

7これまでのマシン（スパコン）とmdxの違い▪ これまで（ いわゆるスーパーコ ▪ mdx : 仮想化された高性能環境ンピュータ）▪ 分野、グループごとに異なる環境を、そ▪ 全員が、管理者が設定する単一の環境を使う

れぞれのユーザグループで構築可能▪ 柔軟性がなく、目的、したがってユーザの分野が限定
これまでのほとんどのシステム
テナントA

B

C

テナントD

スパコン用の超高性能計算は無縁な方にも有用です
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

8mdx利用モデル（図解）
対外接続ルータ (Ethernet 100Gbps)

仮想ネットワークテナント
 仮想マシン＋ストレージ＋ネットワーク

Ethernetネットワーク (100GbE/25GbE)

仮想マシン

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

ストレージ
2022年7月30日

医用画像工学会
HTTPS://TINYURL.COM/JAMIT -TAURA

9mdxハードウェアスペック
汎用CPUノード
Ice Lake 2 x 368ノード
総理論演算性能(倍精度)：2.1PFLOPS
総メモリバンド幅：150.7TByte/秒
演算加速GPUノード
NVIDIA A100 x 8 x 40ノード
総理論演算性能(倍精度)：6.4PFLOPS
総理論演算性能(半精度)：100.7PFLOPS
総メモリバンド幅：496.3TByte/秒

対外接続ルータ (Ethernet 100Gbps)

Ethernetネットワーク (100GbE/25GbE)

高速NVMeストレージ
Lustreファイルシステム
1.0PB (NVMe SSD)
252GByte/秒

x368

x40

外部共有オブジェクトストレージ
S3 Data Service
10.3PB
63.0 GByte/秒

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

医用画像工学会 https://tinyurl.com/jamit-taura

16.3PB

大容量HDDストレージ
Lustre並列ファイルシステム
16.3PB
157.5GByte/秒

10.3PB

2022年7月30日

10通信性能▪ 100Gbps RDMA over Converged Ethernet▪ GPUノードには 4つのNIC (合計 400Gbps)
60000
TCP
SRIOV-1
SRIOV-2
SRIOV-3
SRIOV-4
W-A

Bandwidth (MB/s)

50000
40000

30000

▪ 仮想環境であるが通信性能も高く、中規模までの並列計算にもスケール可能と
期待

20000
10000
0
1

321024Size (Byte)
医用画像工学会 https://tinyurl.com/jamit-taura

32768

1048576[塙ら、第183回HPC研究会]
2022年7月30日

11仮想化  使いやすさ・セキュリティ向上
1. 仮想化による柔軟性▪ ホストを (管理者権限で) 自由に設定可能

2. VPN (VLAN) による柔軟性▪ プロジェクトごとにネットワークの延伸が可能

3. 仮想化・VPNによるセキュリティ (分離)▪ 他のグループの環境のオペミスや脆弱性が他に影響しない

4. 環境の互換性・可搬性を高められる▪ VMテンプレート (cf. MateriApps)
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

12環境自動構築サポート(Software Defined Environment)▪ mdx用Ansible playbook▪ Special thanks to: 中村遼先生＠東大、空閑洋平先生＠
東大、杉木章義先生＠北大▪ Kubernetes環境▪ 杉木章義先生＠北大▪ Jupyter（PaaS）環境

オンデマンドに環境を伸縮
環境の移植性Coming soon

▪ 華井雅俊先生＠東大▪ mdx REST API▪ 大江和一先生＠NII, 竹房あつ子先生＠NII, 工藤知宏先生＠東大
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

13SINET

図提供：国立情報学研究所• 国立情報学研究所が運用する、研究機関を接続する学術ネットワーク• 国内ほぼ全県を400Gbps*で接続＊沖縄は技術的な制約により当面100Gbpsベース
東京エリアは23区内の需要が非常に大きく、立川近辺も大きいことから、トラフィック需要の偏りに対応するため、DCの配置を見直し
宇都宮

さいたまつくば旭川

柏

424立川

82

1414 11 1
文京 3
1 12 2562 8132421武蔵野

1 1

871

1022

赤字は加入機関数

品川

盛岡

広島

佐賀
松山

岡山金沢
福井

姫路

大分

那覇
宜野座

長岡

京都

彦根

和歌山

奈良

津

郡山

前橋

岐阜

大津

神戸
大阪

福島

長野
松本

熊本
徳島

仙台

富山

神岡

高松

高知

山形

新潟

北九州 宇部

宮崎

上北千葉

横浜

鳥取

鹿児島

帯広

青森

51松江

長崎

室蘭

函館

北見

秋田

相模原

福岡

札幌

1宇都宮
甲府 さいたま水戸名古屋
静岡 相模原岡崎
浜松沼津柏横浜 千葉

つくば：SINET DC：拡張/東京地区 SINET DC：400Gbps国内回線：100Gbps国内回線

14

SINET VPN

図提供：国立情報学研究所• インターネットに加え閉域網が利用可能で、共考共創の高度なサービスも活用可能

図は例

Web会議
システム

大型実験施設等

スパコン（全国各地、海外各地）（HPCI 13拠点）

Belle II J-PARC LHC

ITER

Super
Kamio
kande

VLBI

クラウド

SPring-8
LHD&SACLA

mdx

研究データ 直結クラウド（34社45拠点）
基盤

商用ISP
IX

商用ISP

超高速VPN（閉域網）

超高速インターネット
SINET
ノード

SINET
ノード

SINET
ノード

SINET
ノード

モバイルSINET
GIGA
スクール

990 機関（2022年3月末現在）

大学

研究機関

民間企業

2024年度を目標に調整中

遠隔地、広範囲エリア、移動体、海上等

15

SINET VPNとmdx▪ SINET VPNによりmdx内に構築した環境を研究室,他大学のマシンと(同一LANにいるかのように)接続可能
VPNをmdxの外に延伸

対外接続ルータ (Ethernet 100Gbps)

〇〇大学
〇〇研究室

Ethernetネットワーク (100GbE/25GbE)

x368

x40

研究室データをmdxで処理
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

1.0PB

医用画像工学会 https://tinyurl.com/jamit-taura

16.3PB

10.3PB

2022年7月30日

16

mdxとモバイルSINET

図提供：国立情報学研究所• モバイルSINET：商用モバイル網の中にSINET専用の仮想5G網 (4G/3Gも可) を形成してSINET VPN網と接続することで、セキュアな通信環境を実現• ローカル5G：

SINET側に5Gコア機能を実装することで大学のローカル5G網の経済的な導入を支援（まずは小さな規模で実証実験を開始予定）

mdx

大学等リソース

L2VPN

L2VPN

VPN網

商用クラウドL2VPN

５Gコア機能５GスイッチSINET結合
VPN設定機能

高速モバイルで研究活動領域拡大を支援

5G モバイルSINET（専用仮想網）アクセス回線
自然保護地域海上

広範囲エリア大学
ローカル5G網

地域コミュニティ

遠隔地• 遠隔地、広範囲エリア、移動体、海上等を広くカバー• セキュアな通信環境を実現• スポットエリアからの安定した超高速モバイル通信を実現

17▪ mdxマテリアルリサーチ連携▪ 労働経済学プロジェクト70▪ 疑似人流データの開発
50▪ DIAS連携30▪ 合成人口プロジェクト
10▪…

医用画像工学会 https://tinyurl.com/jamit-taura
2021-09-22
2021-09-30
2021-10-08
2021-10-16
2021-10-24
2021-11-01
2021-11-09
2021-11-17
2021-11-25
2021-12-03
2021-12-11
2021-12-19
2021-12-27
2022-01-04
2022-01-12
2022-01-20
2022-01-28
2022-02-05
2022-02-13
2022-02-21
2022-03-01
2022-03-09
2022-03-17
2022-03-25
2022-04-02
2022-04-10(注: プロジェクト名は現在未公開; ランダムサンプル)

ユーザグループ（プロジェクト）数▪ 深層学習を応用したX線レーザーイメージング画像のデノイジ
ング▪ 建物の築年と構造の推定モデルの開発
80

60

40

200

2022年7月30日
18共同利用共同研究拠点
JHPCN

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

19共同利用・共同研究拠点の枠組み▪ https://www.mext.go.jp/a_menu/kyoten/▪ 「個々の大学の枠を越えて大型の研究設備や大量の資料・データ等を全国の研究者が共同で利用したり、共同研究を行う」仕組み▪ 現在100拠点が認定されている（一部は国際共同利用・共同研究拠点）▪ 物理系：▪ 宇宙線研（東大）、理論物理学研究拠点（京大）、…
▪ 情報系：▪ JHPCN（8大学）、計算科学研究センター（筑波大学）、…
▪…
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

20

JHPCN（正式名：学際大規模情報基盤共同利用共同研究拠点）▪ 8大学の基盤センターが運営する共同研究のための組織▪ 北大、東北大、東大、東工大、名大、京大、阪大、九大▪ 全国から共同研究を募集▪ 現在高性能計算シミュレーション中心の分野が多く集まる▪ 採択された課題に計算機利用時間割り当て▪ 2022年度より「データ科学・利活用分野」募集を開始▪ https://jhpcn-kyoten.itc.u-tokyo.ac.jp/

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

21

基盤センターとJHPCN拠点の使命▪ 情報の専門家と情報基盤を他の分野に提供▪ 情報学 x 〇〇学（学際貢献）▪ コミュニティ形成
mdxはこの使命をこれまでのシミュレーション中心・計算科学から、分野も基盤もセクターも「データ駆動科学・データ活用分野」に広げるための第一歩

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

22(注: リンク先ページはmdx利用以外も含む. 以下はmdx利用)

JHPCNでのmdx利用課題▪ 財務ビッグデータの可視化と統計モデリング▪ 医療・介護領域の人材マッチングに最適化された大規模グラフニューラルネットワーク▪ エージェントモデルと統計データを用いた全国規模の疑似人流データの開発▪ 大規模な日本語モデル構築・共有のためのプラットフォームの形成▪ グラフニューラルネットワークとマルチタスク学習による汎用的物性予測モデルの構築▪ ビヨンド・"ゼロカーボン"を目指し地域と技術をつなぐ情報基盤の構築▪ 単語間に区切りのない書写言語における係り受け解析エンジンの開発▪ 多次元高精細地表情報（MHESD）の地球科学・歴史考古学における高度利活用
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

23

データセキュリティ・プライバシー
保護データ解析研究

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

24データ提供・利活用のボトルネック
データ基盤

誓約書

2次流出・拡散が不安

提供

収集

個人の再特定が不安
他のユーザと共有している環境が不安

誓約書・ （ad-hocな）データ匿名化

マルチユーザ環境の禁止（いわゆるタコ部屋）
活用

データ提供が小規模にとどまる（萎縮の）背景
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

25

目的

本研究が目指す基盤技術▪ データ提供者の懸念を解消し、利活用を促進するIT基盤技術▪ JST CREST 「基礎理論とシステム基盤技術の融合によるSociety 5.0のための基盤ソフトウェアの創出」領域「実応用に即したプライバシー保護解析とセキュアデータ基盤」
として実施

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

26

ヒアリング時資料

研究体制▪ 基盤ソフトウェア、システム運用、データベース・プライバ
シー、軌跡データ解析、医療データ解析の研究実績のあるチームで一体的に推進するサブテーマ 1

管理者への信頼に依拠しない
セキュアファイルシステム

サブテーマ 2

プライバシー保護を強制・追跡可能なシステム機構

サブテーマ 3柔軟なプライバシー保護
データ解析・機械学習

サブテーマ 4

医療データ・軌跡データでの実証

医用画像工学会 https://tinyurl.com/jamit-taura

研究グループと主なメンバー
田浦健次朗（システムソフトウェア・並列分散処理）
合田憲人（医用画像レポジトリ・クラウドコンピューティング）
建部修見（ファイルシステム・並列分散処理）
姜仁河（軌跡データ解析・機械学習）清水央子（医療レセプトデータ解析）
吉川正俊（データベース、プライバシー保護データ解析・機械学習）
曹洋（プライバシー保護データ解析・機械学習）

花岡昇平（医用画像処理、コンピュータ支援診断）
林直人（医用画像処理、コンピュータ支援診断）
野村行弘（医用画像処理、コンピュータ支援診断）
塙敏博（アクセラレータ、高性能計算）
空閑洋平（ネットワーク）
中村遼（ネットワーク）

2022年7月30日

27

データ提供者のジレンマ▪ データを汚す▪ ad-hocなデータの匿名化  不安が消えない、突き詰めるほどデータの有用性が損なわれる▪ ローカル差分プライバシー  データの有用性が損なわれる▪ 結果を（確率的に）汚す▪ グローバル差分プライバシー  解析者を信用する必要がある▪  解析結果がプライバシー侵害していない（適切な差分プライバシー機構を通している）ことをデータ解析者への信用に委ねずに行える機構（本研究のメインテーマ）

医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

28

目的

本研究が目指す基盤技術▪ データ提供者が安心して解析プ
ラットフォームにデータを提供できるようにするための基盤技術▪ 管理者への信頼に依拠しないアクセス制御が可能なファイルシステム（暗号化ファイルシステム）▪ データ提供者は後から共有を取り消し可能▪ 解析プラットフォームからデータの持ち出しが不可能・プライバシー侵害を起こさない出力だけを持ち出し可能（サンドボックス）
医用画像工学会 https://tinyurl.com/jamit-taura

×自由な出力（e.g., ダウンロード）を禁止〇
プライバシー保護（e.g.,差分プライバシー）機構による出力は許可

2022年7月30日

29プライバシー機構の設計方針▪ プログラムからのデータの出力を制限▪ ただし、出力してよいかどうかをデータだけを見てシステムソフトウェアに賢く判定させることは無理、非現実的▪ 数値3.54を見て「ノイズが載っているか」はわからない▪ ましてやどれだけ載っているかなどわかるはずない▪ 載っている量がプライバシーを侵害しない適切な量などもデータだ
けで判断できるものではない▪  実際は「勝手な出力を禁止、特定の（信頼（できれば検証）された）プライバシー機構を通した出力のみ許可できる」枠組み
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

30

まとめ
▪ mdxは柔軟性、セキュリティを備え、「データプラットフォーム構築事業」の共通基盤を目指している▪ SINET VPNと連携して他のシステムと高速に、安全に接続も可能▪ データ利活用、安全性、プライバシー保護の観点から「データ＋解析プラットフォーム」の提供というモデル▪ 解析（クエリの実行系）がプライバシー侵害を防ぐ▪ 解析プラットフォーム外へのデータの持ち出しを防ぐ
ご清聴ありがとうございました
医用画像工学会 https://tinyurl.com/jamit-taura

2022年7月30日

31