mdx: データプラットフォームについて
東京大学 情報基盤センター 田浦健次朗

2020/09/01

スマートIoT推進フォーラム テストベッド分科会

1

データ科学・利活用を取り巻く状況• データが重要な資産（研究、ビジネス、公共政策、など様々なセクターで）データの増大

オープンサイエンス

データ

データ活用の重要性への認識の高まり
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

2データ科学・活用の潮流・ドライバ••

機械学習（ML）・AI、ツールの発展（MLの「民主化」）

センサ（IoT）データ、実時間応用

2020/09/01••

社会応用に直結するデータの整備

GPS

気象

公共交通

医療行為

衛星

道路・インフラシミュレーション+AI（計算手法）

スマートIoT推進フォーラム
テストベッド分科会

3

必要なこと• データ科学・活用は常に分野やセクタをまたがる横断的な活動• 1-1の共同では済まないこともしばしば
このデータでこんなことがわかるはずだがプログラミングできる学生が…

このデータ、価値を生みそうだけど具体的には?

これらを触媒すとある企業事業部
る仕組み
アルゴリズムはできたけど問とある分野研究者A
題設定これでいいのかな?

年〇PBのデータを蓄積・バックアップするストレージの運用とかどうする?

とある分野研究者B
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

実データはどこ? このフィールドの意味は?

とある情報研究者
4

以降の話• データ活用社会創成プラットフォーム• mdx• システムとしての特徴• 利用・共同研究・産官学連携の進め方• パイロットプログラム

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

5

（背景）データ活用社会創成プラットフォーム• データ科学・データ活用の｛研究、産官学連携、社会実装｝を進めるための取り組み• 有識者会合による方向付け• 2研究所（NII,AIST） + 9大学（北大、東北大、筑波大、東大、東工大、名古屋大、京大、阪大、九大）で離陸• JHPCNが中心的役割を果たすが、それ以上にコミュニティ（ユーザ・基盤側とも）を広げる

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

6コミュニティ形成・発展• プラットフォーム = コミュニティ– マシンやデータレポジトリ（だけ）のことではない！

• データ科学・活用での、分野・セクタを横断した連携を触媒するハブとなることを目指す

産
情報系

学
情報系

官
政府・自治体産非情報系
2020/09/01

学
非情報系
スマートIoT推進フォーラム
テストベッド分科会

7

「情報系アカデミア」の役割• ヒト：情報系専門（特に若い研究者・学生）の知と腕を提供• ハコ：研究開発・非営利目的への廉価な計算・ストレージ資源を提供• データ：巨大パブリックデータや利用目的限定データへのアクセスを促進
産
情報系

学
情報系
官
政府・自治体産非情報系
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

学
非情報系
8

mdx 参画機関の役割• mdx参画機関 = 基盤センター＋NII＋AIST
 データ科学系アカデミア  情報系アカデミア• 情報系研究者の参加（ヒト）をmdx参画機関外からも広く募る• 将来：全国的なマッチ
学
ングハブを目指す
情報系
産
情報系

mdx
基盤センター・NII・AIST
官政府・自治体

2020/09/01

産
非情報系スマートIoT推進フォーラム 学
テストベッド分科会 非情報系

9

データ{活用・科学}のための環境• 「単一OS環境 + バッチスケジューラ」では済まない– 分野データプラットフォームのホスティング（連続稼働）– 多様なソフトウェア構成の許容– 長年にわたるデータの蓄積・利用– 高いデータセキュリティ・隔離への要求• ユーザが標準（常識）と考える環境も異なる– 機械学習フレームワーク、コンテナ– JupyterLabなどWebベース対話的利用（AI, 機械学習）– データ検索・発見のための利用– IoT・ストリーム・データ収集など広域・実時間処理• 多数のデータ・システムの連携が前提（1システムでは完結しない）
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

10mdx スペック• 本年度内（末）稼働• 詳細変更の可能性あり• 仮想化された（複数テナント）環境• 計算ノード– 350+ CPUノード– 300+ GPUs

• ストレージ– 15+PB （含 NVMe SSD 1PB）ファイルシステム Lustre
Multi-tenant拡張– 10PB S3オブジェクトストレージ• 高性能な仮想化されたネットワーク– SR-IOV, PVRDMA
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

11仮想プラットフォーム

mdx

モバイル
SINET

インターネット

パブリック
クラウド

mdx

共有オブジェク
トストレージ

AIST ABCI

セキュア・高速ストレージ

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

Supercomputers(BDEC etc.)12

仮想プラットフォーム• 仮想マシンとVPNを用いて互いに隔離された「疑似占有環境」• 柔軟性• 各プラットフォームごとに自由に（管理者権限で）環境設定可能• 常時稼働が必要なデータ公開サービスなどを運用可能• セキュリティ• ひとつの仮想プラット
フォームが侵入を受けても他へ影響しない
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

13

SINET・モバイルSINETとの接続• 仮想プラットフォーム用のVPNをSINETへ延伸可• 他のSINETサイト（大学・研究機関）やモバイ
ルSINETとセキュアに接続可能• とくにIoTデバイスのセキュリティ確保に有用

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

14データ連携の基盤
学認•– 大学をまたがる認証基盤•

GakuNin RDM– 研究データ管理– データのカタログ化、共有・公開設定– 外部クラウド・S3ストレージとの連携機能

両者を用いて•– 研究者がサインアップし、すぐに使い始められる環境– データの検索から、ブラウザベース処理、高性能処理までをシームレスに実行できる環境

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

15

想定利用者・利用法• データ検索レポジトリとしての利用• Webブラウザベースのお手軽データ解析・AI環境としての利用（cf. Kaggle, Tellus）• 高性能計算・データ処理環境としての利用• （主に個人研究者・小規模グループ）中規模データや学習モデル共有ストレージとしての利用• （主に組織）大規模データ収集&データプラット
フォームホスティング環境としての利用（cf. DIAS）• システム研究のための（仮想化を生かした）自由度の高い環境
2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

16

多様な利用・連携を歓迎・追及• データ活用課題持ち込み（分野の、地方の、企業の、…）• 分野データの整備・プラットフォーム構築• データ提供・サービス（収益）化模索（ 商用クラウドへ展開）• 高性能AI・機械学習
学
情報系• 基盤技術・システム
mdx
研究・開発
データ
産
基盤センター・• …
2020/09/01

情報系

・基盤技術
・システム

課題
産
スマートIoT推進フォーラム
非情報系
テストベッド分科会

NII・AIST

課題

官
政府・自治体課題・プラットフォーム
学
非情報系

17

利用募集の外形・運用について• データ検索や少数ノード利用：統一認証基盤などを用い申請書なし・迅速な利用を可能に• 大規模、本格的な利用：一定の審査– ただし新しいユーザ層・分野にリーチする必要性などから当
初は現行のJHPCN課題申請ほど厳格な審査は行わない予定– 審査基準も現行とは変える必要がある– 複数年での利用を可能に• 組織レベルのパートナーシップに基づく利用– mdx参画の各機関の裁量を重んじつつ全体で決定・承認• 当初は（おそらく）課金はしない– 並行して将来的な新しい課金モデルを検討– 「ストレージの占有量に応じて」というモデルは再考

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

18

目指すのはセンターマシンの新しい標準形• データがシステムを横断して検索でき、見つかったデータがどのマシンでもすぐに処理可能– 個々のセンター = マシン＋データ– データは（たとえばGakuNin RDMで）見つかる– データを特定の人、グループと共有できる• ストレージやアクセス方法に依存する（チャレンジ）– 見つかったデータがどのセンターマシンでも処理できる• SINETの広帯域を生かす• ストレージの耐負荷性能、長距離広帯域ネットワーク上のストレージ性能などチャレンジ

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

19

まとめ•

NII, AISTと8大学（北大、東北大、筑波大、東大、東工大、名大、京大、阪大、九大）は共同で、•mdx 

•共同研究・連携募集 – データ科学・活用のための基盤 mdx を導入– 共同研究・産官学連携の仕組みを運用– 仮想プラットフォーム– VPNでの隔離– セキュアIoT（モバイルSINET）– 高性能計算機・ストレージ– 課題持ち込み– 分野プラットフォーム構築– データ提供– 基盤技術研究– etc. など広く募集

2020/09/01

多くの方々（情報系・非情報系・産・官・学）の参加・協力をあおぎながら進めていきます
データを持つ人活用する人システムを作る人

スマートIoT推進フォーラム テストベッド分科会

20• 以下は参考情報

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

21参考• データ活用社会創成プラットフォームについて– https://www.itc.u-tokyo.ac.jp/wpcontent/uploads/2019/06/45079c24b24f942f050753a
fec7383c6.pdf• データ活用社会創成プラットフォーム– https://www.itc.u-tokyo.ac.jp/wpcontent/uploads/2019/02/dd70658fb1895375ac996ec257181671.pdf

2020/09/01

スマートIoT推進フォーラム
テストベッド分科会

22