データプラットフォーム
mdx による
財務ビッグデータ解析環境の構築
宮本大輔
東京大学情報理工学系研究科准教授

宮本大輔とは略歴

現在の仕事

• 学歴

• セキュリティ関連• 関西学院大学商学部• 地道先生のゼミに在籍• 奈良先端科学技術大学院大学• 博士学位取得 (2009)• 情報セキュリティ教育センター• 東京大学CERT• IPA ICSCoE• データサイエンス関連• 職歴• アクセリア株式会社• 情報通信研究機構• 東京大学• 情報基盤センター助教• 情報理工学系研究科准教授(現職)

2022/8/28

探索的ビッグデータ解析と再現可能研究

https://www.iplove.net

2

mdx とは2022/8/28

探索的ビッグデータ解析と再現可能研究3

mdx とは• データ科学・データ駆動科学・データ活用応用にフォーカスした
高性能仮想化環境 https://mdx.jp/
研究所 (2)• 9大学2研究所が共同運営し、• 国立情報学研究所、産業技術総合研究所
全国共同利用大学 (9)• 北海道大、東北大、筑波大、東京大、• 東京大学 柏2キャンパスに設置
東京工業大、名古屋大、京都大、大阪大、九州大

2022/8/28

探索的ビッグデータ解析と再現可能研究4mdx は IaaS クラウド

仮想的なインフラ（計算機環境）を提供し、その上に利用者が独自にデータ収集、解析、他システムとの連携といった環境を構築
Disaster protection

Shared infrastructure

Medicine

Network / Storage / Computers

SINET6

Agriculture / Fishing

SINET62022/8/28

SINET6SINET5SINET6SINET
mobileData

Energy / Power Grid

SINET6

探索的ビッグデータ解析と再現可能研究

Smart Cities

SINET65

mdx は IaaS クラウド

従来のスパコンと比べて自由度が高い利用者が管理
IaaS 上で動作するOS、アプリケーション等を自由にインストールできる
Webサイトを外部に公開するという使い方も可能
mdxが管理https://www.ispsystem.com/news/xaas
2022/8/28

探索的ビッグデータ解析と再現可能研究6

mdx の操作デモ / ログイン

所属機関を選択7

mdx の操作デモ / 仮想マシン

2022/8/28

探索的ビッグデータ解析と再現可能研究

8mdx の操作デモ / 仮想マシンの作成

2022/8/28

探索的ビッグデータ解析と再現可能研究9mdx の操作デモ / (補足) 仮想マシン• 仮想マシン (Virtual Machine, VM)• 1999年から普及した機能• 「Linuxの上でWindowsが動く」を実現• ハイパーバイザ• コンピュータを仮想化するソフトウェア• クラウドにおける資源管理の基盤

2022/8/28

OS

OS

VM

VM

仮想化ソフト

OSOS

VM

VM

OS

ホストOS

ハイパーバイザPhysical Machine

Physical Machine

Physical Machine

通常のマシン

仮想マシン（ホスト型）

仮想マシン（ハイパーバイザ型）

探索的ビッグデータ解析と再現可能研究10mdx の操作デモ / ネットワーク接続

アドレス 163.220.xxx.yyyは自動的に割り当てられる
10.17.112.101 (中のアドレス)を、外に接続するよう Destination NAT を編集している11mdx の操作デモ / ネットワーク管理

sshの通信を 0.0.0.0 (インターネット全て)と許可するよう設定を変更している
12

mdx による基盤構築

2022/8/28

探索的ビッグデータ解析と再現可能研究

13163.220.176.178

10.20.151.254
サービスネットワーク
10.20.144.0/21

10.20.144.1

mdx-kg-01(DHCP)
ストレージネットワーク
10.148.144.0/21

10.20.144.2

mdx-kg-02(DHCP)

10.20.144.3

mdx-kg-03(DHCP)

10.20.144.4

mdx-kg-04(DHCP)

10.20.144.5

mdx-kg-05(DHCP)

mdx-kg-01

mdx-kg-02

mdx-kg-03

mdx-kg-04

mdx-kg-05CPU数

818152152152

Memory (GByte)

12.09

57.6

229.78229.78229.78Disk (GByte)

4040404040

GPU-

A100 40GB---

高速ストレージ(GByte)2048

大容量ストレージ(GByte)

2048

高速ストレージ、大容量ストレージは SR-IOV で接続済みの lustre システム

ファイルシステム• クラウドやHCP等に採用されている高並列ファイルシステム

機種名

主な用途

仮想ディスクIntelliFlash HD2160

OS 格納領域

高速内部ストレージ

DDN ES400NVX/fast

大容量内部ストレージ

DDN ES7990X/largeオブジェクトストレージ

DDN ES7990X

https://mdx.jp/about/system
2022/8/28

探索的ビッグデータ解析と再現可能研究

16

SR-IOV と RDMA
• SR-IOV (Single Root I/O Virtualization)• PCIデバイス側で仮想化をサポートする技術• 複数の仮想マシンから送られた
PCIデバイスへの要求は、ハイパーバイザが調停していた• この処理を PCI デバイス側にオフロードする技術• RDMA (Remote DMA)

• ネットワークを経由して異なるマシンから RDMA 転送を行う

2022/8/28

探索的ビッグデータ解析と再現可能研究

画像出典：日経XTECH
17

ハードディスクのベンチマーク• Bonnie++ によるベンチマーク
Version 1.98

Size

512M
仮想ディスク

高速内部
ストレージ

大容量内部
ストレージ
2022/8/28

Sequential Output

Per Char

Block

M/sec

% CPU

1238

99

Laten
12824us
cy
512M

2030

Laten
7836us
cy
512M

2210

Laten
5100uscy

Rewrite

M/sec

% CPU

618

79

M/sec

% CPU

993

50

4277

99

95

2140us791
6780us2156us
830

93

652
3368us

2720

2673
7110us

探索的ビッグデータ解析と再現可能研究

SeeksM/sec% CPU0+++25us

999089us90Random

Block% CPU

45us

122ms
99

Per Char

M/sec0+++41us

99

Sequential Input

15us+++++ ++++++++ +++1410us

0+++
45us

% CPU

125us
0+++

99

/sec

+++++ +++
1532us18

mdx と財務ビッグデータ解析環境• 環境の自由度の高さ• mdx は IaaS であり OS や ソフトウェアの自由度が高い• 成果公開のWebサイトを構築することも可能• 環境をまるごと OVF 形式でインポート・エクスポートして利用できる• ネットワーク接続性• 計算資源の種類• PG-Strom などのGPGPU を用いたデータ解析環境構築に対応• CPU x 1 で申請すると → vCPU x 1、メモリ 1.51GB• GPU x 1 で申請すると → vCPU x 18、GPU x 1、メモリ 57.6GB• 仮想ディスク、高速内部ストレージ、大容量内部ストレージ• IPアドレス (複数)2022/8/28

探索的ビッグデータ解析と再現可能研究19mdx と財務ビッグデータ解析環境• 主なインストール履歴• R とその周辺パッケージ• PG-Strom (2021年のワークショップ参照)• 企業会計データを前処理・ラングリングによりデータベース PostgreSQL 形式にし、これを GPGPU を使って高速に探索できるようにしたもの

2022/8/28

探索的ビッグデータ解析と再現可能研究20

mdx と財務ビッグデータ解析環境• 現在までの主なトラブル• 仮想ディスクの容量使い切り• 仮想ディスク (OSが利用する領域) への大量ディスク書き込み• ただし /tmp 等を使うソフトウェアもある → R• 現在の対応• /var/log や /tmp をシンボリックリンクにより対応• メモリ容量の使い切り• １ つの VM に割り当て可能なメモリの最大が 229.78 GByte

2022/8/28

探索的ビッグデータ解析と再現可能研究21

mdx と責任共有モデル
IaaSのクラウドシステムの一般的な場合において、OS及びデータベース、アプリケーション、データはクラウドサービスの利用者が用意する
ここで発生する問題は、利用者側に責任がある

データセンター及びネットワーク機器、ストレージ機器、物理的なサーバ及び仮想化ソフトウェアは、クラウドサービスの提供者が用意する
ここで発生する問題は、提供者側に責任がある

2022/8/28

探索的ビッグデータ解析と再現可能研究22

ご清聴ありがとうございました• daisu-mi@nc.u-tokyo.ac.jp• mdx とは IaaS クラウドであり、自由度が高い• mdx を用いて財務ビッグデータ解析環境を構築している

2022/8/28

探索的ビッグデータ解析と再現可能研究

23