AI橋渡しクラウド（ABCI）とビッグデータ転送
産業技術総合研究所
2019年10⽉4⽇

⾼野 了成

ADVNET2019@東⼤2

世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャ
AI Bridging Cloud Infrastructuren

経産省「人工知能に関するグローバル研究拠点整備事業」（H28二次補正）の一環として整備

n

我が国における産学官共同によるＡＩ研究開発を加速する
オープンイノベーションプラットフォームn

高い計算能力を活用した人工知能技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が目的

Univ. Tokyo / Kashiwa II Campus

理論ピーク性能
550 PFLOPS (半精度)
37 PFLOPS (倍精度)
実効性能
TOP500 (HPL): 19.88 PFLOPS
HPCG: 508.85 TFLOPSGREEN500: 14.423 GFLOPS/W
使用電力 (最大) : 2.3 MW
年間平均PUE: 1.1以下 (推定値)

2018年8月1日運用開始

世界トップクラスの実運⽤される省電⼒クラウド型計算システム
Top500 (June 2019) Linpack性能

HPCG (June 2019) 共役勾配法性能

Green500 (June 2019) 省エネ性能

Rank

SystemRmaxRank

SystemHPCG

Rank System

GF/W

1Summit148.6PF

1Summit

2.9PF

1

DGX SaturnV Volta

15.1

2Sierra94.6PF

2

Sierra

1.8PF

2Summit

14.7

3

Sunway TaihuLight

93.0PF

3K computer

603TF

3ABCI

14.4

4

Tianhe-2A

61.4PF

4Trinity

546TF

4MareNostrum P9 CTE

14.1

5

Frontera

23.5PF

5

ABCI

509TF

5TSUBAME3.0

13.7

6Piz Daint

21.2PF

6Piz Daint

497TF

6PANGEA III

13.1

7Trinity20.2PF

7

Sunway TaihuLight

481TF

7Sierra

12.7

8

ABCI

19.9PF

8

Nurion

391TF

8PreE

11.4

9

SuperMUC-NG

19.5PF9

Oakforest-PACS

385TF

9Taiwania 2

11.3

10

Lassen18.2PF

10

Cori

355TF

10

Huawei G5500

10.8

３指標でトップ１０に⼊るのは現在ABCI、⽶国DOEのSummit、Sierraのみ
実性能と省エネ性能を世界トップレベルで両⽴
公的かつオープンで、AI技術開発に特化した計算インフラとして世界初の先進的システム

3

4

ディープラーニングの学習速度の世界記録を⼤幅に更新
ImageNet / ResNet-50 (Relative speedup & Accuracy)
1600

70 sec0.765
Tesla V100 x2048

75 secTesla V100 x2048 80 sec
77sec
Tesla V100 x1536

140012000.76

1.8 min
TPU v3 x1024

1000

122 sec
Tesla V100 x3456

2.2 min
TPU v3 x1024

800

0.755

0.75

224 sec
Tesla V100 x2176
6.6 minTesla P40 x2048

600
400

30 min1 hour Full TPU Pod 15 min
200
Tesla P100 x1024
29 hours Tesla P100 x256
0 Tesla P100 x8MSRA(2015)

Facebook(2017)

GoogleBrain(2017)

PreferredNetworks(2017)

0.745

0.74
Tencent(2018)

Sony
ABCI
(2018)

Google(2018)

Relative speedup

Google(2018)

Sony
ABCI(2019)

Accuracy

Fujitsu Lab
ABCI(2019)NVIDIA(2019)

Google(2019)

Fujitsu Lab
ABCI(2019)

MLPerf Training 0.6今年７⽉、富⼠通研究所がABCI上で記録した70秒が現在の世界記録
ABCIにより、Google、Tencentなど先⾏する技術開発への対抗が可能に

6

ABCI のハードウェア構成
⾼性能計算システム
550 PFlops (FP16), 37.2 PFlops (FP64)
476 TiB メモリ, 1.74 PB NVMe SSD

⼤容量ストレージシステム
22 PB GPFS + 1 PB フラッシュストレージ +17 PB クラウドストレージ

計算ノード (GPU搭載) x 1,088台

DDN SFA14K (w/ SS8462 Enclosure x 10) x 3

GPU

NVIDIA Tesla V100 SXM2 x 4 (計 4,352基)

CPUIntel Xeon Gold 6148 x 2 (計 2,176基)Memory384GiB

Local Storage

Intel SSD DC P4600 (NVMe) 1.6TB x 1Interconnect

InfiniBand EDR x 2マルチプラットフォームノード (GPU⾮搭載) x 10台• Intel Xeon Gold 6132 (2.6GHz/14cores) x 2• 768GiB Memory, 3.8TB NVMe SSD
インタラクティブノード x 4

管理サーバ・ゲートウェイノード x 15

計算ネットワーク (Infiniband EDR)
• Mellanox CS7500 x 2• Mellanox SB7890 x 229

サービスネットワーク (10GbE)• 12TB 7.2Krpm NL-SAS HDD x 2400
• 3.84TB SAS SSD x 216• NSD Server x 12

DDN SFA14K (w/ SS9012 Enclosure x 5) x 1

nポイント1: 世界最⼤級の最新GPUファーム• 7.68TB SAS SSD x 185, 900GB x 13
• MDS Server x 2, OSS server x 4

全部で4352基。誰でも2048基までの最新GPUを使って• 12TB SATAHDD x 1440
⼤規模・⾼速なディープラーニングを実⾏可能。
HPE Apollo 4510 Gen10 x 24
• 3.2TB SSD x 24

nポイント2: スパコン由来のネットワーク技術の活⽤すべてのGPUとCPUが2.5μ秒以下の低遅延、ファイアウォール等200Gbpsの広帯域で通信可能。
• Nexsus
3232C x2
(商⽤クラウドでは数10倍の遅延、1/2以下の帯域)• FortiGate 1500D x2• FortiAnalyzer 400E x1

100Gbps

SINET5ABCIの設計・構築

ハイブリッド冷却システム
n 従来型データセンターの冷却システム「床吹き出し⽅式」による全体空調のモデル
近年は、冷却装置をホットアイルの上部に設置するなどの⽅式で、冷熱混合を低減させることで冷却の効率を上げている

n ＡＢＣＩの冷却システム「⽔冷＋空冷のハイブリッド冷却⽅式」
外気を使ったフリークーリングにより「32℃の冷却⽔」を作り、その⽔でラック内冷却⽔（２次冷却⽔）と、ホットアイル内の空気を冷却する

年間平均PUE : 1.1 以下

年間平均PUE : 1.7〜2.0

Hot Aisle Capping

Cold WaterCircuit
Hot Spot

Hot Spot

Fan Coil
Unit

32℃

40℃

Cooling
capacity 10kW

CDU

ComputingServerCold Aisle
Air 18~19℃

Ａ／ＣCooling capacity
60kW

Hot Aisle
ComputingServerAir 25~26℃

ComputingServer19 inch
Rack(40-42U)

Water

Cold Aisle
Frontside
AirComputing
Server35℃

Hot Aisle

Air

40℃

ComputingServer19 inch
Rack(40-42U)

19 or 23 inch
Rack (48U)
Water Block(CPU or/and Accelerator,etc.)※PUE（Power Usage Effectiveness）とは、右の計算式で定義される
データセンターにおける電⼒効率を⽰す指標で、1.0に近いほど高効率。

PUE =Hot Water
Circuit

データセンター全体の消費電⼒
IT機器による消費電⼒

7

ABCIを⽤いたビッグデータ転送事例••••

⼤規模動画像解析
Global Research Platform
データ活⽤社会創成プラットフォーム
ABCIクラウドストレージ8

9

知能システム研究部⾨コンピュータビジョン研究グループ

ABCIを活⽤した⼤規模動画像解析

⼤規模AI基盤であるABCIを活⽤し⼤量の動画像を同時にリアルタイムで解析する技術を開発
ABCIを使って動画像を事前に学習

https://abci.ai/ja/

産総研開発、世界トップレベルの計算処理能⼒/データ処理能⼒
3D ResNet (ABCIで⼤規模/⾼速学習)
⾏動ラベル

3Dフィルタ
畳み込みマップ（3D）

産総研開発 動画像解析 深層学習
構造、世界的に⽤いられている動画送信
東京デモ会場とABCIをSINET5で接続
動画像をリアルタイム解析

リアルタイムに解析して、キャプション付き動画⽣成

10Global Research Platform実現に向けた動向• 2010年頃、⽶国ESnetが⼤量の科学実験データを転送するためのネットワーク Science DMZ を提案• 2015年、カリフォルニア州のScience DMZをつないだPacificResearch Platform (PRP)プロジェクト開始• FIONA︓データ転送に最適化したコスト効率性の⾼い計算機• Nautilus︓Kubernetesベースの広域クラスタシステム• ユーザ事例︓IceCube• 2018年、National Research Platform、Asia Pacific Research Platformなどが登場• 2019年9⽉、1st Global Research Platform workshop@UCSD
11

AIST’s Machine Learning Supercomputer
Has Been Connected to PRP/CHASE-CI at 6.4 Gbps!

Larry Smarr@UCSD
GRP Workshop

SDSC CTO Phil Papadopoulos and Satoshi Sekiguchisign 5-Year MOU on behalf of UC San Diego and AIST.

• ABCI Has 4352 NVIDIA Tesla V100 GPUs– Peak Performance: 550 PFlops (FP16)– Linpack: 20 PFlops (#8 in TOP500)• ABCI-PRP: Grand Challenge Project– Gerald Pao, Salk Institute– George Sugihara, SIO– Creation of Neuromorphic Deep-Learning
Architectures by Large-Scale Dynamic Modelingof Transparent Fish Brains on ABCI– Disk-to-Disk data transfer from UCSD to ABCI
January 10, 2018
“The two sides will collaborate
on cyberinfrastructure projects,
notably PRP/CHASE-CI and AIST’s
AI Bridging Cloud Infrastructure (ABCI).”– FDT version 0.26.1– 574 GB Transferred in 12 Minutes– 6.4 Gbs

Source: Ryousei Takano, AIST12

7

22:28:58
22:29:18
22:29:38
22:29:58
22:30:18
22:30:38
22:30:58
22:31:18
22:31:38
22:31:58
22:32:18
22:32:38
22:32:58
22:33:18
22:33:38
22:33:58
22:34:18
22:34:38
22:34:58
22:35:18
22:35:38
22:35:58
22:36:18
22:36:38
22:36:58
22:37:18
22:37:38
22:37:58
22:38:18
22:38:38
22:38:58
22:39:18
22:39:38
22:39:58
22:40:18
22:40:38

Transfer rate (Gbps)

Disk-to-Disk data transfer from UCSD to ABCI

8

Average rate: 6.4Gbps

654

3

2

1

• FDT version 0.26.1• Total data size: 574GB• File size: 193MB• Number of files: 2977
• Elapsed time: 12m10s• Average rate: 6.4Gbps0*) Zebrafish brain image raw data
13

ABCIストレージ構成とData Transfer NodeCompute nodes(x1088)

ノードあたり25GB/s

Data transfer
node

Data transfer via DTN

合計
300GB/s

22PB ⼤容量共有ファイルシステム（GPFS）

合計
100GB/s

1PB オールフラッシュ共有ファイルシステム（Lustre）

7.2PB x3（グループ領域、HDD構成）
0.4PB（システム領域、SSD構成）

Firewall
80Gbps100Gbps

SINET5UCSD

Data transfer via
Cloud Storage(future work)

ユーザあたり200GB（5000ユーザまでホスト可）

合計
300GB/s

ABCIクラウドストレージ（Scality RING）
S3互換クラウドストレージ機能を提供
最⼤容量 17PB14ABCIクラウドストレージの主な特徴
n SINET5に直結した「データハーバー」• SINET5に直結した各機関から、⾼速・安全にデータを収集・蓄積• ABCI上で⽣成された、⾼性能な汎⽤学習モデル等の共有・配布

ABCI Cloud Storagen Amazon S3互換API• クラウドストレージのデファクトAPI、そのソフトウェアエコシステムの活⽤• Oracle Cloud, IBM Cloud、国内でもIIJ、さくらインターネットのサービスなどで採⽤• S3向けの様々なソフトウェアやサービスをそのままABCIにポート可能• 共有ファイルシステムと異なり、バケット単位での細粒度のアクセス制御を実現

n エンタープライズクラスの通信・データ暗号化• ABCIクラウドストレージへのアクセスは、ABCI内部・外部問わず、SSLにより暗号化• S3準拠のサーバサイド暗号化（SSE）に対応、保管時にデータ暗号化、読出し時にデータ復号が可能
15データ活⽤社会創成プラットフォーム
1. Society 5.0における「ビッグデータ等の新たな技術をあらゆる産業や社会⽣活に取り ⼊れてイノベーションを創出」するための「基盤」• ステークホルダー間のマッチングハブ機能を提供• ターゲットはBig ScienceではなくEveryday Application• 地⽅の中⼩企業や⾃治体のデータ利活⽤の実証実験の場

2. ⾃ら設備を持たなくとも誰もがデータ利活⽤• SINET5、モバイルSINET網、東⼤スパコン、ABCIを活⽤

3. 応⽤ごとに必要な機能を⽤途に応じて利⽤。オンデマンドで短時間に構築・拡張・融合可能• ユーザごとに隔離されたスライスを提供

17

Infrastructure of the Data Exploitation Platform27

工藤先生＠東大GRP Workshop

SINET mobile

The Internet
PublicCloud

VirtualPlatform (slice)

SharedObjectStorage
AIST ABCIServers

Cold
Storage

Secure / High
speed Storage
Data Exploitation Platform

UTokyo Supercomputers
2019/9/6

18

まとめに代えて• スパコンがスタンドアローンだったのは今は昔• ⼤容量ネットワークの整備は必須に• ネットワークの安定運⽤に⽇々携わってくださる皆様に感謝︕

19

ご清聴ありがとうございました。
詳しくはWebで︕
https://abci.ai/

22