⼤規模AIクラウド計算システム「ABCI」
2020年9⽉9⽇
国⽴研究開発法⼈ 産業技術総合研究所
情報・⼈間⼯学領域
ディジタルアーキテクチャ推進センター

1

2

世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャ
AI Bridging Cloud Infrastructuren

経産省「⼈⼯知能に関するグローバル研究拠点整備事業」（H28⼆次補正）の⼀環として整備

n

我が国における産学官共同によるＡＩ研究開発を加速する
オープンイノベーションプラットフォームn

⾼い計算能⼒を活⽤した⼈⼯知能技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が⽬的

Univ. Tokyo / Kashiwa II Campus

理論ピーク性能
550 PFLOPS (半精度)
37 PFLOPS (倍精度)
実効性能
TOP500 (HPL): 19.88 PFLOPS
HPCG: 508.85 TFLOPSGREEN500: 14.423 GFLOPS/W
使用電力 (最大) : 2.3 MW
年間平均PUE: 1.1以下 (推定値)

2018年8⽉1⽇運⽤開始
23

世界トップクラスの実運⽤される省電⼒クラウド型計算システム
Top500 (June 2019) Linpack性能

HPCG (June 2019) 共役勾配法性能

Green500 (June 2019) 省エネ性能

Rank

SystemRmaxRank

SystemHPCG

Rank System

GF/W

1Summit148.6PF

1Summit

2.9PF

1

DGX SaturnV Volta

15.1

2

Sierra

94.6PF

2

Sierra

1.8PF

2Summit14.7

3

Sunway TaihuLight

93.0PF3

K computer

603TF

3

ABCI

14.4

4

Tianhe-2A

61.4PF

4

Trinity

546TF

4MareNostrum P9 CTE

14.1

5

Frontera

23.5PF

5

ABCI

509TF

5TSUBAME3.0

13.7

6Piz Daint

21.2PF

6Piz Daint

497TF

6PANGEA III

13.1

7

Trinity

20.2PF

7

Sunway TaihuLight

481TF

7Sierra

12.7

8

ABCI

19.9PF

8

Nurion

391TF

8PreE

11.4

9

SuperMUC-NG

19.5PF9

Oakforest-PACS

385TF

9

Taiwania 2

11.3

10

Lassen18.2PF

10

Cori

355TF

10

Huawei G5500

10.8

３指標でトップ１０に⼊るのは現在ABCI、⽶国DOEのSummit、Sierraのみ
実性能と省エネ性能を世界トップレベルで両⽴
公的かつオープンで、AI技術開発に特化した計算インフラとして世界初の先進的システム

3

4

ディープラーニングの学習速度の世界記録を⼤幅に更新
Accuracy

ImageNet / ResNet-50 (Relative speedup & Accuracy)

Relative Speed
1600

70 sec0.765
Tesla V100 x2048

75 secTesla V100 x2048 80 sec
77sec
Tesla V100 x1536

1400
1200

1.8 min
TPU v3 x1024

1000
800

MLPerf Top-1 Accuracy

122 sec
Tesla V100 x3456

2.2 min
TPU v3 x1024

0.76

0.755

0.75

224 sec
Tesla V100 x2176
6.6 minTesla P40 x2048

600
400

30 min1 hour Full TPU Pod 15 min
200
Tesla P100 x1024
29 hours Tesla P100 x256
0 Tesla P100 x8MSRA(2015)

Facebook(2017)

GoogleBrain(2017)

PreferredNetworks(2017)

0.745

0.74
Tencent(2018)

SonyABCI(2018)

Google(2018)

Relative speedup

Google(2018)

SonyABCI(2019)

Accuracy

Fujitsu LabABCI(2019)NVIDIA(2019)

Google(2019)

Fujitsu Lab
ABCI(2019)

MLPerf Training 0.6

今年７⽉、富⼠通研究所がABCI上で記録した70秒が現在の世界記録
ABCIにより、Google、Tencentなど先⾏する技術開発への対抗が可能に

4

5ＡＢＣＩのハードウェア構成
⾼性能計算システム
550 PFlops (FP16), 37.2 PFlops (FP64)
476 TiB メモリ, 1.74 PB NVMe SSD

⼤容量ストレージシステム
22 PB GPFS + 1 PB フラッシュストレージ +17 PB クラウドストレージ

計算ノード (GPU搭載) x 1,088台

DDN SFA14K (w/ SS8462 Enclosure x 10) x 3

GPU

NVIDIA Tesla V100 SXM2 x 4 (計 4,352基)

CPUIntel Xeon Gold 6148 x 2 (計 2,176基)Memory384GiB

Local Storage

Intel SSD DC P4600 (NVMe) 1.6TB x 1

Interconnect

InfiniBand EDR x 2

マルチプラットフォームノード (GPU⾮搭載) x 10台• Intel Xeon Gold 6132 (2.6GHz/14cores) x 2• 768GiB Memory, 3.8TB NVMe SSD
インタラクティブノード x 4

管理サーバ・ゲートウェイノード x 15

計算ネットワーク (Infiniband EDR)
• Mellanox CS7500 x 2• Mellanox SB7890 x 229

サービスネットワーク (10GbE)• 12TB 7.2Krpm NL-SAS HDD x 2400
• 3.84TB SAS SSD x 216• NSD Server x 12

DDN SFA14K (w/ SS9012 Enclosure x 5) x 1

nポイント1: 世界最⼤級の最新GPUファーム• 7.68TB SAS SSD x 185, 900GB x 13
• MDS Server x 2, OSS server x 4

全部で4352基。誰でも2048基までの最新GPUを使って• 12TB SATA
HDD x 1440
⼤規模・⾼速なディープラーニングを実⾏可能。
HPE Apollo 4510 Gen10 x 24
• 3.2TB SSD x 24

nポイント2: スパコン由来のネットワーク技術の活⽤すべてのGPUとCPUが2.5μ秒以下の低遅延、ファイアウォール等200Gbpsの広帯域で通信可能。
• Nexsus
3232C x2
(商⽤クラウドでは数10倍の遅延、1/2以下の帯域)• FortiGate 1500D x2• FortiAnalyzer 400E x1

100Gbps

SINET55従来スパコンにはないABCIの運⽤上の特徴
n オープンなクラウドサービス– 産総研のみならず、国内の企業、⼤学、研究機関に所属している⽅なら誰でも利⽤申請して、均⼀料⾦で利⽤可– インターネットを介してどこからでもアクセス可能– 利⽤に必要な情報はすべてインターネットに公開

n セキュアなクラウドサービス– セキュリティ管理体制、セキュリティ実装、脆弱性管理など、セキュリティ要件を策定– 商⽤クラウドベンダーと同様にセキュリティ要件をホワイトペーパーとして公開し、ユーザ企業による導⼊検討を⽀援

n 先進的でマネージドなクラウドサービス– 最新のOS、デバイスドライバ、ミドルウェア、開発環境等の計画的導⼊により、up-to-dateな利⽤環境をユーザに提供（公的なスパコンとしては稀）– コンテナミドルウェアをサポートすることにより、ユーザが社内システムや商⽤クラウドで開発したソフトウェアをそのままABCIに移⾏可能

6

7

ＡＩインフラストラクチャ for everyone
Expert••ImageNet-1k 学習速度の世界最速記録
ABCIグランドチャレンジ︓学術的・産業的に画期的な成果が⾒込まれる
最重要課題への挑戦にABCIの全システムを最⼤24時間提供
オープンデータを⽤いたオープンサイエンスを推進、コンテスト開催

ＡＩ囲碁

Advanced & Intermediate•••••ABCIをリファレンス

企業がクラウドで個⼈情報をアーキテクチャとして扱える⽔準のセキュリティ機構
事業検討

リアルタイム動画解析(産総研開発)

最⼤512ノード/2048GPUまでの計算リソースを誰でも利⽤可
すぐ使えるソフトウェア、データセット、学習済みモデル等を提供
先端技術者を招いて上級者向けの講習会・ハッカソンの開催

Beginner•

データセンタ事業者

ABCI × SONY Neural Network Console

ABCI-WebUI実証プラットフォームを提供し、初学者にも使いやすい統合開発環境の実現を⽀援
初級者向けの利⽤者講習会の開催「AIを試す場」

⼈⼯知能産業エコシステムの形成
最先端のAI研究から誰でも試して使えるAIまで

2020年3⽉時点で326グループ(うち60%以上が外部利⽤)、1,774ユーザ(うち80%が外部利⽤)

数百の研究機関・⼤学・企業の利⽤・協業、数千の研究者・エンジニアによる利⽤を促進

7

ABCI利⽤者統計

2,000
350

1,400
250

1,200
200

800
150

600
100

00

2020/7/31
2020/6/30
2020/5/31
2020/4/30
2020/3/30
2020/2/28
2020/1/31
2019/12/31
2019/11/30
2019/10/31
2019/9/30
2019/8/30
2019/7/31
2019/6/28
2019/5/31
2019/4/30
2019/3/31
2019/2/28
2019/1/31
2018/12/28

2020/7/31
2020/6/30
2020/5/31
2020/4/30
2020/3/30
2020/2/28
2020/1/31
2019/12/31
2019/11/30
2019/10/31
2019/9/30
2019/8/30
2019/7/31
2019/6/30
2019/5/31
2019/4/30
2019/3/31
2019/2/28
2019/1/31
2018/12/28
2018/11/30
2018/10/31
2018/9/30

外部
産総研
無償財団等
国研
企業
大学
共同研究
産総研

ABCIアカウント数の推移
利用グループ数の推移(無償を含む)

300

1,800

1,600

1,000

50

400

200

「無償」とは、ABCIグランドチャレンジ等での利⽤をいう。

8

50

40

10

学習手法/AI品質評価
画像認識・識別・処理
言語処理
シミュレーションとAI
材料設計/分析バイオ
コンピューティング技術
医療
生産工程
創薬
文献・文書解析
人間の行動プロセス
生命情報工学
翻訳
セキュリティ
自動走行
異常検知
建設
地震・津波
AI研修
DB構築
外観検査
衛星データ処理
特許
メディア
風車
ロボット
故障予測
予測・最適化
経済
量子工学
気象解析
CPS
信号処理
脳科学
化学
音声合成
暗号
走行管理
物流
船舶
ソフト開発・保守・運用
サービス開発
構造設計
劣化診断
物質拡散
囲碁

9

応⽤分野

2020/2現在
応用分野

60

主要分野︓AIアルゴリズム、画像・動画認識、⾃然⾔
語理解、シミュレーション、バイオ、医療、創薬など

30

20

ロングテールな個別の応⽤分野にも広がり

0

外部
産総研

9

ABCIサービス諸元

11

12

1. 計算ノードの利⽤
ジョブ割当リソース

資源タイプ 資源タイプ名

割り当て物理 割り当て
ローカル
資源タイプ 割当可能なメモリ(GiB)
ストレージ(GB) 課⾦係数
CPUコア数
GPU数
個数

説明

Full

rt_F

ノード占有

40

4360

1440

1.00

1-512(1-32)*

G.large

rt_G.large

ノード共有
GPU利⽤

20

4

2407200.90

1G.small

rt_G.small

ノード共有
GPU利⽤

5160

1800.30

1C.large

rt_C.large

ノード共有
CPUのみ利⽤

200120720

0.60

1C.small

rt_C.small

ノード共有
CPUのみ利⽤

5030

1800.20

1M.large

rt_M.large

ノード共有
CPUのみ利⽤

80800

480

0.40

1M.smallrt_M.small

ノード共有
CPUのみ利⽤

40400

240

0.20

1New!

＊バッチジョブは最大512個、インタラクティブジョブは最大32個

資源タイプ名と数量で資源量を指定
例） 資源タイプ(Full)を１個指定： -l rt_F=112

13

2. 計算リソース
制限事項

hour:minute:second
時間︓分︓秒
インタラクティブジョブ
(上限/デフォルト)

バッチジョブ(上限/デフォルト)

１日単位
最大30日間rt_F
rt_G.largert_C.large
New!

rt_M.large
rt_M.small

72:00:00/1:00:00
12:00:00/1:00:00
NA

rt_G.small
rt_C.small
ノード時間積

予約

168:00:00/1:00:00
122,304l ７２時間（３日間）以上必要な学習は、「予約」を利用する。
l 小さなジョブは、一度に多数投入できる（分散処理向き）。

13

14

3. 計算ノードの予約利⽤
項目

説明

最小予約日数1日

最大予約日数30日

システムあたりの最大同時予約可能
ノード数

442ノード1予約あたりの最大予約ノード数

32ノード(1ジョブで実行可能な最大値)

1予約あたりの最大予約ノード時間積

12,288ノード時間積

予約受付開始時刻

30日前の午前10時

予約受付締切時刻

予約開始前日の午後9時

予約取消受付期間

予約開始前日の午後9時

予約開始時刻予約開始日の午前10時

予約終了時刻予約終了日の午前9時30分

予約ノードを利用する際は、qsubコマンド又はqrshコマンドにて、「-ar ar_id」オプションを使う。
14

15

4. ABCI料⾦表︓

2019/2020年度

インタラクティブジョブ

計算資源

New!

ストレージ
New!

バッチジョブ

rt_F

1.0 ポイント/時間

rt_G.large

0.9ポイント/時間

rt_C.large

0.6ポイント/時間

rt_G.small

0.3ポイント/時間

rt_C.small

0.2ポイント/時間

rt_M.large

0.4ポイント/時間

rt_M.small

0.2ポイント/時間

予約

36ポイント/日(1.5ポイント/時間)

NA

グループ領域(共有ディスク)5 ポイント/TB・月(ABCIアカウント毎に割当られる200GBのホーム領域は無償)

ABCIクラウド
ストレージ

0.0001ポイント/GB・日
（従量制）
15

5. ジョブ実⾏上の特⻑

⼤規模演算を必要とする場合、有効• バッチジョブ(Spot)では、最⼤５１２ノードまでを利⽤可能• インタラクティブジョブ(On-demand)でも、最⼤３２ノードまで利⽤可能• ジョブ投⼊数（ユーザあたり）
１）アレイジョブあたりの最⼤投⼊可能タスク数︓
２）同時投⼊可能ジョブ数︓
３）同時実⾏ジョブ数︓75,000

1,000

200

16

17

グランドチャレンジ 採択課題2019年度

17成果発表（グランドチャレンジ ）論⽂• Kates-Harbeck, J., Svyatkovskiy, A., Tang, W., “Predicting disruptive instabilities in controlled fusion plasmas through deeplearning”, Nature (2019 Apr).
国際会議・学会発表• Osawa, K., Swaroop, S., Jain, A., Eschenhagen,R., Turner, R. E., Yokota, R., Khan, M. E., “Practical Deep Learning with BayesianPrinciples”, The 33rd Conference on Neural Information Processing Systems (NeurIPS 2019).
• M. Yamazaki, “Yet Another Accelerated SGD: ResNet-50 Training in 70.4 sec.”, 8th ADAC Workshop, Oct. 2019.
• T. Narihara, H. Suganuma, “Sony's deep learning development environment for massively large scale training”, 8th ADAC
Workshop, Oct. 2019.
• Y. Tsuji, K. Osawa, Y. Ueno, A. Naruse, R. Yokota, and S. Matsuoka, “Performance Optimizations and Analysis of Distributed
Deep Learning with Approximated Second-Order Optimization Method”, The 1st Workshop on Parallel and Distributed
Machine Learning 2019 (PDML19).
• Y. Ueno and R. Yokota, “Hierarchical Topology-aware Communication for Scaling Deep Learning to Thousands of GPUs”, The
19th Annual IEEE/ACM International Symposium in Cluster, Cloud, and Grid Computing (CCGrid 2019).
• K. Osawa, Y. Tsuji, Y. Ueno, A. Naruse, T. Yokota, and S. Matsuoka, “Large-scale Distributed Second-order Optimization Using
Kronecker-factored Approximate Curvature for Deep Convolutional Neural Networks”, Conference on Computer Vision andPattern Recognition (CVPR 2019).
• Yokota, R. “Kronecker Factorization for Second Order Optimization in Deep Learning”, SIAM CSE, Spokane, USA, February
25-March 3 (2019).
• Massively Distributed SGD: ImageNet/ResNet-50 Training in a Flash (arXiv:1811.05233) [v2] Tue, 5 Mar 2019.
• ImageNet/ResNet-50 Training in 224 Seconds (arXiv:1811.05233) [v1] Tue, 13 Nov 2018.
18

成果発表（⼀般）
国際会議・学会発表• Kazuki Uehara, “MULTI-SCALE EXPLAINABLE FEATURE LEARNING FOR PATHOLOGICAL IMAGE ANALYSISUSING CONVOLUTIONAL NEURAL NETWORKS”, 27th IEEE International Conference on Image Processing(ICIP2020), Oct. 2020.
• Dario Bertero, Takeshi Homma, Kenichi Yokote, Makoto Iwayama, Kenji Nagamatsu, “Model Ensembling ofESIM and BERT for Dialogue Response Selection”, The Eighth Dialog System Technology Challenge (DSTC8)
Workshop, Aug. 2020.
• S. Takizawa, “ABCI’s Scheduling Design for Accommodating Various AI Jobs", 8th ADAC Workshop, Oct. 2019.
• Kohei Ozaki and Shuhei Yokoo, “1st place in Retrieval Challenge” and "3rd place in Recognition Challenge",
CVPR 2019 Second Landmark Recognition Workshop, 16 June 2019.
• Kohei Ozaki and Shuhei Yokoo, "Large-scale Landmark Retrieval/Recognition under a Noisy and Diverse
Dataset" (arXiv:1906.04087) [v1] Mon, 10 June 2019.
• Peng Chen, Mohamed Wahib, Shinichiro Takizawa, Ryousei Takano, Satoshi Matsuoka, "iFDK: A Scalable
Framework for Instant High-resolution Image Reconstruction", SC19, 17-22 November 2019.
• Peng Chen, Mohamed Wahib, Shinichiro Takizawa, Ryousei Takano, Satoshi Matsuoka, "A Versatile Software
Systolic Execution Model for GPU Memory Bound Kernels", SC19, 17-22 November 2019.
• Atsuro Okazawa, Tomoyuki Takahata, Tatsuya Harada, “Simultaneous transparent and non-transparent
objects segmentation with multispectral scenes", 2019 IEEE/RSJ International Conference on Intelligent
Robots and Systems (IROS), 4-8 November 2019.
1920

https://abci.ai/ 20