ABCI 2.0:
AI橋渡しクラウドのアップグレード
産業技術総合研究所
デジタルアーキテクチャ研究センター
滝澤 真⼀朗世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャ

n 我が国における産学官によるＡＩ研究開発を加速する

オープンイノベーションプラットフォーム

n ⾼い計算能⼒を活⽤したＡＩ技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が⽬的
Peak Performance:
550 PFLOPS (FP16)
37 PFLOPS (FP64)
Effective Performance: (as of Nov 2020)
19.88 PFLOPS(#14 in TOP500)
14.423 GFLOPS/W (#13 in GREEN500)
508.85 TFLOPS(#11 in HPCG)
Power Usage: < 2.6 MW
Average PUE: < 1.15

2018年8⽉1⽇運⽤開始

https://abci.ai/ja/

ＡＩインフラストラクチャ for everyone
Expert
ABCIグランドチャレンジ︓
画期的な成果が⾒込まれる最重要課題への挑戦に
ABCIの全システムを最⼤24時間、無償提供

データセンタ事業者等
ABCIをリファレンスと企業がクラウドで個⼈情報をして事業検討
扱える⽔準のセキュリティ機構

Advanced & Intermediate

最⼤2048GPUまで誰でも利⽤可能
すぐ使えるソフトウェア、データセット、学習モデル等を提供

Beginner
初学者にも使いやすい統合開発環境を実現「AIを試す場」

⼈⼯知能産業のためのオープンプラットフォーム形成
最先端のAI研究から誰でも試して使えるAIまで数百の研究機関・⼤学・企業による利⽤・協業、数千の研究者・エンジニアによる利⽤を促進

4

ABCI の主なユーザ企業

https://abci.ai/ja/link/use_case.html
事例1 ギリア株式会社 様︓⻑年の積み重ねが開花、強⼒なコンピュータで実⽤を迎えたAI
事例2 株式会社 富⼠通研究所 様︓スーパーコンピューティングという「商品」の開発
事例4 株式会社 ⾼電社 様︓機械翻訳のスペシャリスト企業として30年、ABCIで実現するAI翻訳
事例5 パナソニック 株式会社 様︓家電からソリューションへ、競争⼒ある技術をABCIで実現
事例6 アイリス 株式会社 様︓インフルエンザを防ぐ、AIによる「匠の⽬」
事例7 Linne(リンネ) 株式会社 様︓スマホからはじまる⽣物多様性保全の環(わ)事例8 株式会社 トリプルアイズ様︓囲碁AI研究は⾃動⾞メーカーのF1と同じ。 めざせ世界の頂点!
事例9 LeapMind 株式会社様︓量⼦化ニューラルネットワークが実現する、「どこにでもAIがある」
エッジAIの世界
事例10 株式会社 リクルートテクノロジーズ様︓先進技術から紡ぐ、リクルートの「未来のソリューション」
事例11 株式会社 パスコ様︓光と電波で地表をキャッチ、AI解析で災害情報も迅速に事例12 株式会社 アタリ様︓⼈と⾒まがうバーチャルヒューマンが⼈に寄添う未来へ
事例13 オムロンサイニックエックス 株式会社様︓オープンイノベーションで挑むオムロンの⾮連続な技術進化
事例14 株式会社 IABC様︓シミュレーションとAIが切り開く地震⼯学の新たな地平線
事例15 株式会社 コトバデザイン様︓あらゆるモノと⾃然な“おしゃべり”ができる世界を⽬指して事例16 株式会社 ⽇⽴製作所 様︓協創と研究でグローバルな社会課題の解決に挑む
事例17株式会社 YAMATO 様︓「ヒト指向型・マルチモーダル」で極める⾦融AI5

運⽤状況 (1/2)• 利⽤者数の増加に伴い、利⽤率が増加• 2021年10⽉時点の利⽤者• 2600のアカウント（2300は産総研外の利⽤者）• 330の研究プロジェクト（220は産総研外の利⽤者によるもの）• 2019年度〜2020年度の2年間に実⾏されたジョブの傾向
ジョブ投入アカウント数

ジョブ投入プロジェクト数

ジョブ数

実行待ち時間

• 繁忙期を中⼼に利⽤率が⾼く、実⾏待ちが多く発⽣
6

運⽤状況 (2/2)• 利⽤ストレージ容量の増加、I/O性能の⼲渉• 2021年5⽉時点で共有ストレージの60%弱を使⽤• PB級の衛星データ等、⼤容量データを年度内に格納予定• I/O性能共有を意識しない利⽤者による⼤量のI/Oが他利⽤者に影響• 多量のデータの並列ダウンロード• 多量のデータを共有ストレージから読み込む学習プログラムを実⾏• ストレージ容量枯渇の⼼配• 利⽤者からのストレージ性能の苦情

7

ABCI 2.0としてシステム増強
Computing Resources

Shared File Systems

Compute Node (A) x 120- CPU / Intel Xeon Platinum 8360Yx2- GPU / NVIDIA A100 SXM4 x 8- Memory / 512GiB- NVMe SSD / Intel SSD DC P4610
1.6TB x 2
- Interconnect / InfiniBand HDR x 4

HOME / System Storage

Compute Node (V) x 1088
- CPU / Intel Xeon Gold 6148 x 2- GPU / NVIDIA V100 SXM2 x 4- Memory / 384GiB- NVMe SSD / Intel SSD DC P4600
1.6TB x 1
- Interconnect / InfiniBand EDR x 2
Memory-Intensive Node x 10- CPU / Intel Xeon 6132 x 2- Memory / 768GiB- SSD / Intel SSD DC S4500 1.9TB x 1- Optane SSD / Intel Optane SSD
P4800X 1.5TB x 2- Interconnect / InfiniBand EDR x 2

2.0 としての増強部分• 計算ノード(A) 120台を追加• NVIDIA A100を8基搭載• 従来ノードは「計算ノード(V)」に改名• 資源管理システムを共通化し、容易な使い分けが可能

DDN SFA14KX(w/ SS9012 Enclosure x 5) x 1- 7.68TB SAS SSD x 216

Project Storage

DDN SFA14KX(w/ SS8462 Enclosure x 10) x 3- 12TB NL-SAS HDD x 2400
- 3.84TB SAS SSD x 216
DDN ES7990X(w/ SS9012 Enclosure x 2) x 3- 18TB NL-SAS HDD x 801
High Speed StorageFirewall

DDN ES400NVX x 3- 7.68TB NVM2 SSD x 69

ABCI Cloud Storage
HPE Apollo 4510 Gen10 x 24
- 12TB SATA HDD x 1440

SINET5Interactive Nodes / Gateway Nodes

Compute Network(InfiniBand EDR/HDR)• 実効9.5 PBの研究プロジェクト
⽤共有ストレージ• 実効360TBのAll SSDの⾼速ストレージ
2021年5月10日より運用開始

Service Network(10GbE)

8

ABCI 2.0: Computing Resource
ABCI 2.0 (May 2021)
ABCI 1.0 (Aug 2018)
550 PF (FP16), 37.2 PF (FP64)
476 TiB Memory, 1.74 PB NVMe SSD

ABCI Expansion (May 2021)
300 PF (FP16), 19.3 PF (FP64)
97.5 TiB Memory, 384 TB NVMe SSD

Compute Nodes (V) x 1088

Compute Nodes (A) x 120

19.88 PF

11.48 PFGPUNVIDIA V100 x 4GPU

NVIDIA A100 x 8

CPUIntel Xeon Gold 6148 (2.4GHz/20cores) x 2

CPUIntel Xeon Platinum 8360Y (2.4GHz/36cores) x 2

Memory384 GiB

Memory512 GiB

Local Storage

Intel SSD DC P4600 (NVMe) 1.6TB x 1

Local Storage

Intel SSD DC P4610 (NVMe) 1.6TB x 2Interconnect

InfiniBand EDR x 2 (25 GB/sec)

Interconnect

InfiniBand HDR x 4 (100 GB/sec)

x 1.11ABCI 1.0

ABCI 2.0

19.88 PFHPC (FP64)

37.2 PFDL Training (FP32/TF32)

75 PF

225 PFDL Training (FP16/BF16)

550 PF

850 PFFP16 w/ Sparsity

550 PF1.15 EF

56.5 PF

Performance Scale-up

22.20 PFx 1.52x 3 June 2021
#12 in Top500(#16 xin1.55
Nov. 2021)
x 2.099

ABCI 2.0 で追加した計算ノード – 計算ノード(A)PCIe Gen4 x16x16x16x16

PLX

PLXx4

NVMe

x16

204GB/s

DDR43200
32GB x 8x16

PLXx16

A100
SXM4

A100
SXM4

A100
SXM4

A100
SXM4

A100
SXM4A100
SXM4

NVLink3x12

NVSwitch

A100
SXM4

出典: 富士通社製品紹介Webページ

FUJITSU PRIMERGY GX2570 (4U) x 120 nodes

x16

IB HDR

NVMex4x16

IB HDRPLXIB HDR

x16

UPIXeonPlatinum
8360Y

IB HDR

204GB/s
DDR4Xeon
3200
Platinum
32GB x 88360Y

A100
SXM4CPUIntel Xeon Platinum 8360Y (36 cores) x2

GPU

NVIDIA A100 SXM (40GiB) x8

Memory512GiB DDR4 3200MHz RDIMM

NVMe SSD

Intel SSD DC P4510 2.0TB x2

Interconnect

InfiniBand HDR (200Gbps) x4• 調達・導入時期で入手可能な最新のHW• ABCIの旧ノード（計算ノード(V)）に比較して高密度実装• ノード内並列できるGPU数が増加• 1 GPUジョブ向けには、ソフトウェアレベルで資源分割
10

計算ノード（A）のネットワーク
SPINEスイッチ
20台・・・・・・・・

SPINE#01 SPINE#02 SPINE#03 SPINE#04 SPINE#05(QM8790) (QM8790) (QM8790) (QM8790) (QM8790)

InfiniBand HDR200 1本

SPINE#16 SPINE#17 SPINE#18 SPINE#19 SPINE#20(QM8790) (QM8790) (QM8790) (QM8790) (QM8790)

InfiniBand HDR100 1本
InfiniBand EDR 1本• フルバイセクションバンド幅のFat Tree
• 2階層のTree（20ノードのグループ内Tree、グループ間Tree）• NVIDIA Mellanox SHARPを有効化（準備中）

ABCI(ABCI接続)
InfiniBand EDR
20本/台 x 2台 = 40本

ABCISPINE#1(CS7500)
ABCISPINE#2(CS7500)(計算ノードラック)
InfiniBand HDR
20本/LEAF × 24台 = 480本

・・・・・・・・・・・・

計算ノードラック#1

計算ノードラック#2

計算ノードラック#3

計算ノードラック#4

計算ノードラック#21

計算ノードラック#22

Leaf#24(QM8790)

計算ノードラック#23

LEAF#25(QM8790)

計算ノードラック#24

LEAF#26(QM8790)

Mon#1

OSS#18

OSS#01

MDS#8

MDS#1

GX2570 M6 #120

GX2570 M6 #119

GX2570 M6 #118

GX2570 M6 #117

GX2570 M6 #116

GX2570 M6 #115

GX2570 M6 #114

GX2570 M6 #113

GX2570 M6 #112

GX2570 M6 #111

GX2570 M6 #110

・・・・・・・・・・・・

GX2570 M6 #109

計算ノード(A) 120台

Leaf#23(QM8790)

InfiniBand HDR
4本/ノード × 20ノード = 80本

IB HDR80本

GX2570 M6 #108IB HDR80本

GX2570 M6 #107

IB HDR
80本

Leaf#22(QM8790)

GX2570 M6 #106

GX2570 M6 #020

GX2570 M6 #019

GX2570 M6 #018

GX2570 M6 #017

GX2570 M6 #016

IB HDR
80本

GX2570 M6 #015

GX2570 M6 #014

GX2570 M6 #013

GX2570 M6 #012

GX2570 M6 #011

GX2570 M6 #010

GX2570 M6 #009

GX2570 M6 #008

GX2570 M6 #007

GX2570 M6 #006

GX2570 M6 #005

GX2570 M6 #004

GX2570 M6 #003

GX2570 M6 #002

GX2570 M6 #001

InfiniBand HDR
4本/ノード × 20ノード = 80本Leaf#21(QM8790)

GX2570 M6 #105

Leaf#4(QM8790)

GX2570 M6 #104

Leaf#3(QM8790)

GX2570 M6 #103

Leaf#2(QM8790)

GX2570 M6 #101

Leaf#1(QM8790)(⼤容量ストレージラック)
InfiniBand HDR
20本/LEAF × 2台 = 40本

GX2570 M6 #102

LEAFスイッチ
26台

⼤容量ストレージシステム

11

ABCI 2.0が提供するストレージサービス
ノードローカル
ストレージ

Node (V): 1.6TB
Node (A): 2.0TB x2

共有ストレージ

DDN SFA 14KXなど• 計算実行中の一時作業領域• 複数ノード利用時、複数ノードのSSDを集約した一時的な並列ファイルシステムを構築 （BeeGFS）

Home Storage
利用者のホーム領域を提供するストレージ
200GB/AccountProject Storage
研究プログジェクトごとのディレクトリを提供するストレージ
1TB〜250TBHigh Speed Storage (現在は用途限定公開)
一時的に研究プロジェクトに提供する高速ストレージ

オブジェクトストレージ
HPE Apollo 4510 Gen10 x24
出典: HPE社製品紹介Webページ• 17PB (raw) のAmazon S3 API互換オブジェクトストレージ• ABCI内外からのデータ転送をサポート• 暗号化通信・サーバサイド暗号化、アクセス制御を提供

共有ストレージ – 種別と構成
ABCI 2.0で追加したストレージType
SystemDriveFilesystem

Size

Project Storage

DDN ES7990X x3
DDN SS9012 Enclosure x6

18TB HDD x801

Lustre9.5PBHigh Speed Storage

DDN ES400NVX x3

7.68TB SSD x69

Lustre360TB

従来からあるストレージ
TypeSystem

DriveFilesystem

Size

HOME Storage

DDN SFA 14KX x1
DDN SS9012 Enclosure x5

7.68TB SSD x185

Lustre

1PB

Project Storage - Old#1, #2, #3

DDN SFA14KX x1
DDN SS8462 Enclosure x30

3.84TB SSD x216
12TB HDD x2400

GPFS

6.6PB for each

現在、単一Lustreストレージとすべく、データ移行実施中

13

共有ストレージ – Lustreの構成
Project Storage

High Speed Storage

Home Storage

MDS

2 servers

2 servers

2 servers

OSS

6 VMs (3 servers)

12 VMs (3 servers)

4 servers

理論性能

2.4M IOPS
150 GB/s

9M IOPS
300 GB/s

6M IOPS
100 GB/s

容量9.5 PB360 TB

1 PB

inode数18.7 billion

6.2 billion

3.0 billion• Lustre Version: 2.12.5• High Speed Storageでのみ、Data On MDT (DOM)の利用が可能•

inode数減少を懸念して、他では明示的にDisable共有ストレージのモニタリング• 2021.4 以前は Spectrum Scale GUI により、GPFS領域をモニタリング– Read/Write の転送 Bytes、OPS 等をクライアントやストレージサーバのノード単位で確認可能• ABCI 2.0 へのアップグレードにおいて DDN Monitoring Tool (LustrePerfMon) を導入– ファイルシステム単位でユーザ毎、ノード毎、ジョブ毎の I/O 情報を1 分間隔で取得• I/O 情報：open, close, stat 等のメタデータ操作、read, write 操作– Grafana による時系列での可視化• 現在は運⽤⽬的での利⽤に限定、利⽤者には未公開

運用チームによる異常検知は、他の手段と組み合わせて実施

15

ABCI 2.0へのアップグレードの効果• 新計算ノードを活⽤した成果創出が進⾏中• グランドチャレンジ成果報告会を1⽉に開催予定• 繁忙期を中⼼に利⽤率が⾼く、実⾏待ちが多く発⽣• 利⽤量は増えたが、キャパも増えたから緩和されていると推測（詳細は後⽇分析）• ポイント購⼊のペースは昨年度以上、12⽉末には販売終了予定。⼀⽅で、9⽉、10⽉の平均利⽤率は昨年度同⽔準• ストレージ容量枯渇の⼼配• 容量増加により緩和• 利⽤者からのストレージ性能の苦情• 引き続き発⽣しているが、強化した監視システムを活⽤して迅速な解決を⽬指す• 100万、1000万規模の⼩さい画像ファイルを⽤いた学習を実⾏する利⽤者が存在• モニタリングシステムを活⽤しつつ、そのような利⽤者・ジョブを特定し、ローカルストレージの利⽤や、プログラムの修正を促す

最後に• ABCI: AI Bridging Cloud Infrastructure• AI開発のためのオープンなプラットフォーム• NVIDIA V100 GPUを4基搭載するサーバ 1088台から構成• 21PBの⾼性能・⼤容量共有ストレージ、17PBのオブジェクトストレージを提供• ABCI 2.0へのアップグレード• NVIDIA A100 GPUを8基搭載するサーバ 120台を追加• 計10PBのLustre共有ストレージを追加• 2021年5⽉10⽇より運⽤開始予定• Lustre共有ストレージの今後の活⽤• High Speed StorageでのDOMの活⽤により、多数の⼩さいファイルを⼊⼒とする学習プログラムの性能向上• GPUDirect StorageによるLustreからのI/O改善• モニタリングツールを活⽤した、ストレージ過負荷への迅速な対応