ABCI におけるストレージサービスとこれまでの運⽤
⾕村 勇輔

国⽴研究開発法⼈ 産業技術総合研究所

1

世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャ

n 経産省「⼈⼯知能に関するグローバル研究拠点整備事業」（H28⼆次補正）の⼀環として整備

産総研柏センター AIデータセンター棟

n 我が国における産学官によるＡＩ研究開発を加速する

オープンイノベーションプラットフォーム
n ⼈⼯知能産業のための「AI を試す場」
n 初学者〜専⾨家を広く⽀援
n 2500⼈以上の利⽤者、500以上のプロジェクト

n ⾼い計算能⼒を活⽤したＡＩ技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が⽬的
n ⺠間企業や⼤学、産総研との共同研究
n ABCI グランドチャレンジ

AI橋渡しクラウド（ABCI）

2

https://abci.ai

ABCI の構成と性能概要
ABCI 2.0 (最新構成)
ABCI 1.0 (2018Q2-)
550 PF (FP16), 37.2 PF (FP64)
476 TiB Memory, 1.74 PB NVMe SSD

ABCI Expansion (2021Q2-)
300 PF (FP16), 19.3 PF (FP64)
97.5 TiB Memory, 384 TB NVMe SSD

Compute Nodes (V) x 1088

Compute Nodes (A) x 120

GPU

NVIDIA Tesla V100 SXM2 x 4GPU

NVIDIA A100 x 8

CPUIntel Xeon Gold 6148 (2.4GHz/20cores) x 2

CPUIntel Xeon SP (Ice Lake) x 2Memory

384 GiBMemory

512 GiB

Local Storage

Intel SSD DC P4600 (NVMe) 1.6TB x 1

Local Storage

Intel SSD DC P4610 (NVMe) 1.6TB x 2Interconnect

InfiniBand EDR x 2 (25 GB/sec)

Interconnect

InfiniBand HDR x 4 (100 GB/sec)

Precision

ABCI 1.0

2.0 で追加ABCI 2.0 (合算)

スケールアップ

⽤途FP32/TF32

75 PF

150 PF

225 PF

x3

⾼精度DL

TF32 w/ Sparsity↑(*1)

300 PF

375 PF

x5

⾼精度DL

FP16/BF16550 PF

300 PF

850 PFx 1.55

低精度DL

FP16/BF16 w/ Sparsity↑(*1)

600 PF1.15 EFx 2.09

低精度DL

FP64

37.2 PF

19.3 PF

56.5 PFx 1.52シミュレーション(*1) V100はSparsityをサポートしないため参考値。

3

ＡＩインフラストラクチャ for everyone
Expert
ABCIグランドチャレンジ︓
画期的な成果が⾒込まれる最重要課題への挑戦にABCI システムを⼤規模・⻑時間にわたり無償提供

データセンタ事業者等
ABCIをリファレンスと企業がクラウドで個⼈情報をして事業検討
扱える⽔準のセキュリティ機構

Advanced & Intermediate最⼤2048GPUまで誰でも利⽤可能
すぐ使えるソフトウェア、データセット、学習モデル等を提供

Beginner
初学者にも使いやすい統合開発環境を実現「AIを試す場」

⼈⼯知能産業のためのオープンプラットフォーム形成
最先端のAI研究から誰でも試して使えるAIまで数百の研究機関・⼤学・企業による利⽤・協業、数千の研究者・エンジニアによる利⽤を促進
44

ABCI のこれまで
2018.4 ABCI グランドチャレンジ 第1回公募開始
2018.6 TOP500 List: 19.9 PFLOPS で世界5位 (国内1位)、Green500 List: 12.054GFLOPS/W で世界8位
2018.8 本運⽤開始
2018.10 HPCI の計算資源として提供開始
2018.11 TOP500 List: 世界7位 (国内1位)、Green500 List: 14.423GFLOPS/W で世界4位 (国内2位)
2018.11 ソニーが ABCI において ImageNet/ResNet-50 Training で世界最速（224秒）を達成
2019.4 富士通研究所が ABCI において ImageNet/ResNet-50 Training で世界最速（75秒）を達成
2019.6 富士通研究所が前記の記録更新（70秒）、MLPerf Training v0.6 結果で NVIDIA、Google を上回る
2019.8 ABCIを⽤いて5⽇間強化学習を⾏った囲碁AI「GLOBIS-AQZ」が世界5位
2019.10 ABCI クラウドストレージサービスの運用開始
2020.4 HPCI臨時課題募集「新型コロナウイルス感染症対応」への計算資源提供を開始
2020.6 ABCI ユーザグループの設立
2020.11 MLPerfHPC (v0.7) で最高レベルの性能を達成
2020.12 ABCI データセットサービスの運用開始
2021.5 NVIDIA A100 GPU 960基を追加し、ABCI 2.0 にアップグレード
2021.6 TOP500 List: 22.2 PFLOPS で世界12位 (国内2位)
2021.12 データセット公開⽀援プログラムを開始
2023.2 ABCI グランドチャレンジにて V-Week（544 x V100 GPU, 24x7時間）クラスを開始
2023.7 大規模言語モデル支援プログラムを開始（最大 640 x A100 GPU, 最大60日間の予約利用）
5

ABCI のストレージサービス• 計算ノードのローカルディスク• 共有ファイルシステム– スクラッチ利⽤• ローカルディスクを⽤いて、オンデマンドに構成できるファイルシステム: /beeond• キャッシュとして利⽤可能な⾼速共有スクラッチ領域: /scratch– Home 利⽤: /home• 利⽤者の $HOME 領域。１アカウントにつき、200GiB が割り当てられ、容量追加は不可。

– Groups, Projects 利⽤: /groups, /projects• 利⽤グループ、プロジェクト毎に割り当てられる。
• 初期クォータ値は 0TiB。250TiB まではポータルから容量追加（即反映）が可能。
– 1TiB のクォータ増量につき、毎⽉ 5 ABCI ポイントが課⾦される。

– 特別利⽤: /bb• グランドチャレンジ 等の特定⽤途向けの⾼速領域• クラウドストレージ– S3 互換インタフェースのオブジェクトストレージ。ABCI 内外からアクセス可能。
6

ABCI 全体概要
計算リソース共有ファイルシステム

計算ノード(A) x 120台- CPU: Intel Xeon Platinum 8360Y x 2- GPU: NVIDIA A100 SXM4 x 8- Memory: 512GiB- NVMe SSD: Intel SSD DC P4510
2.0TB x 2- Interconnect / InﬁniBand HDR x 4

DDN SFA14KX(w/ SS8462 Enclosure x 10) x 3
12TB NL-SAS HDD x 2400
3.84TB SAS SSD x 216

計算ノード(V) x 1088台- CPU: Intel Xeon Gold 6148 x 2- GPU: NVIDIA V100 SXM2 x 4- Memory: 384GiB- NVMe SSD: Intel SSD DC P4600
1.6TB x 1
- Interconnect: InfiniBand EDR x 2DDN ES7990X(w/ SS9012 Enclosure x 2) x 3
18TB NL-SAS HDD x 801

メモリインテンシブノード x 10台- CPU: Intel Xeon 6132 x 2- Memory: 768GiB- SSD: Intel SSD DC S4500 1.9TB x 1- Optane SSD: Intel Optane SSD
P4800X 1.5TB x 2- Interconnect: InfiniBand EDR x 2/projects, /scratch を構成する機材

DDN SFA14KX(w/ SS9012 Enclosure x 5) x 1
7.68TB SAS SSD x 216

DDN ES400NVX x 3
7.68TB NVM2 SSD x 69
ファイアウォールABCIクラウドストレージ
HPE Apollo 4510 Gen10 x 24
12TB SATA HDD x 1440

SINET5
インタラクティブノード / ゲートウェイノード/home を構成する機材/groups を構成する機材/bb を構成する機材

計算ネットワーク(InfiniBand EDR/HDR)

7

サービスネットワーク(10GbE)

ストレージサービスの全体概要
Compute nodes- Local NVMe SSD- BeeGFS On DemandProjects/scratch directories
100Gbps- 2 Lustre FS> Projects: 22PB
> Scratch: 600TB
200/400 Gbps per node
(100/200 Gbps per node in IPoIB)

Total 800Gbps

Firewall

Total 2400Gbps

Infiniband EDR/HDR
Total 8000Gbps

Ethernet
Total 1000Gbps
in IPoOB

User home directories

Groups/bb directories

S3 Object storage- Lustre FS, 1.1PB- 2 Lustre FS- Scality RING, <13PB

Total 80Gbps> Groups: 11PB
> bb: 395TB※ 最初から、このような設計をしていたわけではない。
増設、利用者要望、運用／ベンダー提案等を通して、現在のような形となった。
8

共有ファイルシステムの使用量（容量）• 最大容量に対しては、いずれも余裕あり• データ移行、一括削除等による上下が見られる• 今年以降は、CloudStorageも利用が増加※ 現構成になる以前のデータは、/groups、/projects 相当として計算
9共有ファイルシステムの使用量（inode）• 最大数に対しては、いずれも余裕あり– ただし、/groups は MDT 毎に⾒ると空き inode 量が切迫

• データ移行、一括削除等による上下が見られる• /projects の使用率は容量に比べて小さい※ 現構成になる以前のデータは、/groups、/projects 相当として計算
10

共有ファイルシステムの使用量（inode）• 設定– DNE（Distributed Namespace）を利⽤し、ディレクトリ分割。
– グループ単位で使⽤ MDT を割り当て。
– inode quota なし。

• 問題– 特定グループが過剰に使用。

• 対策– 割り当ての見直し。
– inode quota 導入。
– HDF 等の Container file の利⽤を強く要請。
※ 現構成になる以前のデータは、/groups、/projects 相当として計算
11共有 FS の I/O モニタリング、および解析の開始• 2021.4 以前は Spectrum Scale GUI により、Groups, BB をモニタリング– Read/Write の転送 Bytes、OPS 等をクライアントやストレージサーバのノード単位で確認可能• ABCI 2.0 へのアップグレードにおいて DDN Monitoring Tool (LustrePerfMon) を導入– ファイルシステム単位でユーザ毎、ノード毎、ジョブ毎の I/O 情報を1 分間隔で取得• I/O 情報：open, close, stat 等のメタデータ操作、read, write 操作– Grafana による時系列での可視化• 利⽤者には未公開

運用チームによる異常検知は、他の手段と組み合わせて実施

12

I/O ワークロード (1)• ABCI の /groups (10.64PB) のメタデータ操作量– 平均: 200K ops/sec– バースト時間帯: 400 K ops/sec が数時間〜数日続く。ただし、50K ops/sec 以下の時間も少なくない。
– ピーク: 1M ops/sec• NERSC の Edison (Cray XC30 2.4PF)、Cori (Cray XC40 30PF) の PFS (6.48PB)との比較– 平均: 9.7K ops/sec（open と close で 7K ops/sec）– バースト時間帯: 29K ops/sec– ピーク: 43.5K ops/sec

R. Macedo et al. “Protecting Metadata Servers From Harm Through Application-level I/O Control,” REX-IO 2022 Workshop

13

I/O ワークロード (2)• ABCI の /groups (10.64PB) の主要なメタデータ操作– open, close, getattr, rename が全体の 98% を占める
• open, close, rename: 名前空間のロックが必要• rename: アトミック操作が必要• getattr: 30⽇間で2500億回、平均 95.8K ops/sec

R. Macedo et al. “Protecting Metadata Servers From Harm Through Application-level I/O Control,” REX-IO 2022 Workshop

14

I/O ワークロード (3)• ABCI の /groups (10.64PB) の Read / Write スループット– Read が圧倒的に多い• 最大 640 GB/s
• 混雑時は 100 GB/s 前後、時々 300 GB/s 前後に達する– Write は最大で 28.7 GB/s

※ グランドチャレンジや特別プロジェクトは /bb、/projects 利用なので、これに含まれない。

15

これまでの運用において遭遇した主な事象• inode 使用量の切迫– 2022年度末まで制限なし、現在はグループ毎に上限（200M）を設定• Many small I/O 高速化のために検討していた Data on MDT (DoM) 導入の保留• I/O 性能に関する苦情– 混雑時には一定頻度で苦情は届く• 障害でないことの確認、回避手段（/scratch、ローカルディスク利用等）の情報提供• データ移行– 新しい機材の導入、FS 再構成のために必要になった。
– 1年かけてグループ毎に少しずつ移動、主に運用側による作業（それなりの手間）• 容量管理– 一律の容量上限（250TiB）+ 特例申請で運用し、問題は生じていない。
– ただし、複数のストレージにまたがる管理は面倒• 大容量使用グループ（250TiB 以上）は /projects を割り当て、それ以外は /groups 割り当て

• 停電
– 問題は起きていない。UPS が切れても、バッテリにより正常終了できている。
16

運用における課題/今後の取り組み• 運用チームの負荷軽減– 容量等の管理、データ移行は最小化したい• 非効率な I/O への対策
– 苦情を減らすだけでなく、問題を生じさせているユーザ自身にも恩恵– アプリケーション実行毎にどこが遅いか、なぜ遅いかが分かるようにしたい– ローカルディスクの活用を促進• セキュリティ要件への対応– 暗号化はユーザ選択可にできるとよい– マルチテナント対応もできるとよい（需要あり）• 品質制御– 長期課題、ポリシー設定がそんなに容易ではない

17

ABCI の中で活躍したい人を募集中
産総研特別研究員 公募
https://unit.aist.go.jp/hrd/keiyaku_koubo/2023-digiarc_0014.html• 研究内容– 膨⼤なデータを⽤いた⼤規模機械学習、学習済みモデルやデータセットの共有と転移学習等への応⽤を⽀援する AI 処理サービス基盤技術の研究• 応募資格– AI（機械学習や深層学習等）やその応⽤を⽀える基盤ソフトウェア、データ管理技術、クラウド技術、システム運⽤技術に関する研究に関⼼があることなど• 応募締切– 2023年11⽉30⽇（適任者決定次第締切）→ 延⻑予定

18

19

https://abci.ai/
19