ABCIの現状と課題
国⽴研究開発法⼈ 産業技術総合研究所
⾼野 了成
2022年6⽉23⽇ PCクラスタワークショップ in 神⼾2022「クラウドとHPC」

AI研究開発における⼤規模インフラの重要性
⼤きな計算機パワー、⼤きなデータセットを⽤いるほど、学習済みモデルの精度は向上する
Natural Language Processing
重みデータサイズ

GLUE score

学習データセットサイズ

SuperGLUE score

1.E+14100

Data size
データサイズ[Byte][Byte]

1.E+13x00
02

1.E+12x00
01

1.E+11

1.E+10

in

GPT-2
BERT

1.E+09GPT1Transformer ELMo

1.E+08

XLNet

in33s
are
y

90
80s
arey

GPT-3

7060

50
T540

ALBERT

30

RoBERTaERNIE

GLUE/ SuperGLUE
GLUE orSuperGlUEスコア[%] score

Image classification

2010S.Bianco et al.: Benchmark Analysis of Representative
Deep Neural Network Architectures, IEEE Access, 2018

1.E+07Mar-17 Sep-17

Apr-18Oct-18 May-19 Dec-19 Jun-20

0Jan-21

発表年度

Courtesy of A. Kasahara, Fujitsu

2

3

世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャ

n 経産省「⼈⼯知能に関するグローバル研究拠点整備事業」（H28⼆次補正）の⼀環として整備

n 我が国における産学官によるＡＩ研究開発を加速する

オープンイノベーションプラットフォーム

n ⾼い計算能⼒を活⽤したＡＩ技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が⽬的

n 新型コロナウイルス感染症対策に無償提供
n 経産省「⼈⼯知能に関する橋渡しインフラ拡張」（R1補正）により昨年度末、⼤幅アップグレードを実現

2018年8月1日 運用開始
2021年5月10日 2.0運用開始

3

4

ＡＩインフラストラクチャ for everyone
Expert
ABCIグランドチャレンジ︓
画期的な成果が⾒込まれる最重要課題への挑戦に
ABCIの全システムを最⼤24時間、無償提供

データセンタ事業者等
ABCIをリファレンスと企業がクラウドで個⼈情報をして事業検討
扱える⽔準のセキュリティ機構

Advanced & Intermediate

最⼤2048GPUまで誰でも利⽤可能
すぐ使えるソフトウェア、データセット、学習モデル等を提供

Beginner
初学者にも使いやすい統合開発環境を実現「AIを試す場」

⼈⼯知能産業のためのオープンプラットフォーム形成
最先端のAI研究から誰でも試して使えるAIまで数百の研究機関・⼤学・企業による利⽤・協業、数千の研究者・エンジニアによる利⽤を促進

4

ABCIの利⽤者数・主な利⽤分野• 2018年8⽉の運⽤開始以来、利⽤者数は右肩上がりで増加• 2022年1⽉現在の利⽤者数は2800以上 (うち外部利⽤が約88%)• AIに関する様々な応⽤に幅広く利⽤
主要分野︓AIアルゴリズム、画像・動画認識、⾃然⾔語理解、創薬、医療、シミュレーションなどロングテールな個別の応⽤分野にも広がりPB

D0/3 I 0

C

120

内部利⽤者

5 AS

外部利⽤者

5

ABCIの主な利⽤機関

AIスタートアップ〜中⼩企業–––––––––––ギリア株式会社*
株式会社⾼電社*
アイリス株式会社*Linne株式会社*
株式会社トリプルアイズ*
LeapMind株式会社*株式会社アタリ*株式会社IABC*
株式会社コトバデザイン*
株式会社YAMATO*
株式会社 Laboro.AI*––––––––––––––

株式会社富⼠通研究所*
パナソニック株式会社*
株式会社リクルートテクノロジーズ*
株式会社パスコ*
オムロンサイニックエックス株式会社*株式会社⽇⽴製作所*
ソニー株式会社
⽇本電信電話株式会社
NHK放送技術研究所
オリンパス株式会社
JFEスチール株式会社
トヨタ⾃動⾞株式会社
株式会社東芝ルネサスエレクトロニクス株式会社––––––––

国⽴研究開発法⼈ ⽇本原⼦⼒研究開発機構*
国⽴研究開発法⼈ 医薬基盤・健康・栄養研究所*
特定国⽴研究開発法⼈理化学研究所AIP
東京⼯業⼤学
千葉⼯業⼤学* 利⽤事例公開(2022/1時点）
東北⼤学
東京⼤学
https://abci.ai/ja/link/use_case.html
京都⼤学

⼤企業

⼤学・国研

グループ数: 480• 産総研 158
• 共同研究 39• ⼤学 128• 企業 102• 国研 24• 財団等 7
• 無償 22
利⽤者数: 2,803• 産総研 324
• 外部 2,479
2022/1末時点

6

ABCIのハードウェア構成
計算ノード (Ａ)960 GPUs , 8,640 CPU cores
97.5 TiB Memory, 480 TB NVMe SSD

SINET6

4,352 GPUs, 43,520 CPU cores
476 TiB Memory, 1.74 PB NVMe SSD× 120台

ノード構成

GPU

NVIDIA V100 SXM2 (16GiB) x 4

Intel Xeon Platinum 8360Y (2.4GHz/36cores) x 2

CPUIntel Xeon Gold 6148 (2.4GHz/20cores) x 2

Memory384 GiB

ノード構成

GPU NVIDIA A100 SXM4 (40GiB) x 8
CPU計算ノード (Ｖ)Memory512 GiB× 1088台

Local Storage

Intel SSD DC P4510 (NVMe) 2.0TB x 2

Local Storage

Intel SSD DC P4600 (NVMe) 1.6TB x 1

Interconnect

InfiniBand HDR (200 Gbps) x 4

Interconnect

InfiniBand EDR (100 Gbps) x 2

計算ネットワーク ( InfiniBand )サービスネットワーク ( 10G Ethernet )インタラクティブノード

7

データの価値化を実践する「場」の提供を⽬指して• クラウドストレージは、ABCI のフロントに位置し、SINETに直結した「データハーバー」 としての役割を担う• SINETに直結した各機関から、⾼速・安全にデータを収集・蓄積• ABCI上で⽣成された、⾼性能な汎⽤学習モデル等の共有・配布

ABCI Datasets
サービス
学習済みモデル
利⽤ワークフロー

⼤学等

企業等

その他、
実世界
Data Harbor(Storage)
産総研の各研究拠点

柏センター

臨海センターつくばセンター8

クラウドとHPCの融合︓技術と運⽤＜縦軸︓運⽤＞
クラウド的HPC技術の取り込み（⼤規模並列化、…）＜横軸︓技術＞
HPC的

クラウド運⽤の取り込み（Pay as you grow、…）

パブリック
クラウド
クラウド的

クラウド技術の取り込み（コンテナ、クラウドネイティブ、…）

HPC
センター
HPC的

11

（他のHPCセンターと⽐較した）ABCIの特徴• AI分野における標準的・オープンな技術を⽤いており、開発したアプリケーションやアルゴリズムを事業として容易に社会実装に提供できる。
• アイデアから検証までのTurn-Around-Timeが短い• ABCIで検証した技術がそのまま産業移転可能• クラウド的に運⽤により、企業利⽤の参⼊障壁が低くなるよう制度を⻑年に亘り整備しており、実績の蓄積がある。
• 共⽤促進法*の縛りがなく、約款ベースで即時利⽤が可能• 利⽤者累計4543名、アクティブ利⽤者2487名（うち外部利⽤は88%）• 主要な部分を汎⽤品のCPUとGPU等で構成し、短期間でシステムの導⼊、バージョンアップ、加速演算部等の組込が容易である。
*共⽤法の制約を受けるのは富岳だけで、他のセンターは特にそれはないです。⼀⽅で⼤学は学術機関であり、単なる商⽤利⽤を認めるのは難しいという側⾯はあります。（塙先⽣コメント）12

企業利⽤事例（１）

目的と成果について○目的：誰でも容易に大規模演算機環境を利用する事ができ、迅速、且つ、高精度な言語モデルを作成○参入障壁：高速化のためにはシステム構成に依存した処理/知識が必要
システム依存部分

環境構築
ステージング等前処理

各システムに適した構築環境を登録
1ステップで実行環境構築可能

ABCIグランドチャレンジ

学習処理(pre-training)
学習処理(fine-tuning)
評価

実際の構築環境で大規模モデルを学習し評価→CANDAR2021
にて発表
Outstanding paper受賞

富⼠通笠置⽒より提供「2021年度第1回ABCIグランドチャレンジ⽇本語⼤規模モデルの分散並列学習」© 2021 Fujitsu Limited

大規模日本語BERT(6.7Bパラメータ)によるBERT-base(110Mパラメータ)への蒸留

企業利⽤事例（２）中町 礼文, 李 聖哲, 小林 滉河, 佐藤 敏紀 (AIカンパニー NLP開発チーム)
LINEにおけるABCI活用事例
ABCIチャレンジで提供して頂いた

ABCI

計算機群を活用し, LINEのTB級コー

BERT-base

パスによって約6.7Bパラメータの日本語BERTの事前訓練を行った.

LINE Infra

6.7B BERT

6.7B BERT

Pre-training

Distillation

現在は, ABCI上で高速に作成できた
6.7B BERTからBERT-baseへの蒸留を, LINEのGPU基盤上で行っている.
今後の予定として, モデルの評価を実施し, 成果をOSSとして提供する.

LINE JPLM Corpus

企業利⽤事例（３）

CoNLL: Conference on Natural Language Learning
SemEval: Semantic Evaluation

https://www.hitachi.co.jp/New/cnews/month/2020/12/1202.html

15技術⾯での現状と課題
HPC寄り

クラウド寄りジョブスケジューラによる資源 ノードを分割して資源提供
管理
オーバサブスクリプションはないが、並列ジョブでは近傍ノードを 複数利⽤者でノード共有可能
割当
管理者権限なし
Environment modules, Dockerコンテナイメージを⽤いSpackによるソフトウェア
たLinuxコンテナ利⽤パッケージ管理（ランタイムはSingularity）
UNIXアカウント・グループ
ベースでの認証
UNIXパーミッションによるアクセス制御

今後の課題

S3互換クラウドストレージ（柔軟な認証認可）
クラウドサービスのバックエンドとして連携動作• （常駐）サービスのデプロイ
例えば、MLOps• HPCとクラウドの最適な使い分け• エッジ・クラウドとの連携を考えると、ユーザ管理・データ共有モデルの再考が必要ではないないか。
• SSHの権限強すぎ問題• いつまでUNIXベースのセキュ
リティモデル、ファイルシステムに縛られるのか︖
16

ABCIとクラウド連携
⽇⽴/産総研 CloudQ• クラウドストレージをジョブサブミッション機構に使⽤したクラウドバースティングの実現• クラウドとしてABCIとAWSに対応
AWS

Hitachi on-premise

VPCResearcher
User pc

ssh/scp
Data Copy

Persistentdata

Aws cli(S3 protcol)

SONY Neural Network Console (NNC)• GUI操作で深層学習のプログラミングが可能• バックエンドとしてABCIに対応

AI/HPC Cluster on AWS

Login node
Fook job dispatch toS3 and submit to
Login node

Dynamically allocate EC2

Aws cli
GPUNodesJob submit using
cloudq format

Large mem
Nodes

FSx for Lustre(user home)
Home and s3 are synchronized(After job is executed, data is archived to s3)

Job script

data

Courtesy of M.Shimizu, Hitachi※詳細はSWoPP2022にて発表予定

Archived home(S3)https://dl.sony.com/ja/cloud/abci/index.html
17

運⽤⾯の課題• 原則9:00-17:00のユーザサポート• 1システム1ロケーションだと可⽤性に限界（cf.マルチリージョン）• 前払式ポイント制度• 年度繰越できない• 資⾦決済法改正対応• ⾮居住者の利⽤に輸出管理申請が必要• 計画的なシステム更新

運⽤の外部委託化、
例えば、PPP (Public PrivatePartnership) /PFI (Private
Finance Initiative) *等の検討も必要ではそこまでやり遂げて「橋渡し」の完了か︕︖• ⿊字運⽤して更新費⽤積⽴が困難→補助⾦適正化法（収益納付ルール）等の縛り*)公共サービスの提供に際して公共施設が必要な場合に、従来のように公共が直接施設を整備せずに⺠間資⾦を利⽤して⺠間に施設整備と公共サービスの提供をゆだねる⼿法

18

参考︓ABCI利⽤者からの要望（１/３）
1. ポイントの利⽤期限• ポイントを年度をまたいで使えると良いですね。先払いしたポイントを年度内に消費しなければいけないのはちょっとプレッシャーです。（F社）• ポイントが基本的には年度末で持ち越しできない仕組みになっている。⺠間会社の場合は適切に会計処理を⾏えば、特に問題なく繰り越しでも⾃社の予算に関しては使えるという側⾯もある。ABCIも制度を改善してポイントを繰り越せるとありがたい。（O社）• 毎年3⽉末でポイントが消失するのはやはりおかしいと感じる、またその〆切が1⽉末で2ヶ⽉以上前なのも予算管理上⾮常に厳しい。思いとして、当社はできる限りABCIをメインで利⽤したいので改善していただきたい。（H社）
2. 可⽤性の向上• （イベント等による）ダウンタイムがなくてずっと使えると嬉しいですね。（I社）• 年度末になってしまうと、少し圧迫される資源も多くなってくるのでその解消をしてほしい。（P社）• (実際に利⽤している研究者からは)年度末３⽉にかけて繋がりにくいとか、ジョブが集中するのでキャンセルされるとの話を聞くが改善いただければありがたい。（O社）• ⼩規模ノード実⾏ジョブが⼤量にあり⼤規模ジョブ (256〜512ノード) がなかなか⼊らないのがなんとかなるとうれしいです。
1919

参考︓ABCI利⽤者からの要望（２/３）
3. 利⽤サービスの拡充• AIを使うためのツールはいろいろありますが、(ABCIでも)それがもっと充実すると利⽤のハードルはさらに下がります。（P社）• ⾃社のIoTの実験環境が5Gを介してABCIと簡単に繋がるようになると良い。（H社）• ⾃然⾔語処理、AI OCRに関しても、⽇本⼈が作ったAIモデルの⽅が⽇本語の認識精度が優れる事が多いと感じています。⽇本の中でも産総研のような公的機関でもデータセットやツールを整備して、公開していただけるとありがたい。（R社）• 各ノードでの⼤容量データ処理を実現するために、VPN経由でover 10Gbpsでのリアルタイム⼊出⼒機能のサポートをお願いします。
4. 利⽤者サポートの充実• 「DockerユーザのためのSingularity講座」のようなセミナーを企画してもらえればもっと普及が進むのかもしれない。（K社）• 産総研の⽅々の中でAIに関するセミナーとかいろいろ開催されてるかと思いますが、いろんな企業・⼤学などと交流できるのは貴重ですので、今後も続けていただきたい。（P社）• 講習会などに加えてオンライン実習など含めてサポートを強化していただくと、もっと間⼝が広がっていくと思う。（H社）• 新型コロナ感染症に対する研究への無償提供と同じように、⾃然災害の対策に向けた防災・減災の研究に対しても公募などで計算資源のご⽀援をいただけると⼤変助かります。（I社）

2020

参考︓ABCI利⽤者からの要望（３/３）
5. スタートアップ⽀援• スタートアップや、国内の⼤学研究者などがGAFAと同じような成果を出していくためには、公的研究機関がABCIのような計算基盤を整備して、安価に提供しているのは⾮常にありがたい。ABCIにも投資を継続して、国内のAI開発を⽀え続けていただきたい。（L社）• ベンチャー企業向けには安く提供してもらいたい。（T社）• スタートアップ向けにはコスト的なところでも利⽤者が拡張されるような取組があると良い。例えば産総研主導でベンチャー向けのコンペティションを⾏うなど。（A社）
6. その他• さらに⼤きなGPUメモリがあれば良い。（L社）• データのステージング時間が短縮されるとうれしいです。
• ABCIの活⽤は、機密データやソースコードの流出リスクが懸念されるため、論⽂や公開データセットの追試のための利⽤に留まっています。データ暗号化を組み合わせたABCIの活⽤⽅法等の情報がありましたらWebページ等でご紹介いただけると、企業側のユーザとしては安⼼して利⽤できる環境になるのでは、と考えております。
• 限られた⼈しか使えないもののようなイメージがありましたので、もっと広く使えることをアピールしてもらえると良い。（T社）
2121

まとめ
• ABCIは2018年の運⽤開始以来、AIに対する旺盛な研究開発ニーズの後押しもあり、順調にユーザベースを伸ばし、成果を上げてきた• より使いやすいインフラを提供するために、クラウド技術のさらなる導⼊が必要。技術的にも運⽤的にもまだまだ課題が多い• 今後のエッジ・クラウドとの連携を考えると、ユーザ管理・データ共有モデルを再考する時期に来ているのではないか。
• 運⽤の外部委託化

ご清聴ありがとうございました
明⽇のパネルに続く（︖）22https://abci.ai/
23