⽣成AIの研究開発を⽀援する計算基盤としてのABCIの課題と展望
国⽴研究開発法⼈ 産業技術総合研究所
⾼野 了成
2023-12-08 第23回PCクラスタシンポジウム「HPC基盤技術と⽣成AI」

ABCIの現状（1/2）• ⽣成AI需要の⾼まりを踏まえ、⼤規模⾔語モデル構築⽀援プログラムを開始した結果、計算ノード(A)の利⽤率が100%近傍である状態が恒常化。
• ジョブが実⾏されないという問い合わせが増える。
計算ノード(A)の利⽤率

⼤規模⾔語モデル構築⽀援プログラム
第1回（PFN）

2023/4/1

8/1

第2回（NII・産総研・東⼯⼤）

12/1

2

ABCIの現状（2/2）• さらに計算ノード(V)の利⽤率も90%近くまで上昇。

計算ノード(V)の利⽤率

11/29 CUDA Quantum Workshopの開催中に、インタラクティブジョブが起動しない。。。

計算ノード(V)利⽤促進プログラム

2023/4/1

10/1

12/1

3

世界最⼤級・超省電⼒・オープンＡＩインフラストラクチャABCI
n 産総研は2000年代初頭からスパコン研究開発を継続

2017〜
AIST AI Cloudn 特に近年AIの計算需要に応え、同時に運⽤・管理コストの圧縮を実現する省電⼒AIスパコンに取り組む(ABCIの前身)
省電⼒AIスパコン研究

4

AIを試す場がない

AIの実需要がない

n ⼀⽅で、当時AIについては産業界の関⼼の⾼さの割産業界のAI導⼊が進まない に導⼊が進んでいないという課題があった

AI Bridging Cloud Infrastructuren AI橋渡しクラウド（ABCI）︓膨⼤な計算とデータを要するAIをすみやかに試す「場」を提供し、我が国における産学官によるＡＩ研究開発と社会実装を加速するオープンイノベーションプラットフォームn2018年8⽉1⽇ 運⽤開始
2021年5⽉10⽇ 2.0運⽤開始

⾼い計算能⼒を活⽤した⼈⼯知能技術の研究開発・実証、社会実装の推進、ＡＩ分野の最重要課題への挑戦が⽬的
経産省「⼈⼯知能に関するグローバル研究拠点整備事業」（2016年）の⼀環として整備
n 経産省「⼈⼯知能に関する橋渡しインフラ拡張」により2021年にアップグレードを実現
n4

ABCIの利⽤者数・主な利⽤分野• 2018年8⽉の運⽤開始以来、利⽤者数は右肩上がりで増加• 2023年3⽉現在の利⽤者数は約3000⼈ (うち外部利⽤が約87%)• AIスタートアップから総合電機メーカーまで利⽤が拡⼤し、世界に伍する研究が可能になるとともに、我が国のAI研究全体を⽀える重要基盤に成⻑

ロングテールな個別の応⽤分野にも広がり

利⽤者数:
2,973
•
産総研 392•
外部2,5812023/2/28

2022/12/30

2022/10/31

2022/8/31

2022/6/30

2022/4/30

2022/2/28

2021/12/24

2021/10/31

2021/8/31

2021/6/30

2021/4/30

2021/2/28

2020/12/28

2020/10/31

2020/8/31

B0

内部利⽤者
2020/6/30

2020/4/30

2020/2/28

2019/12/31

2019/10/31

2019/8/302019/6/28

2019/4/30

2019/2/28

2018/12/28

0C

2023/3末時点

500P

外部利⽤者
S

1,000

D

1,500

0/

2,000

3 I 0

2,500

12

3,000

5 A

3,500

主要分野︓AIアルゴリズム、画像・動画認識、⾃然⾔語理解、創薬、医療、シミュレーションなど

ABCI Users

グループ数: 566•
産総研 164•
共同研究 34
•
⼤学
140
•
企業
142
•
国研
28
•
財団等 5
•
無償
53

5

広帯域・低遅延 計算ネットワーク (InfiniBand)

ＡＩに特化したハードウェア・ソフトウェア構成と先進的取組み
計算ノード (Ａ)GPU (A100) 計 960 個

n 多数の計算ノード・GPUを使った⼤量データの⾼速な並列処理に特化したハードウェア構成p

⾼速なAI計算に不可⽋な⾼性能GPUp

広帯域・低遅延な計算ノード間通信p

⼤容量・広帯域・⾼可⽤性ストレージn AI研究開発を効率化し、新規ユーザの敷居を下計算ノード (Ｖ)GPU (V100) 計 4,352 個

⼤容量ストレージ (34PB+17PB)

げるソフトウェア構成と先進的な取り組み
p

最先端のミドルウェアや並列化コンパイラ、最新のGPU向け開発環境や深層学習のツール類を提供

p

ABCIに最適化された「コンテナ」開発により分散並列学習などの最先端技術をユーザが簡単に利⽤可能にp

データと学習済みモデル、実⾏環境をひとまとめにしてAI開発を容易にするABCI上のサービス「AIハブ」の⼀部機能がすでに提供（ABCIデータセット）

産総研がこれまで培ったスパコン構築・運⽤のノウハウが、⽇本を代表する「⾼性能」で「使いやすい」 AIスパコンの実現を可能にした

6

ABCIにおけるAIハブの研究開発• AI 資源︓膨⼤な学習⽤データ、⼤規模汎⽤学習済みモデル、学習処理系のコンテナイメージ、それらを活⽤する Jupyter Notebook レシピ等
• AI ハブ ︓⼤規模な汎⽤学習済みモデルの再利⽤を促進し、適応的に転移学習等に利⽤可能するデータ・ソフトウェアエコシステムを実現するサービス
Datasets service (https://datasets.abci.ai)★ Already available in ABCI
☆ Preparing for deployment in ABCI

Datasets service ★

• データセットの公開・共有を支援するカタログサービス• NEDO AI 2.0プロジェクトの成果11件以上がすでに登録済み
AI Hub prototype

Model tracking service ☆
Container image service ★

Model tracking service• 学習済みモデルの共有・再利用を促進するツールセット- MLflowをベースにモデル構築の記録・共有だけではなく、派生モデルの開発・転移学習への応用を支援- Develop derived models and/or apply to transferlearning• データセットとコンテナイメージサービスと連携

Container image service• Singularity Enterpriseを利用した、ABCI利用者向けのコンテナイ
メージライブラリ、リモートビルドサービス
Data access / staging

ABCI Cloud Storage

Wokflow exec. on ABCI・Pre-procesing・Training
・Model registring / publishing・Inferencing

Sharing7

⽣成AIに振り回された⼀年•••••••••••••••

2022/11/30 OpenAIがChatGPTを発表
2022/02/02 ChatGPT公開後約2ヶ⽉で1億ユーザを突破
2023/02/03 ⾃⺠党AIの進化と実装に関するプロジェクトチーム（第1回）
2023/03/14 ChatGPT PlusでGPT-4が利⽤可能に
2023/05/09 基盤モデルに関する3国研協議（第1回）（理研、産総研、NII）
2023/05/24 富岳政策対応枠 利⽤開始（東⼯⼤、東北⼤、富⼠通、理研）
2023/06/16 経済安保法に基づく認定供給確保計画（クラウドプログラム）にさくらインターネットが認定
2023/07/06-14 ⼤規模⾔語モデル分散学習ハッカソン
2023/07/12 ⼤規模⾔語モデル構築⽀援プログラム公募開始（第1回）
2023/07/18 MetaがLLaMA2のソースコードを公開
2023/10/06 シンABCI資料招請公⽰
2023/10/23 PCCC AI/機械学習技術部会「⼤規模⾔語モデルハンズオン」
2023/11/10 NEDOポスト5G「競争⼒ある⽣成AI基盤モデルの開発」公募開始
2023/11/13 ⻄村⼤⾂と⽶国のAI／半導体企業7社の幹部と意⾒交換会
2023/12/04 岸⽥総理とNVIDIAジェンスン・ファンCEOの⾯談（参考）横田先生のHPCI成果報告会資料
https://www.hpci-office.jp/application/files/2217/0063/4061/20231026_Special_lecture.pdf

9基盤モデル構築に必要な計算量とABCIの性能のギャップの広がり• ABCIの運⽤開始時（2018年）のAI研究の中⼼は画像認識系。
• ⼤規模⾔語モデルの登場以降、モデルの⼤規模化に伴い、モデル構築に必要な計算性能が急激に上がっている。

この規模の学習を定常的に処理するには現状の国内計算インフラでは圧倒的に性能不⾜であり、⼤幅増強が必要。

• ABCI2.0を使った理論性能︓ResNet（画像識別）の学習に13秒、GPT-3の学習に4⽇。
• GPT-3を1⽇で学習するには3.4EFLOPSの性能が必要。
AIモデルの構築に必要な計算量

10241023
計算量 (PFLOP)ABCI 2.0 (0.85EFLOPS)を1⽇使って処理できる計算量
⼤規模⾔語モデル 2年で750倍

画像認識 2年で15倍
ムーアの法則 2年で2倍

注︓すべての⾒積もりは半精度で計算している。
Source: https://github.com/amirgholami/ai_and_memory_wall

10

生成AI開発力強化に向けた計算資源の確保（令和5年度補正予算）⚫ 生成AIの開発・活用には、大規模な計算資源（スパコン）とデータが必要。世界的に、十分な計算資源を確保できる希少なプレイヤーのみが競争力あるAIを開発できている状況。将来の国の競争力を左右することになるAI用計算資源の確保等に対して集中的に支援。
⚫ 圧倒的に不足するAI用計算資源の国内整備 【1,566億円】
国内最大は産総研の0.8EFLOPS規模。拡充に向け、経済安保基金を活用し、計算整備への補助を決定。

→ 引き続き圧倒的に不足しており、民間への補助を拡充【1,166億円（経済安保基金）】するとともに、産総研の計算資源も4.25EFLOPS※に拡充【400億円（産総研施設設備費補助金の内数）】。
※生成AI利用時の計算では、最大8.5EFLOPSの計算性能が発揮される。

⚫ AI開発の加速支援 【290億円】（ポスト５G基金）
AI開発に意欲と能力を持つスタートアップ等は存在するが、計算資源やデータの確保等が課題。
→ 有望なスタートアップ等に対して計算資源の利用を一定期間補助し、開発を加速。
AIの性能向上・活用促進には、WEB上のデータに加え、企業等が保有するデータの活用が重要。情報漏洩や規制面等での課題解決に向けたデータ提供者とAI開発者の連携を実証。

円滑な利用環境
抜本的拡充

有望開発者が優先利用（出典）経済産業省「半導体・デジタル産業戦略の現状と今後」（2023/11/29）
11411

令和6年度要求・要望額85億円（新規）※運営費交付⾦中の推計額

科学研究向け⽣成AIモデルの開発・共⽤〜 Artificial General Intelligence for Science of Transformative Research Innovation Platform（TRIP-AGIS） 〜 特定科学分野（ドメイン）に強みを有する研究機関と連携体制を構築し、基盤 AIに関する暫定的な論点整理（令和5年5⽉26⽇、AI戦略会議）
モデルを活⽤して、科学研究データを追加学習（マルチモーダル化）等することで、 【AI開発⼒】
ドメイン指向の科学研究向け⽣成AIモデル（科学基盤モデル）を開発
 AIの研究成果がAI以外の分野の研究開発の加速に寄与することもほぼ確実である。

 開発した科学研究向け⽣成AIモデルの利⽤を産学に広く開放することで、多様な分野における科学研究の⾰新（科学研究サイクルの⾶躍的加速、科学研究の探索空間の拡⼤）をねらう。
良質なデータ• トレーニングやファインチューニング、インストラクションなどに必要なデータを良質な形で整備• データを蓄積する関係研究機関と連携・共同開発• 特定科学分野︓まずは、⽣命・医科学分野 （例︓薬物等による動的変化・遺伝⼦変異による差異予測向け）
材料・物性科学分野（例︓新奇材料の物性予測向け）など

先進モデル• 基盤モデルを活⽤し、特定科学分野（ドメイン）指向の科学基盤モデルを開発・運⽤・共⽤• 並⾏して、マルチモーダルデータを読込・学習・⽣成するために必要な研究開発

 ⽣成AIによって世界の変⾰がもたらされようとしている中、可及的速やかに⽣成AIに関する基盤的な研究⼒・開発⼒を国内に醸成することが重要である。
 世界からトップ⼈材が集まり切磋琢磨できる研究・⼈材育成環境の構築や産学官の基盤開発⼒の強化を進めていくことが期待される。

“科学研究向け⽣成AIモデル”による研究⾰新

良質なデータ先進モデル

特定科学分野（ドメイン）のデータを蓄積・統合

知⾒・⼈材・ノウハウの共有

計算資源• スパコン「富岳」の⼤規模⾔語モデル分散並列学習⼿法の開発（実施中）、成果の⼤規模活⽤基盤モデル構築• 試⾏錯誤を繰り返して、⼩規模モデルから徐々に⼤規模化し、⼤規模計算時は政府環境整備全体として整備する計算資源を活⽤※政府全体• 並⾏して、 「⾼速」、「セキュア」、「エコ」を実現する⾰新的な計算資源の研究開発

特定科学分野（ドメイン）の科学研究サイクルを⾼速化

⾼度な分散並列学習⼿法

産学に共⽤
科学研究を⾰新

国産基盤
モデルの活⽤

計算資源
計算資源・データ・⼈材など必要資源を政府⼀体で準備⺠間主導の⼤規模基盤モデル開発（出典）文部科学省「令和6年度概算要求のポイント」※科学基盤モデル︓ 基盤モデル（⾔語・画像等）に科学研究データ（論⽂、リアルタイムな実験・シミュレーションデータ等）を追加学習、推論等させ、特定の科学研究分野（ドメイン）向けに調整した基盤モデルのこと（担当︓研究振興局基礎・基盤研究課）

73

12

⽣成AIに係る研究開発ニーズの⾼まりを踏まえた取り組み（1/2）• 「⼤規模⾔語モデル構築⽀援プログラム」

現⾏ABCIによるLLM⽀援• 最⼤で計算ノード(A)の半分を最⼤60⽇間占有利⽤する機会を提供する公募型プログラム• 第1回︓PFN（8⽉〜9⽉） ※成果であるPLaMo 13Bが公開• 第2回︓NII・産総研 ・東⼯⼤（10⽉〜11⽉）、Elyza （12⽉〜1⽉）• 「ABCIグランドチャレンジ」• 成果公開を前提に計算資源を無償提供• 第1回（5⽉） ︓A, V-Large, V-Week ※東北⼤がV-Weekを利⽤したLLM課題に採択• 第2回（10⽉）︓V-Large, V-Medium ※第2回からAクラス募集を中⽌• 第3回（12⽉）︓V-Large, V-Medium• 第4回（1〜2⽉） ︓ V-Week• 計算ノード(A)の事前予約制限の変更• 1予約あたりの最⼤予約ノード数︓18→30 （5⽉18⽇）• 1予約あたりの最⼤ノード時間積︓6912• 計算ノード(V)利⽤促進プログラム（10⽉2⽇〜1⽉9⽇）•

課⾦係数を約1/2に変更。例）rt_F 1.5ポイント/時間→0.75ポイント/時間

13⽣成AIに係る研究開発ニーズの⾼まりを踏まえた取り組み（2/2）
現⾏ABCIによるLLM⽀援• ⼤規模⾔語モデル分散学習ハッカソン（7⽉6⽇〜14⽇）• ハッシュタグ #ABCILLM• https://github.com/ohtaman/abci-examples/• PCCC AI/機械学習技術部会 第5回ワークショップ「⼤規模⾔語モデルハンズオン」（10⽉23⽇）• ABCIでLLMを動かそう︕セミナー（全4回。12⽉12⽇〜）• https://aitconsortium.doorkeeper.jp/events/166286• 第1回申込み受付中

14

ABCI LLMハッカソン開催概要（2023年7⽉6⽇~14⽇）
ABCIを活⽤した⼤規模⾔語モデルの学習（ファインチューニング）を実践
Ø ABCI利⽤者・ABCI利⽤を検討中の⽅またはチーム（1チーム3⼈程度）を対象に、ABCIを活⽤した⼤規模⾔語モデルの学習（ファインチューニング）を実践する場を提供
Ø 参加者が訓練⽤のデータセットを持ち込み、既存の⾔語モデルを単⼀GPU、マルチGPU、またマルチノードで訓練（ファインチューニング）。最終⽇には訓練されたモデルの出⼒や、ハッカソンで得た学び等を共有
Ø ABCIスタッフ（産総研職員）に加えて、深層学習や⾃然⾔語処理のスペシャリスト及びGPUのエンジニアがチューターとして参加し、モデルの改善や分散処理等をサポートØØ

Ø

主催
Ø 産業技術総合研究所 情報・⼈間⼯学領域
共催
Ø エヌビディア合同会社
Ø ユビー株式会社
Ø PCクラスタコンソーシアム AI・機械学習技術部会
Ø TensorFlow User Group
１ノードの詳細•NVIDIA Tesla V100 (SXM2) x 4•
Intel Xeon Gold6148(2.4GHz/20cores) x2•
384GiB Memory•
1.6TB NVMeSSD
15

ABCI LLMハッカソン
LLMの学習に関して実践的なノウハウを獲得し、その学びを共有できた他、ABCIのLLMへの取り組みに対する認知向上にも貢献
Ø 27チームから参加申し込みがあり、先着順に20チームを採択した。
Ø 開催者が⽤意したサンプルプログラムを⽤いたファインチューニングを⾏うことで、ABCIの使い⽅に慣れてもらい、その後、各チームが設定したテーマを実施した。
Ø 参加チームからの声
Ø マルチノード分散学習を実際に動かすことで実践的な知識を得ることができた。
Ø LLM学習に必要なハード・ソフトのスタックに爆速⼊⾨できた。
Ø ハイパーパラメータの調整やデータの重要性に気づいた。
Ø Slackで質問をしたらすぐに回答してくれて、とても勉強になった。サンプルプログラ
ムもとてもわかりやすかった。実務者の交流やコミュニティが重要。
Ø スパコン利⽤に敷居を感じていたが、ABCIは使いやすくて感動した。
Ø 第２回の開催に期待。
Ø ABCIポイント使⽤量は平均で670（上限1000）。9チームが残ポイントが100以下とほぼ使い切り。
Ø Twitter等SNSでのアピールも推奨した。10⽇間でのユニークビューが113万回とABCI⾃体やABCIのLLMへの取り組みに対する認知向上に貢献できたのではないか。
Ø Githubやブログ等で成果を報告、または報告予定のチームもあり。

16

実世界基盤モデル開発向け⼤規模クラウド基盤（シンABCI）• ポストChatGPT時代の計算基盤としてシンABCIを整備• 実世界に臨機応変に対応できるAI技術を実現するためのマルチモーダルな基盤モデルや透明性の⾼い基盤モデルの開発などの様に、研究開発⽬的でかつ公共性の⾼い基盤モデルの開発等に計算基盤を優先的に提供する• 現在のABCIをリプレースして、2024年12⽉末に導⼊完了予定。乞うご期待︕
2018 ABCI2015 AlphaGol 深層学習l 強化学習l 確率的探索法
l シミュレーション

2024 シンABCI
2025 ABCI-Q

2021 ABCI2.02023 ChatGPTl トランスフォーマーl 基盤モデルl リファインメント
l Self-Supervisionl RLHFl ⽣成AI
17

ABCIの反省・課題• 必要なときにタイムリーに資源を提供することができなかった（国から予算を取り、スパコン調達すると2年のリードタイム）。継続的な拡張のロードマップがなく、代替策を提⽰することもできなかった。
• バッチスケジューラは多くのユーザに公平な資源アクセスを提供するという意味で優れているが、（少数の）⼤⼝利⽤者に資源を切り出すような使い⽅には向かず、アドホックな対応をせざるを得ない。
• データのライフサイクルがシステムのライフサイクルよりも⻑い。データ移⾏のコストや継続的な保管を保証できない。
• セキュリティ要件への対応が不⼗分であり、機微なデータを預かることが難しい。今後は経済安保の観点からセキュリティクリアランスへの対応などが求められる可能性がある。

18

今後の展望• ABCI規模でしかできない⼤規模基盤モデル開発• とりあえず基盤モデル作ってみましたという話が⼀巡すると、プレイヤは収斂されるのではないか。

• 国研を中⼼に政策的に重要な課題に優先的に資源を配分する。

• 汎⽤的な基盤モデルをもとにした個別AIモデル開発の促進• 事前学習よりもファインチューニングの需要が多くなるのではないか。
• ファインチューニングの構築を容易にする技術や、安全にデータを持ち込める仕組みやポリシ・制度の整備が必要である。

• AIハブの強化• ⽣成AIのグローバル市場規模は2030年までに約14兆円にまで拡⼤（年平均成⻑率35.6%）1。その⼤半は推論と考えられる。

LLMの開発は難しい︖簡単︖Stability AIの現場から Stability AI 秋葉さん @ W&B Fully Connected Tokyo• ABCI上の学習だけではなく、⺠間クラウド等でのサービス（推論）も含めたMLOpsを実現する技術やビジネスモデルが必要である。

1総務省、令和5年度版情報通信⽩書

19

最後に「AI橋渡しクラウド」と⾔うけど、• いつまで橋渡ししてるの︖ 出⼝のモデルはどう考えているの。
• どこがクラウドなの︖単なるGPUスパコンでしょう。という問いに改めてちゃんと向き合う時期が来ているのかもしれない。
• 機能性・利便性・持続性等を踏まえて、クラウドとの連携・使い分けの再整理が必要なのではないか。
• 現時点で解があるわけではないので、続きはパネルにて議論︕

20

https://abci.ai/
21