富士通のHPCを活用したAIへの取り組み
2023年12月7日
白幡晃一

富士通株式会社

富士通研究所

コンピューティング研究所© 2023 Fujitsu LimitedOur purpose
イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていく

Business and Society

Fujitsu Uvance
ビジネスを加速し、社会課題に挑むソリューション
Converging
Technologies

5 Key Technologies

AI

5つの重点技術領域の研究開発にリソースを集中すると共に、幅広いパートナーとコラボレーション
FUJITSU-PUBLIC

Network

Computing2

Data & Security© 2023 Fujitsu Limited

生成AIを支える膨大な計算機リソース
1023 FLOPsの計算量の学習で創発性を観測•これまでできていなかったことが突然できるようになる現象を様々なタスクで観測•日本国内の最大のGPUスパコンであるABCIの4000GPUを利用したグランドチャレンジでも達成できない計算量1023 FLOPsで精度が大きく改善

https://arxiv.org/abs/2206.07682
https://arxiv.org/abs/2206.07682

縦軸＝精度 横軸＝計算量(FLOPs)
FUJITSU-PUBLIC

3© 2023 Fujitsu Limited

計算資源の必要性 (スケール則)
計算量が大きい領域でのFLOPs増加は緩やか○ ムーアの法則○ 1970-2020の50年で107倍○ 深層学習のスケール則○ 2010-2022の12年で1010倍○ この先はムーアの法則に従う
ので追いつきやすくなる

12年で1010 倍のFLOPs増加* ここでは FLOPs とはアプリケーションの総演算量 (not 速度) を指す

https://arxiv.org/abs/2202.05924

FUJITSU-PUBLIC

4© 2023 Fujitsu Limited

富岳LLM 「富岳」政策対応枠におけるLLM分散並列学習手法の開発
LLMで先行するのは、膨大な計算資源を持つ一部の企業のみ⚫ 日本語特有の課題⚫ 莫大な計算コストがかかる

富岳を活用した大規模言語モデル分散並列学習手法の開発を開始⚫ 日本語特有の課題解決、開発した生成AIモデル（富岳LLM）はGitHub等で公開予定⚫ 業務向けにファインチューニングした特化モデル開発、消費電力効率を考慮した軽量化

公開

富士通

東京工業大学

名古屋大学
サイバーエージェント
FUJITSU-PUBLIC

東北大学

理化学研究所

富岳LLM

Fujitsu
Kozuchi開発

活用

Kotoba Technologies
photo credit: R I K E N

5培ったノウハウを活用
業務特化型生成AI
・業務特化モデル ・省電力
© 2023 Fujitsu Limited

GPTの演算時間の内訳○ 計算の多くは密行列-密行列の積→ A64FXでは66%、A100では49%の時間がこの部分に費やされている→ 取り組み開始時点で理論ピークの1/3の性能になっており大幅に向上できる可能性がある

ある共通の入力 X に対しそれぞれの変換行列を適用して
Q=XWQ, ,K=XWK, V=XWV を用意する。
自分自身の要素との注目度合いを抽出する。
2022年度第2回計算科学フォーラムhttps://hpcic-kkf.com/forum/2022/kkf_02/data/yokota_kkf2022-02_v2.pdf

提供：東工大 横田研
6© 2023 Fujitsu Limited

GPTの並列学習方法○ 「富岳」でGPTを高効率に学習するには3種類の並列化を適切に組み合わせることが重要

7© 2023 Fujitsu Limited

学習の計算性能○計算効率を開発当初の10%から20%まで向上 (576ノード使用時)
高速化前

高速化後

１
反復の
実
行時
間

１
反復の
実行時
間

提供: 東工大 横田研

計算ノード数

576 1152 2304 4608

計算ノード数

85761152 23044608© 2023 Fujitsu Limited

計算リソースの大量消費という課題
Transformerベースの巨大DLである、現在のLLMには多くの課題
学習時間

推論速度

運用コスト

消費電力

Transformerの次のLLMを探求「富岳」アーキテクチャの高いメモリ帯域を引き出すことで高速化

outputFCN

Layer norm

Channel Mixing

Time Mixing

Channel Mixing

20100

A64FX

A64FX チューニング後

新しいLLM・生成AI・基盤モデルの世界へ！
FUJITSU-PUBLICTime Mixing

30

Layer norm

メモリ帯域効率約50%40embedding(秒)

1.6倍の高速化

50

input

文章
生
成時
間

独自軽量化技術により省メモリ化と推論高速化を可能に

9⚫ 新しいDLアーキテクチャの探求⚫ 新しいAI学習インフラの提供© 2023 Fujitsu Limited

生成AIを活用したシステム開発の効率化
課題

設計書を生成AI活用するには、データ加工・修正に時間がかかる

技術

多様な設計書を読み込めることで、ノウハウを活かせる技術

多様なソフトウェア設計書

レビュー対象の設計書

設計書

ナレッジ
・富士通のレビュー知見
・顧客の業務知識

FUJITSU-PUBLIC

チェックのやり方の知識を取り込む

からプロンプトを自動生成

10

AIが解釈できる形にデータを変換

生成AI
LLM

© 2023 Fujitsu Limited

抜け漏れがある設計書の問題点を指摘
1

2

3

設計書を取り込みレビュー内容の指定生成AIに取り込んで結果を一覧にして表示

例：複数設計書の整合性チェック「メッセージID」の値が不一致と警告

基本設計書によるとこの数字は「メッセージID」

・多種多様な設計書
・チャックのやり方のノウハウ

関連する設計書は規約に基づいて自動で割り当て正しい値は「1120」と指摘

間違っている箇所の具体的な修正値を提示

従来は専門家にしか指摘ができなかったことが自動で可能に
FUJITSU-PUBLIC

11© 2023 Fujitsu Limited

創薬の開発期間や費用を劇的に削減⚫ 創薬の開発期間10年、費用1200億円、成功確率2.5万分の1⚫ 細菌やウイルスなどの標的タンパク質の形態や構造変化の把握が重要

電子顕微鏡で撮影された大量のタンパク質画像

形態や構造の変化を推定し複数の反応経路を自動生成

Route A

FUJITSU-PUBLIC

タンパク質の働きを適切に制御する薬剤を探索

Route B12

© 2023 Fujitsu Limited

独自の生成AI技術に基づく創薬技術
課題

数万次元の情報をもつ標的タンパク質の構造や動的変化の把握は困難

技術

タンパク質の形状を低次元で捉えることで立体構造と連続変化を定量的に予測→構造変化の予測を従来の1日から2時間に短縮

1 低次元空間で形態の割合を見積もり、立体構造を生成

2 実際の高次元空間での形態や構造変化に復号

様々な方位から投影された
大量の電子顕微鏡画像

標的タンパク質に結合する薬剤の設計過程の革新が期待
FUJITSU-PUBLIC

13© 2023 Fujitsu Limited

「富岳」におけるAlphaFold2推論の高速化
Oyama et al., FlexScience 2023

We accelerate DeepMind’s AlphaFold2 (OpenFold)† for large-scale folding
MAAHKGAEHH…

MATHKGAESH…
MATHKGTEHH…

Our scope
MAAHKGAEHHHKAA
EHHEQAAKHHHAAAEHHEKGEHEQAAHHADTAYAHHKHAEEHAAQAAKHDAEHHAP
KPHSequence

MSA

Our scope(Known similarsequences)

1. Search

2. Inference

fromdatabaseswithAF2 network

Rawstructure

3. Relax.
withMD

Fullstructure

Templates‡(Knownstructure ofsimilar seqs.)† John Jumper, et al. 2021. Highly accurate protein structure
prediction with AlphaFold. Nature 596, 7873 (2021), 583–589.
‡Images are cited form https://www.rcsb.org/
14© 2023 Fujitsu Limited

「富岳」におけるAlphaFold2推論の高速化
Oyama et al., FlexScience 2023

TimeTime
Staging MGnify

ACB

DJobs

行列積
行列積
MMStagings_bfd

AC

B

D…

Search phase:
Batching search tasks
achieves 8.5x speedup

BMM

Rearrangement

Inference phase:
Rearranging input tensors
achieves 1.3x speedup

15

Fugaku's throughput isestimated to be 3.8x greaterthan a GPU supercomputer© 2023 Fujitsu Limited

HPCとAI技術を活用し、カーボンフリー素材開発を促進
Atmonia社との共同研究(アンモニア合成触媒を開発するアイスランドのベンチャー企業)

カーボンフリー物質であるアンモニアの触媒探索をHPCとAIで加速⚫ アンモニアはCO2の排出が無く、水素に比べて輸送が容易なため次世代エネルギーとして注目⚫ しかし現在主流のアンモニア合成手法では化石燃料から原料の水素を作るためCO2が大量に排出されてしまう課題がある⚫ 富士通のHPC/AI技術を活用しAtmonia社と 水と空気（窒素）と電気のみでアンモニアを取り出せる革新的な新触媒を研究中© 2023 Fujitsu Limited

HPC & AI の融合による高速材料探索技術(現地展示)
限界を突破する技術

Atmonia社との実証• アンモニア触媒開発をターゲット

HPC
入力データ

学習

• 大量にエネルギー計算を試行し、未知の物性傾向を発見

生成

データ

データ

高速量子化学
シミュレーション

AIシミュレーションモデル

因果発見技術の適用

コンピューティング技術で10倍高速化しデータ生成

AI活用で精度を維持しつつ計算量を3000分の1に削減

試行錯誤結果の因果関係を分析し、未知の特性を発見

AIとコンピューティングで少ない精度劣化で計算量を削減
FUJITSU-PUBLIC

17

実証による新たな発見
クリーンなアンモニア合成に向けて、高価な貴金属以外の触媒材料候補を発見※2023年10月プレスリリース© 2023 Fujitsu Limited

AI シミュレーションモデル
○ HPCで大量に実行したDFTシミュレーションデータをAIシミュレーションモデルに学習させ、未知の材料構造の吸着エネルギー値を瞬速で推論→ 約3000倍の高速化○ 大量データ生成により、探索範囲の拡大、因果発見技術の精度向上が図れる
DFTシミュレーションのAI シミュレーションモデルへの置き換え

量子化学(DFT)シミュレーション

材料の構造

入力

出力→→HPC

入力

吸着
エネルギー値入力

未知の材料の構造

DNN

入力

出力 予測の→→ エネルギー値

吸着DNN

AI シミュレーション
モデル (推論)

AI シミュレーション
モデル (学習)

100倍以上の高速化(100倍のデータ量)18© 2023 Fujitsu Limited

材料探索向けNNの予測精度を改善する技術
Sakai et al., IEEE IJCNN 2023 Workshop○ 背景・従来の課題○ エネルギー予測精度の高いNNの実現に必要なデータを用意するには数十～数千時間かかる○ 開発技術○ より少ないエネルギーデータでNNを高精度化する技術(触媒探索向け自己教師あり学習)を開発○ 同じ精度に到達するまでに必要なデータを用意するコストを半減○ 同じデータ量でNNが高精度化 → より高精度に材料を探索できるエネルギーデータ無しでNNを訓練する方法を開発（材料の構成を変更し、NNに変更の有無を予測させる訓練方法）
Graph Neural Network
自己教師あり学習（事前学習）

ラベルなし
構造データ

構造データのみ重みの最終調整（ファインチューニング）

原子構成予測の分類器

特徴抽出器

事前学習の重みを利用

Graph Neural Network
ラベル付き
構造データ

原子構成の変更有無の予測

エネルギー値の予測器

特徴抽出器

エネルギー
予測

Simデータ(構造とエネルギーデータ)
19© 2023 Fujitsu Limited

まとめ○富士通のHPCを活用したAIへの取り組みを紹介○「富岳」上での大規模言語モデルの分散並列学習手法の開発○ドメイン特化生成AIの事例○システム開発の効率化○たんぱく質の構造変化予測○HPCとAIを活用した科学シミュレーション高速化○「富岳」におけるAlphaFold2推論の高速化○HPCとAIを用いた材料探索高速化

20© 2023 Fujitsu Limited

Thank you© 2023 Fujitsu Limited