HPC技術とAIおよび量子計算への応用
HPC Technology and its Application to
AI and Quantum Computation
2023.4.19

富士通株式会社中島 耕太

1© 2023 Fujitsu Limited

技術を組み合わせて信頼のある質の高いデータを生み、信頼のある新たな価値を提供

ビジネスと社会人文社会科学との融合

分散型トラスト

データからの新たな価値創造

データからのデータ

高度な意思決定人と創造的にコラボレーション

超高速ネットワーク/エッジコンピューティング

シミュレーション

データ解析

民主化された超スケールのコンピューティングパワー

コンピューティングは新たな価値創造・高度な意思決定を支えるベースの技術© 2023 Fujitsu Limited

システム技術⚫

⚫

⚫ 「富岳」

⚫ 産総研

産総研

計算ノード

構成

大規模因果発見・量子シミュレータ

日本語自然言語モデル
3大規模並列計算技術を活用した
日本語自然言語モデル学習

Japanese LLM training using large-scale parallel computing
technologies

4© 2023 Fujitsu Limited

自然言語モデルが求める計算量
重みデータサイズ学習データセットサイズ

GLUE score⚫ AIワークロードが求める計算量

SuperGLUE score

1.E+14100⚫ モデルサイズ90⚫ データセット1.E+13

Data size [Byte][Byte]
データサイズ

1.E+12

GPT-37060

1.E+1150
1.E+10

GPT-2
BERT

1.E+09T540

ALBERT30

GPT1
Transformer ELMo
XLNet

1.E+08RoBERTaERNIEGLUESuperGLUE score
or /SuperGlUEスコア[%]
GLUE80⚫ 精度

自然言語モデルはより高い計算パワーを必要とする

20
10

1.E+07Mar-17 Sep-17

Apr-18Oct-18 May-19 Dec-19 Jun-20

発表年度

0Jan-215© 2023 Fujitsu Limited

自然言語モデルの学習⚫ 事前学習(Pre-training)⚫ 自己教師あり学習⚫ 大量のデータloss⚫ 非常に長い計算時間
dataTarget⚫ ファインチューニング
⚫ 実際の解きたい課題に合わせ込む⚫ 教師あり学習label⚫ 比較的少ないデータ量loss⚫ 計算時間も比較的短い
data6© 2023 Fujitsu Limited事前学習の精度比較⚫ 精度(validation loss)⚫ モデルの大規模化により精度は向上⚫ アルゴリズム的工夫(Random Data Packing)は精度向上に大きく寄与⚫ BERT-3.9bの場合に最大精度を達成
Batch size Data packing # of GPUs

Consumed
samplesModel(i)BERT-large

1,280

No

64

128,000,000 100,000

1.841

7.26(ii)

BERT-xlarge

1,024

No

128

102,400,000 100,000

1.717

13.44(iii)

BERT-xlarge

1,024

Yes

128

102,400,000 100,000

1.482

13.62(iv)

BERT-xlarge

6,144

Yes768184,320,000

30,0001.422

4.65(v)

BERT-3.9b

1,536

Yes

768

122,880,000

80,000

1.349

17.52

7

Iterations Validation loss

Executiontime[hour]

Trial #© 2023 Fujitsu Limited

ファインチューニング後の精度検証⚫ 公開されている他のモデルより高い精度を達成⚫ Twitter RAでは4.65時間の事前学習で、最高精度を達成⚫ JSNLIでは、BERT-3.9bによって最大精度を達成
JSNLI: 自然言語推論の標準的ベンチマークSNLIの日本語版。前提文に対して仮説文が与えられたときに、含意、矛盾、どちらでもないを推測する問題。
Twitter RA: Twitter日本語評判分析。判別する分が「ポジティブ」「ネガティブ」「ポジティブ＆ネガティブ」「ニュートラル」を推測する問題。

Model

Parameter

JSNLI

TwitterRAPre-train# of GPU
time [hour]

Our BERT-large

0.6 billion

93.18 %

89.66 %

7.26128

Our BERT-xlarge

1.2 billion

94.08 %

90.63 %

4.65768

Our BERT-3.9b

3.9 billion

94.30 %

90.27 %

17.52

768

NICT’s BERT[1]0.11 billion

93.26 %

89.45 %

-Shibata’s BERT[2]0.33 billion

93.00 %

89.28 %-[1] NICT BERT [Online]. Available: https://alaginrc.nict.go.jp/nict-bert[2] T. Shibata, D. Kawahara, and S. Kurohashi. Kyoto University download BERT. [Online]. Available: https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

大規模並列技術により言語モデルを大規模化することで高い精度を達成
8© 2023 Fujitsu Limited

大規模因果探索によるゲノム医療での発見

Discovery for genome using large-scale casual
discovery technologies

9© 2023 Fujitsu Limited

Wide Learning因果発見技術
データ全体に共通する因果関係だけでなく、個々のデータに特徴的な因果関係を網羅的に抽出可能に。
POINT

1

POINT

共通の相関関係をもつデータの集団をすべて抽出
属性１
属性１
属性１

データ全体1,000人

属性１

属性
２

0

10

1

10

1

1

1
10

属性３

1

・・・

属性１かつ属性５かつ属性６
属性４かつ属性６かつ属性７
属性４かつ属性６かつ属性７

事象

1…

…

この集団では、共通の相関関係として「属性１かつ属性３」をもつ特徴的な因果関係をもつデータの集団をすべて抽出
重要な原因
：属性１
重要な原因
：属性７
重要な原因
目的
属性3かつ属性4属性１かつ属性３属性１かつ属性２属性１かつ属性２属性２かつ属性４属性３かつ属性４属性３かつ属性４2：属性8
属性２かつ属性５
事象
かつ属性６属性１かつ属性３ 事象：属性2

属性１かつ属性５かつ属性６

因果関係を知りたい新規のデータ

事象対応する集団を特定

因果関係を特定因果関係を特定

?

重要な原因

重要な原因

：属性8

属性１かつ属性３

事象

?

重要な原因

属性１かつ属性５かつ属性６：属性2
事象

https://pr.fujitsu.com/jp/news/2020/12/17.html
10© 2023 Fujitsu Limited

大規模因果探索
従来では数百変数に対する因果探索が限界だったが、数万変数に対する因果探索が実行可能に。
大規模な因果探索のための処理の高速化
因果探索アルゴリズムの並列化

スーパーコンピュータ上での計算処理

スーパーコンピュータ「富岳」

11© 2023 Fujitsu Limited

大規模因果探索のゲノム医療への応用
事例

ゲノム医療への応用

肺がんへの薬剤応答データから、薬剤耐性の原因究明

薬剤耐性メカニズムに関わる遺伝子関係を抽出。

◼ ヒトの全遺伝子（20000種類）に対して重要な因果関係を網羅的に抽出従来技術では4000年かかっていた因果関係の仮説と新発見の可能性

１日で完了

新たな示唆

既存の文献通り◼ 肺がんの治療薬として知られる「ゲフィチニブ」の耐性獲得メカニズムに関して、専門家が認める新仮説の抽出に成功

SP7

PRRX1

薬剤耐性に寄与

薬剤耐性に寄与

共同研究：東京医科歯科大）宮野先生
スーパーコンピュータ「富岳」成果創出加速プログラム「大規模データ解析と人工知能技術によるがんの起源と多様性の解明」 研究代表

12

がん細胞

薬剤耐性

© 2023 Fujitsu Limited

FX700/A64FXを活用した量子シミュレータ高速化技術

High-speed Quantum Simulator accelerated by
FX700/A64FX

13© 2023 Fujitsu Limited

量子シミュレータの重要性⚫ エラーフリーで量子計算可能な量子シミュレータは研究開発に必須••

量子ビット級の実機（）は実現され始めたが，誤り耐性量子計算はまだ先
はノイズが多く、量子アルゴリズムなどの理論的な研究開発での利用は困難

誤り耐性量子コンピュータ（万量子ビット以上）

コンピュータ限定アプリケーションでの有用性に期待

“
年

14

論理量子ビットを持つ本格的量子コンピュータの実現には、数百万物理量子ビットが必要になるかもしれない並列計算技術を活かした量子シミュレータを開発⚫ スーパーコンピュータ「富岳」のプロセッサ最速レベルのの高速性を活かし、世界量子ビットの量子シミュレータを開発• 他機関の主要な量子シミュレータの約 倍の性能を実現し、世界最高の処理速度を達成。
これにより、例えば丸一日かかっていた計算が夜間だけで済むようになり，研究開発サイクルの飛躍的な効率化が可能に• 量子シミュレータを活用して量子アプリケーションを先行開発．富士フイルム様と材料分野で共同研究を開始• ９月には、 量子ビットのシミュレータ
ノード へ拡大済み、年春には 量子ビット
ノード へと拡大予定

量子計算に合わせたデータ再配置技術
量子計算の実行順序に合わせて並列計算機上のデータを再配置して通信時間を削減

15開発した量子シミュレータの特徴⚫ 富士通の大規模並列コンピューティング技術を活用
技術 ①の性能を引き出す実装技術

技術 ②

技術 ③

通信と計算のオーバラップ化

量子計算に合わせたデータ再配置技術

通信

計算

通信

計算

通信

計算

オーバラップ化
通信

計算
通信

計算
通信

複数の計算を同時実行する命令を活用し最大限のメモリ帯域を引き出す

ノードの計算短縮

通信と計算をオーバラップさせることで同時実行し、処理時間を削減を活用し、量子計算の実行順序に合わせて並列計算機上のデータを再配置して通信時間を削減

量子ビットのシミュレータを実装
16

主要技術：量子計算に合わせたデータ再配置技術⚫ 高速化の鍵は、新規開発の量子計算に合わせたデータ再配置技術⚫ 例： 量子ゲートで代表的な操作• サーバを跨ぐ量子ゲート操作は毎回通信が発生• データを再配置し、量子ゲート操作の際の通信を削減

今回は大阪大学開発の「サーバ間サーバ内通信無しで計算サーバを跨ぐ量子ゲート操作は通信を伴うデータを再配置

17」を並列化用に改良し適用

00…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…111

物理的な再配置の選択肢の中から通信コストを最小化する配置を選択量子計算の応用例：素因数分解⚫のアルゴリズム⚫ 将来量子コンピュータが登場すると、暗号が破られるかもしれないと言われている計算⚫ 実機では、やが検証されている最大例⚫ シミュレータでもあまり解かれていなかった⚫ 量子シミュレータを活用した素因数分解⚫ 汎用的なアルゴリズム実装でからまで未満 の 個の素因数分解に成功⚫ データ再配置と回路最適化が高速化に大きく寄与し、で 時間以上 →秒に量子実機でもビット合成数分解は 万量子ビット 約
18日

暗号は当面安全おわりに⚫ 大規模並列計算技術の応用⚫ 自然言語モデルの学習⚫ 大規模因果発見⚫ 量子シミュレータ高速化⚫ コンピューティング技術による新領域開拓⚫ AI技術は今後も膨大な計算量を必要とする⚫ 量子技術も量子コンピュータ単体ではなくHPC技術との併用が実応用では重要に並列計算技術が新たな領域を開拓
19© 2023 Fujitsu Limited

Thank you© 2023 Fujitsu Limited