富士通のHPCシステム技術に対する取り組み
2022.12.5
富士通株式会社

1© 2022 Fujitsu Limited

技術を組み合わせて信頼のある質の高いデータを生み、信頼のある新たな価値を提供

ビジネスと社会人文社会科学との融合

分散型トラスト

データからの新たな価値創造

データからのデータ

高度な意思決定人と創造的にコラボレーション

超高速ネットワーク/エッジコンピューティング

シミュレーション

データ解析

民主化された超スケールのコンピューティングパワー

コンピューティングは新たな価値創造・高度な意思決定を支えるベースの技術© 2022 Fujitsu Limited

システム技術⚫ 深層学習向け

クラスタ

システム

⚫

⚫ 「富岳」

⚫ 産総研

⚫

産総研

計算ノード

クラスタ

ノード

構成

クラスタ

量子シミュレータ

日本語自然言語モデル
3大規模並列計算技術を活用した日本語自然言語モデル学習

4© 2022 Fujitsu Limited

自然言語モデルが求める計算量
重みデータサイズ

学習データセットサイズ

GLUE score⚫ AIワークロードが求める計算量

SuperGLUE score

1.E+14100⚫ モデルサイズ90⚫ データセット1.E+13

Data size [Byte][Byte]
データサイズ

1.E+12

GPT-3

70
60

1.E+1150
1.E+10

GPT-2
BERT

1.E+09T540

ALBERT

30

GPT1Transformer ELMo
XLNet

1.E+08RoBERTaERNIEGLUESuperGLUE score
or /SuperGlUEスコア
[%]
GLUE

80

⚫ 精度

自然言語モデルはより高い計算パワーを必要とする

20
10

1.E+07Mar-17 Sep-17

Apr-18Oct-18 May-19 Dec-19 Jun-20

発表年度

0Jan-215© 2022 Fujitsu Limited

自然言語モデルの学習⚫ 事前学習(Pre-training)⚫ 自己教師あり学習⚫ 大量のデータloss⚫ 非常に長い計算時間
dataTarget⚫ ファインチューニング
⚫ 実際の解きたい課題に合わせ込む⚫ 教師あり学習label⚫ 比較的少ないデータ量

loss⚫ 計算時間も比較的短いdata6© 2022 Fujitsu Limited

MLM(Masked language model)⚫ 学習にはMLMを採用⚫ 自己教師あり学習⚫ 文の単語の一部をマスクし、マスクされた部分に適切な単語を入れられるように学習⚫ 学習効率はマスキング率に依存⚫ 「マスキング率が高い」 = 「１度に多くの問題をテストする」 効率大⚫ 大きなマスキング率を用いると、モデルは適切な単語を入れられなくなる
Loss Function
abirdflies
inthesky
Data set

Input tokens

Mask
Selection

abird[MASK]
in[MASK]
sky

abirdwalks
intheskyMasked tokens

Filled tokens

7© 2022 Fujitsu Limited

学習のための最適化 ~Random data packing~⚫ 複数の入力文を結合⚫ 最大長を超えない範囲で、2つ以上の文を結合⚫ 最大長をこえる場合は結合しない⚫ 複数の文を結合すると、マスクする単語数を増やすことができる⚫ MLMにおける学習効率を高めることができる
Input T+1

Input T

Maximum sequence length

Maximum sequence lengtha bird flyin the sky. [pad][pad][pad][pad][pad][pad] [pad] [pad]the chef cooka meal.

[pad] [pad] [pad] [pad] [pad] [pad] [pad] [pad] [pad]combineabirdflyinthesky.

the chef cook
8ameal.

[pad] [pad]© 2022 Fujitsu Limited

ABCIを用いた性能評価⚫ ABCI (AI Bridging Cloud Infrastructure)⚫ 計算ノード (Aノード)⚫ A100 GPUs x8

IBHDRIBHDRIBHDRIBHDR⚫ InfiniBand HDR x4Ice
Lake⚫ 96ノードを利用⚫ GPU数は768基

Ice
Lake

⚫ 事前学習のためのデータセット⚫ Wikipedia

A100 A100 A100 A100 A100 A100 A100 A100

⚫ Aozora-bunko

NVLink⚫ OSCAR

FUJITSU PRIMERGY GX2570 M6
産総研ABCI 計算ノード(A) 構成⚫ データサイズ: 78.1 [GB]9© 2022 Fujitsu Limitedスループット計測
1.E+05

Throughput [sample/sec]

1.E+04

1.E+03

1.E+02

1.E+01

1.E+00
81632

64

128

256

512

1024

# of GPUs
BERT-large w/ 512 seq. length

BERT-xlarge w/ 512 seq. length

GPU台数に対してスループットはリニアにスケール10© 2022 Fujitsu Limited事前学習の精度比較⚫ 精度(validation loss)⚫ モデルの大規模化により精度は向上⚫ Random Data Packingは精度向上に大きく寄与⚫ BERT-3.9bの場合に最大精度を達成
Batch size Data packing # of GPUs

Consumedsamples

Model(i)BERT-large

1,280

No

64

128,000,000 100,000

1.841

7.26(ii)

BERT-xlarge

1,024

No

128

102,400,000 100,000

1.717

13.44(iii)

BERT-xlarge

1,024

Yes

128

102,400,000 100,000

1.482

13.62(iv)

BERT-xlarge

6,144

Yes

768

184,320,000

30,0001.422

4.65(v)

BERT-3.9b

1,536

Yes

768

122,880,000

80,0001.349

17.5211Iterations Validation loss

Executiontime[hour]

Trial #© 2022 Fujitsu Limited

ファインチューニング後の精度検証⚫ 公開されている他のモデルより高い精度を達成⚫ Twitter RAでは4.65時間の事前学習で、最高精度を達成⚫ JSNLIでは、BERT-3.9bによって最大精度を達成
JSNLI: 自然言語推論の標準的ベンチマークSNLIの日本語版。前提文に対して仮説文が与えられたときに、含意、矛盾、どちらでもないを推測する問題。
Twitter RA: Twitter日本語評判分析。判別する分が「ポジティブ」「ネガティブ」「ポジティブ＆ネガティブ」「ニュートラル」を推測する問題。

ModelParameter

JSNLI

TwitterRA

Pre-traintime [hour]

Our BERT-large

0.6 billion

93.18 %

89.66 %

7.26

Our BERT-xlarge

1.2 billion

94.08 %

90.63 %

4.65

Our BERT-3.9b

3.9 billion

94.30 %

90.27 %

17.52

NICT’s BERT[1]0.11 billion

93.26 %

89.45 %

-Shibata’s BERT[2]0.33 billion

93.00 %

89.28 %-[1] NICT BERT [Online]. Available: https://alaginrc.nict.go.jp/nict-bert[2] T. Shibata, D. Kawahara, and S. Kurohashi. Kyoto University download BERT. [Online]. Available: https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

大規模並列技術により言語モデルを大規模化することで高い精度を達成
12© 2022 Fujitsu Limited

FX700/A64FXを活用した量子シミュレータ高速化技術

13© 2022 Fujitsu Limited

量子シミュレータの重要性⚫ エラーフリーで量子計算可能な量子シミュレータは研究開発に必須••

量子ビット級の実機（）は実現され始めたが，誤り耐性量子計算はまだ先
はノイズが多く、量子アルゴリズムなどの理論的な研究開発での利用は困難
誤り耐性量子コンピュータ（万量子ビット以上）

コンピュータ限定アプリケーションでの有用性に期待

“
年

14

論理量子ビットを持つ本格的量子コンピュータの実現には、数百万物理量子ビットが必要になるかもしれない並列計算技術を活かした量子シミュレータを開発⚫ スーパーコンピュータ「富岳」のプロセッサ

最速レベルのの高速性を活かし、世界量子ビットの量子シミュレータを開発• 他機関の主要な量子シミュレータの約 倍の性能を実現し、世界最高の処理速度を達成。
これにより、例えば丸一日かかっていた計算が夜間だけで済むようになり，研究開発サイクルの飛躍的な効率化が可能に• 量子シミュレータを活用して量子アプリケーションを先行開発．富士フイルム様と材料分野で共同研究を開始• ９月には、 量子ビットのシミュレータ
ノード へ拡大、年春には 量子ビット
ノード へと拡大予定

量子計算に合わせたデータ再配置技術
量子計算の実行順序に合わせて並列計算機上のデータを再配置して通信時間を削減

15開発した量子シミュレータの特徴⚫ 富士通の大規模並列コンピューティング技術を活用
技術 ②

技術 ③

通信と計算のオーバラップ化

量子計算に合わせたデータ再配置技術

技術 ①の性能を引き出す実装技術

通信計算

通信 計算 通信 計算

オーバラップ化
通信

計算
通信

計算
通信

複数の計算を同時実行する命令を活用し最大限のメモリ帯域を引き出す

ノードの計算短縮

通信と計算をオーバラップさせることで同時実行し、処理時間を削減を活用し、量子計算の実行順序に合わせて並列計算機上のデータを再配置して通信時間を削減

量子ビットのシミュレータを実装
16

主要技術：量子計算に合わせたデータ再配置技術⚫ 高速化の鍵は、新規開発の量子計算に合わせたデータ再配置技術⚫ 例： 量子ゲートで代表的な操作• サーバを跨ぐ量子ゲート操作は毎回通信が発生• データを再配置し、量子ゲート操作の際の通信を削減

今回は大阪大学開発の「サーバ間サーバ内通信無しで計算サーバを跨ぐ量子ゲート操作は通信を伴うデータを再配置

17」を並列化用に改良し適用

00…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…11100…00000…001…
00…111

物理的な再配置の選択肢の中から通信コストを最小化する配置を選択

1-qubit gate operation time [sec]との比較
109FujitsuIntel Quantum Simulator

8765432
100 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

qubit index

向けシミュレータ と比較し、ゲート操作は平均約18倍高速

との比較
10090

Fujitsu

JUQCS-G-JUWELS

8070

約 倍の性能60504030201003233343536

向けシミュレータ と比較し、最大約 倍の速度を実現
19

おわりに
⚫ 大規模並列計算技術の応用⚫ 自然言語モデルの学習⚫ 量子シミュレータ高速化⚫ コンピューティング技術による新領域開拓⚫ AI技術は今後も膨大な計算量を必要とする⚫ 量子技術も量子コンピュータ単体ではなくHPC技術との併用が実応用では重要に並列計算技術をベースに新領域を開拓
20© 2022 Fujitsu Limited

Thank you© 2022 Fujitsu Limited