PRIMEHPC FX1000/FX700
アプリケーション関連情報
2022年5月19日

富士通株式会社© 2022 Fujitsu Limited

目次
○ 要旨
○ 商用アプリケーション
○
○
○
○
○
○
○
○

商用アプリケーション
商用アプリケーション一覧
Ansys Fluent
Ansys LS-DYNA
CONVERGE
Cradle CFD | scFLOW
JMAG
Poynting

○
○
○
○
○
○
○
○

FX1000・FX700におけるOSSの性能
FX1000・FX700におけるOSSの電力効率
FrontISTR
OpenFOAMWRF
LAMMPSQUANTUM ESPRESSO
A64FXでのOSS利用者向け情報/ツールの提供○○○

石油・ガス分野のアプリにおけるA64FXの特長
Devito
GIRIH○ Open-Source Software (OSS)アプリケーション○ Open-Source Oil & Gasアプリケーション - Armエコシステムパートナーとの共同評価
2© 2022 Fujitsu Limited

要旨

3© 2022 Fujitsu Limited

PRIMEHPC FX1000・FX700○ PRIMEHPC FX1000・FX700には、スーパーコンピュータ「富岳」で使用されているARMアーキテクチャのプロセッサA64FXを搭載
A64FX processor✓ Scalable Vector Extension (SVE) 512bit SIMD
命令セットを実装✓ Armv8.2-Aアーキテクチャを適用✓ HBM2によりメモリバンド幅を広帯域化✓ 高い電力効率© RIKEN

FUJITSU Supercomputer PRIMEHPCPRIMEHPC FX1000
超大規模システム向けのスーパーコンピュータ✓✓✓✓

384ノード/ラック
水冷
TofuインターコネクトD
富士通製ソフトスタック
4

PRIMEHPC FX700
スタンダード技術をベースとした
導入しやすいモデル✓✓✓✓

8ノード/2Uシャーシ
空冷InfiniBand
商用ソフトを活用© 2022 Fujitsu Limited

FX1000・FX700性能○ 主要5分野のアプリケーションのFX1000・FX700上での計算速度・電力効率においてx86サーバより優れた性能を達成
x86サーバ比電力効率**x86サーバ比計算速度*
3.34
3.57
1.35
1.44

地球科学

材料・化学

電磁界

3.23

WRF

1.00
1.11

LAMMPS

2.83

1.08
1.27

QUANTUM
ESPRESSO

2.96

1.22

JMAG***

2.82
2.44

1.90
1.98

■ FX1000
ベンチマーク環境
FX1000: A64FX (2.2GHz x 48cores)
FX700: A64FX (2.0GHz x 48cores)
x86 server: Xeon 8268 (2.9GHz x 24cores) x2sockets

4.07
3.81

6.73
3.49

OpenFOAM
2.07

構造
5

7.46

4.45

2.65

電力効率測定に用いた計算モデルと異なるモデルによる測定結果を含む。(詳細は個別スライドを参照)** 測定機器の都合上、1ノード上で測定
5.06 *** x86の計算速度測定環境が上記ベンチマーク環境と異なりアプリケーション個別スライドに情報を記載*

4.12

FrontISTR

9.21■ FX700

3.78

3.18

Cradle CFD |scFLOW***

3.18

4.40

Poynting
1.24
1.33

流体

6.89

Devito© 2022 Fujitsu Limited

商用アプリケーション

6© 2022 Fujitsu Limited

商用アプリケーション（2022年5月時点）
Amber

Ansys Fluent(by University of California, San Francisco.)

COLMINA CAE 粒子法鋳造解析

Gaussian 16(富士通株式会社)(by Gaussian, Inc.)

化学

VASP

流体

PRIMEHPC
FX1000(by VASP Software GmbH)COLMINA CAE 磁界
シミュレータ©RIKEN(富士通株式会社)(株式会社JSOL)(by Convergent Science)

PRIMEHPC FX700

(by

「富岳」

電磁界

(by ENGYS Ltd. )Poynting(富士通株式会社)

Simcenter STAR-CCM+©RIKEN(by Siemens Digital Industries Software)

Ansys LS-DYNA

ESI Virtual Performance​
Solution (VPS)

NAG Fortran Compiler
(by

構造

その他

)
= 提供済み= 提供予定(by ESI Group)
スライド内の全てのアプリケーション名は、各ベンダーの商標または登録商標です。

)= 「富岳」で動作確認済み

7© 2022 Fujitsu Limited

商用アプリケーション一覧（2022年5月時点）○ FX1000・FX700における商用アプリケーションの提供状況。６本のアプリケーションは「富岳」で動作確認済。
カテゴリ

ものづくり
(流体解析)​​

ものづくり(構造解析)

ものづくり(電磁界解析)​アプリケーション名

その他

提供状況

備考

Ansys Fluent

ANSYS, Inc.

提供可能
(αバージョン)COLMINA CAE 粒子法鋳富士通株式会社

提供可能「富岳」で動作確認済

Convergent Science

提供可能

ソルバー機能のみ提供「富岳」で動作確認済

提供可能「富岳」で動作確認済

造解析CONVERGE
Cradle CFD | scFLOW
HELYX
Simcenter STAR-CCM+
Ansys LS-DYNA
ESI Virtual Performance
Solution(VPS)
COLMINA CAE 磁界シミュ
レータ

JMAG
Poynting
Amber

化学

ベンダー

Gaussian 16
VASP
NAG Fortran Compiler（東アジア販売代理店: 株式会社IDAJ）
株式会社ソフトウェアクレイドル

ソルバー機能のみ提供

ENGYS Ltd.
Siemens Digital Industries Software
ANSYS, Inc.

提供予定*
提供可能

「富岳」で動作確認済

ESI Group

提供可能

衝突安全関連(陽解法)のみ提供「富岳」で動作確認済

富士通株式会社

提供可能

株式会社JSOL​

提供予定*
提供可能

富士通株式会社

University of California,
San Francisco
Gaussian, Inc.
VASP Software GmbH
Numerical Algorithms Group Ltd

提供予定*「富岳」で動作確認済「富岳」で動作確認済

提供可能
提供可能

協力：オーストラリア国立大学

提供可能
提供可能

*時期後報 **スライド内の全てのアプリケーション名は、各ベンダーの商標または登録商標です。

8© 2022 Fujitsu Limited

Ansys Fluent○ Ansys Fluentについて✓✓✓✓

高度な物理モデルを表現し、種々の流体現象を解析できる商用CFDソフトウェア
大規模かつ複雑な計算モデルを正確かつ効率的に解析するための最高レベルの物理モデルを実装
詳細情報 : https://www.ansys.com/products/fluids/ansys-fluent
FX1000・FX700向けにリリース済み○ 機能検証および性能評価について○ 「富岳」でのチャレンジ*✓ FX1000・FX700で利用可能なAnsys Fluent αバージョンをリリース（Ansys 2021 R2をベース とする）
- リリースされたバージョンは汎用Arm版で、 PRIMEHPCシリーズ向け固有の実行スクリプトを同梱- Ansys Fluent ユーザはANSYS, Inc.に依頼すれば入手可能✓ FX1000・FX700上でテスト・評価済み- テストケースとしてAnsys Fluentの標準ベンチマークモデルである“Ansys Fluent Benchmarks” を使用- FX1000上で1,536コア並列まで検証済み（f1_racecar_140mモデルを使用）

1200
1000
800
600
400
200
0

Normalized power efficiency

f1_racecar_140m
Ideal
Actual

0

400

800

1200

1600

# of cores
Ansys Fluentのスケーラビリティ（Solver Rating値を使用）* 本研究は、HPCIシステム利用研究課題(課題番号：hp210283)を通じて、理化学研究所のスーパーコンピュータ「富岳」の計算資源の提供を受け、実施しています。

◆ FX1000・FX700の電力効率はXeon Platinum 8268 (2.9GHz)を上回る【計算事例】
計算モデル: sedan_4m
乗用車周りの空気の流れ(4百万要素)
sedan_4m

FX1000上で良好なスケーラビリティを確認【計算事例】
計算モデル: f1_racecar_140m
F1レースカー周りの空気の流れ (1億4千万要素)

Solver Rating◆✓ 2021年11月より「富岳」上での性能評価を開始（課題期間：6か月間）✓ 2億8千万要素のモデル（“Ansys Fluent Benchmarks”における最大規模のデータ）を用い、1000ノード以上の計算リソース上で性能・スケーラビリ
ティを評価予定

f1_racecar_140m

9

2.5
2

1.98

1.5

FX1000(2.2GHz)1

0.5

Higheris better

1.45
FX700
(2.0GHz)

1.00
Xeon(2.9GHz)0

Ansys Fluentの電力効率（ 1ノード上での評価）

sedan_4m© 2022 Fujitsu Limited

Ansys®、及びその他すべてのANSYS, Inc.の製品名は、ANSYS, Inc.またはその子会社の米国およびその他の国における商標または登録商標です。

Ansys LS-DYNA○ Ansys LS-DYNAについて✓ 複雑な実問題を解析可能な、産業界をリードするマルチフィジックスシミュレーションソフトウェア✓ FX1000・FX700および「富岳」で最初に利用可能になった商用のCAE構造解析（衝撃解析）ソフトウェア✓ 2021年に単精度版を提供開始し、2022年に倍精度版を提供予定
https://www.ansys.com/news-center/press-releases/10-15-2021-ansys-enables-more-sustainable-product-development-with-fujitsu○ 機能検証および性能評価について○ 「富岳」でのチャレンジ***✓

Ansys LS-DYNAの主要機能を検証済み✓

3,000コア並列までのスケーラビリティを確認済み
FX1000・FX700上で優れた電力効率を発揮

Normalized power efficiency

✓

3
2.5
2
1.5
1
0.5
0

2.39
FX1000(2.2GHz)

1.94
FX700*(2.0GHz)

Higher is better

高性能かつ複雑な実問題の解析に関する研究:✓ 「富岳」で3万コアを用いた3,000万要素の自動車衝突解析を実施✓ 一般社団法人日本自動車工業会は富士通の支援で、従来の開発プロセスの一新を目指して12,000ケースの自動車衝突解析を実施中。骨格レイアウトと強度バランスをパラメータとした多数のFEM解析結果を収集している。この解析結果を教師データとして、機械学習の予測精度と使用する教師データ数の相関関係を明らかにしようとしている。

富士通はANSYS, Inc.と協同し「富岳」上でのAnsys LS-DYNAの性能向上に引き続き取り組む

1.00
Xeon**(2.9GHz)

自動車衝突解析のイメージ

Ansys LS-DYNAの電力効率(1ノード, Car2Carモデル, 240万要素)* FX700のファイルシステムはFEFSを利用**Intel Xeon Platinum 8268 x2sockets(2.9GHz x 24cores)***本研究は、HPCIシステム利用研究課題(課題番号：hp200228, hp210089)を通じて、理化学研究所のスーパーコンピュータ「富岳」の計算資源の提供を受け、実施しました。

10© 2022 Fujitsu Limited
Ansys®、及びその他すべてのANSYS, Inc.の製品名は、ANSYS, Inc.またはその子会社の米国およびその他の国における商標または登録商標です。

CONVERGE○ CONVERGEについて✓✓✓✓

完全自動メッシュ、現象に応じた様々な物理モデル、ロバストな化学反応ソルバー、複雑な移動境界を容易に取り扱う機能などを備えた商用CFDソフトウェア
様々な産業分野で利用（エンジン、燃料噴射、排ガス後処理装置、ポンプ、圧縮機、タービン、その他)
詳細情報: https://convergecfd.com / https://www.idaj.co.jp/product/converge
FX1000・FX700および「富岳」向けにリリース済み○ 「富岳」を用いたCONVERGEの成果*○ 機能検証および性能評価について✓ CONVERGEの多くの主要機能の動作をFX1000・FX700上で確認
計算モデル

自由噴霧

乱流モデル

LES

噴霧モデル

Lagrange 2 phases

サブモデル

Drag
Break-up
Collision
Evaporation

LES機能を用いた自由噴霧解析(最大1,000万要素, FX1000 上で384 並列で実施)✓ エンジンのエネルギー効率向上を目的に、熱発生率、排気組成、ノッキングなどを評価する内燃機関(Internal
Combustion Engine: ICE)モデルを用いたシリンダー筒内燃焼シミュレーションを実施した✓ 全域詳細メッシュを用い詳細化学反応を考慮したLES解析により、 しわ状化した火炎構造を確認できる精細な燃焼計算
を2時間で完了した✓ 従来のガソリンエンジンのエネルギー効率向上のみならず、精度良いノッキング予測を活用することにより、近年注目される
e-fuelなどの新燃料のエンジンの開発スピードの向上にも寄与することが期待される
吸気ポート
吸気バルブ
排気バルブ

✓ FX1000上で300コア並列以上の良好なスケーラビリティを確認
断面位置
排気ポート
シリンダー

ICEモデルICEモデルの計算結果

計算モデル

メッシュ数

メッシュサイズ

乱流モデル

燃焼モデル

並列数

ICE 燃焼700万要素（最大）

全域0.5mm

LES

詳細化学反応

4,096

計算時間(燃焼計算のみ)

定常ポート流れ解析のスケーラビリティ

11

2時間

© 2022 Fujitsu Limited*本研究は、HPCIシステム利用研究課題(課題番号：hp200209)を通じて、理化学研究所のスーパーコンピュータ「富岳」の計算資源の提供を受け、実施しました。

Cradle CFD | scFLOW○ Cradle CFD | scFLOW について✓✓✓✓

任意の多面体格子に対応した汎用熱流体解析システム
多くの分野(航空宇宙、自動車、建設、エレクトロニクス、重工業、医療・医薬品など)で利用されている
詳細情報: https://www.mscsoftware.com/ja/product/scflow
FX1000・FX700および「富岳」向けに提供可能○ 「富岳」でのチャレンジ*✓ 全機能の動作をFX1000・FX700にて確認済み✓ Cradle | scFLOWで使用している線形ソルバーについて、FX1000上でXeon Platinum 8260 と比べて優れた計算性能を確認✓ 32ビット整数を超える数十億の要素面を含む大規模なLES解析を達成

•
•
•
•

モデル：自動車周りの空力解析(要素数1億800万, RANS)
384プロセス 1スレッド(Xeon 8260 Platinum) 8ノード,(FX1000) 48ノード
100ステップ

3.18

3.5
3

FX1000(2.2GHz)

2.5

Higheris better

2
1.5

1.00

1

Xeon
(2.4GHz)

0.5
0

Cradle CFD | scFLOW ソルバーの性能比較

•
•
•
•

モデル：航空機周りの流体解析(要素数2億3700万, RANS)
48プロセス 1スレッド(Xeon 8260 Platinum) 1ノード,(FX1000) 1ノード
(FX700) 1ノード
100ステップ

Normalized power efficiency✓ Cradle CFD |scFLOW はFX1000・FX700上でXeon Platinum 8268と比べて優れた電力効率を確認
2.65
3
測定条件
Higher
2.5
is better
FX1000 2.07
2
1.5
1
0.5

(2.2GHz)
FX700(2.0GHz)

1.00
Xeon(2.9GHz)0
Cradle CFD | scFLOW の電力効率

マッハ数 : 0.847​◆ 航空機の設計時には、安全性に影響を及ぼ
仰角 : 2.94度
要素数 : 7億8700万す機体の振動現象を予測することが重要な課 500000
題である。大規模なLES解析によって機体の振Ideal
動予測につながる翼表面上の圧力振動や細かい渦を捉えることができる。
50000◆ 32ビット整数を超える要素面数を持つ大規模なモデルを扱えるようにCradle CFD |scFLOWを改善。さらに高並列領域での性能を改善。
5000
5000
50000
500000◆ 7億8000万要素数のモデルで最大216,000並
Number of cores
航空機周りの流体解析モデルによる
列/4500ノードで動作を確認。

要素数 : 2億3700万

Parallel scale

測定条件

Normalized performance○ 機能検証および性能評価について

並列性能(LES, 100steps)

翼表面上の圧力係数分布(LES,12,000プロセス.4スレッド/1,000ノード,
50,000ステップ)✓ 並列メッシャーによる数億要素の非構造格子作成に成功◆ メッシュ作成は一般的に大容量メモリを持つ単一マシンで実行されるが、メモリ容量が制約となり「富岳」等で使われる大規模解析用のメッシュを作成できないことがある。
◆ メッシャーを分散並列化し、「富岳」上で最大5億1100万の非構造格子を作成できることを確認（国立競技場の風解析モデル）◆ これにより１ノードあたりのメモリ容量に制約されないメッシュ作成が可能となった。
*本研究は、HPCIシステム利用研究課題(課題番号：hp200209, hp200302)を通じて、理化学研究所のスーパーコンピュータ「富岳」の計算資源の提供を受け、実施しました。

12

風速条件 :
地上41mt地点で2.9m/s
要素数 : 1億300万

国立競技場の風解析(2,400プロセス,4スレッド,200ノード, 2,000ステップ)© 2022 Fujitsu Limited

JMAG○ JMAGについて

電気機器設計開発のためのシミュレーションソフトウェア。株式会社JSOLが開発・提供。
自動車、電化製品、デジタル機器、電源機器、ファクトリーオートメーションなど各業界で利用。
詳細情報 : https://www.jmag-international.com/jp/
FX1000・FX700 および「富岳」向けに提供予定。提供時期後報。

○ 「富岳」でのチャレンジ*○ 機能検証および性能評価✓ 最大2千万要素モデル、最大8,192並列の実行まで動作を確認✓ ハイブリッド並列版JMAG HPCソルバーを移植し、主要機能を検証済み

新たな結果

FX1000・FX700におけるJMAGの性能評価✓FX1000・FX700においてXeon Platinum
8268 2.9GHzに比べ優れた電力効率を発揮

Xeon(2.7GHz)JMAGの性能比較(正弦波入力IPMモータ,
1,000万要素, 50ステップ, 128ハイブリッド並列)

FX1000(2.2GHz)オルタネータ,1,500万要素, 10ステップ

クランクシャフトに対する誘導加熱による焼き入れ,1,700万要素, 1ステップ

リニアモータ,500万要素, 10ステップ

3.18
FX700
(2.0GHz)

16

1.00
Xeon
(2.9GHz)JMAGの1ノードの電力効率比較(正弦波入力IPMモータ,
100 万要素, 10 ステップ, 48 ハイブリッド並列)

12

7倍高速

8
4
0
Conventional New solver insolver, MPP 512 Fugaku, MPP
8192

1ステップあたりの解析時間

total time
ideal

8
6
4
2
0
0

1000
# of cores2000

全実行時間の並列性能

time excluding initialize
ideal

8
6
4

2
0
0

1000
# of cores2000

初期化時間を除いた時間の並列性能

Speedup ratio based on 256cores

1.00

Higher is better✓ 複数のモデルに対して「富岳」におけるJMAGの並列性能を確認。右の2モデルは数百ステップの計算が行われることが想定されるため、初期化時間を除いた時間で評価実施。

Speedup ratio based on 256cores

FX1000(2.2GHz)

3.81
Normalized power efficiency

Normalized performance

Higher is better

1.22

PWM制御を含むIPMモータ,
1,500万要素

Speedup ratio based on 256cores✓FX1000においてXeon Platinum
8280 2.7GHzに比べ同一コア数で1.22倍高速✓ ISC2021で発表したIPMモータでの検証に加え、新たに様々な大規模モデルを対象にJMAGが持つ複数の磁界解析機能についての検証を「富岳」上で実施✓ これらの結果により、JMAGが「富岳」において多様な産業界のニーズに対して実用的な時間で計算する能力を持つことを確認

Time per step min

✓
✓
✓
✓

time excluding initialize
ideal

8
6
4
2
0
0

*本研究は、HPCIシステム利用研究課題(課題番号：hp200209, hp200305)を通じて、理化学研究所のスーパーコンピュータ「富岳」の計算資源の提供を受け、実施しました。

13

1000
# of cores2000

初期化時間を除いた時間の並列性能© 2022 Fujitsu LimitedPoynting○ Poyntingについて✓✓✓✓

富士通が開発した、FDTD法*を用いた汎用三次元電磁波解析ソフトウェア
FDTD法はメモリ帯域幅を必要とする一方、非常に高い並列効率を示すため、メモリ帯域幅に特長を持つFX1000・FX700において極めて高い演算性能と並列効率を発揮
詳細情報 : https://www.fujitsu.com/jp/solutions/business-technology/tc/sol/poynting/
FX1000・FX700および「富岳」向けに販売中○ 機能検証および性能評価について✓

ソルバーの主要機能を検証済み
115,200コア並列までスケーラビリティを確認済み✓

FX1000・FX700 上で優れた計算速度・電力効率を発揮

✓

8

x7.5

○ 「富岳」****が切り拓く電磁波シミュレーションの新たな可能性✓ Poyntingによる超大規模電磁波解析を「富岳」上で実施✓ 自動車対自動車/自動車対交通基盤の5G通信下にある交差点周辺の電波強度分布を解くことが目的✓ 0.5兆格子でモデル化した交差点を対象とした100m規模の解析領域中で、レイトレーシング法などの近似解法では考慮できない、数cm以下の微細構造の影響を含めた電磁波解析が2時間で実施できることを確認

x6.7

6
4

2.9

x2.8

2

x1.0 x1.00FX1000FX700**

Intel Xeon***

計算速度比(Xeonを1とした値)
Normalized
SpeedUp
電力効率比(Xeonを1とした値)
NormalizedPower Performance ratio

格子数: 0.5兆格子
計算時間: 2時間（「富岳」115,200コア並列)

解析結果: 交差点を移動する自動車周辺の電波強度分布*FDTD法: Finite-Difference Time-Domain method(有限差分時間領域法) **FX700のファイルシステムとしてFEFSを利用 ***Intel Xeon Platinum 8268 x2sockets(2.9GHz x 24cores)****本成果は理化学研究所との富岳クラウドプラットフォーム共同研究によって実施されました。

14© 2022 Fujitsu Limited

Open-Source Software (OSS) アプリケーション

15© 2022 Fujitsu Limited

FX1000・FX700におけるOSSの性能○ FX1000・FX700 のx86サーバと比較した計算速度
x86

OpenFOAM

1.2

流体解析

○

これらのOSSにおいて、FX1000とFX700 の計算速度はx86サーバと比較して最大2.3倍となっている。

○

計算速度は下記によって高速化されている。
✓ SVEを用いたマイクロアーキテクチャの改善✓ メモリバンド幅の広帯域化 (HBM2)

1.3
2.0
1.9

FrontISTR
構造解析

OpenFDTD

2.2

電磁界解析

2.3

○

2.3
2.2

ABINIT

第一原理計算A64FX向けにコードチューニングされており、コンパイラおよびライブ
ラリも改善されている。

1.6
1.5

SALMON

第一原理計算QUANTUM ESPRESSO
第一原理計算1.1

LAMMPS

1.1

1.0

分子動力学

1.3

FX1000

FX700
1.4
1.3

WRF

領域気象モデル

FX700

1.0
0.9

MPAS

全球気象モデル

FX10001.2
1.2

SPECFEM3D

地震波伝播解析

0.0

0.5
1.0
1.5
2.0
Computation speed normalized by x86 server

2.5

16

Benchmark Platform
FX1000: A64FX (2.2GHz x 48cores)
FX700: A64FX (2.0GHz x 48cores)
x86 server: Xeon 8268 (2.9GHz x 24cores) x2© 2022 Fujitsu Limited

FX1000・FX700におけるOSSの電力効率○ FX1000・FX700 のx86サーバと比較した電力効率
x86

OpenFOAM○ FX1000とFX700 の電力効率はx86サーバと比較して、少なくとも2倍以

4.4

3.5

流体解析

FrontISTR

4.1

構造解析

OpenFDTD
ABINIT

5.4

2.7

第一原理計算SALMONQUANTUM ESPRESSO

3.0

第一原理計算LAMMPS
WRF

3.2

MPAS

2.4

3.1

SPECFEM3D

2.6

領域気象モデル

0.0

2.1

4.1

使われている。このテクノロジーは大規模な計算機システムにおいて、高い電力効率を実現する。 FX700はシャーシの中に空冷システムが入っているため、FX1000と比較して電力効率は低くなっている。

FX1000

FX700

3.8

2.8

分子動力学

○ FX1000はGreen500でトップとなった富岳と同じ省エネルギテクノロジーが

4.2

3.4

第一原理計算地震波伝播解析

7.3

6.2

電磁界解析

全球気象モデル上であり、非常に電力効率は高くなっている。

5.1

4.4

1.0
2.0
3.0
4.0
5.0
6.0
Power efficiency normalized by x86 server

FX700
FX1000

7.0

8.0

17

Benchmark Platform
FX1000: A64FX (2.2GHz x 48cores)
FX700: A64FX (2.0GHz x 48cores)
x86 server: Xeon 8268 (2.9GHz x 24cores) x2© 2022 Fujitsu Limited

FrontISTR○ FrontISTRについて✓ FrontISTR はオープンソースの大規模並列構造解析FEMプログラムであり、大変形、接触、各種非線形材料を含む様々な非線形解析を並列計算機上で効率よく実行できる。

✓ FrontISTR は FrontISTR Commons (https://www.frontistr.com/) によって開発および配布されている。また、A64FX 向けのチューニングコードを github.com(https://github.com/fujitsu/FrontISTR) から入手することができる。

○ 「富岳」でのチャレンジ*○ 性能評価7,600万要素の短繊維配合ゴムモデルを用いて、「富岳」において最大1600ノードまでのFrontISTR のスケーラ
ビリティを確認した。

ideal

930sec@1600nodes

三ツ星ベルト株式会社様の短繊維配合ゴムに関する研究を富士通が支援✓ 摩擦伝動ベルトに用いられる短繊維配合ゴムの機械的特性を評価するために、大規模解析が必要とされている。従来の解析規模では、応力集中部の様子を確認することしかできなかった。
✓ 我々は200から最大1600までの富岳の計算ノードを使用し、7,600万要素の大規模解析モデルが実用的な時間内で計算可能であることを確認した。
✓ 今後、複数のケースで短繊維配合ゴムの解析を実行することにより、長さ、うねり、配向ばらつきといった複雑な繊維状態と、機械的特性の関係を明らかにしていく。
目標: 5mm x 5mm x 1mm area, multiple cases

現状: 2mm x 1mm x 1mm area, single case1298sec @800nodes
2447sec @400nodes

Fix

Fix

4368sec @200nodes

FrontISTR のストロングスケール性能 (大変形及び材料非線形を考慮、
時間ステップ13分割、SSOR前処理付きCG法、ノードあたり4p12t並列)

Fix

300万
要素

Fix

Scale up×𝑁with Fugaku

埋込まれた
短繊維

Pull
Pull

Fix

7,600万要素

Fix

300万要素*この計算は富岳クラウド的利用の実証に向けた理研-FOCUS-VINASの共同調査で提供された計算資源を利用して実行した© 2022 Fujitsu Limited
18

OpenFOAM○ OpenFOAMについて✓ Open-source Field Operation And Manipulation (OpenFOAM)はオープンソースのCFDソフトウェアで、熱伝導解析や乱流解析といった豊富な解析機能を有する。 (https://www.openfoam.com/).

○ 性能評価✓ 計算速度は多くの場合でx86よりも速く、コードチューニングにより高速化されている。ループ構造におけるベクトル化の促進によってA64FXの計算速度を大きく改善する。
✓ 2種類のベンチマークモデルを実行した。1つは空力解析のmotorBike(LES)モデルで、もう1つは熱流体解析のmultiRegionHeater (RANS)モデルである。motorBikeモデル
では、PCGとGAMGの2種類の行列ソルバを使用した。
FX1000 A64FXの弱スケール

motorBike

OpenFOAM: v1812
Benchmark Platform
FX1000 A64FX (2.2GHz x 48cores)
x86: Xeon 8268 (2.9GHz x 24cores) x2
入力データ: multiRegionHeaterおよびmotorBike

FX1000 A64FX TUNED

300.0

1.21

FX1000 A64FX ASIS

0.89

x86

moterBike GAMG TUNED
moterBike PCG TUNED

250.0

80M cells

1.00

FX1000 A64FX TUNED

1.26

FX1000 A64FX ASIS

0.92

x86

1.00

200.0

GFLOPS

motorBike

motorBike multiRegion
GAMG
HeatermultiRegionHeater

FX1000 A64FX TUNED

motorBike
PCG

ベンチマークモデルにおける性能

150.0

40M cells

100.0
1.33

20M cells

FX1000 A64FX ASIS

0.99

50.0

x86

1.00

0.0

0.0
0.5
1.0
1.5
Computation speed normalized by x86
2種類のベンチマークモデルを実行した。FX1000においてASISとチューニングコードを用いている。チューニングによって、x86と比較して計算速度は高速になっている。
(multiRegionHeater: 15M cells, motorBike:10M cells)

19

10M cells

0

2

4

6

8

10

Nodes
motorBikeモデルの弱スケーラビリティーを示す。コア数に比例してモデル規模を増加させている。FX1000は理想に近いスケーラビリティとなっている。
© 2022 Fujitsu Limited

WRF○ WRFについて✓ The Weather Research and Forecasting (WRF) Model は次世代のメソスケール数値気象予報システムであり、大気圏の研究および気象予報に適用される。このソフトウェアは、2種類の時系列解析コード、データ同化システム、並列計算のサポートおよびシステムの高い拡張性が特徴である。
(https://www.mmm.ucar.edu/weather-research-and-forecasting-model)○ 性能評価✓ 下図はベンチマークモデルCONUS 2.5Kmの評価結果である（ここでは2ノード利用している）。
✓ A64FXシステムにおけるWRFの実行性能は、A64FXの高いメモリバンド幅によってその他のシステムよりも速くなっている。
WRF: version 3.9.1.1 (チューニングコード)
Benchmark platform
FX1000 A64FX (2.2GHz x 48cores)
FX700 A64FX (2.0GHz x 48cores)
x86: Xeon P8260M (2.4GHz x 24cores) x2
EPYC : 7742 (2.25GHz x 64cores) x2

WRF v3.9.1.1, CONUS 2.5km 2 Nodes
FX1000 A64FX

1.93

FX700 A64FX

1.72

EPYC

1.66

x86
0.00

入力データ
CONUS 2.5km- 1501x1201x35- 3 時間予報

1.00
0.50

1.00

1.50

2.00

Computation speed normalized by x86

2.50(https://www2.mmm.ucar.edu/wrf/bench/benchdata_v3911.html)

Performance Metric:実行速度は“Seconds/ timestep”“Seconds/ timestep”で評価した。
20© 2022 Fujitsu Limited

LAMMPS○ LAMMPSについて✓ Large-scale Atomic / Molecular Massively Parallel Simulator (LAMMPS)は材料設計を目的とした古典分子動力学のシミュレーションコードである。このソフト
は、特に並列計算機で実行するように設計されている。 (https://www.lammps.org/)○ 性能評価✓ FX1000の実行速度はx86の1.13倍となった。SIMD化とデータアクセスの効率化によって、FX1000とFX700の性能が向上した。
✓ ベンチマークモデルのCHUTEを評価に用いた。時間ループの90%程度をしめるPAIRとMODIDYの部分がSIMD化と高メモリバンド幅によって高い性能となった。
LAMMPS 7Aug19: CHUTE, 1 node
FX1000 A64FXFX700 A64FX

1.02

x86

1.00

0.00

0.20

0.40

0.60

0.80

1.00

Computation speed

1.13

1.20

Computation speed normalized by x86

計算速度は“Loop time”を測定している。
LAMMPS: version 7Aug19 (Tuned code)
Benchmark platform
FX1000 A64FX (2.2GHz x 48cores)
FX700 A64FX (2.0GHz x 48cores)
x86: Xeon P8260M (2.4GHz x 24cores) x2
入力データ: “CHUTE” Granular chute flow
12,800,000 atoms (/node) for 100 timesteps

LAMMPS 7Aug19: CHUTE, 弱スケール

10
9
8
7
6
5
4
3
2
1
0

FX1000 A64FXFX700 A64FX
x86
1

2

3

4

5
6
7
8
Nodes
計算速度は“atom-timesteps/s”で測定しており、x86の1ノードの場合で規格化している。

FX1000とFX700はほぼ理想的なスケーラビリティとなっている。
21© 2022 Fujitsu Limited

QUANTUM ESPRESSO○ QUANTUM ESPRESSOについて✓ QUANTUM ESPRESSOは第一原理計算を用いた電子構造計算と名のスケールにおける材料設計のためのオープンソースソフトウェアである。
(https://www.quantum-espresso.org/).

○ 性能評価✓ QUANTUM ESPRESSO 6.4.1を用いてA64FXの実行速度を測定した。

✓ 第一原理計算✓ 構造最適化シミュレーションにおいて、A64FXはx86 (2.9GHz x 24cores) x2 と比較して、1.3倍程度速い。
•
•
•

High

1.2
電子密度計算Computation timenormalized by x86

Low

分子構造

✓ QEF benchmarkにおいて、A64FXはx86 (2.4GHz x 24cores) x2 と比較して、1.5倍程度速い。
Computation speed normalized by x86

0.0

0.5

1.0

QE*1 :高いメモリバンド幅とSIMD命令によって、1.4倍速くなった。
FFT*2 :配列長の拡大とSIMD命令によって、1.3倍速くなった。
BLAS*3:キャッシュの利用によって、同等の速度となった。

1.5

2.0

1.0
0.8

QE

1.4倍

0.6
0.4
0.2

FFT
BLAS

1.3倍
同等

0.0

PSIWATx86 (2.9GHz x 24cores) x2

FX1000 A64FX

FFT
BLAS
FX1000 A64FX*入力データ: Structural Optimization Simulation (SCF calculation),
QEF/benchmarks/small-benchmarks/test_1.in, 224 atomsを使用*1: ELPA を固有値計算で使用 (https://github.com/fujitsu/elpa)*2: FFTW3 は富士通でチューニングしたものを使用(https://github.com/fujitsu/fftw3)*3: FUJITSU SSLⅡ Libraryを使用

GRIR443x86 (2.4GHz x 24cores) x2

PSIWAT: QEF/benchmarks/PSIWAT/psiwat.in, 8 nodes
GRIR443: QEF/benchmarks/GRIR443/grir443.in, 8 nodes
Benchmark platform
FX1000 A64FX (2.2GHz x 48cores)
x86: Xeon P8260M (2.4GHz x 24cores) x2

QE

22

Benchmark platform
FX1000 A64FX (2.2GHz x 48cores)
x86: Xeon 8268 (2.9GHz x 24cores) x2© 2022 Fujitsu Limited

A64FXでのOSS利用者向け情報/ツールの提供
Spackを用いたインストールガイドとビルドスクリプト

高速化チューニング情報とパッチ

富士通コンパイラが必要

富士通コンパイラが必要○ 対象のOSS○ 対象のOSS
OpenFOAM

FrontISTR

SPECFEM3DMPAS

ABINITLAMMPSSALMON

OpenFOAMQUANTUM ESPRESSO

MPAS

FrontISTR

SPECFEM3D

QUANTUM ESPRESSOLAMMPS○ 情報サイト (Spack*で提供)○ 情報サイト (富士通の公式Github)https://github.com/fujitsu/oss-patches-for-a64fx/tree/master/Spackhttps://github.com/fujitsu/oss-patches-for-a64fx*Spack： Lawrence Livermore National Laboratoryで開発されたOSSパッケージマネージャーである。様々な計算機環境・アプリケーション向けにレシピと呼ばれるビルドスクリプトが用意されており、簡単にアプリをインストールできる。アプリケーションで必要な依存ライブラリも、1つのコマンドで同時にビルドできる。 https://spack.readthedocs.io/en/latest/
23© 2022 Fujitsu Limited

Open-Source Oil & Gas アプリケーション
Armエコシステムパートナーとの共同評価

24© 2022 Fujitsu Limited

石油・ガス分野のアプリにおけるA64FXの特長✓地震探査解析（Seismic simulation）は石油探査に関わる重要技術である✓大規模な3Dデータの解析により石油・ガスが埋蔵する地質構造を推定する✓A64FXの広帯域メモリ・ベクトル演算機構(SVE: Scalable Vector Extension)で高速に計算可能である➢ 地震探査解析の概念図➢ A64FXにおける地震探査解析の計算速度の例
in space & 2 order in time,
GIRIH 8w/oordertemporal blocking
th

EPYC (48cores)

10

Cascade Lake

(48cores)nd25

A64FX(48cores)

20
15

Epyc(128cores)

Faster

A64FX (48cores)

Gstencil/s

15

Faster

FD-Gpts/s

DevitoCascade Lake(40cores)

10

5

5
https://www.devitoproject.org/

00
Acoustic SO4

Benchmark 0

https://github.com/ecrc/girih25© 2022 Fujitsu Limited

Devito○ Devito について✓ インペリアルカレッジ・ロンドン* で開発された解析プログラム作成・実行用フレームワークである✓ ドメイン固有言語で記述された解析プログラムから、高度に最適化した実行用コードを動的に生成・実行する機能を備え、様々なHPC環境で高速な解析計算を実行できる✓ 石油・ガス探査に関わる地質構造推定のための逆解析のコアとなる有限要素法などが柔軟に扱える* Imperial college London https://www.devitoproject.org/○ 性能データ
特にAcoustics SO4(空間4次の音波解析)でその傾向が顕著である✓ HBM (High Bandwidth Memory) と SVE (Scalable Vector
Extension)が高速計算の鍵となる✓ 参考文献:https://www.youtube.com/watch?
v=--2LrXL6Y2g&list=PLcsG4X8Zn_UAdbYQODr5PQLCcdCo_sovO&
index=36&t=61s• A64FX: 2.2GHz 48cores 32GB HBM2

Devito15

10

Faster

FD-GPts/s✓ A64FX の性能は、他のCPUを凌駕しており、

A64FX (48 cores)
EPYC (48 cores)
Cascade Lake (48 cores)

5

12 threads x 4 MPI process to fit A64FX Core Memory Group• Xeon 9275CL: 2.4GHz 24cores x 2 sockets• EPYC 7R32: 3.3GHz 48cores0
Acoustic SO4 Acoustic SO1226

TTI SO12© 2022 Fujitsu Limited

GIRIH○ GIRIHについて✓サウジアラビア・アブドラ王立科学技術大学（KAUST *）で開発された高速ステンシル計算プログラムである✓MWD法（Multicore Wavefront Diamond tiling; temporal blocking）とよばれる独自の計算高速化手法に加え、通常の空間データブロック化手法（spatial blocking）が実装されている* KAUST: King Abdullah University of Science and Technology

GIRIH performance

A64FX scalability

A64FX(48cores)

GStencil/s✓ A64FX は、単純な空間データブロック化手法による計算で目覚ましい高性能が得られており、この性能は、Cascade LakeのMWD法による性能をも上回っている✓ HBM (High Bandwidth Memory) とSVE (Scalable Vector
Extension)が高速計算の鍵となる

25

Spacial Blocking

Cascade Lake(40cores)

Gstencil/s○ 性能データ

20

25
20

15

15

• 8th order, domain size 1024x1024x512,
Single precision (benchmark 0)

10

10• A64FX: 2.2GHz 48cores 32GB HBM2 (Tuned code)
1/3/6/9/12 threads x 4 MPI process A64FX CMG向けに調整(CMG=Core Memory Group)

5

5

0

• Cascade Lake の性能値はKAUSTがSC20の際に公開してるgithub
https://github.com/ecrc/girih の値を引用
27

SpatialTemporal

Blocking

Blocking

00 10 20 30 40 50#cores© 2022 Fujitsu Limited

Thank you© 2022 Fujitsu Limited