計算科学振興財団(FOCUS)
スパコン産業利用セミナー2017 〜他社事例に学ぶ企業のシミュレーション技術活用〜
2017年7月25日@神戸商工会議所会館

OpenFOAMによる流体解析ベンチマークテスト
FOCUS・クラウド・スパコンでのチャネルおよびボックスファン流れ解析

今野 雅
オープンCAE学会V&V委員会
東京大学情報基盤センター客員研究員
株式会社OCAEL
Copyright © 2017 OCAEL All rights reserved.

1

オープンCAE学会共通OpenFOAMベンチマーク• 大学のスーパーコンピュータ✓近年は産業利用など教育・公共機関以外でも利用可能なシステム有り✓通常，課題審査が必要．通常1ヶ月〜1年単位での課金• クラウドサービス✓誰でも課題の審査無く利用可能✓使った分だけ課金(分または時間単位)• 産業界専用のスーパーコンピュータFOCUS✓法人の場合，課題の審査無く利用可能✓1円単位で使った分だけ課金．ただし1年毎にアカウント発行料も必要• オープンCAE学会V&V委員会で，チャネル流れによる共通OpenFOAMベンチ
マークを作成し，解析速度，並列化効率，対費用効果を比較した• 測定結果は学会のGitHubで公開している
Copyright © 2017 OCAEL All rights reserved.

2

産応協ボックスファンベンチマーク• オープンCAE学会共通ベンチマーク問題のチャネル流れは，ベンチマークが容易に行えるよう，以下の特徴を重視して選択した✓解析形状が矩形で，格子が構造格子かつ等分割のため，格子数の変更が容易✓メッシュ生成に時間を要しない✓乱流モデルを使用せず，圧力と速度のみ解くので，「圧力線形ソルバの解析時間が支配的」という非圧縮性流体解析の特性を素直に示す• 一方，チャネル流れは産業界で解析される流れ場とは乖離している欠点もある• スーパーコンピューティング技術産業応用協議会(通称：産応協)のHPCものづ•

くりWSが作成した共通ベンチマークであるボックスファンは，乱流モデル，複雑形状，動的格子を扱う，より実務的なベンチマークである
今回，産応協から共通メッシュや実験値を，FOCUSから計算機資源のご提供を受け，ボックスファンベンチマークをOpenFOAMで解析することにより，FOCUSと大学スパコンの解析速度，並列化効率，対費用効果を比較した

Copyright © 2017 OCAEL All rights reserved.

3

オープンCAE学会チャネル流ベンチマーク
チャネル流れ (Reτ = 110)
格子数約3M(Githubに24Mの結果も有り)

解析条件
Lx × Ly × Lz = 5π × 2 × 2π
Reτ = uτ δ/ µ = 110 [-]ここでLx , Ly , Lz : 各方向のチャネル幅 [m]uτ : 壁面摩擦速度 [m/s]δ : チャネル半幅 [m] ( =Ly / 2 )µ : 動粘性係数 [m2/s2]
主流方向(x): 一定の圧力勾配
主流方向(x), スパン方向(z): 周期境界
ソルバ: OpenFOAM-2.3.0, pimpleFoam(GPUシステムではRapidCFD)
乱流モデル: 無し(laminar)
速度線型ソルバ: BiCG (前処理DILU)
圧力線型ソルバ: PCG (前処理DIC)
領域分割手法：scotch(周期境界面は同領域)• 2〜51ステップのCPU時間(Execution time)から1時間あたりのステップ数を算出
Copyright © 2017 OCAEL All rights reserved.

4

チャネル流ベンチマーク計測システム
機関システム(略称)

CPU [GPU](周波数[GHz])

JCAH Oakforest- Intel Xeon Phi 7250,
PC PACS (OFP) Knights Landing(1.4)

CPU数 倍精度性能(コア) [GFlops]1(68)

メモリ[GiB](帯域幅[GB/s])

インターコネクト(帯域幅[Gbps])

96(115.2)，

Intel Omni-Path

MCDRAM 16(490)

(100)

1210

256
(76.8 2)Inﬁniband
EDR(100)
Tofu(40) 双方向
10(4方向同時通信)

3046

ReedbushU (RBU)
東京大学
Oakleaf-FX
FX (FX)Intel Xeon E5-2695
v4 (2.1-3.3)
Fujitsu SPARC64
IXfx (1.848)

1(16)

237

32(85)TSUBAME .
2.5 S
東京工業大学 TSUBAME
2.5 G

Intel Xeon E5-2670(2.93-3.2)

2(12)

154

54
(32 2)[nVIDIA Tesla K20X](0.732)

3GPU

1310 36 3(150 3)AXeon L5640(2.26)

2(12)

108

48 (25.6 2)

D

E5-2670 v2(2.5)

2(20)

400

64 (51.2 2)F

E5-2698 v4(2.2)

2(40)

1152

128 (76.8 2)

H

D-154(2.1)

1(8)

205

64 (34.1)

10GbE(10) 2 or 4EC2c4.8xlargeIntel Xeon E5-2666v3(2.9)2(18)

31060(不明)

10GbE(10)Azure A9Intel Xeon
E5-2670(2.6)

333112(不明)Inﬁniband QDR(40)FOCU
SAmazonMicro
softCopyright © 2017 OCAEL All rights reserved.

2(36)

2(16)

Inﬁniband QDR(40) 2Inﬁniband QDR(40)Inﬁniband FDR(56)5ノード時間料金・CPU演算性能・メモリ帯域幅
700
ノード時間料金 [円(税込)]

1600

ノード時間料金 [円]CPU倍精度演算性能 [GFlops]
CPU-メモリ全帯域幅 [ 0.1 GB/s]

600

1200

540

成果公開 成果非公開

500

1400

1000

400

800

324

295.8

300

400

108

100

16.1

6.5

10820043.2
Azure A9EC2-c4.8x

FOCUS H

FOCUS F

FOCUS D

FOCUS ATSUBAME S

TSUBAME S

Oakleaf-FX

Lower isBetterReedbush-U

0214.8

172.8

200

6000

CPU倍精度演算性能 [GFlops]
CPU-メモリ全帯域幅[ 0.1 GB/s]

800

Higher isBetter2017年度料金(税込)．EC2とAzureは計測時料金(2015年11月，NFSサーバ用のインスタンス1台の料金も考慮)
Oakforest-PACSとTSUBAME Gは，通常のCPUではないので除外した．
Copyright © 2017 OCAEL All rights reserved.

6ノード時間料金の算出条件
システム

成果公開

ノード時間料金[円](※1)

ノード時間料金の算出条件

Oakforest-PACS

10.7

最も高価となるグループコース(8ノード，企業)，利用期間1ヶ月間

Reedbush-U

16.1

最も高価となるグループコース(4ノード，企業)，利用期間1ヶ月間

6.5

最も高価となるグループコース(12ノード，企業)，利用期間1ヶ月間

Oakleaf-FX

公開

TSUBAME S

43.2TSUBAME G

21.6

TSUBAME S

172.8

TSUBAME G

86.4

FOCUS A

108

FOCUS D324

FOCUS F540

FOCUS HEC2-c4.8xlarge
Azure A9非公開

成果非公開は成果公開の4倍の料金．GはSの1/2の料金．従量利用，最大計算時間：1時間，優先度：標準，実行時間ごとの係数：1の場
合．学内・共同研究利用(ノード時間料金10円，40円)は除外

多ノード割引きを考慮

108
295.8
214.8

計測時：2015年11月15日．リージョン：東京．NFSサーバ:132.8円/h(c3.4xlarge)(※2)
計測時：2015年11月25〜26日．リージョン：West US．NFSサーバ: 33.3円/h(D3)(※2)(※1)税込．計測時明記以外は2017年度料金 (※2)NFSサーバ用のインスタンス1台の料金も考慮
Copyright © 2017 OCAEL All rights reserved.

7

使用OpenFOAMバージョン・コンパイラ・MPIシステム
Oakforest-PACS

バージョン
v1612+

コンパイラ(※1)
Icc 2017.1

MPIIntel MPI 2017.1(※3)(Flat, libhbm使用)(KNL向け最適化)

Reedbush-U

Gcc-4.8.5

OpenMPI 1.8.3

FCC GM-1.2.1-09

FJMPI GM-1.2.1-09

Gcc-4.8.4

OpenMPI 1.6.5(※4)

nvcc (cuda-6.5)

OpenMPI 1.8.4(※5)

Gcc 4.8.3

OpenMPI 1.6.5(※4)

Gcc 4.8.5

OpenMPI 1.8.5(※6)

Gcc 4.8.3

Intel MPI 5.1.1(※7)

Oakleaf-FX

2.3.0

TSUBAME S
TSUBAME G(GPU)

RapidCFD(※2)
FOCUS A, D, F, H
EC2 c4.8xlarge

2.3.0Azure A9※1) 最適化フラグ: -O3，OakforestPACSのみ-O3 -DvectorMachine -xmic-avx512 ※2) rev:
d3733257dee5fb9999b918f5c26a1493cebb603c ※3) unset KMP̲AFFINIY;mpirun -env LD̲PRELOAD libhbm.so -env
HBM̲SIZE 100 -env HBM̲THRESHOLD 16 -env MPI̲BUFFER̲SIZE 1000000 -env
I̲MPI̲PIN̲PROCESSOR̲EXCLUDE̲LIST 0,1,68,69,136,137,204,205 -env KMP̲HW̲SUBSET 1T -env
I̲MPI̲PIN̲DOMAIN 4 ※4) mpirun -bind-to-core -mca btl openib,sm,self ※5) mpirun -bind-to core -mca btlopenib,sm,self ※6) mpirun -bind-to core ※7) Azure A9のLinux OSでは，MPI通信にRDMAを使うためにはIntel MPIが必要

Copyright © 2017 OCAEL All rights reserved.

8

各システムの解析速度比較
RBU
DFA

OFP
FXH

Higher isBetter

Copyright © 2017 OCAEL All rights reserved.

• 最高速✓4ノードまで:
FOCUS F

✓8ノード以上:
RBU• 飽和ノード数✓A: 不明✓D: 不明✓F: 8✓H: 32✓FX: 不明✓RBU: 16
✓OFP: 不明
9

各システムのStrong scaling並列化効率比較• Intel Xeon機RBU(RBU, FOCUS)
はスーパリニア• FXは12ノードまF
DでほぼリニアA• OFPの並列化効率は悪い

Higher isBetter

Copyright © 2017 OCAEL All rights reserved.

OFP

FXH

• ピークのノード数
✓A 不明
✓D: 8
✓F: 4
✓H: 2
✓FX: 12✓RBU: 8
✓OFP: 210

成果非公開型システムのステップ毎の課金比較
H

Lower isBetter• 最安価✓1, 2ノード:
TSUBAME G✓4, 8ノード:
FOCUS F

✓12〜16, 24ノー
ド：FOCUS D✓20ノード:
FOCUS A

• 基本的に課金額は
F
TSUBAME G

D

A

並列化効率に反比
例するが，FOCUS
では多ノード割引率にも依存する．

Copyright © 2017 OCAEL All rights reserved.

11成果公開型システムのステップ毎の課金比較• 最安価✓1〜2ノード:

Lower isBetter

OFP✓4〜ノード：
RBU

✓次点FX

FX
OFP
RBU
Copyright © 2017 OCAEL All rights reserved.

12成果非公開型システムでの課金­解析速度曲線
D

Better 速い

ステップ数

最安価

〜20K

FOCUS D

〜15K

FOCUS F

〜3K

Azure A9〜1.5K

TSUBAMEG(GPU)F
安い

Azure A9TSUBAME G
H A

Copyright © 2017 OCAEL All rights reserved.

13

成果公開型システムでの課金­解析速度曲線
RBU

ステップ数

最安価

〜40K

Reedbush-U〜7K

Oakforest
-PACS

〜40

OakleafFX

OFP
Better 速い

FX

Copyright © 2017 OCAEL All rights reserved.

安い14産応協HPCものづくりWSボックスファン
Outet region• 産応協HPCものづくりWS作成の共通

Inlet region

ベンチマーク問題

1.1m
Flow

0.55m

1.1m

厚さ45mmBox fan• ボックスファン✓翼枚数：9 [枚]✓回転数：3000 [rpm]✓プロペラ外径：111[mm]• 2箇所で実験実施：流量特性測定(JISB8330準拠)および騒音測定• HPCものづくりWS(2017/6/25)✓結果発表機関：7
使用CFDコード：CFX, Fluent,
✓縦横

126mm

FrontFlow/Blue，Helyx,

OpenFOAM，SCRYU/Tetra,
StarCCM+

Copyright © 2017 OCAEL All rights reserved.

15

ボックスファンベンチマーク共通メッシュ• 商用メッシャー使用• 格子数：約1310万• テトラ：約1050万• プリズム：約260万• プリズム第1層厚さ：
約0.065mm

Inlet region

Outlet region
Copyright © 2017 OCAEL All rights reserved.

Mesh

Blade and boss surface
16

ボックスファン速度分布瞬時値
Inletregion

Outletregion• 非定常RANS解析(pimpleDyMFoam)• 乱流モデル ：k-ω SST• 移流項スキーム：2次風上流量2.186m /minでの静圧上昇の解析値：• 時間刻み：5 10 [s] (400step/rev) 実験値から約10%低い• 時間積分：定常解から2秒後(100回転後)
3-5Copyright © 2017 OCAEL All rights reserved.

17

ボックスファンベンチマーク条件・計測システム• 非定常RANS解析(OpenFOAM-v1612+，pimpleDyMFoam)• 乱流モデル ：k-ω SST，移流項スキーム：1次風上• 時間刻み：5 10 [s] (400step/rev)•2〜21ステップのCPU時間(Execution time)から1時間あたりのステップ数を算出• 圧力線型ソルバ: PCG，前処理FDIC，許容残差10• 圧力以外の線型ソルバ: Gauss Seidel，許容残差10• 領域分割手法：scotch-5-7-5機関システム(略称)

CPU [GPU](周波数[GHz])

JCAH Oakforest- Intel Xeon Phi 7250,
PC PACS (OFP) Knights Landing(1.4)
東京大 Reedbush学
U (RBU)

FOCU
S

CPU数 倍精度性能(コア) [GFlops]
1(68)

3046

メモリ[GiB](帯域幅[GB/s])

インターコネクト(帯域幅[Gbps])

96(115.2)，

Intel Omni-Path

MCDRAM 16(490)(100)
Inﬁniband
EDR(100)
Inﬁniband QDR(40)Intel Xeon E5-2695
v4 (2.1-3.3)

2(36)

1210

256
(76.8 2)AXeon L5640(2.26)

2(12)

108

48 (25.6 2)

D

E5-2670 v2(2.5)

2(20)

400

64 (51.2 2)F

E5-2698 v4(2.2)

2(40)

1152

128 (76.8 2)

H

D-154(2.1)

1(8)

20564 (34.1)

Copyright © 2017 OCAEL All rights reserved.

Inﬁniband FDR(56)
10GbE(10) 2 or 418

Oakforest-PACSの解析速度
コンパイラ：Icc 2017.4，KNL用最適化：-O3 -DvectorMachine -xmic-avx512
MPI：Intel MPI 2017.3，タイル0除外，Flatモードではlibhbm使用• 最適化オプションはHigher is
BetterPeak64PPN

128PPN

32PPN

•

•

KNL用がデフォルト設定(-O3)より僅かに速かった．
2ノード以下では，PPN(ノードあたりの使用プロセッサ数)がHyper thread利用の128が高速．
多ノードではCache
よりFlatのほうが高速

解析速度最大条件：
32PPN，32ノード(1024プロセッサ)，Flat
Copyright © 2017 OCAEL All rights reserved.

19

Oakforest-PACSのstrong scaling並列化効率• Flat > Cache• 〜8ノード：

PeakHigher is
Better64PPN•64 > 32 >128PPN
16ノード〜：
32 > 64 >128PPN

32PPN
128PPN
並列化効率最大条件：
64PPN，4ノード(256プロセッサ)，FlatCopyright © 2017 OCAEL All rights reserved.

20

Reedbush-Uの解析速度
コンパイラ：Gcc 4.8.5, Icc 2017.1，オプション：-O3(Intelは-xHost使用で悪化)，
MPI：SGI MPT 2.16, OpenMPI 2.1.1 (Intel MPIは多ノードで動作せず)• 多ノード，32PPN✓Gcc > Icc✓MPT > OpenMPI• 4ノード以下：

Higher is
Better36PPN
Peak 28PPN
324864•

36PPN > 32PPN
48ノード以上：
28PPN > 32PPN

Gcc, MPT
Icc, MPT 32PPN
Gcc OpenMPI
解析速度最大条件:
32PPN，32ノード(1024プロセッサ)，Gcc，SGI MPT
Copyright © 2017 OCAEL All rights reserved.

21

Reedbush-Uのstrong scaling並列化効率
32PPN Gcc OpenMPIIcc, MPT

Gcc, MPT
28PPN• 32PPN✓12ノード〜：
MPT > OpenMPI〜32ノード：SGIMPTはスーパリニア
36PPN〜12ノード：リニア
32ノード〜：悪化
28PPN〜32ノード：スーパーリニア
48ノード：リニア✓
Higher is
Better

36PPN

•
✓
✓
•
✓
✓

Copyright © 2017 OCAEL All rights reserved.

22

FOCUS Aのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

10PPN

12PPN

10PPN

12PPN
Higher is
Better

解析速度

Higher is
BetterStrong scaling• 解析速度✓2〜8ノード：12PPN > 10PPN✓32ノード〜：10PPN > 12PPN• Strong scaling： 〜32ノードでほぼリニア
解析速度最大条件：10PPN，64ノード(640プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

23

FOCUS Dのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

16PPN
18PPN
20PPN

18PPN
16PPN

Higher is
Better

解析速度

20PPN
Higher is
BetterStrong scaling• 解析速度✓〜16ノード 16PPN 18PPN 20PPN✓64ノード：16PPN > 18PPN > 20PPN• Strong scaling：〜32ノード 概ねリニア
解析速度最大条件：16PPN，64ノード(1024プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

24

FOCUS Fのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

32PPN
40PPN
36PPN

Higher is
BetterHigher isBetter

解析速度

Strong scaling• 解析速度：全ノードで32PPN 36PPN 40PPN• Strong scaling：4ノード〜 スーパーリニア
解析速度最大条件：32PPN，12ノード(384プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

25

FOCUS Hのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

6PPN

4PPN

解析速度

8PPN

4PPN
6PPN

Higher is
BetterHigher is
Better8PPN
Strong scaling• 解析速度：4PPN 6PPN > 8PPN
• Strong scaling：✓4PPN 6PPN > 8PPN
✓インターコネクトが10GbEであるため，2ノード以上から除々に悪化する
解析速度最大条件：6PPN，16ノード(96プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

26

各システムの解析速度比較
各システムでピーク性能が高い条件での解析速度を比較．OpenMPIを用いるFOCUSとの比較のため，Reedbush-UはMPIライブラリがMPT以外にOpenMPIも掲載

RBU MPTRBU OpenMPIHigher is
BetterA

DFH

OFP 64PPN
OFP 32PPN

Copyright © 2017 OCAEL All rights reserved.

解析速度順
1. FOCUS F
2. Reedbush-U (〜12ノード：OpenMPI，16ノード〜：MPT)
3. Oakforest-PACS,64PPN(〜8ノード)
4. FOCUS D
5. Oakforest-PACS,32PPN(〜32ノード)
6. FOCUS A
7. FOCUS H
27

各システムのstrong scaling並列化効率比較
Higher is
RBU MPT
Better OFP 64PPNRBU•OpenMPIF

•

DAH

•
•

スーパースケール
Oakforest-PACS,
64PPN (〜8ノード)
Reedbush-U, MPT(〜32ノード)
Reedbush-U,
OpenMPI(〜16ノード)
FOCUS F(〜12ノード)
概ねスケールOFP
32PPN

Copyright © 2017 OCAEL All rights reserved.

• FOCUS D(〜32ノード)• FOCUS A(〜32ノード)
••

非スケール
FOCUS H
Oakforest-PACS,
32PPN

28

FOCUSのステップ毎の課金比較
HA

DF

Lower isBetterCopyright © 2017 OCAEL All rights reserved.

29

成果公開型システムのステップ毎の課金比較
OFP 64PPN

Lower isBetter

OFP 32PPN
OFP 64PPN

Copyright © 2017 OCAEL All rights reserved.

RBU
OpenMPI
RBU MPT30

FOCUSの課金­解析速度曲線

F

D

ステップ数

最安価

1K〜

FOCUS D

600〜1K

FOCUS F

100〜
600

FOCUS A
FOCUS F30〜100

ほぼ重なる〜30

FOCUS A

Better 速い

安いA

H

Copyright © 2017 OCAEL All rights reserved.

31

成果公開型システムの課金­解析速度曲線
ステップ数

最安価

1K〜

Reedbush-U，MPT〜1K

Reedbush-U，
OpenMPI〜400

Oakforest-PACS,64PPN

RBU MPTRBU OpenMPI
OFP
64PPN

Better 速い

OFP
32PPN

Copyright © 2017 OCAEL All rights reserved.

安い32

まとめ• FOCUSや大学のスパコンおよびクラウドにおいて，チャンネル流れおよびボックスファンのベンチマークテストを実行し，各システムでの解析速度や並列化効率，対費用効果を比較した．

• 課金ー解析速度の関係から，解析速度範囲に応じて最安価なシステムが分れる結果となった．

• FOCUSはシステムが多様だが，課金ー解析速度の関係がほぼ重なる課金システムなので，求める解析速度とキューの混雑状況に応じて，柔軟に投入キューを選択するのが望ましい．
謝辞 東京工業大学学術国際情報センター共同利用推進室の佐々木様から，OpenFOAMとRapidCFDの評価用として，TSUBAME 2.5の計算機リソースをご提供頂いた．日本Microsoft(計測当時)の佐々木様から，
Microsoft Azure A9でのベンチマークの結果をご提供頂いた．電通国際情報サービス(計測当時)の住友様には，
Amazon EC2のベンチマーク結果をご提供頂いた．青子守歌様には，RapidCFDのビルドについてご協力頂いた．スーパーコンピューティング技術産業応用協議会からボックスファンの共通メッシュや実験結果等についてご提供頂いた．FOCUSからボックスファンベンチマーク用に計算機資源を提供頂いた．ここに深く感謝する．
Copyright © 2017 OCAEL All rights reserved.

33