2016年12月15日
第17回PCクラスタシンポジウム@ 秋葉原コンベンションホール

PCクラスタコンソーシアム実用アプリケーション部会報告

OpenFOAMによる流体解析ベンチマークテスト
FOCUS・クラウド・スパコンでのチャネルおよびボックスファン流れ解析
今野 雅
オープンCAE学会V&V委員会
PCクラスタコンソーシアム実用アプリケーション部会
東京大学情報基盤センター客員研究員
株式会社OCAEL
Copyright © 2017 OCAEL All rights reserved.

1

オープンCAE学会共通OpenFOAMベンチマーク• 大学のスーパーコンピュータ✓近年は産業利用など教育・公共機関以外でも利用可能なシステム有り✓通常，課題審査が必要．通常1ヶ月〜1年単位での課金• クラウドサービス✓誰でも課題の審査無く利用可能✓使った分だけ課金(分または時間単位)• 産業界専用のスーパーコンピュータFOCUS✓法人の場合，課題の審査無く利用可能✓1円単位で使った分だけ課金．ただし1年毎にアカウント発行料も必要• オープンCAE学会V&V委員会で，チャネル流れによる共通OpenFOAMベンチ
マークを作成し，解析速度，並列化効率，対費用効果を比較した• 測定結果は学会のGitHubで公開している
Copyright © 2017 OCAEL All rights reserved.

2

産応協ボックスファンベンチマーク• オープンCAE学会共通ベンチマーク問題のチャネル流れは，ベンチマークが容易に行えるよう，以下の特徴を重視して選択した✓形状が矩形で構造格子のため，格子数の変更が容易✓メッシュ生成に時間を要しない✓圧力と速度のみ解くので，「圧力線形ソルバの解析時間が支配的」という非圧縮性流体解析の特性を素直に示す• 一方，チャネル流れは産業界で解析される流れ場とは乖離• スーパーコンピューティング技術産業応用協議会(通称：産応協)•のHPCものづくりWSが作成した共通ベンチマークであるボックスファンは，乱流モデル，複雑形状，動的格子を扱う，より実務的なベンチマークである
産応協から共通メッシュや実験値を，FOCUSから計算機資源の提供を受け，ボックスファンベンチマークでも検討を行なった

Copyright © 2017 OCAEL All rights reserved.

3

オープンCAE学会チャネル流ベンチマーク
解析条件

チャネル流れ (Reτ = 110)
格子数約3M

Lx × Ly × Lz = 5π × 2 × 2π
Reτ = uτ δ/ µ = 110 [-]ここでLx , Ly , Lz : 各方向のチャネル幅 [m]uτ : 壁面摩擦速度 [m/s]δ : チャネル半幅 [m] ( =Ly / 2 )µ : 動粘性係数 [m2/s2]
主流方向(x): 一定の圧力勾配
主流方向(x), スパン方向(z): 周期境界
ソルバ: OpenFOAM pimpleFoam
乱流モデル: 無し(laminar)
速度線型ソルバ: BiCG (前処理DILU)
圧力線型ソルバ: PCG (前処理DIC)
領域分割手法：scotch(周期境界面は同領域)• 2〜51ステップのCPU時間(Execution time)から1時間あたりのステップ数を算出
Copyright © 2017 OCAEL All rights reserved.

4

チャネル流ベンチマーク計測システム
機関システム(略称)

CPU [GPU](周波数[GHz])

JCAH Oakforest- Intel Xeon Phi 7250,
PC PACS (OFP) Knights Landing(1.4)

CPU数 倍精度性能(コア) [GFlops]1(68)

メモリ[GiB](帯域幅[GB/s])

インターコネクト(帯域幅[Gbps])

96(115.2)，

Intel Omni-Path

MCDRAM 16(490)

(100)

1210

256
(76.8 2)Inﬁniband
EDR(100)
Tofu(40) 双方向
10(4方向同時通信)

3046

ReedbushU (RBU)
東京大学
Oakleaf-FX
FX (FX)Intel Xeon E5-2695
v4 (2.1-3.3)
Fujitsu SPARC64
IXfx (1.848)

1(16)

237

32(85)TSUBAME .
東京工 2.5 S (TS)業大学 TSUBAME
2.5 G (TG)Intel Xeon E5-2670(2.93-3.2)

2(12)

154

54(32 2)[nVIDIA Tesla K20X](0.732)

3GPU

1310 3

6 3(150 3)

A (FA)

Xeon L5640(2.26)

2(12)

108

48 (25.6 2)

D (FD)

E5-2670 v2(2.5)

2(20)

400

64 (51.2 2)

F (FF)

E5-2698 v4(2.2)

2(40)

1152

128 (76.8 2)

H (FH)

D-154(2.1)

1(8)

205

64 (34.1)

10GbE(10) 2 or 4

Amazonc4.8xlarge(c48)Intel Xeon E5-2666v3(2.9)

2(18)

310

60
(不明)

10GbE(10)Microsoft

Azure A9(A9)Intel Xeon
E5-2670(2.6)

333

112
(不明)

Inﬁniband QDR(40)FOCUS

Copyright © 2017 OCAEL All rights reserved.

2(36)

2(16)

Inﬁniband QDR(40) 2Inﬁniband QDR(40)Inﬁniband FDR(56)5ノード時間料金の算出条件
システム

成果公開

ノード時間料金[円](※1)

ノード時間料金の算出条件

Oakforest-PACS

10.7

最も高価となるグループコース(8ノード，企業)，利用期間1ヶ月間

Reedbush-U

16.1

最も高価となるグループコース(4ノード，企業)，利用期間1ヶ月間

6.5

最も高価となるグループコース(12ノード，企業)，利用期間1ヶ月間

Oakleaf-FX

公開

TSUBAME S

43.2

TSUBAME G

21.6

TSUBAME S

172.8

TSUBAME G

86.4

FOCUS A

108

FOCUS D324

FOCUS F540

FOCUS HEC2-c4.8xlarge
Azure A9非公開

成果非公開は成果公開の4倍の料金．GはSの1/2の料金．従量利用，最大計算時間：1時間，優先度：標準，実行時間ごとの係数：1の場
合．学内・共同研究利用(ノード時間料金10円，40円)は除外

多ノード割引きを考慮

108295.8214.8

計測時：2015年11月15日．リージョン：東京．NFSサーバ:
132.8円/h(c3.4xlarge)(※2)
計測時：2015年11月25〜26日．リージョン：West US．NFSサーバ: 33.3円/h(D3)(※2)(※1)税込．計測時明記以外は2017年度料金 (※2)NFSサーバ用のインスタンス1台の料金も考慮
Copyright © 2017 OCAEL All rights reserved.

6

ノードあたりの時間料金・演算性能・メモリ帯域幅
700
ノード時間料金 [円(税込)]

1600

ノード時間料金 [円]
倍精度演算性能 [GFlops]
メモリ全帯域幅 [ 0.1 GB/s]

600

1200540

成果公開 成果非公開

500

1400

1000

400

800

324

295.8300400

10810016.1

6.5

10820043.2
Azure A9EC2-c4.8x

FOCUS H

FOCUS F

FOCUS D

FOCUS ATSUBAME S

TSUBAME S

Oakleaf-FX

Lower isBetterReedbush-U

0214.8

172.8

200

600

0

倍精度演算性能 [GFlops]
メモリ全帯域幅[ 0.1 GB/s]

800

Higher is
Better2017年度料金(税込)．EC2とAzureは計測時料金(2015年11月，NFSサーバ用のインスタンス1台の料金も考慮)
Oakforest-PACSとTSUBAME Gは，通常のCPUではなく，倍精度演算性能のレンジが異なるので非掲載
Copyright © 2017 OCAEL All rights reserved.

7

使用OpenFOAMバージョン・コンパイラ・MPIシステム
Oakforest-PACS

バージョン
v1612+

コンパイラ(※1)
Icc 2017.1

MPIIntel MPI 2017.1(※3)(Flat, libhbm使用)(KNL向け最適化)

Reedbush-U

Gcc-4.8.5

OpenMPI 1.8.3

FCC GM-1.2.1-09

FJMPI GM-1.2.1-09

Gcc-4.8.4

OpenMPI 1.6.5(※4)

nvcc (cuda-6.5)

OpenMPI 1.8.4(※5)

Gcc 4.8.3

OpenMPI 1.6.5(※4)

Gcc 4.8.5

OpenMPI 1.8.5(※6)

Gcc 4.8.3

Intel MPI 5.1.1(※7)

Oakleaf-FX

2.3.0

TSUBAME S
TSUBAME G(GPU)

RapidCFD(※2)
FOCUS A, D, F, H
EC2 c4.8xlarge

2.3.0

Azure A9※1) 最適化フラグ: -O3，OakforestPACSのみ-O3 -DvectorMachine -xmic-avx512 ※2) rev:
d3733257dee5fb9999b918f5c26a1493cebb603c ※3) unset KMP̲AFFINIY;mpirun -env LD̲PRELOAD libhbm.so -env
HBM̲SIZE 100 -env HBM̲THRESHOLD 16 -env MPI̲BUFFER̲SIZE 1000000 -env
I̲MPI̲PIN̲PROCESSOR̲EXCLUDE̲LIST 0,1,68,69,136,137,204,205 -env KMP̲HW̲SUBSET 1T -env
I̲MPI̲PIN̲DOMAIN 4(または8) ※4) mpirun -bind-to-core -mca btl openib,sm,self ※5) mpirun -bind-to core -mca btl
openib,sm,self ※6) mpirun -bind-to core ※7) Azure A9のLinux OSでは，MPI通信にRDMAを使うためにはIntel MPIが必要

Copyright © 2017 OCAEL All rights reserved.

8

各システムの解析速度比較
RBU• 最高速は，4ノードまでFOCUS
FD
OFP F，8ノード以上はRBUTSFX • OFP，FOCUS

Higher isBetter

FF

A9
C48

D，AWS c4.8，

FH
TG

Azure A9が続く• インターコネク
トが10GbEの1ノードあたり，OFPはタイル0を除いた64コア，それ以外は全コアを使用

AWSは6ノードで飽和• TSUBAME G
は多ノードで性能が極端に劣化

Copyright © 2017 OCAEL All rights reserved.

9

各システムのStrong scaling並列化効率比較
RBU• Intel XeonかつInﬁnibandは，TS

概ねスーパリニアFF• FXは12ノードまFD

FAでほぼリニア• OFPは8ノード以上で急激に悪化• 10GbEのFOCUS HやA9FX

C48
Higher is
Better

OFPTG

FH

Amazon c4.8は少ないノード
数から劣化• TSUBAME Gの並列化効率は悪
いCopyright © 2017 OCAEL All rights reserved.

10成果非公開型システムのステップ毎の課金比較
TG FH

Lower isBetter• 最安価✓1, 2ノード:
TSUBAME GC48

✓4, 8ノード:
FOCUS F

A9TS

✓12〜16, 24ノー
ド：FOCUS DTS✓20ノード:
FOCUS A

• TSUBAME G，Amazon c4.8，

FF
TG

FD

FA

FOCUS Hは多ノードで高価• Azure A9はFOCUS Dと同等

Copyright © 2017 OCAEL All rights reserved.

11成果公開型システムのステップ毎の課金比較
Lower isBetter• 最安価✓1〜2ノード:TG

OFP✓4〜ノード：RBU✓FXTS
FX
OFP
RBU
Copyright © 2017 OCAEL All rights reserved.

12成果非公開型システムでの課金­解析速度曲線
FD

Better 速い

FF

ステップ数

最安価〜20K

FOCUS D〜15K

FOCUS F

〜3K

Azure A9〜1.5K

TSUBAMEG(GPU)

TS

安いC48
A9TG

TG
FH
TS

FA

Copyright © 2017 OCAEL All rights reserved.

13

成果公開型システムでの課金­解析速度曲線
ステップ数

最安価

〜40K

Reedbush-U〜7K

Oakforest
-PACS

〜400

OakleafFX

RBU

OFP
Better 速い

TG
FX

Copyright © 2017 OCAEL All rights reserved.

TS

安い

14

産応協HPCものづくりWSボックスファン
Outet region• 産応協HPCものづくりWS作成の共通

Inlet region

ベンチマーク問題

1.1m
Flow0.55m1.1m

厚さ45mmBox fan• ボックスファン✓翼枚数：9 [枚]✓回転数：3000 [rpm]✓プロペラ外径：111[mm]• 2箇所で実験実施：流量特性測定(JISB8330準拠)および騒音測定• HPCものづくりWS(2017年6月25日)✓結果発表機関：7
使用CFDコード：CFX, Fluent,
✓
縦横

126mm

FrontFlow/Blue，Helyx,

OpenFOAM，SCRYU/Tetra,
StarCCM+

Copyright © 2017 OCAEL All rights reserved.

15

ボックスファンベンチマーク共通メッシュ• 商用メッシャー使用• 格子数：約1310万• テトラ：約1050万• プリズム：約260万• プリズム第1層厚さ：約0.065mm

Inlet region

Outlet region
Copyright © 2017 OCAEL All rights reserved.

Mesh

Blade and boss surface
16

ボックスファン速度分布瞬時値
Inletregion

Outletregion• 非定常RANS解析(pimpleDyMFoam)• 乱流モデル ：k-ω SST• 移流項スキーム：2次風上流量2.186m /minでの静圧上昇の解析値：• 時間刻み：5 10 [s] (400step/rev) 実験値から約10%低い• 時間積分：定常解から2秒後(100回転後)
3-5Copyright © 2017 OCAEL All rights reserved.

17

ボックスファンベンチマーク条件・計測システム• 非定常RANS解析(OpenFOAM-v1612+，pimpleDyMFoam)• 乱流モデル ：k-ω SST，移流項スキーム：1次風上• 時間刻み：5 10 [s] (400step/rev)•2〜21ステップのCPU時間(Execution time)から1時間あたりのステップ数を算出• 圧力線型ソルバ: PCG，前処理FDIC，許容残差10• 圧力以外の線型ソルバ: Gauss Seidel，許容残差10• 領域分割手法：scotch-5-7-5機関システム(略称)

CPU [GPU](周波数[GHz])

JCAH Oakforest- Intel Xeon Phi 7250,
PC PACS (OFP) Knights Landing(1.4)
東京大 Reedbush学
U (RBU)

FOCU
S

CPU数 倍精度性能(コア) [GFlops]
1(68)

3046

メモリ[GiB](帯域幅[GB/s])

インターコネクト(帯域幅[Gbps])

96(115.2)，

Intel Omni-Path

MCDRAM 16(490)(100)
Inﬁniband
EDR(100)
Inﬁniband QDR(40)Intel Xeon E5-2695
v4 (2.1-3.3)

2(36)

1210

256
(76.8 2)A(FA)Xeon L5640(2.26)

2(12)

108

48 (25.6 2)D(FD)E5-2670 v2(2.5)

2(20)

400

64 (51.2 2)F(FF)E5-2698 v4(2.2)

2(40)

1152

128 (76.8 2)H(FH)D-154(2.1)

1(8)

205

64 (34.1)

Copyright © 2017 OCAEL All rights reserved.

Inﬁniband FDR(56)
10GbE(10) 2 or 418

Oakforest-PACSの解析速度
コンパイラ：Icc 2017.4，KNL用最適化：-O3 -DvectorMachine -xmic-avx512
MPI：Intel MPI 2017.3，タイル0除外，Flatモードではlibhbm使用• 最適化オプションはHigher is
BetterPeak
64PPN

128PPN

32PPN••

KNL用がデフォルト設定(-O3)より僅かに速い
2ノード以下では，PPN(ノードあたりの使用プロセッサ数)がHyper thread利用の128が高速多ノードではCache
よりFlatのほうが高速

解析速度最大条件：
32PPN，32ノード(1024プロセッサ)，Flat
Copyright © 2017 OCAEL All rights reserved.

19

Oakforest-PACSのstrong scaling並列化効率• Flat > Cache• 〜8ノード：

PeakHigher is
Better64PPN•64 > 32 >128PPN
16ノード〜：
32 > 64 >128PPN

32PPN
128PPN
並列化効率最大条件：
64PPN，4ノード(256プロセッサ)，Flat
Copyright © 2017 OCAEL All rights reserved.

20

Reedbush-Uの解析速度
コンパイラ：Gcc 4.8.5, Icc 2017.1，オプション：-O3(Intelは-xHost使用で悪化)，
MPI：SGI MPT 2.16, OpenMPI 2.1.1 (Intel MPIは多ノードで動作せず)• 多ノード，32PPN✓Gcc > Icc✓MPT > OpenMPI• 4ノード以下：

Higher is
Better36PPN
Peak 28PPN324864•

36PPN > 32PPN
48ノード以上：
28PPN > 32PPN

Gcc, MPT
Icc, MPT 32PPN
Gcc OpenMPI
解析速度最大条件:
32PPN，32ノード(1024プロセッサ)，Gcc，SGI MPT
Copyright © 2017 OCAEL All rights reserved.

21

Reedbush-Uのstrong scaling並列化効率
32PPN Gcc OpenMPIIcc, MPT

Gcc, MPT
28PPN• 32PPN✓12ノード〜：
MPT > OpenMPI〜32ノード：SGIMPTはスーパリニア
36PPN〜12ノード：リニア
32ノード〜：悪化
28PPN〜32ノード：スーパーリニア
48ノード：リニア✓Higher is
Better

36PPN

•✓✓
•
✓
✓

Copyright © 2017 OCAEL All rights reserved.

22

FOCUS Aのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

10PPN

12PPN

10PPN

12PPN
Higher is
Better

解析速度

Higher is
BetterStrong scaling• 解析速度✓2〜8ノード：12PPN > 10PPN✓32ノード〜：10PPN > 12PPN• Strong scaling： 〜32ノードでほぼリニア
解析速度最大条件：10PPN，64ノード(640プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

23

FOCUS Dのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

16PPN
18PPN
20PPN

18PPN
16PPN

Higher is
Better

解析速度

20PPN
Higher is
BetterStrong scaling• 解析速度✓〜16ノード 16PPN 18PPN 20PPN✓64ノード：16PPN > 18PPN > 20PPN• Strong scaling：〜32ノード 概ねリニア
解析速度最大条件：16PPN，64ノード(1024プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

24

FOCUS Fのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

32PPN
40PPN
36PPN

Higher is
BetterHigher is
Better

解析速度

Strong scaling• 解析速度：全ノードで32PPN 36PPN 40PPN• Strong scaling：4ノード〜 スーパーリニア
解析速度最大条件：32PPN，12ノード(384プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

25

FOCUS Hのベンチマーク結果(FOCUS共通) コンパイラ：Gcc 4.8.5，オプション：-O3，MPI： OpenMPI 2.1.1

6PPN

4PPN

解析速度

8PPN

4PPN
6PPN

Higher is
BetterHigher isBetter

8PPN
Strong scaling• 解析速度：4PPN 6PPN > 8PPN
• Strong scaling：✓4PPN 6PPN > 8PPN
✓インターコネクトが10GbEであるため，2ノード以上から除々に悪化する
解析速度最大条件：6PPN，16ノード(96プロセッサ)
Copyright © 2017 OCAEL All rights reserved.

26

各システムの解析速度比較
各システムでピーク性能が高い条件での解析速度を比較．OpenMPIを用いるFOCUSとの比較のため，Reedbush-UはMPIライブラリがMPT以外にOpenMPIも掲載

RBU MPTRBU OpenMPIHigher is
BetterFD
FF

FH

OFP 64PPN
OFP 32PPN

Copyright © 2017 OCAEL All rights reserved.

FA

解析速度順
1. FOCUS F
2. Reedbush-U (〜12ノード：OpenMPI，16ノード〜：MPT)
3. Oakforest-PACS,
64PPN(〜8ノード)
4. FOCUS D
5. Oakforest-PACS,
32PPN(〜32ノード)
6. FOCUS A
7. FOCUS H
27

各システムのstrong scaling並列化効率比較
RBU MPTRBU OpenMPIHigher isBetter

•
FDFF

•
FA

FH

OFP 64PPN
OFP 32PPN

Copyright © 2017 OCAEL All rights reserved.

••

スーパースケール
Oakforest-PACS,
64PPN (〜8ノード)
Reedbush-U, MPT(〜32ノード)
Reedbush-U,
OpenMPI(〜16ノード)
FOCUS F(〜12ノード)
概ねスケール• FOCUS D(〜32ノード)• FOCUS A(〜32ノード)
••

非スケール
FOCUS H
Oakforest-PACS,
32PPN

28

FOCUSのステップ毎の課金比較• 最安価✓1, 2ノード:

FH

FOCUS AFD

✓4〜12ノード:FA

FOCUS F

✓16ノード以上：FOCUS

FF

A, D

• Fの最大ノード数が2017年9月に26台に増
Lower isBetter

設されたので，16ノード以上でも最安値になる可能性が高い)

Copyright © 2017 OCAEL All rights reserved.

29

成果公開型システムのステップ毎の課金比較
OFP 64PPN• 最安価✓1〜4ノード:
OakforestPACS 64PPN✓8ノード以上:

Lower isBetterReedbush-U
SGI MPT

OFP 32PPN
OFP 64PPN

RBU
OpenMPI
RBU MPT

Copyright © 2017 OCAEL All rights reserved.

30

FOCUSの課金­解析速度曲線
FDFF

ステップ数

最安価

1K〜

FOCUS D

600〜1K

FOCUS F

100〜
600

FOCUS A
FOCUS F30〜100

ほぼ重なる〜30

FOCUS A

Better 速い

安いFA
FH

Copyright © 2017 OCAEL All rights reserved.

31

成果公開型システムの課金­解析速度曲線
ステップ数

最安価

1K〜

Reedbush-U，SGI
MPT〜1K

Reedbush-U，
OpenMPI〜400

Oakforest-PACS,64PPN

RBU MPTRBU OpenMPI
OFP
64PPN

Better 速い

OFP
32PPN

Copyright © 2017 OCAEL All rights reserved.

安い32

まとめ• FOCUSや大学のスパコンおよびクラウドにおいて，チャンネル流れおよびボックスファンのベンチマークテストを実行し，各システムでの解析速度や並列化効率，対費用効果を比較した．

• 課金ー解析速度の関係から，解析速度範囲に応じて最安価なシステムが分れる結果となった．

• FOCUSはシステムが多様だが，課金ー解析速度の関係がほぼ重なる課金システムなので，求める解析速度とキューの混雑状況に応じて，柔軟に投入キューを選択するのが望ましい．
謝辞 東京工業大学学術国際情報センター共同利用推進室の佐々木様から，OpenFOAMとRapidCFDの評価用として，TSUBAME 2.5の計算機リソースをご提供頂いた．日本Microsoft(計測当時)の佐々木様から，Microsoft Azure A9でのベンチマークの結果をご提供頂いた．電通国際情報サービス(計測当時)の住友様には，Amazon EC2のベンチマーク結果をご提供頂いた．青子守歌様には，RapidCFDのビルドについてご協力頂いた．スーパーコンピューティング技術産業応用協議会からボックスファンの共通メッシュや実験結果等についてご提供頂いた．FOCUSからボックスファンベンチマーク用に計算機資源を提供頂いた．ここに深く感謝する．
Copyright © 2017 OCAEL All rights reserved.

33