2018年12月14日
第十八回PCクラスタシンポジウム@秋葉原コンベンションホール

PCクラスタコンソーシアム実用アプリケーション部会報告

OpenFOAMによる流体解析ベンチマークテスト
スパコン・クラウド・FOCUSでのチャネル流れ解析
今野 雅
PCクラスタコンソーシアム実用アプリケーション部会 委員
オープンCAE学会V&V小委員会 委員長
東京大学情報基盤センター 客員研究員
株式会社OCAEL
Copyright © 2018 OCAEL All rights reserved.

1

オープンCAE学会共通OpenFOAMベンチマーク• 大学のスーパーコンピュータ✓近年は産業利用など教育・公共機関以外でも利用可能なシステム有り✓通常，課題審査が必要．通常1ヶ月〜1年単位での課金• 産業界専用のスーパーコンピュータFOCUS✓法人の場合，課題の審査無く利用可能✓1円単位で使った分だけ課金．ただし1年毎にアカウント発行料も必要• クラウドサービス✓通常，誰でも課題の審査無く利用可能で，使った分だけ課金(分または時間単位)• CPU，メモリ，インターコネクトに違いがあリ，性能比較が難しい．
• オープンCAE学会V&V小委員会で，チャネル流れによる共通OpenFOAMベンチマー
クを作成し，解析速度と並列化効率を比較した．

• 測定結果は学会のリポジトリで公開している．
• なお，昨年までは費用比較も行なっていたが，価格体系が複雑であったり，定額制であるシステムも含まれる事から，今回は費用比較を行わない．
Copyright © 2018 OCAEL All rights reserved.

2

オープンCAE学会チャネル流ベンチマーク
チャネル流れ (Reτ = 110)

解析条件

Lx × Ly × Lz = 5π × 2 × 2π
格子数約3MReτ = uτ δ/ µ = 110 [-](0.37, 24M ここで
Lx , Ly , Lz : 各方向のチャネル幅 [m]等他の格子uτ : 壁面摩擦速度 [m/s]
数の結果は
δ : チャネル半幅 [m] ( =Ly / 2 )レポジトリµ : 動粘性係数 [m2/s2]参照)✓メッシュ生成に時間を要しない✓構造格子のため，格子数変更が容易✓圧力と速度のみ解くので，「圧力線形ソルバの解析時間が支配的」という主流方向(x): 一定の圧力勾配

主流方向(x), スパン方向(z): 周期境界
ソルバ: OpenFOAM pimpleFoam
乱流モデル: 無し(laminar)
速度線型ソルバ: BiCG (前処理DILU)
圧力線型ソルバ: PCG (前処理DIC)

非圧縮性流体解析の特性を素直に示す 領域分割手法：scotch(周期境界面は同領域)• 2〜51ステップのCPU時間(Execution time)から1時間あたりのステップ数を算出
Copyright © 2018 OCAEL All rights reserved.

3

計測システム(黄色が昨年発表からの追加分)
機関システム(略称)

CPU [Intel Xeon](周波数[GHz])

CPU数 倍精度性能

メモリ[GiB]

インターコネクト[GFlops](帯域幅[GB/s])(帯域幅[Gbps])(コア)

96(115.2)，

JCAHPC

OakforestPACS(OFP)

Phi 7250 (1.4)

1(68)

3046

MCDRAM16(490)Intel Omni-Path (100)

東京大学

Reedbush-U(RBU)

E5-2695
v4(2.1-3.3)

2(36)

1210

256(76.8×2)

Infiniband EDR(100)A(FA)

L5640(2.26)

2(12)

108

48(25.6×2)

Infiniband QDR(40)D(FD)

E5-2670 v2(2.5)

2(20)

400

64(51.2×2)

F(FF)E5-2698 v4(2.2)

2(40)

1152

128(76.8×2)

H(FH)

D-154(2.1)

1(8)

205

64 (34.1)

10GbE(10)×2 or 4

c4.8xlarge(c48x)

E5-2666 v3(2.9)

2(18)

310

60(不明)

10GbE(10)Azure A9(A9)E5-2670(2.6)

2(16)

333

112(不明)Infiniband QDR(40)Azure H16r(H16r)

E5-2667 v3(3.2)

2(16)

691

112(不明)Infiniband FDR(56)大阪大学

OCTOPUS(OCT)6126 (2.6)

2(24)

1997

192(255.9)

Infiniband EDR(100)

九州大学

ITO A(ITO)

6154 (3.0-3.7)

2(36)

3456

192(255.9)

Infiniband EDR(100)OracleBM HPC 2.36(ORA)

6154 (3.0-3.7)

2(36)

3456

384(255.9)

RoCE v2 (100)

FOCUS

AmazonMicrosoft

Infiniband FDR(56)注) 倍精度性能は，機関のWEBページに明記された値，または，AVXの動作周波数を考慮して算出したWEBページから引用
Copyright © 2018 OCAEL All rights reserved.

4

使用OpenFOAMバージョン・コンパイラ・MPIシステム

Ver.

OCT

MPI

コンパイラ
Icc 2018.2

実行時の主な設定(注)I_MPI_DYNAMIC_CONNECTION=0,Intel MPI 2018.2 I_MPI_DAPL_TRANSLATION_CACHE=0,
I_MPI_DAPL_UD_TRANSLATION_CACHE=0

OpenF
unset KMP_AFFINIY ;KMP_HW_SUBSET=1T,
OFP2019 OAM
Icc 2019.1 Intel MPI 2019.1 I_MPI_PIN_PROCESSOR_EXCLUDE_LIST=0,1,68,69,136,137,204,205, I_MPI_PIN_DOMAIN =4,
OFP2017 v1612+
Icc 2017.4 Intel MPI 2017.3 MPI_BUFFER_SIZE=8388608(8MiB), HBM_THRESHOLD=4,(Flat)
HBM_SIZE=256, LD_PRELOAD=libhbm.so．IccKNLでビルドRBU

SGI MPI 2.14

ITOIntel MPI 2018.1 I_MPI_DAPL_TRANSLATION_CACHE=0,
I_MPI_DAPL_UD_TRANSLATION_CACHE=0

ORA

Gcc-4.8.5 Intel MPI 2018.1 I_MPI_DAPL_UD_TRANSLATION_CACHE=0

H16r

I_MPI_DAPL_TRANSLATION_CACHE=0,

OpenF

I_MPI_FABRICS=shm:dapl, I_MPI_DAPL_PROVIDER=ofa-OAM

Intel MPI 5.0.3

I_MPI_DAPL_DIRECT_COPY_THRESHOLD=655360

2.3.0
A9c48x
FOCUS

v2-ib0, I_MPI_DYNAMIC_CONNECTION=0,Intel MPI 5.1.1
Gcc 4.8.3

I_MPI_FABRICS=shm:dapl, I_MPI_DAPL_PROVIDER=ofav2-ib0, I_MPI_DYNAMIC_CONNECTION=0

OpenMPI 1.8.5

mpirun -bind-to core

OpenMPI 1.6.5

mpirun -bind-to-core -mca btl openib,sm,self

注) OFP2017では，MPI̲BUFFER̲SIZE=1000000, HBM̲THRESHOLD=16,HBM̲SIZE=100．その他は同様
Copyright © 2018 OCAEL All rights reserved.

5

各システムの解析速度比較
ITO OCT

RBU

Higher isBetter

ORA

OFP2019
最高速
・1〜3ノード：

c48x

ORA

OFP ORA (Skylake2017 6154, RoCE v2)
・4〜32ノード：
ITO (Skylake6154, IB EDR)
次点全物理コアを使用
OFPのみ，OS割込みを受けない 64コアを使用

・OCT (Skylake6126, IB EDR)・RBU (Broadwell,IB EDR)
10GbEであるc48xは6ノードで飽和

Copyright © 2018 OCAEL All rights reserved.

6

各システムのStrong scaling並列化効率比較• InﬁnibandのHigher is
BetterRBUFF

RBU，ITO，ITO

OCTFDOCT，FD，FAは16ノードまでスーFA

パリニア• RoCE v2のORAは16ノードまで概ねスケール• OFP2019は12ノード以上で悪化

ORA
c48x

Copyright © 2018 OCAEL All rights reserved.

OFP
2017

• 10GbEのc48xは6ノードから劣化

OFP
2019

7

まとめ

• FOCUSや大学のスパコンおよびクラウドにおいて，オープンCAE学会V&V小委員会作成のチャンネル流れによるOpenFOAMベンチマークテストを実行
し，各システムでの解析速度や並列化効率を比較した．

• 理論演算性能やメモリバンド幅が高い最新のシステムは高い性能が得られた．
• インターコネクトがInfinibandのシステムでは，16ノードまでスーパーリニアとなるが，10GbEのシステムでは6ノード以上でスケールしなかった．一方，
RoCE v2のシステムは16ノードまで概ねスケールした．

• インターコネクトのトポロジによってはMPI通信のレイテンシが大きくばらつき，多ノード並列での性能が劣化する．今後はホスト間MPI通信の帯域幅・レイテンシの統計値等も併せて取得していきたい．
謝辞：電通国際情報サービス(計測当時)の住友様からAmazon EC2，日本Microsoft(計測当時)の佐々木様からMicrosoft Azure A9，日本Microsoftの五十木様からMicrosoft Azure H16rでのベンチマークの結果をご提供頂いた．ここに深く感謝する．

本ベンチマーク測定結果のコミットをお待ちしております!
Copyright © 2018 OCAEL All rights reserved.

8

附録：OpenFOAM自動ビルドスクリプト• 実用アプリケーション部会でOpenFOAM講習会を実施したシステムでは，原則として本OpenFOAMベンチマークを実施し，公開している(例：大阪大学 OCTOPUS)．

• OpenFOAMをビルドするには，各種依存ソフトウェアが必要であり，依存ソフトウェアがシステムに無い時，ソースからビルドする必要が生じる．

• 種々の依存ソフトウェアのバージョン制限を考え，適切なバージョンのソースをダウンロードし，適切な順序でビルドしていくのは面倒．

• ビルド作業を自動化する installOpenFOAM を作成．
• bashスクリプトなので，大抵のLinuxシステムでそのまま実行可能．
• 依存ソフトウェアのバージョンを指定可能．
• 必要なソースを自動でダウンロード．
• ビルドした依存ソフトウェアの再利用．
• 複数のコンパイラバージョン，MPIバージョンの組み合わせを自動的にビルド．
• FOCUS，Reedbush-U，Oakforest-PACS，ITO，OCTOPUS等のシステムについて，環境設定済み．並列ビルド用のジョブスクリプトも有り．

オープンCAE学会のレポジトリで公開中!
Copyright © 2018 OCAEL All rights reserved.

9