⾼レイノルズ数壁⾯乱流場の⼤規模直接数値シミュレーション
⼭本 義暢
⼭梨⼤学⼤学院総合研究部
yamamotoy@yamanashi.ac.jp

本⽇の発表内容
 名古屋⼤学の新システム：
FX1000(富岳と同⼀）2048ノードを⽤いて、世界最⼤Re条件下で壁⾯乱流直接数値計算コードのベンチマークを実施
 発表項⽬：
1) 壁⾯乱流場（チャンネル乱流場）とは
2) 直接数値計算の概要
3) 直接数値計算コードの概要
4) ベンチマーク条件（世界最⼤Re条件）
5) ベンチマーク結果と考察
6) 今後の課題
7) その他

FIG. ⼯学現象におけるRe規模
DNSにおいては、対象とするReを上げることが課題

2枚の平板間の流れ：
壁⾯に沿った流れ（壁乱流）のカノニカル流
乱流モデル評価等で必ず対象とされる流動場

1)チャンネル流(平⾏平板間流)
名古屋大学乱流風洞（辻研究室）y2h

Ly  2hxz
26hFIG. チャンネル流の実験⾵洞と数値⾵洞

最⼤渦を包括する計算領域
最⼩渦を解像する格⼦分解能→数百万ステップに及ぶ⻑時間積分2)直接数値計算の概要-2.0（青） < u+ < 2.0（赤），side view

Ly = h

主流方向変動速度

wall

FIG. 時間積分：T+=680間の流れ場の可視化 (Re=1000):T+/Re＝0.68
1.1

PRODUCTION RUN1+

wall . eng/eng0

INITIAL RUN

wall +
eng/eng00.9
010

2030T+/Re

405060

FIG. せん断応⼒・運動エネルギの時間変化
INITIAL RUN:助⾛計算

FIG. チャンネル流

PRODUCTION RUN: 本計算(⻑時間平均)

3)DNSコードの概要 I(all-to-all版）*
 基礎⽅程式
⾮圧縮性のNavier-Stokes式及び連続式
 離散化⼿法(x, z):フーリエスペクトル法→ 2D-FFT
y:2次精度中⼼差分法→差分演算＋3重対⾓⾏列解法(TDMA) 領域分割・1次元領域分割(x, z, y/nproc)
・2次元領域分割(x, z/nproc_z, y/nproc_y) 通信タイプ・all-to-all (TDMA)
・隣接シフト通信(差分ステンシル）

FIG. 1次元領域分割（4並列）
チェンネル流では、Nx ≠Ny≠ Nz→TDMA時は(x, z)⽅向を1次元化*京を対象として開発

3)DNSコードの概要 II(shift版)**

MN y ( N xsmall  1)

TDMA

格子数：Nx_small*Nｚ*Nｙ
TDMA(y方向格子当たりの)演算量:M
全演算量：M*Nx_small*Nｚ*Ny
MPI並列数：nprocs

空間離散化⽅法及び領域分割(y)は同じ

yz2nprocs

MN y0 1,11,11
1,11,12
1,11,131,1 1,1backward2nprocs

2,1 3,1 1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1
1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1 1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1
1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1
1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1 1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,42,1 3,1
1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,4 2,1 3,1 1,2 2,2 3,2 1,3 2,3 3,3 1,4 2,4 3,4

MN y N xsmall ( N z  1)

MN y N xsmall ( N z  1)

2nprocs

2nprocs

MN y ( N xsmall  1)

forward2nprocs

FIG. 3x4xNｙ 格子/4MPI 並列の場合
2MN y N xsmall ( N z  1) MN y ( N xsmall  1) 
Tc [ s ]   MN y  / Vcnprocsnprocs**SX-ACEを対象として開発

MN y N xsmall ( N z  1)

2nprocsrank
forwardxMN y N xsmall ( N z  1)

backward時間

TDMA時のall‐to‐all通信が発生せず、隣接シフト通信のみで計算可能

4) ベンチマーク条件
計算領域

レイノルズ数Re8000

Lx
Lz/h/h
16.0 6.4

格⼦点数（解像度）

メモリ量

演算量

Ny  y +)4096
(0.6-8.0)

Mem[TB]
54

Tflop/step
218

Nx  x +)6912
(18.5)Nz  z +)
5760
(8.9)

・計測システム
Nagoya U.
NIFS
Tohoku U.

理論性能（倍精度）

system
FX1000FX100SX-ACE

#node
2048
2048
1024

Mem
56
5660

・FFTライブラリ
FX1000/FX100 FFTW(OpenMP版）
SX-ACE ASL（⾃動並列版）

Tflop/s
6921
2068262

 all-to-all通信
FXシステム：mpi_alltoallv
SX-ACE:mpi_put ＋スケジューリング
 shift通信(TDMA):
mpi_sendrecvにより実装

5) ベンチマーク結果
・計測結果

表スペクトル法:6912x4096x5760 格⼦#nodesystemver.
s/step Tflop/s* efficiency
2048
Nagoya U. FX1000
shift
2.21
101.0
1.5%
NIFS
FX100** alltoall
2048
3.18
68.3
3.3%
Tohoku U. SX-ACE
shift
1024
9.51
22.8
8.7%
SX-ACE alltoall
1024
13.57
16.06.1%*IO 部分を含まない **tofu2 :4レーン使⽤時

・当初の期待 SX-ACE(1B/F)におけるFFT部分の実⾏効率は理論性能の16%程度→FX1000(0.3B/F) 理論性能の5%程度、通信⽐率を40%とすると、3%ぐらいの実⾏効率 （実測：1.46%）
 FX1000とFX100の理論性の⽐は3.35倍→本コードの実⾏速度⽐は1.44倍6)今後の課題(1)
・原因と対策：単体性能
 そもそも単体性能があまり良くない
表シングルノード性能：384x384x384 格⼦
Gflop/s efficiency
system ver. #node #MPI#AP
1Nagoya U. FX1000 shift48
1140.5
4.2%
CX2570 shift
132
178.9
3.0%
Tohoku U. SX-ACE shift
14
138.7
15.1%
Kyoto U.
XC40shift
164
180.2
2.6%
CS400 shift
132
132.9
2.7%
メモリバンド幅から考えれば、単体性能で理論性能の5-6%程度は出るのでは？
→コンパイルオプション等の検討; zfill
 ノード内のOpenMP部分の効率が悪い→原因は調査中 fjomplib に変更？
 ノード内コア数(48)に対し、格⼦数のバランスが悪い、FX100（32コア）

6)今後の課題(2)7273・・・

9495・原因と対策（ノード間）

4849・・・

70712425・・・

464701・・・

2223 ノード配置の最適化
・tofu構成単位（12ノード）・隣接シフト通信⽤にノード配置を指定（MAP使⽤）→今回未対応 通信ソルバの性能評価
・通信部分を切り出し、実効通信速度を評価（場合によっては置き換え） 2次元領域分割版の性能評価と最適化（富岳への接続）

FIG. 通常のノード配置
9594・・・

73724849・・・

70714746・・・

252401・・・

2223FIG. MAPを使い⼀筆書きに設定したノード配置：隣接シフト
通信が効率的7)その他：ポスト処理（可視化・統計解析）
h ( Re )  8000
外層:y+ 6000

⼤規模メモリシステム(名⼤UV)を利⽤して初めて計算領域全体の可視化が可能となった：1成分・1スナップショッ
トの可視化に約1時間程度→73セットの時系列データを使った動画を作成したいが・・・

内層上端:y+ 10002h 

対数層:y+ 300

4物理量（速度＋圧⼒）×73時系
列：データ量（約400TB）を使った機械学習による渦抽出
壁⾯近傍：y+=15

FIG. チャンネル流の可視化（全体）16h 
主流⽅向変動速度
⾚：⾼速領域、⻘：低速領域
 N x  6912,

名古屋⼤学 UVシステムを利⽤
N  4096, N x N y N z  1.63 1011
⾼橋⼀郎⽒、松本陽司⽒の協⼒により実施  y
約1600億格⼦点
 N z  5760

6.4h まとめ
 名古屋⼤学の新システム：FX1000(富岳と同⼀）2048ノードを⽤いて、世界最⼤Re条件下で壁⾯乱流直接数値計算コードのベンチマークを実施
 単純なコード移植により約100TFlop/sの実⾏演算速度を確認
 今後は、理論性能の3%程度の実⾏効率を⽬標としてコードの最適化を⾏う予定 2048ノードクラスの計算は富岳との接続において有⽤、またポスト処理においても多様なシステムを活⽤したい
本研究は、HPCIシステム利⽤研究課題(課題番号：hp200107）を通じて実施しました。
FIG. チャンネル流の可視化(Re効果）