2018/02/26
2017年度第2回 計算科学フォーラム

乱流の準直接計算技術の工学応用

みずほ情報総研株式会社
山出吉伸

何故、計算するのか？

ターボ機械

https://en.wikipedia.org/wiki/Geomagnetic_storm

出典：車~1999 年
宇宙： L: 107 [m]船舶
1999~2002 年
地球： L: 104 [m]2002年～
機械： L: 10-1 ～103 [m]講演の内容はじめに
準直接計算の工学応用事例
船体抵抗予測技術の開発
車室内騒音の予測
ポンプ吸い込水槽の吸込渦発生メカニズム
遠心送風機から発生する空力騒音の予測
風車

ポスト京にむけて

1. はじめに

乱流の準直接計算

yxz

車体まわり流れの準直接計算
30 m/s10mm

車体まわり流れの準直接計算(400億グリッド）

車両上面に発達する乱流境界層における渦の可視化結果

車体表面における0.5mm程度の渦の運動を計算

車体まわり流れの準直接計算

定常圧力場

変動圧力場

→Cd （燃費）→非定常空気力 （走行安定性）→車室内騒音 （乗り心地）

計算機の動向：top500
1.E+09EFLOPS

1.E+06PFLOPS

1.E+03
TFLOPSGFLOPS
1.E+00
1990

1995

2000

2005
Year

2010

2015

2020

出典：http://www.top500.org/

準直接計算技術の工学応用

1.E+11
1000億グリッド

homogenuous flow
channel flowcarturbomachineryship
LES by FFB

乱流の基礎研究

ＬＥＳの工学応用

1.E+08
1億グリッド10万グリッド
1.E+051980

FFBによるLESの工学応用

1990

2000

2010

2020

2.2 準直接計算の工学応用2
車室内騒音の予測

Introduction

SAE INTERNATIONAL

Background & Objective
Aeroacoustics NoiseEngine Noise
Road Noise

Reduction of Interior Noise↑
Prediction and Understandingof Interior NoiseSAE INTERNATIONAL

Paper # (if applicable)

13

Test Car

coversSimplified

flat plate

Covers and flat plate
to simplify external flow
SAE INTERNATIONAL

originalAll interior components have been
removed to simplify internal acoustics
Paper # (if applicable)

14

Methodology

SAE INTERNATIONAL

Direct Simulation of Interior Noise

External Flow

Body Vibration

CFD

SEA (Statistical Energy Analysis)

Present Method

CFD
Pressure
Fluctuation

SAE INTERNATIONAL

Acoustic Field

StructuralAnalysis

Vibration
Acceleration

AcousticalAnalysis

Incompressible Flow Solver
Sound Sourcenear the Door Mirror②Sound Source
Near the Side Window①Door Mirror
Side Window

SAE INTERNATIONAL

Wall Resolving LES of Exterior Flow
V: Convection Velocity

 Frequency

R: Vortex Size In this case,

F=2.0kHz
V=30 m/s⇒ R=2.4 mm
 Grid resolution
1.6 mm
SAE INTERNATIONAL

Paper # (if applicable)

18Wall Resolving LES of Exterior Flow
 Diameter of Vortices
0.3 mm(δ+=δUτ/ν ~ 30)

δSAE INTERNATIONAL

Paper # (if applicable)

Paper # (if applicable)

1919

Numerical Conditions

SAE INTERNATIONALComputational Model
Car Shape: Simplified Commercial Car Model (SUZUKI)
Computational Domain: 40m ×18m × 9.5 m
Boundary Condition:
 Inlet: Constant Inlet Velocity (30m/s)
 Outlet : Constant Pressure Other: Non-SlipSGS model: Dynamic Smagorinsky Model

SAE INTERNATIONAL

Paper # (if applicable)

21

Computational Cases
Base mesh

5 billion mesh 40 billion
mesh

80 million

5 billion

40 billion

Wall Normal Grid Resolution [mm]

0.8

0.2

0.1

Number of CPUs

1,204

3,456

39,998Cal. Time [sec]

1.62

0.28

0.01

Flow Visualization○○○

Comparisons with Measurements○○x

Number of Grids

Super Computer, K
SAE INTERNATIONAL

Paper # (if applicable)

22

Results

SAE INTERNATIONALComputational Results
Cd and Cl
Visualization
 Pressure (time average and RMS)
 Vortical Structure Pressure Fluctuations
Power Spectra of Pressure Fluctuations
Acoustic and Hydrodynamic Pressure Fluctuations

SAE INTERNATIONAL

Paper # (if applicable)24

Cd & Cl
0.40
Base-Mesh LES
5-Billion-Mesh LES

CdCd

0.35

0.30

Measured:
0.300

0.25

0.20

0.0

-0.4

-0.3

-0.2

-0.1

0.00.1Time [sec]

Cl

0.3

0.4

Base-Mesh LES
5-Billion-Mesh LES-0.1Cl

0.2-0.2

Measured:-0.019-0.3-0.4-0.4
SAE INTERNATIONAL

-0.3

-0.2

-0.1

0.0

Time [sec]

0.1

0.2

0.3

0.4
25

Static Pressure (5 billion mesh)
Ave.

-1.0

0.22

-2.0

0.00

RMS

SAE INTERNATIONAL

Vortical Structures

Base Mesh LES
SAE INTERNATIONAL

5 Billion Mesh LES

40 Billion Mesh LES

Vortical Structures

Main-flow direction

10 mm Dummy Cube

40 Billion Mesh LES
SAE INTERNATIONAL

Pressure Fluctuation on the Car Surface (1/3)

Base Mesh LES
SAE INTERNATIONAL

5 Billion Mesh LESPressure Fluctuation on the Car Surface (2/3)

Base Mesh LES
SAE INTERNATIONAL

5 Billion Mesh LESPressure Fluctuation on the Car Surface (3/3)

Base Mesh LES
SAE INTERNATIONAL

5 Billion Mesh LESSampling points of pressure fluctuation

Point-3

Point-1
Point-4
Point-2
SAE INTERNATIONAL

Point-6
Point-5

Power Spectrum of Pressure Fluctuation (1/3)
Point-3

Point-1

Point-6
Point-5

Point-4
Point-2

Point-1
SAE INTERNATIONAL

Point-2

Power Spectrum of Pressure Fluctuation (2/3)
Point-3

Point-1

Point-6
Point-5

Point-4
Point-2

Point-3
SAE INTERNATIONAL

Point-4

Power Spectrum of Pressure Fluctuation (3/3)

Point-6
Point-5

Point-5
SAE INTERNATIONAL

Point-6

Acoustic and Hydrodynamics Pressure Fluctuation (1/2)
Sound Sourcenear the Door Mirror②

Sound Source
Near the Side Window①

Door Mirror
Side Window

SAE INTERNATIONALAcoustic and Hydrodynamics Pressure Fluctuation (2/2)
Sound Sourcenear the Door Mirror②

Sound Source
Near the Side Window①

Door Mirror
Side Window

SAE INTERNATIONAL

2.3 準直接計算の工学応用3
ポンプ吸込水槽の吸込み渦発生メカニズム

Numerical Conditions
Coarse LES
0.4 mm0.25 billion grids

Fine LES
0.2 mm2.00 billion grids

2000[mm]vermouth

Steps with 5mm height and5mm width for as turbulence
generator

Grid Resolutions Dependency
Top View

Side View

Air-entrained Vortex(isosurfaces of vertical vorticity)

Submerged vortex
Coarse LES
Fine LES
0.45mm, 0.25 billion grids
0.23mm, 2.00 billion grids

flowAppearance and Disappearance
Top View

Top View

Streamline on the bottom wallcolored by the vertical vorticity

Side View

Zoom upflow
Top View

Approaching Boundary Layer
Turbulent Boundary Layer
Laminar Boundary Layer
No Boundary Layerx
X=6

X=5X=4

X=3

X=2

X=1

Approaching Boundary Layer

Turbulent Boundary Layer

No Boundary Layer

Laminar Boundary Layer

Summary of Case-1
Vortex Appearance Velocity shear of approaching B. L.
 Small vortices in TBL are not origin.
Vortex Disappearance Merging of vortices

現象の理解に基づく吸込渦抑制対策

標準

対策1：
水深を高くする。

対策2：
水槽を深くする。

現象の理解に基づく吸込渦抑制対策

標準

対策1：水深を高くする。

対策2：水槽を深くする。

2.4 準直接計算の工学応用2
遠心送風機から発生する空力騒音の予測

INTRODUCTION

Background & Objective
 Accurate prediction of aeroacoustics
noise from a blower or fan Validation studies for several kind ofblowers and fan

Ref. AICFM13-023

AICFM13-139

Ref. AICFM13-097

Test Centrifugal Blower
Number of impeller blades
Diameter at inlet
Diameter at outlet
Outlet height
Blade profile
Revolution speed

12260 [mm]
460 [mm]
39 [mm]
NACA652,000 ~ 3,000 [rpm]
460mm
260mm

39mm

Aeroacoustics Noise from a Blower
 Tonal Noise

Stator-Rotor Interaction

Flow Separations and/or Secondary flow
Vortex Motions in TBL

 Broad Band Noise60

Scaled SPL [dB/Hz]

50Exp.

4030201000400

800
1200
Frequency f [Hz]16002000Vortex Scale in TBL on Impeller
Frictional Velocity: 3.0 m/s
Diameter: 0.15 mm
Spacing: 0.75 mm
rotation

5 billion LES
suction side

pressure side

CONDITIONSComputational Model
Inlet: Velocity
InletregionOutletregionOutlet: Pressure

Impeller(a)Over all of Computational model

DuctImpeller

Duct

Computational
Gridsmodeland Cases(a)Over all of Computational 10 million LES(b)Mesh(Δ+ =around80), Impeller
20 revolutionsof impeller
region 80 million LES (Δ+ = 40), 10 revolutions of impeller 640 million LES (Δ+ = 20), 10 revolutions of impeller 5 billion LES (Δ+ = 10), 0.05 revolutions of impeller

RESULTS

Static Head

Pressure ceofficient Ψs

1.2
1.1

Exp.

Cal.

0.16

0.20

1.0
0.9
0.8
0.7

0.6
0.00

0.04

0.08

0.12

Flow coefficient Φ

64 million LES

Vortices in TBL on Impeller
rotationsuction side

pressure side

5 billion LES

Vortices in TBL on Suction Side
rotationrotation
T.E.

T.E.

L.E.

L.E.

10 million LES

80 million LES
rotationrotation
T.E.

T.E.

L.E.

640 million LES

L.E.

5 billion LES

Vortices in TBL on Pressure Side
rotationrotation

T.E.

T.E.

L.E.

L.E.

10 million LES

80 million LES

rotationrotation

T.E.

T.E.

L.E.

L.E.

640 million LES

5 billion LES

10 million LES

80 million LES

640 million LESPressure
Coefficients(b)Normalized pressure fluctuation
0.00

B1

B2

B3

B4

B5

B6

B7

C2

B1

C1

C2

C3

C3

B2

80

B3

C1

B7

B4

B6

B5

67

Cut off

Impeller(c)Sketch of comparedpoints0.08
1.4

MEASURED

1.2

MEASURED

LES (640 Mgrids)

0.06

LES (640 Mgrids)

0.8

Cp'Cp

1.00.04

0.6
0.4

0.02

0.2
0.00.00

B1

B2

B3

B4

B5

B6

B7

C1C2C3

B1

B2

B3

B4

B5

B6

B7C1C2C364 million LESPower Spectra of Pressure Coefficients
0.00

B1

B2

B3

B4

B6

B7

C1

C2C3(b)Normalized pressure fluctuation
C2
B1
C3

B2

80

B3
B7

B4

C1

B6

B567

Cut offImpeller(c)Sketch of compared points
Spectrum Density of Cp-Mag. [-]Spectrum Density of Cp-Mag. [-]B5

B1:EXP

1.E-02

B1:CFD (640M)

1.E-03

1.E-04

1.E-050123

F/NZ [-]

45664 million LES
C1:EXP

1.E-02

C1:CFD (640M)

1.E-03

1.E-04

1.E-050123F/NZ [-]456

2.4 準直接計算の工学応用4
風車後流の高解像度計算

風車後流の高解像度計算

ウインドファームの流れ解析（九州大学、提供）

風車まわり流れ解析

3. ポスト京にむけて

HPCものづくりワークショップ（2018/02/03、東大生研）

重点課題8Cにおける開発項目とその目的• FFBの高速化（コデザイン）、理化学研究所
ソフト・ハードあわせ100倍の高速化• 圧縮性コードの開発
空力騒音の直接計算、オーバーセット計算のロバスト性向上• LBMベースの流体解析システムFFXの開発、九州大学
完全自動メッシュ作成、1兆規模大規模計算• 乱流モデルの開発
準直接計算の抜本的計算コストの削減

LBMコードによる乱流の準直接計算

対流項

拡散項

対流項は隣接グリッドからのコピーから計算され精度が高い

LBMコードによるNACA0012翼まわり流れ解析（九州大学）

精度検証-1：一様等方性乱流

1.0E+00

Power Spectrum of E

1.0E-01

1.0E-02

1.0E-03

1.0E-04
DNS
FFB:no-model
FFX:no-model

1.0E-05

1.0E-06
110100

Wave Number

FFB:Re=121
乱流エネルギースペクトル

FFX:Re=121
乱流構造の可視化結果

精度検証-2：Cavity流れ

精度検証-3：複雑形状まわり流れ グリッド数： 約8億グリッド
 計算機： FX100 48ノード （48TFLOPS)
 処理時間: メッシュ作成：約1分
 流れ計算約：約0.3 sec/step グリッド数： 約500億グリッド
 計算機：
 京 1,536ノード （192 TFLOPS)
 処理時間: メッシュ作成：1分
 流れ計算約：約1.1 sec/step京におけるweak-scaleベンチマーク結果
1.00E+15

PFLOPSPFLOPS

2.2兆グリッド
5500億グリッド

700億グリッド
86億グリッド

1.00E+12
TFLOPSPFLOPS
TFLOPS

11億グリッド
1.3億グリッド

5% of peak
GFLOPS
1.00E+09
1.E+00

1.E+01

1.E+02

1.E+03

1.E+04

1.E+05

ノード数

京のほぼフルノードを用いて2.2兆グリッドまでスケールすることを確認

おわりに

おわりに
年代
計算機性能
代表的な計算機
計算規模

2000年代GFLOPS級
ES

2010年代PFLOPS級
京

2020年代EFLOPS級
ポスト京Million106

Billion109

Trillion
1012

製品性能予測と現象理解