学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

jh190044-NAH

3 次元非圧縮一様乱流の超並列計算に向けて
岡本 直也（愛知工業大学）
概要
乱流研究の挑戦的目標の１つは、自由度が莫大な十分小さいスケールにおいて、さまざまな乱流に共通する普遍的な性質を解明し、その知見を個別の乱流現象に役立てることにある。フーリエ・スペクトル法による高精度な一様乱流の直接数値計算はその目標に資するものであるが、超並列時代に向けて通信の少ない計算スキームの検討が重要であると考えられる。本研究では、空間離散化に 6 次精度コンパクト差分法、時間離散化として種々の時間スキームの組み合わせを試し、よく解像されたスペクトル法による計算結果と比較することで各スキームの信頼性を評価した。
評価の指標として、正確な再現性が最も難しいと考えられる Extreme Event に注目し解析を行った。詳細は本文を参照されたい。

1. 共同研究に関する情報流状態）になっている。したがって、環境問(1) 共同研究を実施した拠点名

題や工学的諸問題の解決には乱流現象の解

名古屋大学，神戸大学

明が必要不可欠である。乱流は、強非線形性(2) 共同研究分野に起因して大小さまざまな渦が幅広い強度■

超大規模数値計算系応用分野をもって混在し（マルチスケール性）、小さな

超大規模データ処理系応用分野

スケールほど、空間的にまばらに分布し（強超大容量ネットワーク技術分野間欠性）莫大な自由度を有している。乱流の

超大規模情報システム関連研究分野

大スケールは、通常、壁や外力の影響など、系固有の性質が反映したスケールである。乱(3) 参加研究者の役割分担

流研究の挑戦的目標の１つは、自由度が莫大・岡本直也（愛知工業大学）

な十分小さいスケールにおいて、さまざまな研究総括・プログラム開発・プロダクト

乱流に共通する普遍的な性質を解明し、そのラン知見を個別の乱流現象に役立てることにあ・横川三津夫（神戸大学）

る。フーリエ・スペクトル法による高精度な並列プログラムの高性能化

一様乱流の直接数値計算(DNS；基礎方程式を・金田行雄

モデル化することなく計算する手法)はその数理物理的知見からのアドバイス目標に資するもので、画期的な結果が創出さ・武中裕次郎（神戸大学）れてきた。スペクトル法は、与えられた格子並列プログラムの高性能化・プロダクト点数において最高精度で微分を評価できる

ラン

も の の 、 流 体 の 基 礎 方 程 式 (NavierStokes(NS)方程式)の非線形項の計算におい2. 研究の目的と意義て FFT を多く用いるため、大域的な通信に多大気・海洋などの地球規模流動現象や、もの大な時間が費やされる。したがって、通信量づくりをはじめとした社会的関心の高いさの点で超並列計算機では非効率的である。実まざまな流動現象は、乱れた流れの状態（乱際これまで「京」コンピュータ上で行われた
1

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

乱流の DNS は、スペクトル法としては実行性

これまでに開発済みであった非圧縮 3 次元能が高いものの 2～3%程度にとどまっている

乱流の MPI-OpenMP コードに外力項を加え、(Pencil 型 FFT, AlltoAll 通信が用いられて小スケールを減衰させない発達した乱流をいる)(Ishihara, Morishita, Yokokawa, Uno,シミュレートできるようにした。より具体的

Kaneda, Phys. Rev. Fluids, 1(8), 082403,

なスキームの種類としては、空間離散化には2016). 今後、日本が世界トップレベルの科

6 次精度コンパクト差分(CD6)、時間方向には学的に卓越した乱流基礎データを構築する

4 次、3 次、2 次精度 Runge-Kutta 法(RK4, RK3,ためには、富岳に代表される次世代の超並列RK2)、または 3 次、2 次精度 Adams-Bashforth

計算機を可能な限り効率的に利用すること法(AB3,AB2)を用いた。外力には、負の粘性にが不可欠であり、乱流 DNS で用いられうる基づく方法を実装した。非圧縮性を満たすた種々のアルゴリズムの検討・開発を、(i)正確めに、フラクショナルステップ法を用いた。

さと(ii)計算コストの点から行うことが早その際に、圧力に関するポアソン方程式を解急な課題である。計算コストを削減する方向く必要があるが、実空間のみの解法で解くこ性として、空間の離散化の効率化、時間スキとは計算コストが非常に高く、ここでは例えームの効率化ならびにこれらの混合などがば Laizet & Lamballais （J. Comput. Phys.

考えられる。

228(16), 5989-6015., 2009） と同様に FFT

本研究では，コンパクト差分法を利用したを利用した。

流体ソルバーを開発し，スキームの正確さと負の粘性による外力を有するコード SP-計算コストの評価を行う。強非線形な乱流

RK4(Ishihara et al. (2016). Phys. Rev.

（高レイノルズ数乱流）の特徴の１つとして、

Fluids, 1(8), 082403.) によって得られたExtreme Events(EE)が知られている。これは結果と比較し、今回作成した外力有りの CD6-

乱流中の物理量がその平均的な値より数オRK4, RK3, RK2, AB3, AB2 コードの結果の妥ーダー高くなる領域があることを表すもの

当性を確認した。

であるが、これはシミュレーションにとって高解像度の格子(N=20483, 𝑘𝑚𝑎𝑥 𝜂~6)で SP正確に捉えることが最も難しい量であると法で計算された場を正解とし，その場から計考えられるため、スキームの正確さを調べる算されるエンストロフィーの空間的な最大指標として主に用いた。ここでは EE をエン値 EE を𝐴(𝜏)とし，中解像度の格子(N=10243,ストロフィーの空間的な最大値として調べ𝑘𝑚𝑎𝑥 𝜂~3)で各スキームによって計算されたたものを報告する。

場により求められ EE の値を𝐵(𝜏)とし，次の量で定義される累積的な誤差を計算した。𝜂

3.

当拠点公募型研究として実施した意義

は Kolmogorov スケールであり、最小渦の代

特に今年度においては，「京」コンピュータ停表的な長さを表す。𝑘𝑚𝑎𝑥 𝜂~3, 6 は，それぞれ止後も，「京」コンピュータ型スパコン FX100

𝜂/𝛥𝑥~1, 2に対応する。𝛥𝑥は格子刻みである。

を利用することができた点や，高性能計算や

1 𝑡 |𝐴(𝜏) − 𝐵(𝜏)|𝑒(𝑡) = ∫𝑑𝜏𝑡 0𝐴(𝜏)

計算科学を専門とする研究者と連携した環境であることに意義がある。

表は，各スキーム𝑒(𝑡)の値を時刻𝑡 = 2.5, 5に対してまとめたものである。

4. 前年度までに得られた研究成果の概要

まず SP-RK4 による結果が，どちらの時刻今年度からの実施である。

においても他のスキームと比べて誤差が最5. 今年度の研究成果の詳細も小さいことがわかる。
2

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

CD と RK4, RK3, RK2, AB3, AB2 の組み合本報告書で解析したデータは 𝑅𝜆 ~200 程度でわせについては 𝑡 = 5 における CD-AB2 の誤あるが、Extreme Events の振る舞いは Yeung差が比較的大きいが、それ以外はほとんど違ら(Yeung, Sreenivasan, Pope,いがないことがわかる。これは，SP 法から差Fluids, 3(6), 064603. 2018) の高レイノル分法である CD6 に空間離散化を変更したこと

ズ数乱流の振る舞いと定性的によく似ておによる誤差の影響の方が、時間スキームにより、本研究で得られた知見は有用であると考る違いが誤差に与える影響より大きいことえられる。今後の課題としては、エンストロを示していると考えられる。

フィーだけでなくその他の物理量（例えば、Phys. Rev.

n 次構造関数やエネルギー散逸率の Extreme
表：各スキームによって得られた EE の累積Event など）の再現性を調べることならびに、的な誤差 𝑒(𝑡).CFL の定義は Yeung ら(Yeung,計算コストと統計的再現性の関係を明らか

Sreenivasan, Pope,にすることである。

Phys. Rev. Fluids,3(6), 064603. 2018)と同じものを用いた。

SP-RK4(CFL=0.5)
CD-RK4(CFL=0.25)
CD-RK3(CFL=0.5)
CD-RK2(CFL=0.25)
CD-RK2(CFL=0.5)
CD-AB3(CFL=0.25)
CD-AB2(CFL=0.25)

𝑡 = 2.5

𝑡=5

0.025

0.04

0.037

0.10

0.037

0.09

0.038

0.11

0.042

0.11

0.037

0.09

0.039

0.15

7. 研究業績一覧（発表予定も含む）(1) 学術論文 （査読あり）(2) 国際会議プロシーディングス （査読あり）(3) 国際会議発表 （査読なし）[1]

N.

Okamoto,T.

Matsuzaki,

M.

Yokokawa, Y. Kaneda, Effect of highorder finite difference discretizationof the nonlinear term on turbulence
statistics,

17th

European

Turbulence

Conference, 3 Sep 2019 - 6 Sep 2019,
Turin, Italy[2] N. Okamoto, Effect of high-orderfinite difference discretization on thestatistics
homogeneousof

3D

incompressible

turbulence,4thInternational Workshop on Marine-Earth

6. 今年度の進捗状況と今後の展望
今年度は外力項を含めたコード開発と、表にScience Simulations: Data assimilation

対応するプロダクトランを行った。申請時にand multiscale techniques for numericalは、ここで記載したものより大規模な格子点

simulation of turbulent flows, JAMSTEC,数を用いてより高レイノルズ数乱流をター

Yokohama, Japan, 2019/11/11 (keynote)

ゲットとする予定であったが、このプロジェ(4) 国内会議発表 （査読なし）

クトが採択された年度から代表者が他大学(5) その他（特許，プレスリリース，著書等）に異動することになり、想像以上に学内用務が多く、予定していた時間があまりとれなかったため、計算規模を縮小し研究を行った。
3