学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

jh140020-NA11

次世代ペタスケール CFD のアルゴリズム研究佐々木大輔（金沢工業大学）
将来の更なる計算機性能の向上を念頭に，等方直交格子をベースとする次世代 CFD アルゴリズムを構築する研究を進めている．等方直交格子はその単純性から格子生成を極めて高速に行え，高次精度解法の導入も容易である．これら利点は大規模並列計算機上で行う大規模非定常計算により更に強化されることが期待される一方，並列性能を向上させることが不可欠である．本研究では，これまで開発してきた等方直交格子をベースとする計算手法の更なる実用化を図るために空力音響伝播解析及び多数物体の移動問題に対するアルゴリズム開発と共に，音響伝播解析手法の並列性能の改善に向けた調査を実施し，並列性能向上に向けた検討を行った．

1.

共同研究に関する情報トル化技術（東北大・サイバー）(1) 共同研究を実施した拠点名

2.

本共同研究は，東北大学・名古屋大学・九州大研究の目的と意義学を共同研究拠点として実施し，東北大学・名古次世代高性能計算機を活用したシミュレーショ

屋大学・九州大学の計算機・設備を利用している．

ン技術に対する産業界の期待は近年ますます大きくなりつつあり，革新的な製品開発のブレークス(2) 共同研究分野ルーにつながることが期待されている．本研究で■超大規模数値計算系応用分野

は，従来は計算機能力の限界により制限されてい

超大規模データ処理系応用分野

た様々な流体問題への挑戦を目指し，シミュレー



超大容量ネットワーク技術分野

ション技術の高度化を通じて航空機やガスタービ■

超大規模情報システム関連研究分野

ン，自動車等様々な流体機械の高性能化と環境適合化に資することを目的としている．
多くの CFD 研究では，現行アルゴリズムの高(3) 参加研究者の役割分担

本共同研究は，金沢工業大学・東北大学（サイ度化・複雑化により大規模計算を目指しているのバーサイエンスセンター，流体科学研究所）
・東海に対し，本研究では，ペタスケール計算機の能力大学・名古屋大学・宇宙航空研究開発機構を活かすためにアルゴリズムの単純さを強化して，（JAXA）
・理化学研究所と共同して研究を実施しCFD およびその応用に革新性をもたらすことをた．研究内容と研究機関の役割分担は以下の通り狙ったものである．現在のアルゴリズムを単純にである．

拡張しただけでは超大規模並列環境を効率的に使①流体計算のアルゴリズム開発(金沢工大，東北用することは不可能であるため，計算機科学の分大・流体研，東海大，理研)②応用工学問題への適用

野との密な連携による超大規模並列環境下におけ(金沢工大，東北大・流る超並列アルゴリズム開発が不可欠である．本研

体研，東海大，JAXA)

究では，ペタフロップス級流体計算を可能とする③ペタスケール向けの超並列化技術（東北大・サ流体ソルバのアルゴリズム開発と，次世代高性能イバー・名大・情報基盤）

並列計算機や大規模ベクトル計算基盤におけるソ④可視化システムの連携技術の構築（東北大・サルバの高効率実行を可能にする超並列化技術およ

イバー・名大・情報基盤）

びベクトル化技術の研究開発に取り組む．また，⑤大容量のオンチップキャッシュを考慮したベク

超並列アルゴリズム開発に加えて，大規模なデー
1

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

タの取り扱いを可能にするデータ圧縮法や遠隔可に余地があるため，本年度の取り組みとして並列視化法等の研究も共同で実施する必要がある．

性能向上に向けた取り組みを実施する．

本研究では，直交格子法ベースの計算手法であまた，本公募型共同研究では，直交格子における Building-Cube 法（BCM）の計算効率（ベクトる CFD アルゴリズムの開発を行い，非圧縮性ソル化・並列化）の向上を目的とした研究を実施し，ルバによる航空機主脚の空力音の解析や自動車空大規模計算機上での実用性の向上を図る．更に，

力解析，音響伝播解析手法によるファン騒音解析

直交格子法自体の計算精度を向上させるために，を通して，本手法の工学的な有効性を示してきた．

工学実用問題への応用を通して流体計算の信頼性

5. 今年度の研究成果の詳細向上を目的とした研究を進める．
平成 26 年度は，直交格子を用いた空力音響伝播

ジェットエンジン騒音の解析手法の開発

解析の実用化に向けたアルゴリズム開発，多数移既存の航空機形態において，各騒音源を低騒音動物体問題のアルゴリズム開発を中心として研究化する研究開発が進められているが，それに対しを行い，応用工学問題への適用を行う．加えて，て航空機の形態を変更することによって大幅な低分散メモリ型並列計算機上での流体・音響伝播解騒音化を達成しようとする研究も進められている．

析手法の効率的な並列化手法の構築に向けた研究

これは，主にエンジン位置を変更することにより，として，ロードバランスの改善法を検討する．

エンジン騒音を機体により遮蔽するという試みである．様々な航空機形態が提案されているが，本3. 当拠点公募型共同研究として実施した意義

研究ではエンジンを主翼上面に取り付けるペタフロップス級流体計算を可能とする流体ソ

Over-the-Wing Nacelle (OWN)形態に着目し，図１

ルバのアルゴリズム構築のためには，大規模ベクに示す簡略化モデルを用いて LEE ソルバにより騒トル計算機や超並列計算機環境による評価が必須

音遮蔽効果を定量的に検証した．本研究では 5kHzであり，当公募型共同研究による計算機環境が必までのファン騒音の近傍場での伝播を解析するた要不可欠である．並列性能の向上のために流体解めに，約７億点の格子点を用いて三つのナセル位析手法や音響伝播解析手法を改良するためにも，置における騒音遮蔽量を周波数帯ごとに解析した．

本枠組みは非常に有効である．また，複数拠点をその結果，周波数帯により騒音の伝播特性が異な使うことで，スカラー型及びベクトル型計算機にり，特に低周波数帯に対しての遮蔽効果は高周波対応したアプリケーションの開発，ネットワーク数帯と比較してあまり大きくないことが分かった．

を介した大規模データのハンドリング技術，可視圧 縮 性化技術の考案を行うことが可能である．

Reynolds-Averaged

Navier-Stokes(RANS)ソルバと LEE ソルバの連成計算として，RANS ソルバの計算結果を元にして乱流騒音を効率4. 前年度までに得られた研究成果の概要的に予測する手法を構築した．構築した手法は本 研 究 で 開 発 を 進 め る Building-Cube 法 はStochastic Noise Generation and Radiation

2004 年に提案したものであるが，本公募型共同(SNGR)モデルと言い，流れ場の解析と，乱流騒音研究を通して計算技術の開発を進めており，非圧源の発生，発生した騒音の伝播を分離して解析す

縮性流体解析手法・圧縮性流体解析手法に対してる．圧縮性 RANS ソルバを用いて流れ場を解析し，並列化・ベクトル化効率の向上を図ってきた．昨

合成渦法により騒音源を発生させ，LEE ソルバに

年度は，圧縮性オイラー方程式を音波成分に対しより発生した騒音の伝播を解析する．構築したて線形化した線形オイラー方程式（LinearizedSNGR モデルをマッハ数 0.72 のジェット騒音(図 2)

Euler Equation, LEE）に基づく音響伝播解析手に適用し，その予測精度を確認した結果，近傍場法の MPI 並列化を実施したが，並列化性能の向上での音圧レベルは実験値とよい一致を示した．ま2

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

た，Building-Cube 法のフレームワークと，騒音で計算負荷が小さい利点がある．これらの特徴を源の発生手法として合成渦法を用いることにより， 生かした計算手法は世界的にも研究例が多く見ら
既存の手法と比較して，RANS ソルバから LEE ソルれるが，その一方で複数の移動物体を含む流れ場バへのデータの受け渡しや計算速度などが高速化への適用例については研究例が多くない．そこでされた．

本研究では世界に先駆けて複数の移動物体の干渉によって誘起される流れ場についての解析手法を構築することを目的に研究開発を行った．
解析対象として着目しているのは，多数の微粒子を含む流れ場であり，これらの微粒子が圧力波と影響し合う乱流場を解析することを目的としている．図 3 と図 4 は，超音速付近で飛行する微粒子を含む流れ場中の渦度と圧力場を可視化した結果である．この結果はロケット後流内部における流体場の解析結果で，固気連成解析の重要な結果として現在 ECCOMAS 等で発表を予定している．

図１

モデル表面と直下の瞬時圧力分布

衝撃波の内部に多数の微粒子が存在する場合，それらが相互に干渉しあうことで衝撃波の形状や強さが変化することは以前から研究されており，本研究によってそれらの詳細なメカニズムを明らかにできると考えている．現在の解析では運動方程式の導入と粒子の衝突現象の再現までができており，現在までに数 10 個の粒子で解析を行った．今後は数 100 から数 1000 のオーダの粒子を解析し，流体場への影響を調査する．

図2

RANS 解析により得られた乱流運動エネルギー分布(上)とジェットから発生した瞬時の圧力変動値（下）直交格子法を用いた複数の移動物体周りの圧縮性流体解析法の構築
BCM の計算技術を応用して，直交格子法に基づいた複数移動物体周りの流体解析法を開発した．
物体形状の表現はレベルセット法によって行い，境界条件は BCM で実績があるゴーストセル法に
図 3 超音速で飛行する多数の粒子を含む流れ場１よる埋め込み境界法を用いている．直交格子法におけるレベルセット法は高い汎用性と高速な形状再現が特徴であり，ゴーストセル法は実装が簡易
3

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

動小数点演算数は SX-9 の性能解析ツールであるftrace を用いて取得した．表 1 より，MPI プロセスが増えるにつれて，担当する cube や cube に対する浮動小数点演算数が適切に減少していることが確認できた．
次に，一般的には通信時間などの影響が大きくなりやすい大規模な並列環境において，物体が入っていないデータを用いて演算時間・データ転送時間の解析を行う実験を行った．実験に用いたデータは，cube 数 65,536，1cube 当たりの cell 数が 32x32x32 の総 cell 数が約 21 億のデータを用いて，SX-9 において実験を行った．1 ノード当たり
図 4 超音速で飛行する多数の粒子を含む流れ場 2

16 プロセスを割り当て，SX-9 全 16 ノード 256CPUを用いて flat-MPI で実験を行った．図 6 に MPI プ

LEE コードの並列性能向上に向けた研究

ロセス数を変えた場合の実行時間を示す．これをBCM による計算格子は，図 5 に示すように，見ると，プロセスを増加させると，演算時間はほcube と呼ばれる正方形領域と，cube 内に配置されぼ理想的に半減していることが分かる．また，プた各軸方向同数の格子点(cell)により構成される．

ロセスが増えても転送時間の増加がそれほど見ら

また，BCM-LEE では，それぞれの cube は隣り合れていない．物体が入っていないため，演算量・う cube と重なり合った overlap cell を 3 つ持ってお通信量ともに均等な割り当てができたため，理想り，overlap Cell に物理量を補間することで隣り合的な速度向上が見られた．一方，I/O 時間が増加

う cube と情報交換を行いながら計算を進める．

しているが，これは実験の際に I/O サーバの障害

本年度はこれまで取り組んできた BCM-LEE の並が発生したためであり，通常時には I/O 時間の増列化作業をさらに進め，大規模な環境においても加は発生しないと考えている．

高い並列性能を実現できる BCM-LEE の開発を行っ以上の結果より，解像度の異なる cube 間の補間てきた．LEE の並列化に関しては，前述のようにの影響は大きくなく，cube ごとの処理が均一であBCM の特徴である解像度が異なる cube 間の補間処れば理想的な台数効果が得られることが分かった．

理や演算のインバランスが並列性能へ影響を及ぼ

そこで，cube 毎の処理が均一とは限らない，つます要因になりうる．本年度では，cube 間の補間なり解析中に物体が存在する条件において並列数とどについて詳細な調査を行った．

実行時間の関係を調べた．ここで，計算機によるcube 間の補間が並列性能へどのような影響を及特性を調査するため，ベクトル型計算機としてぼしているのかを切り分けて調査するために，物

SX-9 及 び SX-ACE ， ス カ ラ ー 型 計 算 機 と し て体が存在しないテスト用実験データを用いた場合

LX406Re-2 を使用した．図 7 に示すように，cubeの並列性能を調査した．cube ごとの演算が完全にを均等に割り当てる場合（図中のデフォルト），並均等なケースを想定した場合に，各 MPI プロセス列数の増加に伴う実行時間の減少が，理想的とはが担当する浮動小数点演算数が均等であるかどう言えない．これは，物体が存在する cube においてか，確認を行う．表 1 に，物体が存在しない低解演算量が増えるため，各プロセスでの演算量にイ像度のテスト用実験データ(cube 数 1436, 1cubeンバランスが生じているためである．そこで，物当たりの cells 数 16x16x16)を用いた際の SX-9 に体を持つ cube に対して重みを与えることで，演算おける cube 当たりの浮動小数点演算数を示す．浮量のインバランス解消を図った．これが，図中の4

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

インバランスを考慮した分割の結果である．SX-9デフォルトインバランスを考慮した分割

300

実行時間(秒)

では，演算量のインバランスを考慮することで，並列数に応じてほぼ理想的な演算量の減少が確認できる．SX-ACE でも若干の減少が確認できるが，理想的な減少とは言いがたい．また，スカラー型

200

187.0
148.8

138.2

100139.3
98.2

74.7

57.2

44.9

08

並列計算機に至っては，実行時間が増加する結果

162432並列数となった．これは，割り当てられる cube 数が変化(a) SX-9したことで，演算量は均一に近づいたが，各プロセスが担当する通信量のインバランスが発生するためである．今後，物体が存在する場合に，どのデフォルトインバランスを考慮した分割

300

実行時間(秒)ように cube ごとの処理を均一化し，各 MPI プロセスに割り当てるべきか，再検討を行う必要がある．
表 1 並列数を変えた場合の浮動小数点演算数

200

211.9 198.1

188.6

171.3

154.4

148.3

143.6 128.410008162432並列数(b) SX-ACE

実行時間(秒)300

Cube293.1 284.5

デフォルト
インバランスを考慮した分割
255.3 257.0191.6

200202.8158.7 168.2

10008Cell

162432並列数

Overlap
Cell(c) LX406Re-2
図 7 並列数による実行時間の比較

図 5 ブロック配置及び Cube 内 Cell 分割

6.

今年度の進捗状況と今後の展望

今年度，直交格子を用いた空力音響伝播解析の実用化に向けたアルゴリズム開発，多数移動物体問題のアルゴリズム開発を中心として研究を進めてきた．アルゴリズム開発はおおむね順調に推移している．
現在，構築した LEE，圧縮性ソルバを用いて，前述の OWN 形態における騒音遮蔽量の最大化と巡航時における造波抵抗の最小化を考慮したナセ
図 6 MPI プロセス数を変えた場合の実行時間ルの最適化といった実応用問題への適用を予定しの割合ている．
5学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

Kazuhiko Komatsu, Ryusuke Egawa, Hiroyuki
Takizawa, Takashi Soga, Akihiro Musa,Hiroaki
Kobayashi,“ExploringSystem
Architectures
for
Next-Generation
CFD
Simulations in the Postpeta-Scale Era”,
Journals of the Japan Society of MechanicalEngineers, 2014.

また，多数移動物体問題に関しては，亜音速の流れ場中における固気連成による音波との連成解析も現在検討しており，そちらは冷却塔上部の排気ファンとそこから流出する水滴微粒子との流体音響連成現象である．これについては現在ファンの解析を実施している最中で，ファン近傍の壁乱流を高精度に解像する革新的な壁乱流解析手法を

Yuma Fukushima，Daisuke Sasaki，KazuhiroNakahashi, “Cartesian Mesh Linearized EulerEquations Solver for Aeroacoustic Problems
around Full Aircraft,” International Journal ofAerospace Engineering, vol. 2015, Article ID
706915,18pages,2015.
doi:10.1155/2015/706915

開発中である．
一方，分散メモリ型並列計算機上での流体・音響伝播解析手法の効率的な並列化手法の構築に向けた研究として，物体が存在する場合のインバランス解消を試みた．cube ごとの処理を均一化し，各 MPI プロセスの計算負荷を同一にすることでYuma Fukushima ， Takashi Misaka, Shigeru
Obayashi,Daisuke
Sasaki ， Kazuhiro
Nakahashi, “Wavenumber Optimized Immersed
Boundary Method for Aeroacoustic Analysis
Based on Cartesian Mesh,” AIAA Journal (投稿中)

並列性能の向上を図ったが，計算機によっては通信量が増加して全体の実行時間が増えてしまう問題が明らかとなった．今後， 様々なプラットフォームにおいて調査を行い，物体が存在する場合において並列性能を向上させる手法について検討を進める必要がある．

(2) 国際会議プロシーディングス
Yuya Kojima, Daisuke Sasaki, Takeshi Akasaka,
Masato Okamoto, Kazuhiko Komatsu, Shigeru
Obayashi, Koji Shimoyama, “Low Reynolds
Number Flow Analysis of Flat Plate,”

併せて，大規模なデータの取り扱いを可能にする可視化法の研究の一環として，前述の翼胴形態（OWN）における大規模可視化を行った．今後，共同研究を通じた大規模可視化技術を開発することで，大規模データの効率的な取り扱いが可能とProceedings of 14th International Symposium on
Advanced Fluid Information, Sendai, Japan,なる．

October 2014.

7.

Ryohei Serizawa, Shun Takahashi, Daisuke
Sasaki, Makoto Okamoto, “Investigation ofFlow Characteristics around an Oscillating
AirfoilatLarge
ReducedFrequency,”

研究成果リスト(1) 学術論文
Shun Takahashi, Taku Nonomura, Kota
Fukuda, “A Numerical Scheme Based on an
Immersed Boundary Method for Compressible
Turbulent Flows with Shocks: Application toTwo-Dimensional
FlowsaroundCylinders,“ Journal of Applied Mathematics,
Volume 2014, Article ID 252478, 21 pages, 2014,
http://dx.doi.org/10.1155/2014/252478

Proceedings of 14th International Symposium onAdvanced Fluid Information, Sendai, Japan,October 2014.
Yuma Fukushima, Shigeru Obayashi, Daisuke
Sasaki,Kazuhiro
Nakahashi,“Efficient
Aeroacoustic
AnalysisofJet
Noise,”

Proceedings of the Eleventh International
Conference on Flow Dynamics, Sendai, Japan,

西村康孝，佐々木大輔，中橋和博，“Building-Cube
Method による圧縮性 Euler ソルバーの構築と航空機翼のフラッタ解析への応用”，日本航空宇宙学会論文集，第 62 巻 2 号，39-46 頁，2014 年 4 月．

October 2014.

6

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

Kazuhiko Komatsu, Ryusuke Egawa, Hiroyuki
Takizawa,Hiroaki
Kobayashi,"A
Compiler-Assisted OpenMP Migration Methodbased on Automatic Parallelizing Information,”
29th International Supercomputing Conference,Leipzig, Germany, June 22-26, 2014.

Daisuke Sasaki, Kazuhiro Nakahashi, “RapidLarge-scale
CartesianMeshing
forAerodynamic Computations,” Paper 2.7.1,

Proceedings of 29th Congress of theInternational Council of the AeronauticalSciences (ICAS2014), St. Petersburg, Russia,
September 2014.

Kazuhiko Komatsu, Ryusuke Egawa, Hiroyuki
Takizawa, Hiroaki Kobayashi, "OpenMP
Parallelization
Methodusing
Compiler
Information of Automatic Optimization,”
Legacy HPC Application Migration 2014.

Yuma Fukushima, “Efficient Jet NoisePrediction Using Synthetic Eddy Method andBlock-Structured Cartesian Mesh,” Paper
2.11.2, Proceedings of 29th Congress of theInternational Council of the AeronauticalSciences (ICAS2014), St. Petersburg, Russia,

Hiroaki Kobayashi, “Tohoku Univ.’s New
Supercomputer
SystemandR&D
onHighly-Productive HPC for Memory IntensiveApplications,” NUG 2014.

September 2014.
Ryusuke Egawa, Shintaro Momose, Kazuhiko
Komatsu, Yoko Isobe, Akihiro Musa, Hiroyuki
Takizawa,
Hiroaki
Kobayashi,"EarlyEvaluation of the SX-ACE Processor,” SC '14
Poster Proceedings of the International
Conference on High Performance Computing,Networking, Storage and Analysis, 2014.

(4) 国内会議発表
高橋俊，長谷川真也，“数値流体解析に基づいた熱音響機関の数値解析”，平成 26 年度応用熱音響研究会，2014 （招待講演）
高 橋 俊 ， 長 谷 川 真 也 ， 野 々 村 拓 ，“ 圧 縮 性
Navier-Stokes 方程式による熱音響エンジンの数値解析”，第 46 回流体力学講演会，2014 年 7 月．

Daichi Terayama, Shun Takahashi, Kota
Fukuda,ShinyaHasegawa,“NumericalInvestigation on Fundamental Phenomena of
Turbulent Flows in Thermoacoustic devices byCFD”, 6th International Conference on Vortex
Flows and Vortex Models, 2014

福島裕馬，大林茂，佐々木大輔，中橋和博，“Over-the-Wing Nacelle 形態におけるナセル位置による騒音遮蔽効果の比較,” 日本航空宇宙学会第 45 回年会講演会，東京，2014 年 4 月.

(3) 国際会議発表
小松一彦，江川隆輔，滝沢寛之，小林広明，“高性能可搬性のための HPC リファクタリング,” 第 9回 AT 研究会オープンアカデミックセッション
ATOS9, 2014 年 5 月．

Yuma Fukushima, Noriyoshi Kato, Yuriko
Takeshima, Shigeru Obayashi, “Multisensory
Analysis of Characteristic Noise from WW2
Aircraft,” IEEE VIS 2014, Paris, France,
November 2014.

芹沢 涼平，高橋 俊，佐々木 大輔，岡本 正人，“数値解析による低レイノルズ数での運動翼まわりの流れ特性”，第 28 回数値流体力学シンポジ
ウム，2014 年 12 月．

Keiji Onishi, Makoto Tsubokura, Shigeru
Obayashi, Kazuhiro Nakahashi, “PracticalApplications for the Computational Vehicle
Aerodynamics on the Massively Parallel
Supercomputer: Part 2, Hierarchical Cartesian
Grid Approach Utilizing Dirty CAD Data,” 11thWorld Congress on Computational Mechanics(WCCM XI), Barcelona, Spain, July 20-25,
2014.

水野 裕介，高橋 俊，野々村拓，福田 紘大，“複数粒子が高マッハ数・低レイノルズ数で移動する流れ解析コードの構築と評価”，第 28 回数値
流体力学シンポジウム，2014 年 12 月．
水野 裕介，高橋 俊，野々村拓，福田 紘大，“固気混相衝撃波流れ解析に向けた衝撃波を通過する粒子周りの流れ場の数値解析”，平成 26 年度
衝撃波シンポジウム，2015 年 3 月．
7

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月飯岡大樹，兒島有哉，佐々木大輔，“低レイノルズ数流れにおける折り曲げ薄翼の二次元流体解析，”
日本機械学会北陸信越支部第 44 回学生員卒業研
究発表講演会，柏崎，2015 年 3 月．
(5) その他（特許，プレス発表，著書等）
Kazuhiko Komatsu, Ryusuke Egawa, Hiroyuki
Takizawa, Hiroaki Kobayashi, “Performance
Evaluation of an OpenMP Parallelization by
Using Automatic Parallelization Information,”
Sustained Simulation Performance 2014.

8