学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

jh150035-MD02

航空機の環境適合性・安全性向上に向けた大規模数値解析手法の研究
佐々木大輔（金沢工業大学）
将来の更なる計算機性能の向上を念頭に，等方直交格子をベースとする次世代 CFD アルゴリズムを構築すると共に工学的な応用問題への適用を目的として研究を進めている．
等方直交格子はその単純性から格子生成を極めて高速に行え，高次精度解法の導入も容易である．これら利点は大規模並列計算機上で行う大規模非定常計算により更に強化されることが期待される一方，並列性能を向上させることが不可欠であり，本研究では，マルチプラットフォーム評価による性能可搬性向上に向けた調査を実施し，さらに通信時間の削減を図った．また，これまで開発してきた等方直交格子をベースとする計算手法の更なる実用化を図るために，空力音響伝播解析の応用例として設計最適化への適用を行うと共に，航空機翼胴モデルに対する空力解析を実施し妥当性の検証を行った．

1.

共同研究に関する情報④プリポスト連成問題や移動物体問題での超並列(1) 共同研究を実施した拠点名化技術（金沢工大，東北大・サイバー，名大・情報基盤，Intelligent Light）

本共同研究は，東北大学・名古屋大学・九州大学を共同研究拠点として実施し，東北大学・名古2.

屋大学・九州大学の計算機・設備を利用している．

研究の目的と意義

現在開発中の航空機である三菱リージョナルジ(2) 共同研究分野

ェット機を初めとして，航空機開発に空力解析は■ 超大規模数値計算系応用分野

大いに用いられているが，その利用は巡航時の空

超大規模データ処理系応用分野

力性能の見積もり等定常状態の解析が主である．

超大容量ネットワーク技術分野

今後の競争力強化のために，数値シミュレーショ

■ 超大規模情報システム関連研究分野

ン技術に基づく革新的な技術刷新が求められている．欧米に比べ不足している我が国航空関連の試(3) 参加研究者の役割分担

験設備や開発経験を補う面からも，高性能計算機

本共同研究は，金沢工業大学・東北大学（サイを活用したシミュレーション技術への期待は大きバーサイエンスセンター，流体科学研究所）
・東海

い．しかし，計算機能力だけに依存した数値解析

大学・名古屋大学・宇宙航空研究開発機構

技術の開発では一時的な成果しか得られない恐れ（JAXA）
・理化学研究所・Intelligent Light 社とがあるため，高性能計算機を最大限に活かす計算共同で研究を実施した．研究内容と研究機関の役アルゴリズムを構築し，いち早く応用研究を進め割分担は以下の通りである．

る事が将来に渡る差別化技術の創成につながる．

①高解像度数値流体解析手法のアルゴリズム開発

そこで，本研究では直交格子をベースとした数（金沢工大，東北大・流体研，東海大，理研）

値解析手法を共同研究により構築し，高効率実行②空力・音響連成解析や移動物体問題等の応用工を可能にする超並列化技術やマルチプラットフォ学問題への適用（金沢工大，東北大・流体研，東ームにおける可搬性向上の研究に取り組む．本研

海大，JAXA）

究成果は，ソルバの公開も含め社会に広く成果を③マルチプラットフォーム評価による性能可搬性利用して頂くことを考えているため，様々なプラ向上のための要素技術（東北大・サイバー，名大・ットフォーム上で最適な性能を出すことが必要で情報基盤）ある．
1

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

本研究では特に航空機の環境適合性・安全性向ため，今年度は，実応用問題への適用を行う．更上につながる数値解析技術の開発を目指しており， に，多数移動物体問題の実用化に向けたアルゴリ
それにより離着陸時に顕著である空港での騒音問ズム開発を進めており，ファン近傍の壁乱流を高題を解決する機体の設計や安全性向上につながる精度に解像する手法を開発する予定である．

技術開発への取り組みが可能となることが期待される．また，シミュレーション技術の高度化に加5. 今年度の研究成果の詳細

えて，本共同研究で培った技術は今後の計算機開LEE コードの並列性能向上に向けた研究
ポストペタフロップス級の計算機においても性発のシステム設計に役立てる事も可能であり，得られた成果は社会に広く還元させることができる． 能を十分に引き出すことのできる空力・音響解析手法の開発においては，まず大規模並列環境を効

3. 当拠点公募型共同研究として実施した意義率的に使用する必要がある．また，本空力・音響ペタフロップス級流体計算を可能とする流体ソ解析ソルバは，研究での利用だけでなく産業へのルバのアルゴリズム構築のためには，大規模ベク展開など，広く社会に利用してもらうことも想定

トル計算機や超並列計算機環境による評価が必須しているため，ベクトル型計算機およびスカラ型であり，当公募型共同研究による計算機環境が必計算機など様々なプラットフォームを用いた性能要不可欠である．並列性能の向上のために流体解評価が重要となる．

析手法や音響伝播解析手法を改良するためにも，本年度は，まずこれまで開発してきた音響解析

本枠組みは非常に有効である．また，複数拠点を手法のマルチプラットフォーム評価を行った．昨使うことで，スカラ型及びベクトル型計算機等複年 2 月に東北大学に新たに導入された SX-ACE や，数のプラットフォームにおける評価が可能となり， その他スカラ型計算機を用いた評価により，大規開発したソフトウェアの性能可搬性向上が期待で模並列環境における問題点を明らかにする．図 1

きる．に音響解析手法の複数の環境における評価結果を示す．本実験では，総セル数約 21 億(cell 数 16 x4. 前年度までに得られた研究成果の概要

16 x 16, cube 数 524,288)のテストデータを用い，本 研 究 で 開 発 を 進 め る Building-Cube 法 はプリプロセス処理のよって MPI 用の分割データを2004 年に提案したものであるが，本公募型共同予め，作成している．縦軸は実行時間，横軸は実研究を通して計算技術の開発を進めており，非圧験に利用したコア数を表している．また，本評価

縮性流体解析手法・圧縮性流体解析手法また線形は基本的には flat-MPI で行い，SX-ACE において化オイラー方程式に対して並列化・ベクトル化効

は hybrid-MPI(MPI 数 x4 thread)での実験も行っ率の向上を図ってきた．昨年度は，線形化オイラている．これを見ると，全てのプラットフォームー方程式（Linearized Euler Equation, LEE）ににおいて，並列数(コア数)を増やすと時間時間が基づく音響伝播解析手法に対し，並列性能向上に短縮していることが分かり，並列化の効果が表れ向けたインバランス解消を試みたが，計算機によている．しかしながら，並列数が増えるにつえ，っては通信量が増加して全体の実行時間が増えてその速度向上率が低下している．特に，並列数がしまう問題が明らかとなった．そこで，今年度は高い場合にその傾向が顕著に表れている．これは，様々なプラットフォームにおいて調査を行い，物コア数増加による並列処理内容の不足，演算のイ体が存在する場合において並列性能を向上させるンバランス，通信の増加などが要因だと考えられ手法について検討を進める．

る．

また，構築した LEE ソルバ及び圧縮性ソルバをまずは，演算のインバランスを解消するために，用いた空力音響解析の有効性を昨年度実証できた

metis による演算のインバランスを考慮した cube
2

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月の分割方法を変更し，性能評価を行った．図 2 に標準の分割とバランスを考慮した分割における並列数を 8, 16, 24, 32 に変更した場合の実行時間を示す．この実験により，SX-9, SX-ACE においてバランスを考慮した分割にすることで実行時間を短縮できることが分かった．
さらに並列性能の速度向上率低下の要因を詳細に調査するために，それぞれの環境において，I/O時間，通信時間，待ち時間, 演算時間を測定した．
図 2 インバランスを考慮した分割との比較

図 3 に音響解析手法におけるそれぞれの実行時間を示す．これを見ると，通信性能が高い SX-9 においては実行時間の大部分が演算によって占められていることが分かる．しかしながら，その他のプラットフォームにおいては，並列数が増えるにつれ，通信時間の占める割合が大きく，SX-ACE
2048 Flat-MPI においては全実行時間の約 84% が通信で占められていることが分かった．
これを解決するために，隣接する cube 全体の転送ではなく，隣接する cell のみのデータを転送することで，通信時間の削減を図った．
図 4 に SX-ACE

図 3 音響解析手法のブレークダウンにおける実行時間を示す．これを見ると，隣接する cell のみのデータを転送することで通信時間を削減することができることが分かった．

図 4 通信時間削減の効果
Over-the-Wing Nacelle 形態の設計探査

図 1 音響解析手法のマルチプラットフォーム評価

既存の航空機形態において，各騒音源を低騒音化する研究開発が進められているが，それに対して航空機の形態を大きく変更することによって大幅な低騒音化を達成しようとする研究も進められている．これは主に，エンジン位置を変更するこ3

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月とにより，エンジン騒音を機体により遮蔽すると子を示している．赤，青の等値面はそれぞれ，無いう試みである．様々な航空機形態が提案されて次元化された音圧が 2.0e-6，-2.0e-6 の等値面でいるが，本研究ではエンジンを主翼上面に取り付ある．図 7 を見ると DLR-F6 形状では機体下方へ伝ける Over-the-Wing Nacelle (OWN)形態に着目し播する騒音が見られる．後方ファンに関しては主ている．

翼によって上方への伝播が遮蔽されていることが今年度は昨年度に行っていた定量的な騒音解析確認できる．それに対して，OWN 形態では，下方を発展させ，地上へ伝わる騒音が最小化するナセへ伝播する騒音が主翼によって効果的に遮蔽されル位置を設計最適化手法により探査した．元となていることが分かる．

る機体形状は DLR-F6 形状を用いており，翼上面に(OASPLsum)[dB]

Constraint

配置したナセルの前後位置と上下位置を現実的な範囲で移動させる．このとき，騒音解析だけでなzNC/h

く巡航時の揚抗比を解析し，巡航性能をなるべく損ねないナセル位置を同時に探査した．
その結果得られた，設計空間における騒音強度分布を図 5 に示す．ナセルの前後位置に関しては，ナセルインレットを遮蔽するように，より後方へ配置させることが有効であることが分かった．こ

xNC/c

れに関しては，今回の解析ではブロードバンドの図 5 設計空間における騒音強度分布

ファン騒音を対象としているため，ナセルインレ（赤は騒音が強い，青は騒音が弱い）ットからの騒音を最も遮蔽する位置が選ばれた．
111

配置が見つかる可能性がある．ナセルの前後位置

109に対して，ナセルの上下位置に関してはある程度

107(SPLsum,fc) [dB]

今後ジェット騒音を考慮した場合には更に最適なの自由度が見られた．この原因を周波数解析により調査した結果を図 6 に示す．図中のサンプル点
2,27,28 はナセルの前後位置がほぼ同じで上下位

105

fc = 160
fc = 1000

108.1

104.1

103
101

99.7
98.8

99

置が異なっている．図から見られるように，低周

97波数と高周波数の騒音の強さはナセル上下位置に952対してトレードオフの関係にあり，地上や機内で108.6

107.1

27Sample Number28

問題となる周波数帯を調査することにより，より図 6 トレードオフの関係にある３点の 1/3よいナセル上下位置を選択することができること

オクターブバンド SPL の比較が分かった．
更に，設計探査から得られた OWN 形態と基準となる DLR-F6 形状の騒音性能を比較することで OWN形態が騒音性能に与えるインパクトを調査した．
DLR-F6 と OWN 形態の機体下面における SPL を比較すると，OWN 形態では，場所により約 20ｄB 以上もの騒音低減を達成していることが分かった．図
7 にサンプル点 28 の OWN 形態と，基準形状となる

図 7 設計探査から得られた OWN 形態(手前)とDLR-F6 形状におけるエンジンからの騒音伝播の様

DLR-F6(奥)におけるエンジンからの音圧分布
4学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

NACA Common Research Model の空力解析

NASA CRM の後流解析も課題として挙げられており，実機開発に活用されている CFD 解析と同規模の後流解析の高度化は，本共同研究でより組んでい解析課題を選定し，風試データとの解析結果の詳る航空機の環境適合性・安全性向上に繋がる．図

細な比較を行うことによって，航空 CFD 発展に向9 に NASA CRM 後流の渦度等値面を示す．上図ではけた課題抽出を目指す CFD ワークショップが JAXA定常非粘性解析を行っており，翼端渦や流れのはによって企画・開催されている．このワークショ

く離による乱れた後流が可視化されている．一方，ップに関連して，直交格子流体ソルバと非構造格

下図では Detached Eddy Simulation(DES)による子流体ソルバをカップリングして解析を行った．

非定常解析を行っており，細かな乱れ構造が可視

図 8 に NASA Common Research Model(CRM)翼面上化されている．直交格子流体ソルバは，渦や乱れの圧力係数分布と複数断面の流速分布を示す．この解析に有利であることから，航空機の後流解析

こでは非定常解析を行っており，圧力係数の平均は直交格子ソルバでの解析に適した課題であると値と RMS 値を示している．翼面上の衝撃波面の振言える．

動により，翼面上の RMS 値が特に翼端側で大きくなっている．直交格子ソルバでは，LES サブグリッドスケールモデルを用いた陽解法による解析を行い，非構造格子ソルバでは直交格子ソルバと同じ時間刻みを用いて，時間 2 精度陰解法による時間積分を行っている．

図 9 NASA CRM 後流の渦度等値面

6.

今年度の進捗状況と今後の展望

図 8 NASA CRM 翼面上の圧力係数分布と空力音響伝播解析のアルゴリズム開発は前年度

複数断面の流速分布までで実証がほぼ完了したため，今年度は実用化に向けて低騒音化を目的とした設計最適化問題へ飛行する航空機の後方に生じる後流渦は後続航の適用を試みた．その結果，航空機のエンジン騒空機の飛行に影響を与える可能性があり， 運航安音（ファン騒音）を低減するためのナセル位置等，全および離発着効率化の観点から現象の解明とモ新しい知見を得ることに成功した．また，NASA CRMデル化が求められている．本ワークショップではモデルを対象として空力解析を実施し，直交格子5学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

流体ソルバにおける有効性を実証した．

また，壁乱流の解析では，従来開発されてきたまた，音響解析手法のマルチプラットフォーム

乱流を解像するための壁モデルを発展させて，よ評価により，並列数の増加に伴う通信の増加が顕り高い汎用性と安定性，論理的整合性のとれた手著であることが明らかになったため，下半期には法を開発すべく取り組んできた．その結果，直交通信時間の削減を試みた．データ転送を Cube から格子法が苦手とする斜め方向の壁面境界において隣接する Cell のみとすることで通信時間の削減も図 11 のような妥当な乱流プロファイルを得らを達成できた．一方，大規模並列時に問題となるれる手法ができつつある．これを用いることでよプリポストの効率化に関しては，現時点で基礎的り正確な流れ場の把握を実現することが可能となな検討にとどまってしまい，実装等には至っていると考えられ，今後はこれらの手法を導入し高精ない．

度な航空機周りの流体解析につなげる．

また，移動物体問題に関しては，今年度は直交格子を用いた多数移動物体問題用のアルゴリズム開発と，壁面近傍の壁乱流を解く壁モデルの開発を同時に進めたが，大規模並列化までには至っていない．移動物体の解析法は航空機においてはファン，また他の相対移動問題にも適用を可能にする手法として，また壁面近傍の壁乱流を直交格子で解析する手法についてはその汎用性の高さから開発を行った．ファンの解析は図 10 に示すように市販されているファンの性能を評価・検討している段階であり，この定量評価を行った後に応用解図 11 乱流解析用壁モデルを適用した斜め平板上析を実施する予定である．この解析では直交格子を移流する渦度の瞬時等値面の弱点である薄い物体に特化した埋め込み境界法を利用しており，格子サイズ以下の薄い物体であっても問題なく解析を行えることが利点である．

7.

研究成果リスト

今後はこちらを応用して航空機に用いられるファ(1) 学術論文
Kazuhiko Komatsu, Ryusuke Egawa, ShoichiHirasawa, Hiroyuki Takizawa, Ken'ichi Itakura,Hiroaki Kobayashi, ”Translation of Large-Scale
Simulation Codes for an OpenACC Platform
Using the Xevolver Framework,” International
Journal of Networking and Computing, July
2016 (accepted).

ンブレード，もしくは回転翼の解析を行う．

Yuma Fukushima, Takashi Misaka, Shigeru
Obayashi,Daisuke
Sasaki,Kazuhiro
Nakahashi, “Wavenumber Optimized Immersed
Boundary Method for Aeroacoustic Analysis
Based on Cartesian Mesh,” AIAA Journal (掲載決定)

図 10 直交格子による比較検証用ファンの回転中の瞬時圧力分布6学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月Yusuke Mizuno, Shun Takahashi, Taku
Nonomura, Takayuki Nagata, Kota Fukuda, “ASimple Immersed Boundary Method forCompressible Flow Simulation around a
Stationary and Moving Sphere,” Mathematical
Problems in Engineering, Article ID 438086,
2015.

Daiki Iioka, Yuya Kojima, Masato Okamoto,
Daisuke Sasaki, Shigeru Obayashi, Koji
Shimoyama, “Computational Fluid Dynamics
Analysis of Thin Angular Airfoils Using
Building-Cube Method,” 7th Asia-PacificInternational
Symposium
onAerospace
Technology, Queensland, November, 2015.
Daisuke Sasaki, Daiki Iioka, Yuya Kojima,Takeshi Akasaka, Masato Okamoto, Takashi
Misaka, Shigeru Obayashi, Koji Shimoyama,“Cartesian-based CFD Approach Toward
Investigation of Aerodynamic Characteristics ofLow-Reynolds
NumberAirfoils,”
15thInternational Symposium on Advanced Fluid
Information (AFI-2015), Sendai, October 2015.

(2) 国際会議プロシーディングス
Yusuke Mizuno, Shun Takahashi, Taku
Nonomura, Takayuki Nagata, Kota Fukuda,“Direct Numerical Simulation of Shock Waves
Passed by Multiple Particles by Using
Immersed Boundary Method,” 54th AIAA
Aerospace Sciences Meeting San Diego,
California, USA, 2016

Ryohei Serizawa, Kenya Nozawa, Shun
Takahashi, Daisuke Sasaki, Masato Okamoto,
Shigeru Obayashi, “Flow Analysis around
Moving Objects by Cartesian Mesh Method,”
15th International Symposium on Advanced
Fluid Information (AFI-2015), Sendai, October
2015.

Kazuhiko Komatsu, Ryusuke Egawa, Shoichi
Hirasawa, Hiroyuki Takizawa, Ken’Ichi Itakuraand Hiroaki Kobayashi, “Migration of an
Atmospheric Simulation Code to an OpenACC
Platform Using the Xevolver Framework,” The
Third International Symposium on ComputingandNetworking―AcrossPracticalDevelopment and Theoretical Research ―,Sapporo, Hokkaido, Japan, December 8-11,
2015.

Yusuke Mizuno, Shun Takahashi, Taku
Nonomura, Takayuki Nagata, Kota Fukuda,“Coupled Simulation of Shock Waves inGas-Particle Mixtures Introducing Motion
Equations,” VI International Conference on
Computational Methods for Coupled Problems
in Science and Engineering, COUPLED
PROBLEMS 2015, 2015

(3) 国際会議発表
Daisuke Sasaki, Yuya Kojima, Daiki Iioka,
Ryohei Serizawa, Shun Takahashi, ”Towards
Aerodynamic Characteristics Investigation
Based On Cartesian Methods for Low-Reynolds
Number Flow Simulation,” The 23rd Workshop
on Sustained Simulation Performance, Sendai,
March 2016.

(4) 国内会議発表
水野裕介，高橋俊，野々村拓，永田貴之，福田紘
大，“熱伝達を考慮した埋め込み境界法を用いた球まわり流れの直接数値解析，”第 29 回数値流体力学シンポジウム，福岡，2015 年 12 月．

Kazuhiko Komatsu, “Migration of an HPC Codeto an OpenACC Platform Using a CodeTranslation Framework,” 2016 Conference on
Advanced Topics and Auto Tuning in
High-Performance Scientific Computing (ATATin HPSC 2016), Feb. 2016.（招待講演）
Yuma Fukushima, Takashi Misaka, Shigeru
Obayashi,Daisuke
Sasaki,Kazuhiro
Nakahashi, “Aerodynamic and Aeroacoustic
Design Exploration of an Over-the-Wing
NacelleConfiguration,”
7thAsia-PacificInternationalSymposium
onAerospace
Technology, Queensland, November, 2015.

芹沢涼平，高橋俊，佐々木大輔，岡本正人，“低レイノルズ数・高無次元周波数における運動翼の空力解析，” 第 29 回数値流体力学シンポジウム，福岡，2015 年 12 月．
廣瀬拓也，佐々木大輔，福島裕馬，三坂孝志，大林茂，“BCM-TAS カップリングソルバーを用いたNASA CRM 解析，”第 53 回飛行機シンポジウム，
松山，2015 年 11 月．
7

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

児島有哉，飯岡大樹，佐々木大輔，“直交格子 CFDを用いた低 Reynolds 数流れにおける翼型の空力特性比較，” 第 53 回飛行機シンポジウム，松山，
2015 年 11 月．

(5) その他（特許，プレス発表，著書等）
受賞

水野裕介，高橋俊，野々村拓，永田貴之，福田紘大，“直接数値解析による複数粒子と衝撃波の相互作用の把握，” 日本機械学会流体工学部門講演会，東京，2015 年 7 月．
佐々木大輔，廣瀬拓也，福島裕馬，三坂孝志，大林茂，“BCM-TAS カップリングソルバーを用いたNASA CRM 解 析 ，” First Aerodynamics
Prediction Challenge，第 47 回流体力学講演会／
第 33 回数値シミュレーション技術シンポジウム，
東京，2015 年 7 月．

International Workshop on Legacy HPC
Application Migration (LHAM) 2015 BestWorkshop Paper Award
Kazuhiko Komatsu, Ryusuke Egawa, Shoichi
Hirasawa, Hiroyuki Takizawa ,Ken’ichi Itakura
and Hiroaki Kobayashi, “Migration of an
Atmospheric Simulation Code to an OpenACC
Platform Using the Xevolver Framework,”
December, 2015.
第 10 回(平成 26 年度) 野口研究奨励賞 東北大学，2015 年 6 月．
著作物（総説、解説、著書）
Kazuhiko Komatsu, Ryusuke Egawa, Hiroyuki
Takizawa,
andHiroaki
Kobayashi,“Performance Evaluation of Compiler-Assisted
OpenMP Codes on Various HPC Systems,”
Sustained Simulation Performance 2015, pp
147-157, 2015.

飯岡大樹，児島有哉，佐々木大輔，岡本正人，“直交格子積み上げ法を用いた折り曲げ薄翼の CFD
解析，” 第 47 回流体力学講演会／第 33 回数値シ
ミュレーション技術シンポジウム，東京，2015 年
7 月．
水野裕介，高橋俊，野々村拓，永田貴之，福田紘
大，“埋め込み境界法を用いた複数粒子が衝撃波を通過する流れ場の直接数値解析，”第 47 回流体力学講演会／第 33 回数値シミュレーション技術シンポジウム，東京，2015 年 7 月．

Ryusuke Egawa, Kazuhiko Komatsu, andHiroaki
Kobayashi,“CodeOptimizationActivities Toward a High Sustained Simulation
Performance,”
Sustained
Simulation
Performance 2015, pp 159-168, 2015.

芹沢涼平，高橋俊，佐々木大輔，岡本正人，大林茂，“直交格子法による低レイノルズ数・高無次元周波数の運動翼の空力解析，”第 47 回流体力学講演会／第 33 回数値シミュレーション技術シンポ
ジウム，東京，2015 年 7 月．
福島裕馬，大林茂，“線形オイラー方程式を用いた複雑形状に対するファン騒音解析技術の開発と検証のための研究，” 東北大学－JAXA 連携協力協
定 平成 26 年度共同研究報告会，東京，2015 年4 月．

8