令和 2 年度高性能汎用計算機高度利用事業「富岳」成果創出加速プログラム「「富岳」を利用した革新的流体性能予測技術の研究開発」
成果報告書

令和 3 年 5 月 28 日
国立大学法人東京大学 生産技術研究所
加藤

千幸

目次
1. 補助事業の目的 ...................................................................................................................................... 1
2. 令和２年度（報告年度）の実施内容 ..................................................................................................... 1
２－１. 当該年度（令和２年度）の事業実施計画 ................................................................................. 1
２－２. 実施内容（成果） ..................................................................................................................... 3（１） 数値曳航水槽の実現と省エネデバイスによる推進効率の向上 ............................................. 3（２） 細隙部を含めた多段遠心ポンプの内部流れの Wall-Resolved LES ................................... 10（３） 圧縮機サージの直接解析 ..................................................................................................... 17（４） リアルワールド自動車空力性能の予測 ............................................................................... 28（５） リアルワールド自動車空力音予測 ....................................................................................... 37（６） プロジェクトの総合的推進.................................................................................................. 55
２－３. 活動（研究会の活動等）........................................................................................................ 56
２－４. 実施体制 ................................................................................................................................. 57
別添１ 学会等発表実績 ........................................................................................................................ 59-2-

補助事業の名称「富岳」成果創出加速プログラム「富岳」を利用した革新的流体性能予測技術の研究開発

１．補助事業の目的「富岳」の有する高い計算性能を十二分に引き出すことができるアプリケーション・ソフトウェア（以下、単にアプリケーション）を駆使することにより、壁面近傍の微細な乱流渦の直接数値計算（Wall-Resolved LES（Large-Eddy Simulation））、および、これらの乱流渦の効果を従来よりもはる
かに高精度にモデル化する大規模な流体計算（Wall-Modeled LES）をエンジンルーム・タイヤハウス
内の流れも含めた自動車まわりの流れの解析、および、軸封部や戻り流路などの細隙部内の流れも含めた流体機械の内部流れの解析に適用し、このような大規模数値計算による流れの予測技術は、自動車の風洞試験（空力性能・騒音）や流体機械の性能試験（一般性能・吸込み性能）を完全に代替えし得る計算精度を有することを証明する。また、この予測技術を用いて、自動車の空力・騒音開発で問題となる、走行・操縦安定性に対する空力現象の寄与や実走行状態における空力音の発生機構、遠心圧縮機の運転範囲を拡大する上で重要となるサージの発生機構など、製品開発上、重要な現象でありながら従来は経験的に扱われていた複雑な流体現象を解明する。

２．令和２年度（報告年度）の実施内容
２－１．当該年度（令和２年度）の事業実施計画
エネルギー産業の心臓部となる「ターボ機械」、および、輸送産業の中核となる「自動車」を対象として、「富岳」あるいは「富岳」の時代における HPC を利用することにより、ものづくりの在り方を抜本的に変革できることを証明するために、5 つの実証研究テーマを設定し、大学等の研究者と民間企業の技術者・研究者が強力に連携して、本課題を実施する。以下に具体的な事業内容について記す。
(1) 数値曳航水槽の実現と省エネデバイスによる推進効率の向上
本実証研究テーマでは、「富岳」とポスト「京」重点課題⑧で研究開発した LES 解析ソフトウェア
である FrontFlow/blue（FFB）を用いて、300 億要素から最大 1,200 億要素の Wall-Resolved LES
計算により、船のまわりの乱流境界層を完全に解像する予測を実現し、曳航水槽試験を完全に数値
シミュレーションに代替えし得ることを実証するとともに、船の推進効率の向上のための省エネデ
バイスの動作メカニズムを解明し、さらなる高効率な省エネデバイスの開発に貢献する。
令和 2 年度は、船を対象とした Wall-Modeled LES による数値シミュレーションのためのモデルの作成、利用するアプリケーションの「富岳」の本格利用に向けた調整、Wall-Modeled LES の精度や有効性の実証を実施する。
(2) 細隙部を含めた多段遠心ポンプの内部流れの Wall-Resolved LES
本実証研究テーマでは、「富岳」を利用して、30～100 μm の最小渦スケールまで計算格子により直接解析する、Wall-Resolved LES を実施し、内部流れやその結果として決まる水力性能（全揚程・水力トルク・水力効率）の完全な予測を実現するとともに、細隙部内部流れの挙動やそれが性-1-

能や信頼性に与える影響を明らかにし、ポンプ設計の高度化に貢献する。さらに、上記の 1/100 程
度の計算格子を用いた Wall-Modeled LES も実施し、Wall-Resolved LES の結果と計算精度、計算コストなどを比較することにより、Wall-Modeled LES の実用化を図る。
令和 2 年度は、ポンプを対象とした数値シミュレーションのためのモデルの作成、利用するアプリ
ケーションの「富岳」の本格利用に向けた調整を実施する。
（協力機関：国立大学法人九州大学）(3) 圧縮機サージの直接解析
本実証研究テーマでは、プラント、およびガスタービンなどの実機に用いられる遷音速圧縮機を対象として、圧縮機本体だけでなく、それが設置される配管系まで含めたシステム全体を計算領域とし、圧縮機羽根車の失速現象を再現できるほど短い時間刻みを設定するとともに、システム全体にわたる長周期の流体振動現象を捉え得るほど膨大な時間ステップ数にわたって DES（Detached
Eddy Simulation）による非定常三次元流動解析を「富岳」上で実施することにより、圧縮機サー
ジの初生（マイルドサージ）から、逆流を伴うディープサージに至る非定常流動メカニズムを解明し、圧縮機サージの予測技術を確立する。
令和 2 年度は、圧縮機サージの直接解析のためのモデルの作成、利用するアプリケーションの「富岳」の本格利用に向けた調整を実施する。
（協力機関：国立大学法人九州大学、国立大学法人岩手大学）(4) リアルワールド自動車空力性能の予測
本実証研究テーマでは、電気自動車や自動走行車等の、次世代自動車の設計・開発に貢献するための HPC シミュレーション技術の構築と実証を行うことを目的として、実走行状態の自動車の空
力性能（空気抵抗、操安性、横風安全性等）の、車体形状再現性を数ミリまで高めた高解像度・長
時間シミュレーションによる評価を実現する。
令和 2 年度は、リアルワールド自動車空力性能の予測のためのモデルの作成、利用するアプリケー
ションの「富岳」の本格利用に向けた調整を実施する。
（協力機関：国立大学法人神戸大学、国立大学法人山梨大学、国立研究開発
法人理化学研究所）(5) リアルワールド自動車空力音予測
本実証研究テーマでは、電気自動車や自動走行車等の、次世代自動車の設計・開発に貢献するための HPC シミュレーション技術の構築と実証を行うことを目的として、ボンネット隙間やフロン
トグリルから発生する狭帯域音、ピラーやドアミラーから発生する広帯域音、空力・構造振動・音響連成による車内騒音を対象に、実走行時の空力音予測を行う。
令和 2 年度は、リアルワールド自動車空力音予測のためのモデルの作成、利用するアプリケーショ
ンの「富岳」の本格利用に向けた調整を実施する。

-2-

（協力機関：国立大学法人豊橋技術科学大学、国立大学法人神戸大学、国立研究開発法人理化学研究所）(6) プロジェクトの総合的推進
プロジェクト全体の連携を密としつつ円滑に運営していくため、プロジェクトの推進や実証研究
テーマ間の連携のための会議等を適宜開催し、参画の協力機関・連携機関との連携・調整にあたる。
特に、プロジェクト全体の進捗状況を確認し、計画の合理化の検討等を行うなど、プロジェクトの効果的・効率的推進に資する取組みを実施する。また、プロジェクトで得られた成果については、
可能な限り積極的に公開して今後の展開に資するとともに、ものづくり産業での早期戦力化を支援する。
令和 2 年度は、上記を順次実施しながら、本課題の有効な研究活動のための支援を実施し、研究開
発全体を円滑に実施するための調整を行う。
２－２．実施内容（成果）(1) 数値曳航水槽の実現と省エネデバイスによる推進効率の向上(a) 研究成果の要旨
本実証研究テーマでは、「富岳」とポスト「京」重点課題⑧で研究開発した LES 解析ソフトウェア
である FrontFlow/blue（FFB）を用いて、300 億要素から最大 1,200 億要素の Wall-Resolved LES
計算により、船のまわりの乱流境界層を完全に解像する予測を実現し、曳航水槽試験を完全に数値
シミュレーションに代替えし得ることを実証するとともに、船の推進効率の向上のための省エネデ
バイスの動作メカニズムを解明し、さらなる高効率な省エネデバイスの開発に貢献する。
令和 2 年度は、船を対象とした Wall-Modeled LES による数値シミュレーションのためのモデルの作成、利用するアプリケーションの「富岳」の本格利用に向けた調整、Wall-Modeled LES の精度や有効性の実証を実施した。Wall-Modeled LES の検証として船体まわり流れの LES 解析に壁面モデルを適用した結果、予測された推進抵抗が計測値と概ね一致し、Wall-Modeled LES の有用性が確認できた。数値曳航水槽の実現のテーマについては、いくつかの船型に対して最大 360 億計算
格子を使用した LES 計算を実施し、その結果として、船型の肥大度を表す方形係数やレイノルズ数によって船体表面の境界層の遷移状態が大きく異なることが分かった。省エネデバイスによる推進
効率の向上のテーマについては、LES 計算により、省エネデバイスとして、舵バルブを付けた場合、舵フィンを付けた場合、舵バルブと舵フィンを付けた場合の、自航要素に与える影響を調査し、自航要素にレイノルズ数依存性が大きく現れることが分かった。
In this research, we will show that towing tank tests can be completely replaced by numericalsimulations by resolving turbulence boundary layer developed on a hull surface, and we willcontribute to the development of even more efficient energy-saving devices for a hull by clarifying
their mechanism. To this end, we will use FrontFlow/blue (FFB), which has been developed forsupercomputer “Fugaku”, for performing Wall-Resolved LES with 30~120 billion computational
grids.

-3-

In this fiscal year, we generated the computational model for performing wall-modeled LES,
adjust the applications for its product run on “Fugaku”, and validate accuracy and usefulness ofwall-modeled LES. For replacing the towing tank by numerical simulations, wall-resolved LESof flow around several hulls was performed with 36 billion computational grids, found thattraditions of boundary layer on a hull depend on its block coefficient and Reynolds number. For
improvements of propulsion efficiency by energy-saving devices, we investigated effects of energysaving devices such as rudder valve and rudder fin on the self-propulsion factors, and found thatlarge Reynolds number dependence appears in the self-propulsion factor.
(b) 本研究の内容
本研究テーマでは、理化学研究所と連携し、流体解析システム FrontFlow/blue（FFB）の流れソ
ルバーが「富岳」において高速に動作するための技術を開発してきた。開発したコードの高速化技
術を FFB の流れソルバーに実装し、「富岳」においてその演算性能を測定した。ここでは、高速化技術および「富岳」における演算性能を報告する。
はじめに FFB 流れソルバーに実装された高速化技術として、1) アクセスの局在化によるロード効率の向上[1, 2]、および 2) ループ構造の変更によるストア効率の向上[3]について説明する。
1) アクセスの局在化によるロード効率の向上
非構造格子を用いた流体解析コードにおいては、1 回の浮動小数演算を実行するのにおよそ 1 wordのデータを必要とする。FFB のように変数を単精度（4 Bytes）で持っているコードでは、演算あたりにロード（あるいはストア）するバイト数の比（以下、B/F 値）の要求値はおよそ 4.0 になる。
一方、計算機が提供する B/F 値（理論バンド幅 [GB/sec]を理論性能 [GFLOPS]で除した値）は「京」で 0.5、「富岳」で 0.3 であり、要求される B/F 値の 1/10 程度である。このことより、FFB にとって、メモリからのロード効率をあげることが、高速に動作させるための必須条件となる。また、非構造格子を用いたコードでは一部のロードはリストアクセスとなるため、一度ロードしたデータの再利用率をあげ、極力キャッシュミスを避けることが求められる。FFB では節点データを並べ替えることにより、ロード効率を上げ、高いメモリバンド幅を実現している。Figure 2.2.1-1 に節点並び替えの概念図を示す。はじめに、計算領域を立方体のブロックに分割する。次に各ブロックを内側部分(A)と外側部分(B)に分ける。同一ブロックにいる節点がメモリ上で近くになり、内側部分(A)は外側部分(B)より小さな節点番号がつくように節点番号を並べ替える。これにより、計算空間において近くに存在する節点が、メモリ空間においても近くに局在することになり、キャッシュ効率が上がり、高いメモリスループットを実現している。

-4-

Fig. 2.2.1-1 Concept of nodes reordering.
2) ループ構造の変更によるストア効率の向上 [3]FFB のコアカーネルは、①運動方程式の左辺・右辺の構成、②運動方程式マトリックスソルバー
における行列ベクトル積（以下、AX 計算）、③連続の式マトリックスソルバーにおける AX 計算の勾配計算、④連続の式マトリックスソルバーにおける AX 計算の発散計算の 4 カーネルから構成される。FFB のベースである有要要素法の基本は、要素内積分および節点への重ね合わせ処理であり、上記の 4 カーネルのうち、①、③が要素ループでまわし、節点に計算結果をストアする処理となっていた。この場合、ストア処理がリストアクセスになり、その効率が落ちるとともに、ループ内で依存関係があるため SIMD 処理できなかった。Figure 2.2.1-2 に要素ループから節点ループの変更の概念図を示す。FEM コードでは、通常、形状関数およびその導関数の積の要素内積分を前処理として実行し、それらを要素定義のデータとしてストアする。要素ループの場合、要素定義のデー
タへのアクセスは連続アクセスになるが、これを節点ループからアクセスするとリストアクセスとなり、ロード効率が落ちてしまう。高速化のコードでは、要素積分結果を節点ループからアクセスした際に連続アクセスになるよう、要素積分したデータを節点定義に並び替えている。上記のルー
プ構造の変更により、コアカーネル①、③でも SIMD が適用されるようになり高速化を実現した。

Fig. 2.2.1-2 Concept to change loop-structure from element-base to node-base.
上記した高速化技術を実装したコードに性能を「富岳」において評価した。前述のとおり、FFB
は 4 つのコアカーネルから構成され、4 つのコアカーネルの処理時間の合計は、全体の 9 割以上を占める。高速化技術の開発では、上記 4 コアカーネルのメモリスループットを最大限まで引き上げ-5-

ることに注力した。Figure 2.2.1-3 （上図）に、4 コアカーネルのノードあたりのメモリスループットの比較を示す。図には高速化前後のコードの「京」における性能と、高速化後のコードの「富岳」
における性能を示されている。カーネル②、③および④の高速化後のコードのメモリスループット
は、実効値（STREAM Triad による測定値、「京」は 46.6 GB/sec、「富岳」は 820 GB/sec）に近い値になっており、ほぼ限界までチューニングされていることを示している。カーネル①のメモリス
ループットが低い理由は、運動方程式の左辺・右辺を計算するこのカーネルだけ演算リッチであり、演算実行がメモリからのデータ供給に追い付いていないためである。
Figure 2.2.1-3（下図）に、ノードあたりの実行性能の、「京」、Intel Corporation の CPU を搭載のシステム、Advanced Micro Devices, Inc. （AMD）の CPU を搭載のシステム、「富岳」、SX
Aurora-TSUBASA の比較を示す。
「富岳」では、コアカーネル①は Figure 2.2.1-3（上図）に示す
メモリスループットが低かったが、上述したように演算リッチであるためで、演算性能は最も高くなっている。「富岳」におけるコアカーネルの実行性能は 162～264 GFLOPS/ノードであり、高速化前コードの「京」における性能と比較し、11 倍～31 倍の高速化を達成した。コード全体の実行
性能は 179.0 GFLOPS/ノード（ピーク性能比 5.3%）であり、高速化前の「京」におけるコード全
体の性能に対し、35 倍の高速化を達成した。

-6-

Fig. 2.2.1-3 Single-node memory throughputs (upper panel) and sustained performance (lower
panel) of the original and optimized hot kernels of FFB.
「富岳」の CMG（Core Memory Group）に 50 万要素の直方体領域を割り当て、これを直列につなげた計算領域を対象とする Weak Scale ベンチマークテストを実施した。使用したノード数は
158,976 ノード（7,630,848 コア）である。高い並列性能を維持するため、通信の隠蔽処理を実装している。すなわち、通信節点部分の演算を先行処理し、通信命令を発行するとともに、通信処理と同時に内部の演算を実行する計算方法を採用している。Figure 2.2.1-4 に Weak Scale ベンチマーク
テストの結果を示す。並列性能は 48 ノード計算時を基準としているが、300 万コアあたりまで並列化効率 85%を維持している。全体の実行性能は、22.6 PFLOPS を達成した。この性能は流体解析
や構造解析といった連続体系のアプリケーションの性能を評価するための HPCG ランキングにおいて「富岳」が達成した計算性能 16.00 PFLOPS（2 位の SUMMIT は 2.93 PFLOPS）を上回る性能（ただし HPCG は倍精度計算、FFB は単精度計算）である。

-7-

Fig. 2.2.1-4 Measured performance of FFB in weak-scale benchmark tests with 2 million grids
for a computational node of “Fugaku”.
Wall-Modeled LES（WM-LES）の検証のため、主流長さおよび主流速度をベースとするレイノル
ズ数 2.3×106 の船体周り流れの解析に、WM-LES を適用し、抵抗係数 Ct を計測値と比較した。
Figure 2.2.1-5 に抵抗係数の比較を示す。図中、緑の星印が実験、緑の×印が Wall-Resolved LES（WR-LES）の結果である。レイノルズ数 2.3×106 の船体周り流れに対し、WR-LES をする場合、40 億グリッド程度の計算格子が必要となるが、WM-LES では乱流境界層中の渦の運動を直接計算しないので詳細なグリッドは必要とならずグリッド数は約 8,000 万である。WM-LES の結果は、レ
イノルズ数 2.3×106 の位置に複数プロットされている。WM-LES では、壁面摩擦速度を計算するために壁面から離れた地点の速度を参照する。参照点までの距離はモデルパラメータであるが、参照点までの距離を壁座標で 100 程度にすることにより計測値に近い Ct の予測結果を得ることができることが確認された。Figure 2.2.1-6 に船体表面に作用する流体力（上：圧力による流体力、下：壁面摩擦応力）の WR-LES と WM-LES（参照点までの距離 100 のケース）の比較を示す。圧力による流体力も壁面摩擦応力も WR-LES と WM-LES で概ね一致していることより、WM-LES の有用性を確認することができた。

-8-

Fig. 2.2.1-5 Measured and predicted total resistance coefficients.

Fig. 2.2.1-6 Comparisons of fluid forces acting on full surface (upper panel: pressure force, lower
panel: friction force. Red: WM-LES, h+=103, black: WR-LES).
前述した、「富岳」用にチューニングした FrontFlow/blue（以下、FFB）流れソルバーを用いて、数値曳航水槽および省エネ付加物をテーマとした船体まわり流れの LES 解析を実施した。
数値曳航水槽の実現のテーマについては、これまで「京」を使った計算で実験値と違う傾向を示していた船型に対してより大規模な 360 億計算格子を使用した LES 計算を実施した。
船舶の水槽試験では長さ 6 m 程度の模型船を使用するが、そのままの状態では船体中央部付近で乱流に遷移する。一方で、実船ではほぼ船体全域で乱流になっていると考えられている。実験では
通常、船首に乱流促進デバイスを設置して実船と同じ状況を再現している。これまで、「京」で実施してきた 5 種類の船型で、レイノルズ数（以下、Re）1.25 × 106以上で乱流促進デバイスを設置した計算では、ほぼ全面乱流になっていたが、痩せ型の 1 種類だけレイノルズ数を𝑅𝑒 = 2.5 × 106 ま
で上げても層流領域が残っていた。今回、「富岳」を用いて、実験と同じ𝑅𝑒 = 5 × 106での計算を実施して得た速度分布の結果を Fig. 2.2.1-7 に示す。Fig.2.2.1-7 では船体の大半の領域で青色になっ-9-ており、ここには小さい縦渦がある（細かい模様がある）。これは乱流であることを示すが、図の中央からやや左よりの上の方に左から緑色、赤色、水色、青色になっている部分があり、ここには縦渦が存在せず（細かい模様がなく）、層流が残っていることがわかる。このようにやはり層流領域が残っており、抵抗値も実験値より過小評価する結果となり、さらなる検討が必要であることがわかった。本計算では船自身が作り出す波の影響、すなわち造波抵抗が無視できる速度の計算であったため自由表面を考慮しない計算を行っていたが、今後、自由表面の影響が入った計算を実施して乱流遷移の状況に変化が出るか検証する必要があることが分かった。

Fig. 2.2.1-7 Distributions of stream-wise component of vorticity on hull surface with low block
coefficient and Reynold’s number of 5 × 106 computed by LES without considerations of freesurface.
省エネ付加物による推進効率の向上のテーマについては、省エネ付加物として、Fig. 2.2.1-8 のよ
うに、舵バルブを付けた場合、舵フィンを付けた場合、舵バルブと舵フィンを付けた場合と付加物を何もつけない裸殻の４種類では、舵バルブと舵フィンを付けた場合には裸殻より性能が良く、単独で舵バルブと舵フィンをつけた場合には性能改善はないという例で、なぜ単独の場合効果が出な
くて、両方組み合わせると効果が出るかを流体力学的立場で説明したいというのが本課題の目的である。
今回の自航計算は𝑅𝑒 = 1.25 × 106 の計算を実施した。Fig.2.2.1-9 に船尾の船体表面およびプロペ
ラ表面の静圧分布（青色は-0.03、赤色は 0.03）を示す。一番左の列は左舷側、2 番目が右舷側、3番目が前方から見たプロペラ表面、一番右側が後ろから見たものである。また、上段は付加物なし、中段は舵バルブ付き、下段は舵バルブおよび舵フィン付きの条件での計算結果である。他の数種類の船型の自航計算でも𝑅𝑒 = 1.25 × 106の計算と実験（概ね𝑅𝑒 = 5.0 × 106）の結果を比較してきているが、推力減少係数に関してはレイノルズ数影響がほとんど無いことが確認されていた（誤差 2 %以下）。しかしながら、今回の付加物付きの計算ではこれまでより大きな 6 %から 8 %のレイノルズ数影響が確認された。その他の自航要素である、有効伴流係数については他の船型でもレイノルズ
数影響を修正しなければならないことがわかっており、今回も修正後の値は実験値と誤差 2%以内に収まっていることが確認できた。一方で、船後プロペラ効率比については 3 %から 4 %の実験との差が確認されたため（裸殻では差なし）これらの原因調査を進めているところである。また、なぜ単独の場合効果が出なくて、両方組み合わせると効果が出るかということに関しても十分な理由は解明されていないので、引き続き調査する必要がある。

(a)
(b)
(c)
(d)
Fig. 2.2.1-8 Configuration of energy-saving devices implemented to a hull, and their propulsion
performance ((a) only fin, (b) only valve, (c) no devices, (d) both of fin and valve).

- 10 -

Fig. 2.2.1-9 Static pressure distributions on surface of hull and propeller in self-propulsion
computations with the Reynold’s number of 1.25 × 106.
[1] K. Kumahata, S. Inoue, and K. Minami, “Kernel performance improvement for the FEMbased fluid analysis code on the K computer,” Procedia Computer Science, vol. 18, pp. 24962499, 2013.K.
[2] K. Kumahata, K. Minami, and N. Maruyama, “High-performance conjugate gradientperformance improvement on the K computer,” International Journal of High Performance
Computing Applications, vol. 30, no. 1, pp. 55-70, 2015.
[3] C. Kato, Y. Yamade, K. Nagano, K. Kumahata, K. Minami and T. Nishikawa, “Toward
Realization of Numerical Towing-Tank Tests by Wall-Resolved Large Eddy Simulation basedon 32 Billion Grid Finite-Element Computation”, Proceeding SC20, 2020.
(2) 細隙部を含めた多段遠心ポンプの内部流れの Wall-Resolved LES(a) 研究成果の要旨
本実証研究テーマでは、「富岳」を利用して、30～100 μm の最小渦スケールまで計算格子により直接解析する、Wall-Resolved LES を実施し、内部流れやその結果として決まる水力性能（全揚程・水力トルク・水力効率）の完全な予測を実現するとともに、細隙部内部流れの挙動やそれが性
能や信頼性に与える影響を明らかにし、ポンプ設計の高度化に貢献する。さらに、上記の 1/100 程
度の計算格子を用いた Wall-Modeled LES も実施し、Wall-Resolved LES の結果と計算精度、計算コストなどを比較することにより、Wall-Modeled LES の実用化を図る。
令和 2 年度は、ポンプを対象とした数値シミュレーションのためのモデルの作成、利用するアプリ
ケーションの「富岳」の本格利用に向けた調整を実施し、その後、最大 14 億要素を用いた準備計算（テスト計算）を実施した。その結果、遠心ポンプの性能および流体力を定量的に予測できる見通- 11 -

しを得ることができた。特に、計算格子の解像度を向上させることにより、細隙部流れに起因する
流体力の予測精度が大幅に向上することを明らかにした。
In this research, we will realize high accurate prediction of internal flow of pump and its
performance, clarify flow mechanism in leakage passage and its influence on pump performance,
and finally contribute to the improvements of pump design. To this end, we performed wallresolved LES of internal flows of pump where dynamics of the small vortices with the scale of30~100 micro-meters are directly computed by using “Fugaku”. We also perform wall-modeled
LES, which requires 1/100 less computational grids than those for wall-resolved LES. We willrealize practical use of wall-modeled LES by comparing accuracy and cost of computations
between wall-model LES and wall-resolved LES.
In this fiscal year, we generated the computational model for computing internal flow of pump,adjust the applications for its product run on “Fugaku”, and performed test computations withthe computational 1.4 billion grids. In the test computations, we confirmed accurate predictionsof pump performance were possible and the accuracy for predicting the flow in the leakage
passages and the fluid force acting on the pump was improved by the grid refinement.
(b) 本研究の内容
前節に示した「富岳」用にチューニングした FFB 流れソルバーを用いて、遠心ポンプ内部流れのLES 解析を実施した。Figure 2.2.2-1 に遠心ポンプ内部流れ解析の計算モデルを示す。Figure
2.2.2-1 に示す通り、本 LES 解析では軸スラストを評価するため、入口配管、羽根車、ディフュー
ザ、出口配管に加え、front/rear shroud、balance drum、return pipe といった細隙部を考慮した計算モデルになっている。計算モデルは上記した流路ごとに用意された 10 個の独立の計算領域から構成されており、これらをオーバーセット法により連結させている。ベースの計算格子のグリッド数はおよそ 1.8 億である。FFB は計算実行時に計算格子を細分化する機能（refine 機能）をサポートしている。これを用いると、1 回 refine で 14.4 億グリッド、2 回 refine で 158.4 億グリッドの計算を実行することができる。今年度は 1.8 億グリッド、14.4 億グリッドおよび 158.4 億グリッドの計算を実行したが、158.4 億グリッドの計算では初期の通信処理に想定以上の時間がかかる問題が生じており、長期計算をするに至っておらず原因を調査している。ここでは、1.8 億グリッド、
14.4 億グリッドの計算結果を報告する。以降、1.8 億グリッドの計算を Coarse-LES、14.4 億グリッドの計算を Fine-LES と称する。Coarse-LES および Fine-LES の計算時間は、「富岳」2,688 ノードを用いて、羽根車 1 回転あたりおよそ 30 分、3 時間であった。

- 12 -

Fig. 2.2.2-1 Computational model of LES of pump internal-flow (upper panel: overview, lower
panel: impeller).
Figure 2.2.2-2 にポンプ性能の比較結果を示す。全揚程（上）、ポンプパワー（下）ともに流量特性を概ね再現できている。ポンプパワーを全体的に過大評価している理由は、羽根車内部の格子解像度が不足しているため、羽根車に発達する乱流境界層厚さを過小評価し、羽根車出口の相対速度を過小評価したためと推察している。今後、羽根車内部に発達する乱流境界層を解像する LES を実施することにより、ポンプパワーの予測精度が向上することが期待され、この実現が、本テーマの課題の一つである。

- 13 -

Figure 2.2.2-3 に軸スラストの比較を示す。Coarse-LES では全体的に軸スラストを過小評価しているが、Fine-LES では実験値に近づき、軸スラストの予測精度は向上していることが確認できる。
この理由は、後述する細隙部の流れ場の予測精度向上に起因していると考えられる。

Fig. 2.2.2-2 Comparisons of pump performance (upper panel: total pressure, lower panel: pump
power).

- 14 -

Fig. 2.2.2-3 Comparisons of axial thrust.
遠心ポンプ内部の流動パターンを示すため羽根車およびディフューザ内部の半径方向速度分布を可視化した。Figure 2.2.2-4 に羽根車およびディフューザの中央高さ断面および子午面における、設計流量点および非設計流量点（設計流量点との流量比 20 %）の半径方向速度の瞬時分布を示す。
設計流量点においては、羽根車およびディフューザで概ね半径方向速度が正になっているが、非設計流量点（流量比 20 %）では、ディフューザに大きな逆流領域が生じており、これが羽根車両側の細隙部流路（front shroud、rear shroud）につながっていることが確認できる。

- 15 -

(a) Designed point.

(b) Off-designed point (Q/Qd=0.2).
Fig. 2.2.2-4 Distributions of radial velocity at mid-span plain(upper panel) and meridian
plain(lower panel) in impeller and diffuser.
Figure 2.2.2-5 に front shroud における静圧の半径方向分布の比較を示す。Fine-LES による予測
値は、Coarse-LES の予測値と比較し、計測値に近づいており、格子解像度をあげることにより細隙部の静圧の予測精度が向上することが確認できた。また、前述した軸スラストの予測精度の向上
は静圧の予測精度の向上によるもと考えられる。Front shroud の半径 r/D2=0.34 における旋回速度
を、Coarse-LES、Fine-LES で比較したところ（Fig. 2.2.2-6）、Fine-LES のほうが、旋回成分が小さくなっており、このことと静圧の半径方向の勾配が小さくなったことは整合しているが、格子解像度と持ち込まれる旋回成分がどのような関係があるかが明らかになっておらず、引き続き調査している。今後、格子解像度、細隙部流路に持ち込まれる旋回成分、細隙部流路の圧力分布やここか- 16 -

らきまる軸スラストの関係を詳細に分析することにより、軸スラストを高精度に予測する技術を確立する必要がある。

Fig. 2.2.2-5 Radial distributions of static pressure in front shroud at designed point.

Fig.2.2.2-6 Axial distributions of tangential velocity at r/D2 of 0.34 in front shroud at designed
point.
(3) 圧縮機サージの直接解析(a) 研究成果の要旨
本実証研究テーマでは、プラント、およびガスタービンなどの実機に用いられる遷音速圧縮機を対象として、圧縮機本体だけでなく、それが設置される配管系まで含めたシステム全体を計算領域とし、圧縮機羽根車の失速現象を再現できるほど短い時間刻みを設定するとともに、システム全体にわたる長周期の流体振動現象を捉え得るほど膨大な時間ステップ数にわたって DES（Detached- 17 -

Eddy Simulation）による非定常三次元流動解析を「富岳」上で実施することにより、圧縮機サー
ジの初生（マイルドサージ）から、逆流を伴うディープサージに至る非定常流動メカニズムを解明し、圧縮機サージの予測技術を確立する。
令和 2 年度は、圧縮機サージの直接解析のためのモデルの作成、利用するアプリケーションの「富岳」の本格利用に向けた調整を実施した。モデル作成では、サージによる逆流を考慮して、圧縮機
上流には配管に加えて半球状の開放領域を設定し、約 9 億の計算格子を作成した。現状のアプリケーションで圧縮機サージの計算に要する時間を試算したところ、300 倍以上のアプリケーションの高速化が必要であることが判明した。そこで、アプリケーションの高速化を実施し、ベンチマーク
モデルにおいて約 60 倍の高速化を達成とともに、本計算に向けて計算モデル（計算格子および境界条件の実装）を作成し、テスト計算を開始した。
In this study, we will develop the unsteady three-dimensional flow analysis technology of thesurge phenomenon for transonic compressors used in plants and gas turbines to elucidate theunsteady flow mechanism reaching from the surge inception (the mild surge) to the deep surge
including reverse flows. This analysis is based on the DES (detached eddy simulation) andconsiders not only a compressor but also the entire system where the compressor is installed. The
surge simulations require a huge number of time steps to capture both of short-cycle stall
phenomena in a compressor and a long-period surge phenomenon throughout the system, andsuch simulations will be achieved by using “Fugaku”.
In this fiscal year, we created a model for direct analysis of a compressor surge and madeadjustments for the full-scale use of the application on "Fugaku". In the model creation, in
consideration of the reversed flow due to the surge, a hemispherical open area was set in addition
to the pipe upstream of the compressor, and a calculation grid of about 900 million was created.
The time required for the compressor surge calculation by the current application was estimated,which revealed that the application needs to be faster than 300 times. Therefore, we addressedon the speeded up of the application and achieved about 60 times faster speed in the benchmark
model.
(b) 本研究の内容
1) サージ解析モデルの作成
車両用ターボ過給機に用いられる遷音速遠心圧縮機を解析対象とした。Figure 2.2.3-1 に供試遠心圧縮機の概観を示す。本遠心圧縮機は、オープンタイプのインペラ、羽根なしディフューザ、およびスクロールから構成されている。Table 2.2.3-1 に主要諸元を示す。供試圧縮機インペラの翼枚数
はフルブレードが 6 枚、スプリッタブレードが 6 枚の計 12 枚である。インペラとケーシングの間には 0.28 mm の翼端隙間を有する。
サージの直接解析では圧縮機本体だけでなく、圧縮機が組み込まれたシステム全体を考慮する必要がある。解析対象としたサージ試験装置を Fig. 2.2.3-2 に示す。本試験装置は、車両用ターボ過給機、無給油式スクリュ圧縮機、吸入フィルタ、容量可変のプレナム、吐出サイレンサ、潤滑油ユ- 18 -

ニット、管路系・弁類・オリフィス・圧力計・温度計・伝送器、運転制御盤、および潤滑油ユニッ
ト制御盤から成り、ターボ過給機のタービン側にスクリュ圧縮機から圧縮空気を供給することにより、供試遠心圧縮機が駆動される。このタービン側に供給する圧縮空気の流量を調整することによって、圧縮機の回転数を最大 160,000 rpm までの範囲で任意に設定可能であるが、本研究では
140,000rpm の回転数を計算条件とする。圧縮機流量は圧縮機の吐出側に配置したプレナムの下流に位置する流量調整弁により調整される。本試験装置では、供試圧縮機の吐出側配管系のプレナム
容積を３通りに変化させることができるが、本研究では最小容積の条件を対象とした。
上記のサージ試験装置を模擬した解析モデルを Fig. 2.2.3-3 に示す。本解析モデルでは、圧縮機だ
けでなく、その上流側および下流側の配管も考慮している。ディープサージ発生時には順流と逆流が周期的に繰り返されることから、逆流時に配管入口から吐き出された高温流体が順流時に再度吸い込まれる可能性がある。このような現象も再現できるように、Fig. 2.2.3-3 に示すように、入口配管の上流に試験装置の外部空間を模擬した領域を設置した。外部領域は半球状の形状とし、その半径は圧縮機外径の 20 倍とした。また、サージ初生を計算で再現するためには、実際の試験と同様に、計算中に流量を徐々に低下させていく必要があるため、流量調節弁を模擬する必要がある。しかしながら、流量調節弁の流路形状を計算格子によって直接再現し、計算途中に開度を変化させる
方法は計算コストが非常に大きいため、今回は流量調節弁については抵抗係数としてモデル化することとした。
本解析モデルについて計算格子を作成した。格子生成には市販ソフト Pointwise を使用し、格子は6 面体の構造格子とした。また、壁面上の最小格子幅は𝑦 + < 1を満足するように設定した。本研究では、格子 A および格子 B の 2 種類の格子を検討した。格子 A は試作段階の暫定版であり、格子 B
は格子 A を基に格子配分を調整することによって完成した最終版である。Table 2.2.3-2 に作成した計算格子について各領域のセル数の内訳を示す。両格子とも総セル数は約 9 億となった。
格子 A では、インペラ部が約 1,500 万セル、ディフューザ部が約 1,000 万セル、スクロール部が約 2,700 万セルであり、圧縮機本体の合計は約 5,200 万セルである。また、入口配管が約 3.2 億セル、出口配管が約 700 万セル、外部領域が約 4.9 億セルとなっており、体積の大きい入口配管および外部領域に多くの格子点が配置されている。
一方、格子 B では、サージ初生における圧縮機内部の小スケールの流動現象を捉えるため、格子A に比べて圧縮機部分の格子点数を増やしている。また、配管部および外部領域では比較的大きな
スケールの流動現象が支配的であると考えられるため、格子 A に比べて入口配管および外部領域の格子点数を削減した。以上により、格子 B では、インペラ部が約 1.0 億セル、ディフューザ部が約1.0 億セル、スクロール部が約 1.8 億セルであり、圧縮機本体の合計は約 3.8 億セルとなった。また、
格子 B の入口配管は約 2.3 億セル、出口配管は約 1,100 万セル、外部領域は約 2.9 億セルとなった。
インペラ前縁部の逆流を捕捉するため、下流側よりも上流側の格子解像度を高く設定している。
Figure 2.2.3-4 に格子 B についてインペラ部の格子図を示す。フルブレードおよびスプリッタブレ
ードのコード方向にそれぞれ 320 セルおよび 200 セルとし、フルブレードとスプリッタブレードの各翼間の周方向には 120 セルとした。また、ハブからケーシングまでのスパン方向には 180 セルを設定し、そのうち翼端すき間は 40 セルを割り当てた。

- 19 -

本研究で用いる DES では、k-ω 乱流モデルから算出される渦の乱れ長さスケールが、その点における格子幅スケールで捉えられるかどうか評価され、LES 領域または RANS 領域が流れ場の変化に応じて逐次選択される。例として、格子 A および格子 B について、DES 解析においてある時刻に同定された LES 領域と RANS 領域の分布を Fig. 2.2.3-5、Fig. 2.2.3-6、Fig. 2.2.3-7 に示す。ここでは、DES で使用される関数を利用し、乱れの長さスケールが格子幅スケールより小さい領域を
RANS 領域、これより大きい領域を LES 領域と定義した。これらの図において青色の領域は RANS
領域、赤色の領域は LES 領域を示している。Figure 2.2.3-5 の翼ミッドスパン部の断面を見ると、圧縮機内のセル数が 5200 万程度である格子 A では、翼面の境界層領域だけでなく主流部にもRANS 領域が現れている。一方、圧縮機内のセル数が 3.8 億程度である格子 B では、翼面上の境界層に対応した領域のみが RANS 領域となっており、主流部は LES として計算されることが確認できる。Figure 2.2.3-6 のディフューザ部および Fig. 2.2.3-7 のスクロール部についても同様の傾向が確認できる。したがって、格子 B は圧縮機内に生じる複雑な大規模はく離流れを高精度に解析可能であると考えられ、格子 B をサージの直接解析に用いることにする。

Fig. 2.2.3-1 Test centrifugal compressor.
Table 2.2.3-1 Specifications of the test compressor.
Number of full blade
Number of splitter blade
Impeller inlet diameter [mm]Impeller outlet diameter [mm]Tip clearance [mm]Diffuser width [mm]Drive shaft speed [rpm]- 20 -

6
6
39.9
52.5
0.28
3.42
140,000

Fig. 2.2.3-2 Schematic diagram of the experimental equipment for compressor surge.

外部領域

20D

圧縮機
入口配管

出口配管
Fig. 2.2.3-3 Computational domain.

- 21 -

Table 2.2.3-2 Number of cells of computational grids.
(a) Grid A(b) Grid B
Impeller
15,214,800
Impeller
100,608,000
Diffuser
10,243,200
Diffuser100,224,000
Scroll
26,574,000
Scroll178,791,000
Inlet duct322,770,000
Inlet duct
228,960,000
Outlet duct
7,104,000
Outlet duct
11,491,200
External area
489,300,000
External area
288,000,000
Total
871,206,000
Total
908,074,200

180

320
200
Rotation

116

116

Fig. 2.2.3-4 Computational grid in the impeller (Grid B).
■RANS
RANS
LES
■LES

Splitter blade

Full blade

Rotation(a) Grid A(b) Grid B
Fig. 2.2.3-5 RANS/LES regions in the impeller.

- 22 -■RANS■LES■RANS
■LES

■RANS
RANS
LES
■LES

Rotation(a) Grid A(b) Grid B
Fig. 2.2.3-6 RANS/LES regions in the diffuser.
RANS
■RANS
LES
■LES

Rotation

■RANS
■LES

Tongue(a) Grid A(b) Grid B
Fig. 2.2.3-7 RANS/LES regions in the scroll.
2) マイルドサージ解析に向けた予備計算
マイルドサージの非定常 DES 解析に向けて、前述した約 9 億セルの計算格子を用いて定常 RANS
解析を実施し、初期流れ場を作成した。
定常 RANS 解析の計算手法を以下に示す。三次元圧縮性 Navier-Stokes 方程式を基礎方程式とし、
セル中心形の有限体積法に基づいて離散化した。非粘性流束の評価には SHUS（simple highresolution upwind scheme）を用い、三次精度の MUSCL 法を組み合わせることで高い空間解像度を確保している。粘性流束は Gauss の発散定理を用いて中心差分的に評価した。また、時間方向はEuler 陰解法により離散化し、時間積分には MFGS（matrix free Gauss-Seidel）陰解法を用いた。
壁面境界条件は断熱・滑りなし条件を与えた。流入境界では全温および全圧を固定し、流出境界では静圧を固定した。回転するインペラ部は相対座標系で計算され、その他の静止した領域は絶対座標系で計算される。両領域の接続部は相対位置を固定する Frozen rotor の条件で計算した。
Figure 2.2.3-8 に定常 RANS 解析による圧縮機の全体性能の計算結果を示す。横軸は質量流量であり、縦軸は全圧比である。定常 RANS 解析では、全ての流量点で圧縮機性能を実験結果よりも過大評価する結果となった。定常 RANS 解析ではディフューザでの旋回失速が捉えられないため、性能を過大評価したと考えられる。高流量点に関しては、Frozen rotor の条件で計算したことが要因と考えられる。これらの点については、非定常 DES 解析では改善されると考えられる。

- 23 -

2.4

Total pressure ratio

2.2

Exp.

RANS

2

1.8
1.6
1.4
1.2
0

0.05

0.1
mass flow [kg/s]

0.15

0.2

Fig. 2.2.3-8 Total performance of the compressor calculated by the steady RANS.
3) アプリケーションの高速化
サージの直接計算では、圧縮機羽根車の失速現象を再現できるほど短い時間刻みを設定するとともに、システム全体にわたる長周期の流体振動現象を捉え得るほど膨大な時間ステップ数にわたって非定常三次元流動解析を実施する必要がある。ここで、サージ解析における総時間ステップ数は
以下のように見積もられる。本解析対象の圧縮機回転数は 140,000rpm（回転周波数：2.3 kHz）、
ディープサージの周波数は 11 Hz であり、両者の比は約 200 である。また、圧縮機羽根車の失速現象を再現するには、経験的にインペラ 1 回転を 7,500 時間ステップ程度で刻めば十分であると考えられる。したがって、サージ 10 周期を計算する場合、7,500[step/rev]×200 [rev/cycle]×10 [cycle]より、15,000,000 ステップの計算が必要であると見積もられる。もし、アプリケーションの 1 時間ス
テップあたりの計算時間が 0.1 [sec]であれば、総計算時間は 17 日となり、現実的な時間内で計算を完了できることから、0.1 [sec/step]を目標にアプリケーションであるターボ機械用 DES 圧縮性流れ解析のチューニングを実施した。アプリケーションのチューニングにあたっては RIST の高度化支援を利用した。
まず、オリジナルのコードについて性能を分析した。その結果、計算結果の出力に大きな時間を要していることがわかった。これはランク 0 のプロセスに全プロセスのデータを集めて単一のファ
イルに逐次的に出力していることが原因であった。そこで、出力方法をプロセス毎に異なるファイ
ルに分散出力するように変更した。出力方法の変更による改善効果を Fig. 2.2.3-9 に示す。逐次出力に比べて分散出力は大幅に実行時間を短縮できることがわかる。特に、プロセス数が 10,000 を超えると両者の差が顕著になっている。
出力以外では、EQN_MFGS2、RVRS2、MUSCLR というサブルーチンが高コストであることがわかった。EQN_MFGS2 は MFGS 法による時間積分を行うサブルーチン、RVRS2 は速度の一次微分値を計算するサブルーチン、MUSCLR は MUSCL 法によりセル界面の物理量を補間するサブルーチンであり、いずれも圧縮性流体解析の主要部である。オリジナルのコードには MPI による並列化のみが施されており、スレッド並列化されていないため、これらの高コスト箇所について
OpenMP によるスレッド並列化を行った。Figure 2.2.3-10 にサブルーチン EQN_MFGS2 に- 24 -

OpenMP を導入した例を示す。さらに、Fig. 2.2.3-11 には OpenMP の導入による改善効果を示す。
スレッド数は 12 であり、OpenMP 導入により 10 倍程度の高速化が実現されたことが確認できる。
サブルーチン RVRS2 については、さらに種々の改善策を検討した。Table 2.2.3-3 に RVRS2 の改善策の検討結果を示す。最も効果が高かったのは、SIMD 化を促進したことであり、3.8 倍の高速化が達成された。SIMD 化の具体的な方法については Fig. 2.2.3-12 に示す。Table 2.2.3-3 の全ての改善策を適用すると 4.6 倍の高速化となった。
以上の改善策を適用したコードについて、1,000 万セル程度の計算格子を用いたダクト流れの計
算で性能を評価した。Figure 2.2.3-13 に評価結果を示す。asis はオリジナルであり、tune1.1 は上記の改善策を全て適用したバージョンである。tune1.1 は asis に比べて、10～20 倍の高速化が達成された。
以上により圧縮性流体解析の主要部を高速化できた。しかしながら、チューニングコードを圧縮機の計算に適用したところ、回転領域と静止領域との接続部における sliding mesh 処理がボトルネックとなっており、ダクト流れの計算に比べて低い性能となった。そこで、sliding mesh 処理についてもチューニングを行った。具体的には、sliding mesh 処理に使用している Akima 補間のサブルーチンについて OpenMP スレッド並列化や call 回数の削減などの対策を実施した。Figure 2.2.314 にチューニングの例を示す。
上記の全ての対策を施したコードについて、圧縮機を対象とした 9 億セルの計算格子を用いた非定
常 DES 解析を実施し、性能を評価した。ニュートン反復 3 回の非定常計算の条件で実行時間を測定した。評価結果を Table 2.2.3-4 に示す。Asis に比べて、最新バージョンの Tune2.0 は約 60 倍の高速化が実現されたことが確認できる。しかしながら、実行時間は 0.53 [sec/step]となり、目標の 0.1[sec/step]には達しておらず、今後、さらに高速化方法について検討する必要がある。

Fig. 2.2.3-9 Improvement by modifying the file output method.

- 25 -

Fig. 2.2.3-10 Application of OpenMP to subroutine EQN_MFGS2.

Fig. 2.2.3-11 Improvement by application of OpenMP.

- 26 -

Table 2.2.3-3 Tuning of subroutine RVRS2.
バージョン

概略

経過時間 [s]asis

スレッド並列なし、SIMDなし

16.20

tune1

OpenMPスレッド並列化

1.39

tune2

tune1 + SIMD化

0.37

tune3

tune2 + 内側二つのループを一重化してブロッキング

0.40

tune4

tune3 + ループボディ関数化・インライ
ン展開

0.38

tune5

tune4 + 最初に一度だけ設定される配列のインデックス交換および縮小

0.30

Fig. 2.2.3-12 Promotion of SIMD in subroutine RVRS2.

- 27 -

1.0
1.1

20倍
10倍

Fig. 2.2.3-13 Performance evaluation of tuning codes with a duct flow simulation.

Fig. 2.2.3-14 Tuning of sliding mesh process.

- 28 -

Table 2.2.3-4 Performance evaluation of tuning codes with the surge simulation.

Asis
Tune 1.1
Tune 2.0

実行時間 [sec/step]
31.527
2.914
0.531

Asia との速度比
10.8
59.4

(4) リアルワールド自動車空力性能の予測(a) 研究成果の要旨
本実証研究テーマでは、電気自動車や自動走行車等の、次世代自動車の設計・開発に貢献するための HPC シミュレーション技術の構築と実証を行うことを目的として、実走行状態の自動車の空
力性能（空気抵抗、操安性、横風安全性等）の、車体形状再現性を数ミリまで高めた高解像度・長
時間シミュレーションによる評価を実現する。
令和 2 年度は、リアルワールド自動車空力性能の予測のためのモデルの作成、利用するアプリケー
ションの「富岳」の本格利用に向けた調整を実施した。具体的には、変動風下での空力性能や操縦安定性評価を行うために、実走行試験から得られた計測データをもとに、変動風の乱流強度や積分スケールを自由にコントロールできる変動風モジュールを作成した。また、車両運動と空力との連成解析を実現するために、多体運動解析が可能なオープンソースソフトウェア CHRONO を空力解
析ソフトウェア CUBE に実装し、その動作検証を行った。さらに、風圧に伴う空力パーツの弾性変形を評価するための、流体と構造の統一解法の整備を行い、ベンチマークテストにより検証を行った。
The purpose of this research is to build and validate the framework applying HPC technology
to contribute to the design and development of next-generation vehicles such as electric vehicles
or autonomous vehicles. To reach this goal, the evaluation based on the analysis of aerodynamic
characteristics of the vehicle in practical driving (drag force, vehicle maneuverability, crosswind
safety ... et al.), high resolution for precisely representing the vehicle shape in millimeter-scaleand long-term simulation is necessary and it has been done this year.
In this fiscal year, the model for predicting the aerodynamic characteristics of the vehicle inpractical driving will be built and the tuning of this model for running full “Fugaku” will be
officially started up. More concretely, to evaluate the aerodynamic performance and steeringstability under the fluctuating wind, based on the experimental data from the practical driving,
the fluctuating wind module that can freely control the integral scale of the turbulence intensityof the fluctuating wind will be built. Besides, to perform the coupled analysis between the vehicle
motion and the aerodynamics, the open software CHRONO for the multi-body motion analysis
has been installed in CUBE and this framework has been validated. Moreover, a unified solver
between fluid and structure was developed to evaluate the elastic deformation of aerodynamic
parts due to the wind pressure and the validation for this solver has also been completed.

- 29 -

(b) 本研究の内容
1) 「富岳」での基盤ソフトウェア CUBE の性能評価
まず、単体ノード上での実行性能を示す。性能ベンチマーク用の問題として、y 軸方向に長く伸びた領域におけるキャビティ流れを扱う。測定時の CUBE の実行パラメータは Table 2.2.4-1 の通りである。Table 2.2.4-2 にプログラム全体（時間積分ループ）の性能を示す。1 CMG（1 MPI プロセス）に対し 1 ノード（4 MPI プロセス）の性能が 3.59 倍となっており、理想的な性能向上（4 倍）と比べて概ね良好な結果となっている。また、倍精度浮動小数点演算性能は 1 CMG で 59.96
GFLOPS、1 ノードで 215.84 GFLOPS となり、これはそれぞれピーク性能の 7.09%、6.38%を示しており、流体アプリケーションの性能としては高い値を示している。また、1 CMG 及び 1 ノードでの実行時間における各処理区分のコスト内訳を Fig. 2.2.4-1 に示す。対流項のコストが最も大き
く全体の半分弱を占めている。次に粘性項が 1/4 程度、Runge-Kutta 法のループに関わる処理が14 %と続き、これらのルーチンについてチューニングを行うことが有効であることが分かる。また、
1 ノード実行時にわずか（5 %）ではあるが Halo 交換のためのプロセス間通信コストが見えており、
1 ノード実行時の性能が 1 CMG の 4 倍にならなかった主な原因となっている。
次にカーネル性能として、Table 2.2.4-3 にコストの高い粘性項カーネル部分の 1 CMG（1 プロセス）あたりの演算性能及びその上限見積もり値を示す。上限見積値の計算は、ソース及びシステムのメモリアクセス量と演算数の比（Byte per Flop）を元に算出した。チューニングの成果によりピーク性能比はオリジナル 7.03 %から 13.95 %に向上した。見積もり上は、更に 2.7 %ほどの向上が見込める。また、Table 2.2.4-4 にはコストの高い対流項カーネル部分の 1 CMG（1 プロセス）あたりの演算性能及びその上限見積もり値を示す。対流項については、ソースのメモリアクセス量と演算数の比（Byte per Flop）がシステム値を下回るため、このカーネルはメモリスループットネック
ではない。従って、Byte per Flop による性能上限見積もり値を算出することはできないが、ソフト
ウェアパイプライニングや SIMD 化といった演算性能チューニングにより大幅な性能向上が見込める。
最後に並列性能として、Fig. 2.2.4-2 ように 1 ノードあたり y 軸方向に伸びた領域のキャビティ流
れをベンチマークとして性能評価を行った結果を示す。スケーリングを測定する際、ノード数に応じて y 軸方向に領域を伸ばしていく形となる。結果、この問題は y 軸方向のみ領域分割される形となり、通信についてもノード数に関わらず 1 次元的に同じパターンで行われる。また、隣り合う部分領域を担当するプロセスが、「富岳」のインターコネクト TofuD の空間上で隣り合うノードにマッピングされることが保証されている。
「富岳」の 1 ノードから 27,648 ノードまでのウィークスケ
ーリングを測定した結果を Table 2.2.4-5 に示す。実行時間を見ると、1 ノード 25.48 秒に対し
27,648 ノードでは 27.24 秒となり、実行時間の増大は 1 割程度に抑えられている。結果、1 ノードに対する 27,648 ノードのスケーリングは 91.07 %と良好な値が得られている。また、計算の規模としては少なくとも 217 億セル、4.5 PFLOPS まで拡大可能であることが確認できた。
（Fig. 2.2.4-3）- 30 -

Table 2.2.4-1 Simulation parameter setups.
流束
Roe 法
粘性項
2 次精度中心差分
時間発展
TVD3 次精度ルンゲクッタ
時間ステップ数500
内部反復回数1
CUBE 数
4 × 4 × 4 = 64
CUBE あたりセル数
16 × 16 × 16 = 4,096
総セル数
64 × 163 = 262,144
袖領域幅
2
天井面: 流速規定
境界条件
その他壁面: 滑りなし

1 CMG
1 ノード

Table 2.2.4-2 Single node performance of CUBE.
浮動小数点演算性能
メモリスループット
実行時間[GFLOPS][GB/sec.]
38.40 sec.
59.96 (7.09 %)48.44 (18.92 %)10.67 sec.
215.84 (6.38 %)
171.90 (16.78 %)40
35

Others10%

Halo exchange comm.
Runge-Kutta

14%

Viscous term

Elapsed time [sec.]

30
25

Convection term

27%

20
15
10

12%
5%
14%
25%

49%

5

43%
0
1 CMG
(1 MPI Process)1 Node(4 MPI Processes)

Fig. 2.2.4-1 Elapsed time against simulation components.
Table 2.2.4-3 Execution performance of the viscous term (2.0GHz).
オリジナル
現在のチューニング版
性能上限見積もり値
53.87 GFLOPS (7.03 %)106.75 GFLOPS (13.95 %) 128.07 GFLOPS (16.67 %)Table 2.2.4-4 Execution performance of the convective term (2.0GHz).
オリジナル
現在のチューニング版
性能上限見積もり値
85.23 GFLOPS (10.10 %) 123.98 GFLOPS (14.70 %)– (–%)- 31 -

Fig. 2.2.4-2 Cube allocation for the weak-scaling test.
Table 2.2.4-5 Results of the weak-scaling test.
ノード数

総セル数

実行時間 [秒]

1
64
128
256
512
1,024
4,096
8,192
16,384
27,648786,432
50,331,648
100,663,296
201,326,592
402,653,184
805,306,368
3,221,225,472
6,442,450,944
12,884,901,888
21,743,271,936

25.48
26.56
26.72
26.94
26.92
26.86
27.05
27.07
27.24
27.98

浮動小数点演算性能[TFLOPS]
0.18 (5.38 %)11.16 (5.16 %)22.18 (5.13 %)44.00 (5.09 %)88.09 (5.09 %)176.55 (5.10 %)701.37 (5.07 %)1,401.68 (5.06 %)2,785.88 (5.03 %)4,575.74 (4.90 %)スケーリング
100.00 %95.94 %
95.37 %
94.57 %
94.67 %
94.87 %
94.22 %
94.15 %
93.56 %
91.07 %

Fig. 2.2.4-3 Results of the weak-scaling test.
2) 変動風モジュールの作成
変動風作成モジュールの概要を以下に示す。変動風は Fig. 2.2.4-4 に示す通り、複数の翼型を車両
上流にスパン方向に並べ、ピッチング及びヒービング運動を組み合わせて作成する。翼のサイズや配置については、既存の変動風生成装置を参考にしている。それぞれの運動の周波数と振幅、さらに位相差を変化させて、生成する乱れの積分長さ、スペクトル、乱流強度のコントロールを行う。
Figure 2.2.4-5 に作成した変動風の一例を、瞬時速度分布として示す。等方性乱流に近い高波数の乱れについては翼からの剥離渦として生成される一方、車体に対する数度程度のヨー角変動の要因- 32 -

となる低波数の乱れについては、翼の低周波のヒービング運動やピッチング運動で作成することが可能である。Figure 2.2.4-6 に生成した乱れのスペクトルとヨー変動特性を示す。ヨー変動は−10 度
から 10 度までを記している。現在はまだ試行錯誤で乱れを作成している段階であり、ある程度の乱れスペクトルの再現とヨー変動特性の再現はできつつあるが、これと合わせた積分長さの調整に苦戦しており、引き続き検討を行う必要がある。

Fig. 2.2.4-4 Setups of the turbulence generator.

Fig. 2.2.4-5 Snapshot of the velocity profile generated by the turbulence generator. (Frequencyof pitching/heaving: 6 Hz/6 Hz, Amplitude: 45deg./0.1m, phase difference: 0.)- 33 -

Fig. 2.2.4-6 Turbulence energy spectra (left) and Yawing angle histogram (right). (pitchingfrequency: 2 Hz, amplitude: 15 deg., no heaving case.)3) 自動車運動連成空力解析フレームワークの開発
車両運動の解析には、University of Parma、University of Wisconsin-Madison を中心にオープン
ソースで開発が進められている Project Chrono（CHRONO）を用いた。CHRONO は車両運動解析用のライブラリ群の開発が積極的に進められており、商用のソフトウェアとほぼ同等の精度を有することが確認されている。Chrono におけるマルチボディダイナミクス解析の基礎方程式には、オイラーの運動方程式を用いた。ここで𝑴は剛体の質量を𝒓̈ は加速度、𝑱は慣性モーメント、𝝎̈は各
̅ 𝑇 (𝜱)は高速条件による反力を、𝝀はラグランジュの未定乗数
加速度、𝑭は外力、𝝉はトルク、𝜱𝑇𝑟 、𝜫を示している。
𝑴𝒓̈ + 𝜱𝑻𝒓 𝝀 = 𝑭
̅ 𝑻 (𝜱)𝝀 = 𝝉𝑱𝝎̈ + 𝜫- 34 -

タイヤと地面との接地面に対しては、前後力（Longitudinal force）、横力（Lateral force）、セルフ
アライニングトルク（Self Aligning Torque: SAT）が発生しており、これらの力により、車両は進行方向を変化させている。しかし、これらの力はタイヤの物性値や空気圧など様々な影響を受ける
ため、非線形特性を有しており、車両運動解析などでは、タイヤ力をモデル化したものを用いた解析が行われている。本研究ではタイヤモデルとして Pacejka89 [10]を用いた。Pacejka89 モデルはタイヤ試験機を用いて実測された値𝑎𝑖 (𝑖 = 0~13)、𝑏𝑗 (𝑗 = 0~10)、𝑐𝑘 (𝑘 = 0~17)を用いてタイヤ力のモデル化を行っており、スリップ角𝛼とスリップ比𝜅を元に作用するタイヤ力を決定する。
自動車はエンジンで生み出された回転エネルギーをトランスミッションによって適切なトルクと回転速度に変速し、タイヤに伝達することで駆動力を得ている。本研究では、モデル化したパワートレインを用いることで、ドライバーからの入力の影響を含めたパワートレインの再現を行った、
ここでパワートレインモデルの模式図を Fig. 2.2.4-7 に示す。エンジンはクランクシャフトを通じて、トランスミッションとつながっており、トランスミッションはプロペラシャフトを通じてディ
ファレンシャルギアにつながっている。ここにエンジンのトルクマップを考慮し、プロペラシャフ
トの回転数とギアの変速比からエンジンの回転数が求まり、トルクカーブより、回転数に応じた最小・最大トルクを得ることができる。

Fig. 2.2.4-7 Schematic diagram of powertrain.
ドライバーモデルはステアリングを操作し、車両の進行方向を制御する操舵モデルと、一定速度を維持するために、アクセル、ブレーキ操作をする加減速モデルから構成されている。操舵モデルには入力として走行コースを 3 次ベジエ曲線によって与える。時刻 t におけるドライバー視点の位置を𝑫𝒑𝒕 、ドライバーの視線が向けられている点をSentinel point (𝑺𝒑𝒕 )、𝑺𝒑𝒕 から最も近いベジエ曲
線上の点をTarget point (𝑻𝒑𝒕)とする（Fig. 2.2.4-8 参照）。時刻 t における視線ベクトル𝑺𝒕と、ターゲットベクトル𝑻𝒕は次式で表すことができる。
𝑺𝒕 = 𝑺𝒑𝒕 − 𝑫𝒑𝒕
𝑻𝒕 = 𝑻𝒑𝒕 − 𝑫𝒑𝒕
よって、ドライバーの視線と、目標コースとの差errは次式で表すことができる。

- 35 -

𝒆𝒓𝒓 =(𝑺𝒕 × 𝑻𝒕 ) ∙ [𝟎, 𝟎, 𝟏]|𝑻𝒑𝒕 − 𝑺𝒑𝒕 ||(𝑺𝒕 × 𝑻𝒕 ) ∙ [𝟎, 𝟎, 𝟏]|

errを偏差として PID 制御を行うと、ドライバーのステアリング入力𝜏𝑠𝑟𝑡 (−1 ≤ 𝜏𝑠𝑟𝑡 ≤ 1)は次式で表すことができる。
𝒕̇𝝉𝒔𝒓𝒕 = 𝑲𝒑 𝐞𝐫𝐫 + 𝑲𝒊 ∫ 𝒆𝒓𝒓 ∙ 𝒅𝒕 + 𝑲𝒅 𝒆𝒓𝒓𝒐

マルチボディダイナミクス解析を行うステアリング機構に𝜏𝑠𝑟𝑡 強制変位として与える事により、ドライバーのステアリング操作を車両運動に反映させる。

Fig. 2.2.4-8 Model of Steering control.
自動車運動連成空力解析フレームワークの有用性を確認するために本年度行った、レーンチェン
ジを行う自動車の解析結果を示す。対象は、実在のステーションワゴン車とし、株式会社本田技術研究所より提供された実開発で用いられる形状再現性を有する CAD を用いて解析を行った。車体
形状を Fig. 2.2.4-9 に示す。ここでは時速 100 キロで走行する車体が 2 秒で隣のレーンに移動する運動を再現する。走行ルートと車速を予め指定し、上記のステアリング操作によりドライバーがハ
ンドル操作を行い、そのルートをできるだけなぞるように走行を行う。空力側のシミュレーション
は、表面解像度を 6 mm 程度で設定し、1 億セル弱程度の解析規模で行った。Figure 2.2.4-10 に走行中の車体周りの瞬時流速を示す。Figure 2.2.4-11 に車体に作用する空力の時間変化を示す。図中、
Cd、Cl、Cs は無次元化した空気抵抗、揚力及び横力を、chassis_Y は車体の横方向変位を表している。ここでは、1way 解析として、空力を考慮せずに車両運動解析のみを先に行い、その結果を強制運動して CUBE に与えて空力解析を行ったケースと、2way 解析として、時々刻々、空力データと車両姿勢データを双方向に連成させて解析を行ったケースを比較する。レーンチェンジの初期（1 s）と末期（3 s）に特に車体運動に伴う非定常空気力が作用していること、また 1way と 2way
では 1way の場合、非定常空気力が過剰に現れていることがわかる。Figure 2.2.4-12 に、レーンチ
ェンジ中の車体ロール角変化と、ドライバーの操舵入力の時間変化を示す。ロール角変化についても同様に、レーンチェンジの初期と末期に大きく変化していることがわかる。1way と 2way の差は、車体に作用する非定常空気力が姿勢変化に与える効果を示している。このような非定常空気力
やそれに伴う姿勢変化は、レーンチェンジ中盤の準定常的解析から得られる空気力や姿勢とは異なり風洞実験では本質的に予測の難しい現象であり、本フレームワークの有用性を示している。レーンチェンジ中のドライバーの操舵入力についても同様であり、1way と 2way で差異がみられること- 36 -

から、操舵における非定常空気力の影響が見て取れる。このようなフレームワークを活用すること
で、操安性に寄与する空力パーツの開発やその物理メカニズムの解明が可能になると期待される。

Fig. 2.2.4-9 Target model.

Fig. 2.2.4-10 Snapshots of the velocity profile during the lane-change motion.

- 37 -

Fig. 2.2.4-11 Transient aerodynamic forces acting on the vehicle (left: 1way coupling, right: 2way
coupling.)

Fig. 2.2.4-12 Roll angle change (left) and corresponding steering input (right) during the lanechange motion, and comparison between the 1way and 2way couplings.
(5) リアルワールド自動車空力音予測(a) 研究成果の要旨
本実証研究テーマでは、電気自動車や自動走行車等の、次世代自動車の設計・開発に貢献するための HPC シミュレーション技術の構築と実証を行うことを目的として、ボンネット隙間やフロン
トグリルから発生する狭帯域音、ピラーやドアミラーから発生する広帯域音、空力・構造振動・音響連成による車内騒音を対象に、実走行時の空力音予測を行う。
令和 2 年度は、リアルワールド自動車空力音予測のためのモデルの作成、利用するアプリケーショ
ンの「富岳」の本格利用に向けた調整を実施した。具体的には、狭帯域音に対しては、ボンネットから発生するフィードバックノイズを予測するために、CUBE に実装されている圧縮性流体解析ア
ルゴリズムの、「富岳」上での性能評価とチューニングを行った。単体性能でピーク性能に対して7%弱程度であったものに対して、袖領域でのデータ通信のリオーダリング等を実施して、対流項および拡散項の計算に関して、2～3 割程度の性能向上の目処を得た。また、実車両を対象にしたフィードバックノイズ予測に対して、空間解像度を 250 億セル規模のシミュレーションを「富岳」で実施し、精度向上の目処を得た。広帯域音については、バサバサ音の評価を行うため、予備実験を行い、変動感の主要因子の抽出を行った。また、乱流変動風下での空力音予測のために、シミュレー- 38 -

ションでの変動風作成装置について、実証研究テーマ 4 と連携して、変動風作成モジュールの作成を行った。車内騒音解析の音源となる外部音を予測するため、Acoustic perturbation equation による予備解析を行い、車外音場と流れ場の圧力変動を分離できることを確認した。
The purpose of this demonstration research theme is to establish and demonstrate HPC
simulation technology to contribute to the design and development of next-generation
automobiles including electric vehicles. For this purpose, the narrow-band noise generated fromthe hood gap and front grille, the broadband noise generated from pillars and door mirrors are
simulated. Moreover, the interior noise caused by the coupling of aerodynamics, structural
vibration, and acoustics are predicted.
In this fiscal year, we created a model for real-world automotive aerodynamic noise prediction
and made adjustments for full-scale use of the application "Fugaku". Specifically, for narrow-bandnoise, the performance of the compressible fluid analysis algorithm implemented in CUBE wasevaluated and tuned on "Fugaku" in order to predict the feedback noise generated from the hood.
The stand-alone performance of the algorithm was less than 7% of the peak performance, but by
re-ordering the data communication in the sleeve region, we were able to improve theperformance of the algorithm by about 20-30% for the calculation of convection and diffusion
terms. For the prediction of feedback noise for a real vehicle, a simulation with a spatial
resolution of 25 billion cells was conducted in "Fugaku", and the accuracy of the prediction was
improved. As for the broadband sound, a preliminary experiment was conducted to evaluate therustling sound, and the main factors of the sense of fluctuation were extracted. For the predictionof aerodynamic sound under turbulent fluctuating wind, a module for creating the fluctuating
wind in the simulation was developed in cooperation with the demonstration research theme 4.
In order to predict the external sound as a source for the in-vehicle noise analysis, a preliminary
analysis using the acoustic perturbation equation was conducted, and it was confirmed that thepressure fluctuation in the flow field could be separated from the external sound field.
(b) 本研究の内容
狭帯域騒音：自動車の狭帯域音を予測するため、Fig. 2.2.5-1 に示す車両周りの解析を行った。流れの中に微小な段差・隙間が置かれると、発生した空力音が渦自体に影響を及ぼすフィードバック
音が生じることが知られているが、一般にこのような空力的な自励音は上流の流れが層流である場合に起きることや、発生した渦が後方の障害物のエッジに衝突するような場合に発生することがわ
かっている。しかし、自動車のように形状が複雑な場合、上流の流れが層流であるかが確認することが難しい場合や、本件のようにボンネット内のエンジン等の圧力損失により主流流れが（通常の予想のようにならない）変化し、衝突箇所が予測できない場合がある。自動車から放出される狭帯域音を予測する場合、音が発生部位だけでなく、車両全体の流れ場を考える必要があるのはこのためである。本研究では、この問題を明らかにするため、狭帯域音が発生する箇所だけでなく、エンジンルームを含む車両全体の解析を行った。エンジンルームを含む複雑形状を解析するために直交- 39 -

格子による解析アプリである CUBE を使用した。また、空力音を解析するために圧縮性ナビエ・ス
トークス方程式を解き、音を直接求めることを試みた。音の発生個所であるボンネット付近は小さな CUBE を用いて解像度を上げ、車両周りの解像度は車体周りの流れが再現できるように調整した。

Fig. 2.2.5-1 Computational grid for narrow-band sound analysis.
計算条件は、車両速度 60 km/h であり、実車においてボンネットから狭帯域音が発生した条件である。解析格子は最小格子サイズ 0.2 mm である。格子数は約 20 億である。計算のタイムステップ
は 5×10-6 秒であり、音速を基準とした CFL 条件は 9 である。
空力・音響フィードバック音を予測する場合、音速を基準とした CFL が 1 以下になることが望ましいが、CFL を小さくすると解析に必要な時間が長くなるという問題があるため、予備解析結果を参考に、音響フィードバックを再現することが可能な限り CFL を大きくして解析を行った。
Figure 2.2.5-2 にボンネット近傍の音場を示す。

- 40 -

Fig. 2.2.5-2 Acoustic pressure field around the engine hood. (A strong aero-acoustical feedback
sound is generated around the edge of hood.)
図からわかるようにボンネットの隙間部分から強い空力音が発生していることがわかる。しかし、下側の車体面に沿って流れが発達してくると仮定した場合、その流れはボンネットのエッジ部にぶつかるようには見えない。しかし、実際には隙間の大きさとエンジンルーム内の圧力差の影響によって流れが内側に傾き、下部で生成した渦がボンネットの端部にぶつかるため強い音が発生する。
このような問題を解くためには、車体全体の解析を行う必要がある。この点が本解析の難しい点である。車両部を再現することにより、ボンネット部からの狭帯域音を発生させることができた。
Figure 2.2.5-3 に空力音のスペクトルを示す。上側が実験、下側が解析結果である。実験では
1,220 Hz、1,650 Hz に強いピークがみられる。2,400 Hz、2,700 Hz、3,100 Hz、3,500 Hz 付近にも小さなピークが観察される。これに対して解析結果では、841 Hz、1,220 Hz、1,650 Hz、2,330
Hz、2,690 Hz、3,080 Hz にピークがみられ、2,330 Hz、2,690 Hz、3,080 Hz に非常に強いピークが観察される。このことから解析においてフィードバック音自体は発生しているが、音の強さまでは一致していないことがわかる。
周波数が高いということは、隙間間の渦の数が多いこと、すなわちモードが高いことを示しており、解析のほうがより小さい渦が支配的になっていることがわかる。実験でのピーク周波数に対して概ね 2 倍の周波数にピークができていることから、ボンネットの隙間にできる渦の数は実験の 2倍になっていることがわかる。この違いが解析の解像度の影響なのか、CFL が大きいことによる影
響かについては今後検討する必要がある。Figure 2.2.5-4 にボンネット部の解像度を上げた解析結果（流れ場）を示す。今後、本データをもとに発生音のより詳細な分析を行う必要がある。

- 41 -

Fig. 2.2.5-3 Spectrum of narrow-band sound generated by an engine hood. Above: Wind tunnel
experiment, Bellow: Simulation.

Fig. 2.2.5-4 Result of high-resolution mesh.
広帯域騒音・車内騒音：車両周りの流れが車内音に及ぼす影響を調べるには、車両周りの流れと
外部空力音を推定する必要がある。外部空力音を推定する場合、非圧縮性流れ場解析から音場を求める分離解法と圧縮性流れ解析や格子ボルツマン法による空力音を直接解析する方法がある。それ
ぞれ一長一短があり、分離解法では、流れ場と音場が分離されているので、それぞれが車体の振動にどのように影響を及ぼすかを確認しやすい。特に自動車の場合、主要な音源である高周波数成分- 42 -

は外部音であることがわかっているため、外部音の寄与を車体の振動と音の特性をモデル化して求めることができる。また、流れに起因する振動は周波数が低いことから振動解析の精度が高いという利点もある。しかし、自動車周りの流れ場のような複雑な計算対象の場合、分離解法によって空力音を求めるには、音源となる流体データを記録・保持するのにかかるコストが膨大となる点が問題となっていた。本研究では Acoustic perturbation equation を用いることによりこの問題の対策を行った。
圧縮性流れ解析により空力音を直接求める場合は、音場を別に求める必要がないため、解析によって得られたデータを用いて、振動・音響解析が可能となる。しかし、自動車のような低マッハ数
流れの場合、空力音を精度良く求めることが難しいこと、流れと音が分離されていないので、音響成分の伝達関数を用いる方法が使えないというデメリットがある。伝達関数の適用に関しては非圧
縮性流れ解析の手法と組み合わせることにより解決していく予定である。
低マッハ数流れにおいて空力音を精度良く求めるため、格子ボルツマン法（Lattice Boltzmann
Method、LBM）に基づく流体解析コード FFX を開発した。LBM、直交格子を用いていることにより格子生成の作成が容易である特長を有している。FFX の実行にあたっては、事前に計算格子を用意する必要はなく、計算実行時に形状データ（製品の STL ファイルが作成された点群データ）を入力し、流れソルバーが自動的に計算格子を作成する機能を有している。計算格子処理は、並列処理されるため、数百億グリッドの計算であっため、計算格子作成に必要な計算時間は数分程度で終了する仕様となっている。
以下に格子ボルツマン法 FFX 流れソルバーの開発状況について報告する。
以下に Weak Scale ベンチマークテストの実施結果を示す。計算機は「富岳」（最大約 3.2 万ノード）を使用した。テストデータは、通信相手が両隣しかない場合とより実用的な立方体領域の 2 種類とした。機能拡張版の最終バージョン（ver.41.15）および、このバージョンに日本電気株式会社
および一般財団法人高度情報科学技術研究機構と連携して開発した高速化技術（インデックス入れ
替え、ループ一次元化、ループ入れ替え、ループアンロール）を実装したバージョン（ver.42.11）を用いた。Figure 2.2.5-5 に FFX 流れソルバーのバージョン間の関係を示す。

Fig. 2.2.5-5 Relationship between versions of the FFX flow solver.

- 43 -

テストデータとした両隣通信解析と直方体領域について以下にその内容を示す。
◼ 両隣通信解析：1 辺あたりのグリッド数（以下、NG）を 220 とキューブを直列に 4 個連ねた直方体を 1 ノードに与え、ノード数を増やすごとに上記の直方体を直列に連ねた直方体を計算対象とする。ノードあたりのグリッド数は 42.6M（2203×4）であり、メモリ容量は約 24.3GB/
ノードであった。領域分割はキューブ番号で等分割した。
◼ 直方体領域：NG=184、128、64 のキューブを 8（=2×2×2）個配置した直方体領域を 1 ノードに与えた。ノード数を 8 倍するごとに、1 方向あたりのキューブ数を 2 倍にすることにより、ノードあたりのグリッド数を一定にした。ノードあたりのグリッド数は 49.0M（1813×8）、
16.8M（1283×8）、2.1M（643×8）であり、メモリ容量は 18.9、8.7、2.2GB/ノードであった。
NG=184 のデータの領域分割はキューブ番号で等分割する方法と、METISH を用いる方法の二通りをテストし、NG=128、64 のデータの領域分割はキューブ番号で等分割する方法のみ試した。
実行した計算ケースの、流れソルバーのバージョン、計算モデル、NG、ノードあたりのグリッド
数および領域分割方法を Table 2.2.5-1 にまとめた。以下の 3 ケースである。
ノード数は全ケース共通で、1、8、64、512、4,096、32,768 とした。プロセスは CMG に割り当てるので、領域数はノード数の 4 倍である。計測する計算時間のブレを確認するため、各条件で 4回の測定を行った。
Table 2.2.5-2 に各ケースに平均通信相手数を示す。また、ここの 256 並列以上のケースにおける通信パターンの比較結果を Fig. 2.2.5-6 に示す。このような通信パターンの可視化によって、「富岳」のノード間通信の距離（Tofu ユニット間の距離）がどのように分布しているかを知ることができる。
今後は通信制御アルゴリズム（通信のスケジューリング方法）も考慮して、より高速な通信を実現できるように、プロセスを各ノードに割り当てていく必要がある。
コードの高速化のための施した主な変更内容を以下にまとめる。
・分布関数の変数定義を F(IP,I,J,K)から F(IG,IP)とした。ここで IP は粒子に関するインデック
スであり、1~15 である。I、J、K は各方向の位置に関するインデックスであり、典型的なグリッド数の場合で 1~128(あるいは 1 ~256)である。IG は位置に関するインデックスであり、200
万～数千万である。上記の変更により、再内ループを長くし、ロード効率を上げることができた。この変更は、「富岳」以外の計算機においても有効であることを確認している。
・コアルーチンにおけるループは、粒子ループと空間ループの多重ループになっているが、この順序を入れ替えることにより、無駄なロードを減らした。
・粒子分布からマクロ変数の計算において、無駄な計算（係数が 0 である乗算）が含まれていたので、手動でループ展開し、不要な演算を削除することにより、グリッドあたりステップあたりの演算数を 0.45K から 0.2K にまで削減した。
上記の変更により、計算時間で 3 倍、実行時間で約 1.5 倍の高速化を達成した。
「富岳」1 ノードあたりの実行性能は 126 GFLOPS であった。

- 44 -

Table 2.2.5-1 Parameters of test simulation.
Case
Case
01.01
Case
01.02
Case
01.03
Case
02 01
Case
02 02
Case
02 03
Case
02 04
Case
02 05

ノード
数
1
8
64
512
4096
32,768versionmodel

NG

Grid/node

Domaindecomposition

ver.41.15

adjacent
communication

220

42.6M

Cube number

ver.41.15

cubic domain

184

49.0M

Cube number

ver.41.15

cubic domain

184

49.0M

METIS

ver.42.11

adjacent
communication

220

42.6M

Cube number

ver.42.11

cubic domain

184

49.0M

Cube number

ver.42.11

cubic domain

184

49.0M

METIS

ver.42.11

cubic domain

128

16.8M

Cube number

ver.42.11

cubic domain

64

2.1M

Cube number

Table 2.2.5-2 Comparison of average number of communication partners.
Case 01
Case 02
Case 03
adjacent
領域数
cubic domain：
cubic domain：communication：
Cube numbers
METIS
Cube numbers
4
1.5
3.0
3.0
32
1.9
11.5
11.5
256
2.0
17.9
17.9
2,048
2.0
21.7
21.7
16,384
2.0
23.8
21.0
13,1072
2.0
24.9
21.8

- 45 -

(a) 256 parallel.

(b) 2048 parallel.

(c) 16,384 parallel.

(d) 131,072 parallel.
Fig. 2.2.5-6 Comparison communication patterns.

- 46 -

Table 2.2.5-3 および Table 2.2.5-4 に計測した計算時間の比較を示す。各ケースで計測した計算時間のうち、最短値を用いて、性能を評価した。各ケースにおける計測時間と最短値との差分をTable 2.2.5-5 および Table 2.2.5-6 に示す。Case.01.03 で領域数が多い場合のみ差分値が大きくなっている。差分値が大きく理由としては「富岳」のノード間通信において、他のプロセスの通信の影響を受けている可能性があるが、今後、さらなる調査が必要である。
高速化後のコード（ver.42）における演算回数 244 FLOP/GRID/STEP および各ケースで計算した
計算時間の最短値を用いて、演算性能を算出した。Table 2.2.5-7 にノードあたりの演算性能（GFLOPS/ノード）を示す。Figure 2.2.5-7～2.2.5-10 に実行性能の比較を示す。高速化したコードを用いて、「富岳」において、weak-scale ベンチマークテストを実施した。ノードあたりのグリ
ッド数は 47.4M グリッドであり、本テストでは、最大 32,768 ノード（1.5 兆グリッド）を用いた計算を実行した。FFX は、3.2 万ノードまで高い並列性能を維持していることを確認した。比較として、「京」で測定した性能もプロットしている。
「京」と比較し、約 21.5 倍（演算回数を 1/2 にしているので計算時間換算では 43 倍）の高速化を達成している。FFX を、「富岳」フルノードを用いて実行した場合、およそ 7.5 兆グリッドの計算を実現できる見込みである。
また、FFX は従来のナビエ・ストークスベースの流体解析に対して、省メモリ容量、低演算数という特長を有している。Table 2.2.5-8 に有限要素法ベースの FFB と LBM ベースの FFX のグリッドあたりのワード数、グリッドあたり時間ステップあたりの演算数の比較を示す。ワード数は FFBの 1,000 words/grid に対し、FFX は 50 words/grid とグリッドあたりのグリッド数は FFB に対し
1/20 である。ただし、FFB は単精度、FFX は倍精度であるためこれを考慮すると演算機あたりのグリッド数は FFX のほうが 10 倍ほど大きいことになる。グリッドあたりステップあたりの演算数
は、FFB は 20K（=20×103）回であるのに対し、FFX は 0.2K（FFB の 1/100）であり、演算機あたりのグリッド数とコードの実行性能が同程度であると仮定すると、FFX のステップあたりの計算
時間は FFB の 1/100 程度になる。ただし、FFB は陰解法、FFX は粒子速度と最小格子幅できまる
時間刻みを用いた陽解法であるため、おなじ期間だけ計算しようとした場合の計算ステップ数はFFX のほうが 100 倍程度大きくなることが推定され、計算時間そのものは FFB、FFX で同程度になると推察される。

- 47 -

Table 2.2.5-3 Comparison of elapse time of simulation (sec/step) (Case 01.01~.01.03).
Domain
Case
1st
2nd
3rd
4th
Min
Case
4
0.27730.27740.27730.27730.277301.01
320.27040.27040.27040.27030.2703256
0.25830.25820.25820.25820.25822,048
0.25850.25910.25820.25830.2582
16,3840.26080.26180.25990.26750.259913,1072
0.25870.27570.26190.27040.2587Case
40.30090.30080.30080.30080.300801.02
320.28400.28400.28400.28400.2840256
0.28250.28270.28190.28240.28192,048
0.27920.27910.27970.27940.2791
16,3840.27450.27420.27370.27480.2737
13,1072
0.31090.28290.28200.28470.2820Case
40.30060.30060.30060.30080.300601.03
320.28300.28300.28310.28400.2830256
0.28190.28190.28180.28310.28182,048
0.28010.27980.27970.27930.2793
16,3840.49000.48910.49000.27440.2744
13,1072
0.48740.48300.48720.32700.3270- 48 -

Table 2.2.5-4 Comparison of elapse time of simulation (sec/step)(Case 02.01~02.05).
Domain
Case
1st
2nd
3rd
4th
Min
Case
4
0.08300.08260.08260.08300.082602.01
320.08090.08130.08110.08100.0809256
0.07830.07810.07790.07790.07792,048
0.07850.07780.07810.07800.077816,3840.08190.07990.08100.07960.0796
13,1072
0.07800.11170.0862
0.09310.0780Case
4
0.09980.09990.09990.10000.099802.02
320.10290.10340.10430.10430.1029256
0.10590.10570.10610.10860.10572,048
0.13470.11400.11470.13500.114016,3840.12650.12890.12860.14700.1265
13,1072
0.20630.18870.1896
0.18950.1887Case
40.09970.09970.09970.09980.099702.03
320.10050.10050.10080.10090.10052560.10340.10370.10310.10610.1031
2,048
0.11730.11160.11130.11710.1113
16,3840.20560.21270.19680.20620.1968
13,1072
0.21540.25230.24660.20390.2039Case
40.03730.03740.03740.03730.037302.04
32
0.03970.03960.03920.03940.0392256
0.04050.04290.0406
0.04170.04052,048
0.0441
0.04290.05690.05680.042916,3840.05100.07670.07190.07030.051013,1072
0.09880.10760.10030.12050.0988Case
40.00660.00670.00670.00670.006602.05
32
0.00730.00740.00750.00740.0073256
0.00780.00800.00770.00770.00772,048
0.00870.01230.00870.01380.0087
16,3840.01080.02780.02030.01490.0108
13,1072
0.02950.0406
0.02600.02230.0223- 49 -

Table 2.2.5-5 Comparison of elapse time of simulation (sec/step)(Case 01.01~0.1.03).
Domain
Case
1st
2nd
3rd
4th
―
Case
4
0.00000.00010.00000.000001.01
320.00010.00010.00010.0000256
0.00010.00000.00000.00002,048
0.00030.00090.00000.0001
16,3840.00090.00190.00000.0076
13,1072
0.00000.01700.00320.0117Case
40.00010.00000.00000.000001.02
320.00000.00000.00000.0000256
0.00060.00080.00000.00052,048
0.00010.00000.00060.0003
16,3840.00080.00050.00000.0011
13,1072
0.02890.00090.00000.0027Case
40.00000.00000.00000.000201.03
320.00000.00000.00010.0010256
0.00010.00010.00000.00132,048
0.00080.00050.00040.000016,3840.21560.21470.21560.000013,10720.16040.15600.16020.0000- 50 -

Table 2.2.5-6 Comparison of elapse time of simulation (sec/step) (Case 02.01~02.05).
Domain
Case
1st
2nd
3rd
4th
―
Case
4
0.00030.00000.00000.000402.01
320.00000.00040.00020.0001256
0.00040.00020.00000.00002,048
0.00070.00000.00030.0001
16,3840.00240.00030.00140.000013,1072
0.00000.03370.00820.0151Case
40.00000.00020.00010.000202.02
320.00000.00050.00140.00142560.00020.00000.00040.00292,048
0.02070.00000.00070.021016,3840.00000.00240.00210.0205
13,1072
0.01760.00000.00090.0008Case
40.00000.00000.00010.000102.03
320.00000.00000.00030.00042560.00030.00060.00000.00302,048
0.00600.00030.00000.005816,3840.00880.01590.00000.0094
13,1072
0.01150.04840.04270.0000Case
40.00000.00010.00010.000002.04
32
0.00060.00050.00000.00022560.00000.00240.00010.00122,048
0.00120.00000.01410.013916,3840.00000.02570.02100.0194
13,1072
0.00000.00880.00150.0217Case
40.00000.00000.00000.000002.05
320.00000.00010.00020.0001256
0.00010.00030.00000.00012,048
0.00000.00360.00000.0051
16,3840.00000.01700.00950.0041
13,1072
0.00720.01830.00370.0000
Table 2.2.5-7 Execution performance per node (GFLOPS/node).
Node
Case
4
32
256
2,048
16,38401.01

ver.41
01.02

01.03

02.01

02.02

ver.42
02.03

02.04

02.05

37.5
38.4
40.2
40.2
40.0

38.5
40.8
41.1
41.5
42.3

38.5
40.9
41.1
41.4
42.2

125.8
128.4
133.5
133.6
130.6

116.0
112.5
109.5
101.5
91.5

116.1
115.2
112.3
104.0
58.8

109.8
104.5
101.2
95.5
80.3

77.0
69.9
66.7
58.9
47.3

- 51 -

Fig. 2.2.5-7 Comparison of execution performance (comparison of “K” and “Fugaku” for adjacentcommunication analysis).
.

(a) ver.41.

- 52 -

(b) ver.42.
Fig. 2.2.5-8 Execution performance improvement effect by speeding up.

Fig. 2.2.5-9 Comparison of execution performance (Effect of the number of grids per node in“Fugaku”.

- 53 -

Fig. 2.2.5-10 Comparison of execution performance (FFB and FFX with 2M grid per node in“Fugaku”.
Table 2.2.5- 8 Comparisons of flow solvers FFB and FFX.
FFB
FFX
MethodFEM
LBM
words/grid
1,000 (Single precision)
50 (Double precision)
FLOP/grid/step
20K
0.2K
FFX の基礎的な解析が可能となったので、実際の車両解析の準備を開始した。車両解析を行うにあたり高速化および性能測定と並行して、今年度は壁面近傍に高解像度の計算格子を配置し、遠方に粗い計算格子を配置するマルチキューブ計算機能および計算実行時に計算格子を自動作成する機能を開発した。これにより、任意の複雑形状を対象に兆グリッド規模の解析を可能とする FFX シス
テムを完成させた。完成させたシステムを用いて、車体まわり流れを対象としたテスト計算を実施した。テストのための形状データは株式会社本田技術研究所に提供いただいた。Figure 2.2.5-11(a)にテスト計算に使用した計算格子を示す。
Figure 2.2.5-11(b)に FFX で計算された車体まわりの主流方向速度分布を示す。テスト計算の目的
は、レイノルズ数が設定されており現実の流れとは乖離があるが、この計算により、上記の機能の健全性を確認することができた。車内騒音解析の音源となる外部音を予測するため、Acoustic
perturbation equation（APE）による予備解析を行い（Figure 2.2.5-12 参照）、車外音場と流れ場の圧力変動を分離できることを確認した。
今後は、実際のレイノルズ数による実証計算を実施する必要がある。今年度は予備解析と計算が可能なことを確認したので、今後音響解析を行い、これまでの FFB 解析との比較、風洞実験との比
較、車内騒音解析への適用を進める必要がある。

- 54 -

(a) Computational grids.

(b) Distribution of streamwise velocity around a vehicle.
Fig. 2.2.5-11 Test analysis of flow around a vehicle with FFX.

Fig. 2.2.5-12 Hydro-dynamical pressure fluctuation (left) and acoustical pressure (right)
computed based on APE method by FFX.
(6) プロジェクトの総合的推進
プロジェクト全体の連携を密としつつ円滑に運営していくため、プロジェクトの推進や実証研究
テーマ間の連携のための会議等を適宜開催し、参画の協力機関・連携機関との連携・調整にあたる。
特に、プロジェクト全体の進捗状況を確認し、計画の合理化の検討等を行うなど、プロジェクトの効果的・効率的推進に資する取組みを実施する。また、プロジェクトで得られた成果については、
可能な限り積極的に公開して今後の展開に資するとともに、ものづくり産業での早期戦力化を支援する。

- 55 -

令和 2 年度は、上記を順次実施しながら、本課題の有効な研究活動のための支援を実施し、研究開
発全体を円滑に実施するための調整を行った。以下に代表的な活動を示す。
1) 「『富岳』成果創出加速プログラム」第 4 回 HPC ものづくり統合ワークショップ
日時：令和 2 年 11 月 27 日
場所：Webex Events
参加者：157 名
2) 第 1 回「富岳」流体予測革新プロジェクトシンポジウム
日時：令和 3 年 3 月 10 日
場所：Webex Events
参加者：292 名
２－３．活動（研究会の活動等）(1) アウトリーチ活動
年月日

行

事

R1.9.3~4

国際フロンティア産業メッセ 2020

R1.11.17~19

SC20

R2.11.27「『富岳』成果創出加速プログラム」第 4 回 HPC ものづくり統合ワークショップ

R3.3.9HPCI フォーラム

R3.3.10

第 1 回「富岳」流体予測革新プロジェクトシンポジウム(2) 「富岳」流体予測革新プロジェクト推進会議
年月日

行

事

R2.6.10

第 1 回「富岳」流体予測革新プロジェクト推進会議

R2.9.28

第 2 回「富岳」流体予測革新プロジェクト推進会議

R2.12.25

第 3 回「富岳」流体予測革新プロジェクト推進会議

R3.2.4

第 4 回「富岳」流体予測革新プロジェクト推進会議(3) 「富岳」高性能シミュレーション技術交流会
年月日
R2.1.29

行事

第 1 回「富岳」高性能シミュレーション技術交流会(4) アプリケーション性能向上ワーキンググループ
年月日
R2.4.24

行事

第 1 回アプリケーション性能向上ワーキンググループ- 56 -

R2.5.21

第 2 回アプリケーション性能向上ワーキンググループ

R2.6.18

第 3 回アプリケーション性能向上ワーキンググループ

R2.7.14

第 4 回アプリケーション性能向上ワーキンググループ

R2.8.6

第 5 回アプリケーション性能向上ワーキンググループ

R2.9.8

第 6 回アプリケーション性能向上ワーキンググループ

R2.10.13

第 7 回アプリケーション性能向上ワーキンググループ

R2.11.12

第 8 回アプリケーション性能向上ワーキンググループ

R2.12.10

第 9 回アプリケーション性能向上ワーキンググループ

R3.1.15

第 10 回アプリケーション性能向上ワーキンググループ

R3.2.16

第 11 回アプリケーション性能向上ワーキンググループ

R3.3.18

第 12 回アプリケーション性能向上ワーキンググループ

２－４．実施体制
実施項目

担当機関

担当責任者

(1) 数値曳航水槽の実現と省エネデバイスによる推進効率の向上

国立大学法人東京大学 生産技術研究所

革新的シミュレーション研究センターセンター長／教授 加藤千幸

(2) 細隙部を含めた多段 国立大学法人九州大学 大学院
遠心ポンプの内部流 工学研究院
れ の Wall-Resolved
国立大学法人東京大学 生産技
LES術研究所(3) 圧縮機サージの直接
国立大学法人九州大学 大学院
解析
工学研究院
国立大学法人岩手大学 理工学部(4) リアルワールド自動 国立大学法人神戸大学 大学院
車空力性能の予測システム情報学研究科
国立研究開発法人理化学研究
所 計算科学研究センター
国立大学法人山梨大学 大学院
総合研究部

教授 渡邉聡革新的シミュレーション研究センターセンター長／教授 加藤千幸
教授 古川雅人
准教授 山田和豊
教授 坪倉誠チームリーダー 坪倉誠
教授 岡澤重信(5) リアルワールド自動 国立大学法人豊橋技術科学大 教授 飯田明由
車空力音予測学 大学院工学研究科
国立大学法人神戸大学 大学院
システム情報学研究科
国立研究開発法人理化学研究
所計算科学研究センター- 57 -

教授 坪倉誠チームリーダー 坪倉誠

国立大学法人東京大学 生産技術研究所

革新的シミュレーション研究センターセンター長／教授 加藤千幸

(6) プロジェクトの総合 国立大学法人東京大学 生産技
的推進
術研究所

革新的シミュレーション研究センターセンター長／教授 加藤千幸

- 58 -

別添１ 学会等発表実績
１．学会等における口頭・ポスター発表
発表した成果（発表題目、
口頭・ポスター発表の別）

発表者氏名発表した場所（学会等名）

発表し
た時期

国内・
外の別

Towardrealizationofnumerical towing-tank tests
by wall resolved large
EDDY simulation based on
32 billion grid finite-element
computation
直交格子法によるタイヤ回転を伴うオープングリル車両空力シミュレーション「富岳」の時代の大規模流体計算と設計最適化

Chisachi Kato

The
FourthChineseInternational
Turbomachinery Conference(CITC), online (China)

2020 年4月

国外

大西慶治、坪倉誠

計算工学講演会論文集、Vol.252020 年
5月

国内

加藤千幸

2020 年10 月

国内「富岳」の時代の計算科学と
産業応用

加藤千幸

2020 年
10 月

国内

スパコン「富岳」による大規
模流体シミュレーションとデータ科学融合による新たな自動車ものづくりに向けて「富岳」による大規模流体シ
ミュレーションとデータ科学融合による新たな CAE に向けてTowardrealizationofnumerical towing- tanktests by wall- resolved large
EDDY simulation based on
32 billion grid finite-element
computation
TowardRealizationofNumerical
Towing-Tank
Tests
byWall-Resolved
Large Eddy Simulation
based on 32 billion grid
Finite-Element
Computation
High
Performance
ComputingandIts
Industrial Applications inFugaku Era

坪倉誠

VINAS
OnlineUsers
Conference 2020, Online
Conference
The 5th Ebara Open
Innovation Symposium on
Computational Science &Optimization for Advanced
Products & Processes， オンライン
日本自動車技術会ナイトセミ
ナーオンライン2020 年
10 月

国内

坪倉誠

VINAS
OnlineConference 2020

Users

2020 年
10 月

国内

Chisachi Kato

The
FourthChineseInternational
Turbomachinery Conference&
Exhibition,
OnlineConference2020 年
11 月

国外

Chisachi
Kato,
Yoshinobu
Yamade, Katsuhiro
Nagano, Kiyoshi
Kumahata, Kazuo
Minami,
TatsuoNishikawa
Chisachi Kato

SC20, Online Conference2020 年
11 月

国外2020 年
11 月

国外

大規模 CFD が拓く新たなものづくり ～自動車 CAE を例に～「富岳」で実現するデータ科
学と HPCシミュレーションの融合による革新的ものづくり

坪倉誠

18th
International
Symposium on Transport
Phenomena and Dynamics
ofRotating
Machinery,
Online Conference
日本機械学会関西支部第 370回講演会 実務者のための流体解析技術の基礎と応用
第 13 回スーパーコンピュー
ティング技術産業応用シンポジウム

2020 年
11 月

国内2020 年
12 月

国内

坪倉誠

- 59 -

富岳における CUBE 圧縮性
ソルバーの性能評価とチュー
ニング

安藤和人、熊畑清、南一生、大西慶 治 、 ChungGang Li、坪倉誠、
池田隼
Tokimasa
Shimada,Koji
Nishiguchi,
Shigenobu
Okazawa, Makoto
Tsubokura
Koji
Nishiguchi,
Tokimasa
Shimada,Masafumi Otaka,
Shigenobu
Okazawa, Makoto
Tsubokura
Chisachi Kato

第 34 回数値流体力学シンポジウム

2020 年
12 月

国内

3rd
International
ConferenceonComputational Engineeringand Science for Safety andEnvironmental
Problems(COMPSAFE 2020)
3rd
International
ConferenceonComputational Engineeringand Science for Safety andEnvironmental
Problems(COMPSAFE 2020)

2020 年
12 月

国外2020 年12 月

国外Multi-scale, Multi-physics
and Coupled Problems onhighly parallel systems(MMCP), Online (Jeju/South
Korea)

2021 年
1月

国外

A
TOPOLOGY-FREE
IMMERSED BOUNDARYMETHODFOR
INCOMPRESSIBLE
TURBULENCE FLOWS

Keiji
Onishi,
MakotoTsubokura

14th World Congress in
Computational Mechanics(WCCM)
ECCOMAS
Congress 20202021 年
1月

国外

TowardRealizationofNumerical
Towing-Tank
Tests
byWall-Resolved
Large Eddy Simulation
based on 32 billion grid
Finite-Element
Computation

Chisachi Kato

The
3rd
R-CCS
International Symposium,
Online (RIKEN R-CCS)

2021 年
2月

国外

Full Eulerian Formulation
Using Lagrangian Marker
Particlesfor
FluidStructureInteraction
Problem
Eulerian Finite Volume
Formulation
Using
Hierarchical
CartesianMesh for Multi-Material
Vehicle Structures
High
Performance
ComputingandIts
Industrial Applications inFugaku Era

２．学会誌・雑誌等における論文掲載
掲載した論文（発表題目）

発表者氏名

発表した場所（学会誌・雑誌等名）

発表し
た時期

国内・
外の別

乱れを含む流れの中に置かれた翼から発生する空力音に関する研究（第 2 報：翼が円柱
後流の影響を受ける場合）
Topology-free
immersedboundary
methodforincompressible turbulence
flows:
An
aerodynamic
simulation for “dirty” CAD
geometry

小林典彰、鈴木康
方、加藤千幸日本機械学会論文集、 2020年 86 巻 885 号 p. 19-00455

2020 年
5月

国内

Keiji
Onishi,
Makoto Tsubokura

Computermethods
inappliedmechanics
andengineering

accepted

国外

A one-sided direct forcing
immersed boundary method
using moving least squares

Rahul
Bale,
Amneet Pal Singh
Bhalla, Boyce E.
Griffith,
MakotoJournal of Computational
Physics

accepted

国外- 60 -

Tsubokura- 61 -