VOL.

ものづくりに HPC を活用するためのツールとケーススタディー

23

計算工学ナビ・ニュースレター2022年秋号■計算工学ナビ・特別インタビュー「富岳」
成果創出加速プログラム

航空機フライト試験を代替する近未来型設計技術の先導的実証研究

安定・高忠実な KEEP スキームで実現する航空機開発の新たなイノベーション■特集「富岳」成果創出加速プログラム 開発アプリケーション

東北大学大学院工学研究科航空宇宙工学専攻

河合 宗司

汎用並列有限要素法解析システム ADVENTURE ……………………………………………………………… 東京大学大学院工学系研究科 吉村 忍
複雑現象統一的解法フレームワーク CUBE ………………… 神戸大学大学院システム情報学研究科／理化学研究所計算科学研究センター 坪倉 誠
格子ボルツマン法に基づく大規模 LES 解析ソルバー FFX
東京大学生産技術研究所 革新的シミュレーション研究センター 山出 吉伸 • 加藤 千幸
圧縮性流体 LES 基盤ソルバー FFVHC-ACE ……………………………………………… 東北大学大学院工学研究科航空宇宙工学専攻 河合 宗司■計算工学ナビ・レポート
RISTの OpenFOAM への取り組み ………………………………… 一般財団法人高度情報科学技術研究機構神戸センター産業利用推進部 浅見 暁

計算工学ナビ・特別インタビュー「富岳」成果創出加速プログラム

航空機フライト試験を代替する近未来型設計技術の先導的実証研究

安定・高忠実なKEEPスキームで実現する航空機開発の新たなイノベーション
文部科学省が実施する「『富岳』
成果創出加速プログラム」
は、「富岳」
を用いて成果を早期に創出することを目的としたプログラムです。そのなかの「領域3 産業競争力の強化」に含まれる課題の1つである「航空機フライト試
験を代替する近未来型設計技術の先導的実証研究」（「富岳」
航空機プロジェクト）
では、高度な計算能力を有する｢ 富岳 ｣と物理現象を高忠実に再現する壁面モデルおよび計算スキーム（KEEP スキーム）
を用いて、
世界初とな
る航空機全機周り・実フライト高レイノルズ数条件での高忠実な圧縮性 Large-eddy simulation (LES) 解析による航空機空力現象の予測評価に取り組んでいます。これにより、
現状の航空機開発における実機フライト試験
への依存度を激減させる次世代の設計開発技術の実現をめざしています。今回は、課題代表者である東北大学
大学院工学研究科の河合宗司教授に、プロジェクトの取り組みや研究成果などについてお話しいただきました。

数値シミュレーションが航空機開発を変える!?
はじめに、航空機開発における数値シミュレー
ションの重要性についてお話しください。

河合 航空機開発に欠かすことができないのが空力性能の予測・評価です。かつて航空機の空力設計に革新をもたらしたのが、時間平均流れ場を対象とする圧縮性CFD（数値流体力学）技術（RANS［Reynolds-Averaged Navier-Stokes］

予測が非常に難しくなります。では、数値シミュ

レーションができるかというと疑問が残ります。

レーションはどうでしょうか。もちろん難しい
ところはいろいろありますが、レイノルズ数はパラメータにレイノルズ数があります。レイノ
次元数で、分母が粘性力、分子が慣性力を表し、粘性力が支配的な場合にはレイノルズ数は低く、て確立したいと考えてきました。

ションで実フライト高レイノルズ数の解析がでずです。

機プロジェクト」の目的は？

河合 最初に、圧縮性CFD技術の発展が航空機設計に革新をもたらしたとお話ししましたが、これを航空機開発の“ 第一のイノベーション”とす

ると、数値シミュレーションによる実フライト高

ノルズ数は高く、さらさらとした不安定な流れ

実機フライト試験を代替する“第二のイノベーショ

イトエンベロープ全域で予測することができれば、（乱流）になります。航空機周りの流れではレイン”になり得ると考えています。フライト試験を比較的速い速度で移動し、サイズも大きいため、コストや時間、開発リスクを減らすことができまが乗る旅客機のレイノルズ数は、だいたい107オー

た創造的な航空機設計が可能になります。航空

レイノルズ数が高くなるのです。通常みなさん

ダーを超えるくらいです。巡航時で5×107くらいのオーダー、離着陸のときは速度が下がるので、
2×107オーダーくらいになります。一方、風洞実験ではこのレイノルズ数がどうなるかというと、トルネックなのです。私の知る限り、すべてといっても過言ではないほど圧縮性流体解析ソル
バーでは計算の安定化のためだけに、数値拡散

本来、数値拡散はLESのためには入れたくない。
今まで、誰もこのボトルネックを突破できませ

ちの研究プロジェクトは、次世代の数値シミュレー

プクラスの研究コードであっても数値拡散を付ンジをめざしています。さらに、研究の目的はもれる工学応用・商用コードでは、さらに大きな

空気も圧縮されますので、航空機のシミュレーショ

せています。

ションによって、航空機開発におけるゲームチェ

与していますし、さらに複雑形状解析に用いら
数値拡散エラーを入れることで計算を安定化さの方程式を解くことに空機のような複雑形状

レイノルズ数が1桁違うと現象は大きく変わってに対して、細かい乱流

もちろん風洞試験も行いますが、最終的には実ながら高忠実にシミュ計算工学ナビ Vol.23

縮性流体解析では、どうしても計算が不安定になってしまいます。これが圧縮性流体解析のボんでした。たとえば、学術で使われているトッなります。しかし、航認する必要があります。もちろん航空機開発の化エラーがゼロの計算手法です。ところが、圧機メーカーの苦労も大きく軽減されます。私たきません。小型の模型を使いますから、サイズ

際に航空機を造って飛ばして、どうなるかを確も重要です。正確な計算スキームとは何かというと、離散化エラーが少ない、理想的には離散でも、安定化のために入れざるを得ないのです。

ン で は、 圧 縮 性 流 体

しまいます。そのため、現状の航空機開発では、めのLarge-eddy simulation (LES) を実現するには、乱流を正確に解像する計算スキームがとてすし、新たなチャレンジ、たとえばこれまでなかっ数は106オーダーくらいになってしまいます。風

が小さくなり、レイノルズ数が低くなるわけです。

河合 はじめに、圧縮性流体解析のボトルネッ

クについてお話ししましょう。乱流を解析するたといわれる拡散エラーを入れているのが実情です。

う１つあります。航空機は高速で飛行するため洞に航空機をそのまま入れて測定することはでな計算スキームの開発に取り組まれたわけですね。

シミュレーションで置き換えることができれば、

たとえばJAXAが保有する航空機用としては日本で最大級の風洞設備などを使ってもレイノルズ

立つ高忠実な圧縮性流体解析の基盤アプリとしそうした目的を達成するために、安定・高忠実

レイノルズ数条件での航空機周りの流れをフラ

ノルズ数が非常に高いのが特徴です。航空機は広く使える安定で高忠実なシミュレーションがきれば、航空機開発の進め方は大きく変わるは

どろどろとした安定した流れ（層流）となります。一方、慣性力が支配的となる場合にはレイ

そこで私たちは、学術研究から産業利用まで幅可能なソフトウェアを開発し、多くの人々の役に河合先生が取り組んでおられる「『富岳』航空

ルズ数は、慣性力と粘性力の比で定義される無商用ソフトウェアはありますが、高忠実なシミュ

計算のインプットになりますので、数値シミュレー

従来の風洞試験への依存度は軽減し、今日ではCFD 技術は航空機開発にとって不可欠な技術と2

日本はもちろん世界を見てもほとんどありません。

航空機実機フライト試験を代替する“第二のイノベーション”をなっています。航空機空力設計における重要な河合 宗司 教授

歴史のなかで培われた知見や経験も重要ですが、現状と大きく形状を変えようというときには、解析など）の発展とスーパーコンピュータの進歩でした。数値シミュレーションの登場によって、東北大学大学院工学研究科
航空宇宙工学専攻

現象をきちんと解像しレーションできるソフ

トウェアは、現状では、▲図1 「富岳」を用いた航空機全機LES 解析

FFVHC-ACEは形状データの入力のみでシームレス、
完全自動、ロバスト、高速な解析を実現

◀︎図2 KEEP スキームのインパクト

KEEP スキームと従来の計算手法（風上法）計算結果と実験データ（左上）の比較。
揚力が最大値をとる付近では、どこに剥離が生じているか、KEEPスキームでは、より少ない格子点で実験データと遜色ない結果が得られた▶︎図3 航空機全機形状の最大揚力予測

青色はKEEPスキーム、赤色は従来の計算手法。KEEPスキームによる解析
結果は実験データとほぼ一致することが示された（縦軸は揚力係数、横軸は迎角）

これからお話しする私たちの計算スキーム

開発しています。このソフトウェアの3つの特徴「KEEPスキーム」のスタートラインは、「数値拡

は、① 複雑形状に対して完全自動格子生成を可理想的な計算方法を構築したい」ということでルズ数解析を可能とする壁面モデルLES、③物

散エラーを入れなくても安定した計算ができるした。そのために何をしたかというと、まず私た

ちは、数値計算が不安定になるのは物理現象を能とする階層型等間隔直交格子法、② 高レイノ
理現象を高忠実に再現することで安定性と非拡心に説明させていただきました（FFVHC-ACE にムなら「富岳」で十分な計算ができることが実なかった物理法則を、さらに高忠実に満たす計

ついてはP.6記事を参照）。

も安定に計算できる手法の開発を進めてきました。
もう少し詳しく説明すると、圧縮性流体現象

は質量の保存則と運動量の保存則、エネルギーの保存則を満たしながら解くのが一般的です。

続いて、「富岳」を用いた航空機全機LES解析

についてお話しします。FFVHC-ACEでは、完全自動で格子が生成され、そのまま直にシミュレー
ションに移っていくという完全自動のソルバーに法では、これら二次的な運動エネルギー方程式

縁の一部が前方に移動して主翼との間に隙間をり（表紙画像を参照）、形状データの入力のみで下面側の気流の一部を上面に流すことで剥離をこと、さらに高精度に離着陸時の空力予測も可つくるスラットという装置があります。これは翼遅らせ、より高い迎角（翼が流れに対してどれやエントロピー保存則を満たすようにきちんと計だけ傾いているかを表す角度）まで失速せずにり、それを抑えるために数値拡散エラーを入れ翼から離して宙に浮かせることができないので、算できていなかったために、計算が不安定となていたと考えています。そこで、私たちは発想行われたそうですね。

した。私が知る限り、産業界による初の民間旅できるようになっています。たとえば、主翼の前

ルギーやエントロピーです。これまでの計算手

民間旅客機「SpaceJet」の実機フライト解析もでなく、これまでなかなかできなかった計算がのアイデアのポイントは、これらの3つの方程式ような工夫です。二次的な物理量とは運動エネ

証されたわけです。

河合 はい。三菱重工グループの方々にFFVHC-

あとは勝手に計算されるのです。完全自動だけ

から二次的、副次的に出てくる保存量も満たす

析を行うことが難しいのに対して、KEEPスキー

なっています。航空機の形状データを入力すれば、既存の手法もこれらを満たしています。しかし、それでは不安定になってしまうのです。私たち

遜色ないというか、より優れた結果が出ているわけです。言い換えれば、従来の計算手法では「富岳」を使っても、正確な航空機全機 LES 解ム）です。ここでは3つ目のKEEPスキームを中算手法を構築し、数値拡散エラーを入れなくて点を使った従来法と比べてもKEEP スキームは散性を満足する数値計算スキーム（KEEPスキー

正しく再現していないからではないかと考えました。そして、今までの計算手法では満たしてい点では内舷側も外舷側も大きく剥離し、実験デー

タとかなり違っています。つまり、5倍強の格子揚力を増大させることができます。スラットは主主翼とつなぐ支持装置があって、これが航空機

ACEを使って「富岳」上で計算していただきま

客機のLES 解析です。その結果は公開されてお完全自動かつロバストなLES 解析が実現できる能であることが実証されました。

今後はどのように研究開発に取り組んでいかれるのですか。

河合 3年間の「『富岳』成果創出加速プログラム」

を転換し、計算手法を工夫して、運動エネルギーの空力に結構効いていることが知られています

ちんと計算できる手法を開発し、提案してきましながら、全機周りの解析ができています（図1）。

& Entropy Preserving scheme）」です。簡単にた複雑な形状がつくり出す乱流現象が非常に重ます。しかし、航空機設計はこれだけでできる方程式を解きつつ、二次的な物理量である運動計算手法ではうまく予測できなかった領域です。

エンベロープ境界付近では、衝撃波が非定常にに用いられている既存の計算手法（風上法）とこうした現象の予測も今後はやっていきたいと考ことで、KEEPスキームの結果に与えるインパク

ばれる振動についても、設計で重要になるので、大値をとる付近では、機体周りの流れがどのよたいです。もう1つターゲットにしたいのは、離果を比較しています。実験データでは、主翼のできていると思っているので、航空機の騒音解

方程式やエントロピー保存則を満たすようにきした。それが「KEEP スキーム（Kinetic Energy

説明すると、質量・運動量・エネルギーの支配

エネルギーの方程式やエントロピー保存則についても離散的に満たしながら計算できる計算手法になっています。それにより数値拡散エラー

を入れなくても、実現象を高いレベルで再現し、かつ安定に計算が可能になったというわけです。

民間旅客機「SpaceJet」の実機フライト解析も実施
河合先生が「『富岳』航空機プロジェクト」に向けて取り組んでこられたのが、圧縮性流体 LESが、そうした細かい形状も自動格子生成で再現

特に巡航時の解析と異なり、離着陸時はこうし要になるため、これまでの乱流を直接解かない

さて、図2・3では、複雑形状解析で広く一般的

私たちのKEEPスキームによる解析結果を比べる

トを示しています。離着陸時のような揚力が最うになっているのか、実験とシミュレーション結
内舷側には境界層の剥離がなく、外舷側に剥離が見えている様子が示されています。一方、シミュ

レーションの結果を見ていただくと、KEEPスキー

では、離着陸性能を決める揚力係数 CL の最大値

およびその前後の予測を重要なターゲットとして行ってきました。その目標はほぼ達成しつつあり

わけではありません。たとえば高速側のフライト
振動するバフェット現象というものがあります。

えています。また、翼に発生するフラッターとよ

流体と構造を連成させる解析にも展開していき
着陸時の騒音問題です。すでに高忠実な計算が析にも使えないかと考えています。さらに、学術研究から産業利用・実用までの使用に耐え得る

高忠実な圧縮性流体LES 解析の成果は、さまざ

ムでは23億点の格子で内舷側には付着している

まな分野に適応できると考えています。たとえば

ええ。私たちは、実フライト高レイノルも実験データと似ています。これに対して従来ションの広がりがより大きくなっていけばよいと

流体 LES 解析を実現するためにFFVHC-ACE を点だとややいい結果が出ていますが、同じ23億

基盤ソルバーFFVHC-ACEの開発ですね。

河合

ズ数条件での航空機全機複雑形状周りの圧縮性

流れ場が予測されており、外舷側の剥離の様子の計算手法（風上法）では、格子点数が120億

高速鉄道やロケットなどです。こうしたアプリケー
考えています。

3

特集 「富岳」成果創出加速プログラム 開発アプリケーション

汎用並列有限要素法解析システム ADVENTURE
場合、解析対象の規模が大規模になると、流体東京大学大学院
工学系研究科吉村 忍 教授

解析などとは異なり、構造内に空間を有するた

め、たいへん複雑な形状で、かつ相対的に薄肉れます。両アプローチにより、巨大な非構造格子を用いて、任意の複雑形状を扱うことができ、従来解かれたことがないような極めて複雑な形の構造物となります。このため、解くべきマト状の実機構造物の陰解析を実現できます。

復法ソルバーでは収束解を得ることができず、動・伝熱・冷却・繰返し熱弾塑性の連成シミュ

リクス方程式の条件数が悪化し、ほとんどの反

現在、「富岳」上で、石炭ガス化炉の燃焼流

著者らは、2020年4月にスタートした文部科

実用に適しません。このような背景に照らすと、レーションと、5MW や15MW の巨大洋上風車

Society5.0を支える電力システムの主要クリー

BDD型マトリクスソルバー（図1）は画期的です。

ションを実施しています。前者では、並列 LES

dioxide Capture and Storage）技術の適用に適（108～109自由度オーダー）な実用構造（薄肉構と ADVENTURE_Thermal を汎用並列連成カプ

ある石炭ガス化炉と超臨界圧CO2ガスタービン、十万コアのHPC 環境で高速かつ確実に解く（反ミュレーションを行い、そこで得られた炉容器

度かつ高速なデジタルツインを構築し、実機エ

汎用 FEM 固体力学解析コードとなっています。

Solid2による繰返し熱弾塑性（クリープ）解析学省「富岳」成果創出加速プログラムにおいて、
ンエネルギー源として期待されるCCS（Carbon
した次世代火力発電システムの主要構成機器でおよび洋上ウィンドファームのそれぞれの高精

ネルギーシステムの開発、設計、運用の最適化

ADVENTURE_Solid2が 採 用 し て い る HDDMすなわち、極めて複雑な形状を有し超大規模造）解析を、「富岳」のような数万ノード、数復計算が収束する）ことができる、世界随一の実用的成果の例として、東京電力福島第一原子の流体構造連成振動と累積疲労損傷シミュレー
燃焼流解析ソルバー FFR-Comb（有限体積法）

ラー REVOCAP_Coupler を介して双方向連成シ構造体の温度履歴を入力として ADVENTURE_を行っています。後者では、並列LES 乱流解析に活用できるようにして、それらの実用化を大力発電所１号機（建屋－格納容器－炉容器－各コードFFBとADVENTURE_Solid2をREVOCAP_

クト（略称：クリーンエネルギー「富岳」プロジェ

地方太平洋沖地震本震時の地震応答解析（ニューション を 行 い、ADVENTURE_Solid2か ら 得 ら

次要素の2億自由度モデルや、４面体二次要素

ル ADVENTURE_Fatigueを 用 い て 累 積 疲 労 損

幅に加速することを目的とした研究開発プロジェ

種支持構造を含む超精密モデル）の2011年東北クト）を進めています。

マークβ法）を、「京」や「富岳」上で４面体一て研究開発を進めている汎用並列有限要素法の15億自由度モデルで解析を行いました。

固体力学解析コードADVENTURE_Solid2と並列の基本的な処理フローを図1に模式的に示しま岳」向けチューニングと実活用を進めています。

Subdomainの２階層で分割する階層型領域分割術として、現在最も広く用いられており、もの

ド、数十万コアのHPC 環境で効率的に処理する的FEMでは、実機の複雑形状の問題を扱えるこ

基づく前処理手法を採用することによって、条このプロジェクトでは、著者らが25年に渡っ(FEM) 解析システム ADVENTURE のうち、並列

ADVENTURE_Solid2のマトリクスソル バー

熱伝導解析コードADVENTURE_Thermalの「富す。複雑かつ超大規模な解析対象を、Part と機械・構造物の変形・破壊現象の数値解析技法（HDDM）を採用することによって、数万ノー

Couplerを介した一方向流体構造連成シミュレー

れた動的振動応答解析結果から、後処理ツー

傷解析を行っています。以上の解析のために、

ADVENTURE_Solid2については、次の解析機能が追加実装拡されました。

• 繰返し熱弾塑性クリープ解析機能• 積層構造材料の直交異方性解析機能

さらに、後処理ツールとして、累積疲労損

傷 を 評 価 す る ADVENTURE_Fatigueも 新 た にづくりの基盤となっているのはFEMです。実用とともに、バランシング領域分割法（BDD）に開発されました。現在、ADVENTURE_Solid2、とが必須であるため、３次元解析の場合であれば、件数の大きな悪構造の方程式系であっても、ロ

REVOCAP_Couplerはいずれも、「富岳」上で稼

大小さまざまな４面体や６面体、あるいはそれバストに収束解を得ることができます。結果的らが混在した非構造格子（メッシュ）を扱うこには、HDDM-BDD 法は、極めて多数の小（数象の解析を除いて、ほとんどの問題において連の FEM 求解を行う「ローカル FEM ソルバー」とになります。また、時定数がごく短い衝撃現と、部分領域の剛体自由度に関する中規模（数においても解析対象の大規模化へのニーズが急ド修正」から構成されます。部分領域ローカル

造解析の必須アイテムであったマトリクスソル

アやシングルコア）単位で実行され、さまざまることが不可能となり、反復法ソルバーの活用

BDD前処理のためのコースソルバー部分につい

速に高まってきています。その場合、FEM 構

働しています。

千自由度）～中規模（数万自由度）の部分領域

立一次方程式を陰的に解くことも必須となります。
最近は、HPC の進展・普及によって産業界

ADVENTURE_Thermal、ADVENTURE_Fatigue、

十万自由度）方程式の求解を行う「コースグリッ

FEMソルバーはプロセッサ（あるいはマルチコ

バーの陰的解法として直接法ソルバーを活用すな並列直接法ソルバーが活用できます。一方、が望まれます。しかしながら、機械・構造物のても、さまざまな並列直接法ソルバーが実装さ▲図1 ADVENTURE_Solid2のHDDM-BDDソル
バーの処理の流れ

複雑現象統一的解法フレームワークCUBE
神戸大学大学院
システム情報学研究科／
理化学研究所
計算科学研究センター

坪倉 誠 教授/チームリーダー

レーション技術を連成させることで対応するこに対する八分木法による領域分割（Cube）と、ション間でデータの補間や異なる時空間スケーを配分するビルディングキューブ法（Nakahashi,とが一般的ですが、このような場合、シミュレー
ルを扱う必要があるため、並列計算における単体・並列性能の向上が難しく、この結果、シミュ

レーションの解像度を高めることが難しいとい複雑現象統一的解法フレームワークCUBEは、

う問題が生じます。CUBE では、統一的な偏微で開発を進めています。流体や個体といった連することでこの問題を解決し、超並列環境を有れらと連成した熱の輸送や音の発生、化学反応

らすことを目的としています。統一的データ構

2012年より理化学研究所計算科学研究センター

続体として扱える物体の流動や変形、さらにそを含むような複雑現象に対しては、複数のシミュ

4

計算工学ナビ Vol.23

分方程式とトップダウン的なデータ構造を採用

全てのCube領域に対して同数の計算格子（Cell）

2003）を採用しています。こういったデータ構造を採用することで、次世代の計算機アーキテ

クチャに対しても容易なチューニングが可能となり、「富岳」において現在、6.4% 程度の単体性能を達成し、9%程度の性能向上の目途がたっています。また、並列性能に対しては、実際の効に活用して問題解決のブレークスルーをもた自動車車体形状を対象としたウィークスケーリ

造としては階層直交格子を採用し、立方体領域

ドに対して74% 程度の性能を達成しており、最ングにおいて、最大680億セル規模、51,200ノー

▲図1 車体の隙間から発生するフィードバック音の直接解析

大数千億セル程度までの超大規模計算を視野に入れた開発を進めています。

CUBEの主目的の１つは、スパコン「京」や「富岳」などのフラッグシップスパコンの産業利用を促進することにあり、自動車や燃焼システムを対象とした理研産学コンソーシアムや、都市・▲図2 新型コロナ感染リスク評価と対策のデジタルトランスフォーメーション（実施解析の一例と日本の新規陽性者数の推移）ることで、実産業界での利用を想定したフレー

シュ作成を、数十億セル規模であれば1時間以ン活用の高度化という観点でもCUBE は大きな社会実装までをめざした研究開発を進めていま

非構造格子をもちいた場合の格子作成の数百倍

コロナパンデミックでは、CUBE と「富岳」計細に再現し、統一解法を用いることで、車輪のに、2,000万ノード時間程度を用いて、70を超え

建築 CFDを対象としたコンソーシアムと連携す進展をもたらしました。2020年に発生した新型

ムワークの設計とその有用性の検証、さらには内に達成することができます。これは一般的なす。これらの活動からの要請の1つとして、超並に相当します。これにより、自動車の形状を詳らず、計算モデルの作成の高速化が挙げられま

回転や操舵による舵角変化を含む車体の運動・くなると、形状データ（CAD）の表面修正と格な隙間から発生するフィードバック音の予測など、開発環境での利用の大きな障害となります。こションに大きな進展をもたらしました（図1）。

るリアルワールドシミュレーションと、自動車、

み境界条件を改良することで、部材間の隙間やは、今まで再現が難しかった複雑現象を扱える

科学融合シミュレーションに関して、2つの成果

列計算におけるシミュレーションの速度のみなす。実際、シミュレーションの空間解像度が高子作成にかかる時間が指数的に増大し、実設計の問題に対して、直交格子を対象とした埋め込

空力連成シミュレーションや、車体表面の微小

実運転条件を想定したリアルワールドシミュレー
一方、超並列計算環境の活用という意味で重合を含むCADデータからの直接格子作成を可という観点からの進展に加えて、膨大な数の計ている数千の部材を集めたCADデータからのメッいうデータ科学との融合によるシミュレーショ

能とし、たとえば自動車会社で実際に用いられ算を高速に実施し、ビッグデータを生み出すと算資源を活用することで、2年程度の期間の間

る交通機関や公共施設等の感染シーンに対して、
1,500を超える評価を行い、感染リスク評価と対策提案のデジタルトランスフォーメーションを実現しました（図2）。現在は、自動車に関す都市・建築、室内環境設計を対象としたデータ創出加速プログラム、新型コロナ感染リスク評

価と対策提案に関して、JST/CRESTのプロジェ

クトを推進しています。

格子ボルツマン法に基づく大規模 LES 解析ソルバー FFX
東京大学
生産技術研究所
革新的シミュレーション
研究センター

山出 吉伸 協力研究員

東京大学
生産技術研究所
革新的シミュレーション
研究センター

加藤 千幸 教授

工業製品のまわりの流れは多くの場合乱流でフトウェアであるFrontFlow/blue（以下、FFB）

が存在します。たとえば、時速80km で走行すMethod、以下 LBM）に基づくソフトウェアであり、製品（物体）の近傍には無数の微小な渦
る車のまわりには直径約0.5mm の渦が存在し、秒速1mで曳航される模型船のまわりには直径約0.8mmの渦が存在します。この小さな渦の運動によって運動量や熱が輸送されるので、物体表面近くの渦の運動を直接計算（以下、準直接計

および格子ボルツマン法（Lattice Boltzmann

準直接計算の実用化の鍵の1つは計算速度です。2022年6月に発表された Top500ランキ

サブミリオーダーである一方、製品のサイズははHigh Performance Conjugate Gradient（以下、算は必然的に大規模になります。車や模型船の位に退きましたが、実用計算に近いHPCGでは百億～数千億、等間隔直交格子で1兆程度とな時間程度で実行できます。実際の計算では通信負荷がこのベンチマークテストよりも高くなり、並列化効率が悪化することがわかっていますので、FFX は計算の開始時に STL などの表面形状合に変換し、壁面境界条件を課します。このた

計算機のピーク性能、縦軸は2つのベンチマー

Performance Linpack（以下、HPL）、赤丸（〇）
HPCG）です。スパコン「富岳」は HPL では2

依然、世界一の性能を誇っています。この図には、スパコン「富岳」のノードあたり4,300万グリッ

ります。本研究課題では、工業製品の流体性能

ドをのせた、FFXのweak-scaleベンチマークテ

精度で予測するために、有限要素法に基づくソ合、使用したノード数から計算されるピーク性を準直接計算によって実験の代替えとなり得る

小さく、時間ステップ数が多くなりますが、時間ステップ数を100万ステップと仮定すれば22データを計算格子間のインターセクト情報の集ク テ スト の 結 果 を 示 し、 黒 丸（ 〇 ） は High

準直接計算に必要な格子数は非構造格子で数成しています。LBMは陽解法であり時間刻みが果について報告します。

した。ここではFFX の開発進捗および最新の成品の流体性能を実験に匹敵する精度で予測する

メートルオーダーであるため、乱流の準直接計

約1.4兆）の計算で4.4PFLOPS の実効性能を達その改良に取り組んでいます。

ングの計算機の性能を図1に示します。横軸はことが可能になります。製品近傍の渦の直径は岳」の32,768ノードを用いた計算（グリッド数

あるFrontFlow/X（以下、FFX）を開発してきま算）することによって、車や船舶の抵抗やファンのまわりの流れから発生する音などの工業製

能を横軸に示しています。FFXの性能はTop500のHPCGにおける性能よりも高く、スパコン「富ストの結果を併記しています。FFX の結果の場▲図1 Top500におけるHPL、HPCGの性能およびFFX の富岳における Weak Scale ベンチマークテ
スト結果

5

特集 「富岳」成果創出加速プログラム 開発アプリケーション
め、ユーザは形状データファイル名を指定する

るため、抵抗係数は過大となりますが、この解作成する必要がありません。1兆格子規模の複FFBによる結果と定量的に一致していることがだけで計算することができ、メッシュデータを
雑形状計算でも30秒程度でインターセクト情報を作成できることを確認しています。一様等方性乱流、チャネル乱流、角柱まわりの流れなどの基礎的な流れ場の計算では、FFXはFFBと同精度な予測精度が得られることを確認していま

像度の格子で解像できるレイノルズ数であればわかります。この計算は一様な格子解像度で実の条件でも高精度な計算が可能であると考えています。このような計算結果は別途、ご紹介したいと思います。

施したものですが、階層的な解像度の計算格子

を用いれば1兆程度格子で50µmの解像度（壁面近傍）の計算を実現でき、実際のレイノルズ数す。車のまわり流れのテスト計算結果（流速分布）を図2に示します。格子解像度は2mm、格子数は約1,300億です。また、レイノルズ数と抵抗係数との関係を図3に示します。この図には FFBによる結果も併記しています。FFX による計算

は実車のレイノルズ数では格子解像度が不足し、リアウインドウからのはく離が実際よりも早ま▲図2 FFXによる車両まわり流れ計算における主流
方向速度の瞬時分布▲図3 車両の抵抗係数のレイノルズ数依存性

圧縮性流体 LES 基盤ソルバー FFVHC-ACEデータ）の入力のみで完全自動格子生成からの東北大学大学院工学研究科
航空宇宙工学専攻

河合 宗司 教授

動エネルギー・エントロピー）についてもそのつ容易に、誰でも高品質な複雑形状 LES 解析をで、数値拡散（散逸エラー）を導入せずに、今ます（図1）。本機能は、格子生成を含め高速かまでにないロバストで高忠実な圧縮性流体 LES

さらに航空機の LES 解析を困難にしている

KEEP スキームに関するインタビュー記事をご要性があります。航空機の空力はレイノルズ数

FFVHC-ACEを用いた産業界による航空機全機LES 解析「富岳」成果創出加速プログラム「航空機フ

要因に、高レイノルズ数の壁乱流現象を扱う必的実証研究」では、これまで困難であった実フ依存性が強いことが知られており、実際のフラ

ライト高レイノルズ数条件における航空機全機

イト条件であるRec ～ 10 にもおよぶ高レイノ実現させ、本 LES 解析技術が航空機空力設計に

高レイノルズ数流れの LES 解析を可能としてい複雑形状周りの高忠実な圧縮性流体 LES 解析を

物理法則を満たすように計算法を工夫すること実現するうえで、欠かすことのできない技術となっています。

ライト試験を代替する近未来型設計技術の先導

圧縮性流体現象でキーとなる2次的な物理量（運航空機全機 LES 解析をシームレスに実現してい7

ルズ数条件での空力予測が欠かせません。この解析が可能となっています（詳細は本誌のP.2-3、

覧ください）。

図2は、FFVHC-ACEを用いた三菱重工グルー

プによる民間旅客機の実機フライトを対象としおける第二のイノベーション(*)となり得ること

るのが、われわれオリジナルの学術成果である

その中核となるのが、現在研究開発を進めていの領域）の内層乱流をモデル化する壁面モデル

こと、かつ高精度に離着陸時の空力予測が可能す。本稿では、FFVHC-ACEの3つのキー技術や測精度を保ったまま、格子点数の大幅な削減おり、産業界による初の民間旅客機の LES 解析で

通常の LESと比べ約10,000倍の飛躍的な高速化耐えうる高忠実な圧縮性流体 LES 解析が実現可を先導的に実証していくことをめざしています。
る圧縮性流体 LES 基盤ソルバー FFVHC-ACE で壁面近傍（おおよそ境界層厚みの5～10％以下

LES です。壁面モデル LES では、LES 本来の予

たLES 解析結果です。形状データの入力のみで完全自動かつロバストな LES 解析が実現できるであることを示しています。これは私が知る限

FFVHC-ACE を用いた最新の航空機全機 LES 解

よび大きな時間刻み幅を取ることが可能となり、FFVHC-ACEの3つのキー技術を実現しています。この壁面モデル LES がなけ

航空機全機複雑形状周りの高忠実な圧縮性流Rec ～ 107レベルの航空機全機 LES 解析は困難ではない状況です。そのようななか、高忠実なキー技術は、(1) 複雑形状に対して完全自動格

以上に加え、LES 解析では乱流現象を正確にも私たちの1つの大きな目的であり、FFVHC-析について、紹介します。

体 LES 解析を実現させる FFVHC-ACE の3つの子生成を可能とする階層型等間隔直交格子法、(2) 高レイノルズ数流れの LES 解析を可能とする壁面モデル LES、(3) 高忠実な圧縮性流体のLES 解析を実現する数値計算スキーム（KEEP

スキーム）、です。特にわれわれオリジナルの学術成果(2)(3)を基盤とした3つのキー技術がす

れば、向こう数十年のスパコンの進歩を考えても、であり、FFVHC-ACEのキー技術の1つです。

解像する数値計算スキームが重要な役割を果たします。FFVHC-ACE では、高忠実な圧縮性流体 LES 解析を実現する KEEP（Kinetic-Energy

す。学術研究から産業利用・実用までの使用に能なアプリケーションは、日本国内はもとより世界的に見てもほぼ存在しないといっても過言

圧縮性流体 LES 解析の基盤アプリの構築・公開
ACEがその一端を担えればと考えています。

and Entropy Preserving）スキームを独自に開発し、実装しています。KEEP スキームでは、＜注釈＞(*) 計算工学ナビ・ニュースレター Vol.20 (2021年3月
発行 )「最新の圧縮性 LES 研究と「富岳」で航空機開発に第二のイノベーションを」を参照。

▲図1 FFVHC-ACEによる完全自動格子生成からの航空機全機LES 解析▲図2 FFVHC-ACEを用いた三菱重工グループによる民間旅客機LES 解析

べて揃うことで、これまで困難であった航空機
全機LES解析を初めて実現しています。

航空機離着陸時には、高揚力装置スラット・

フラップやその支持装置、さらには脚などの複雑形状が展開されます。このような複雑形状に対して従来の物体適合格子を作成することは、実際の計算時間よりもしばしば大幅に時間がかかります。さらには LES 解析で必要となる大規模格子であれば、作成そのものが困難となることもあります。FFVHC-ACE では、階層型等間隔直交格子法を用いることで、形状データ（STL6

計算工学ナビ Vol.23

計算工学ナビ・レポート

RISTのOpenFOAMへの取り組み

２つほど紹介します。図1は、タイムステップルー

プに入るまでの初期処理時間が高並列実行時に大幅に増加するという現象を改善した「京」での一般財団法人高度情報科学技術研究機構（RIST）
神戸センター産業利用推進部

事例です[5]。MPI_Send/MPI_Recv通信を用いた集団通信のパターンに着目し、MPI_Gather/MPI_

浅見 暁 次長

Scatter関数やMPI_Alltoall関数に置き換える修正を実施、約6,500秒かかっていた初期処理の時間を26秒まで短縮することができました。この修正●RISTのアプリケーション・ソフトウェア
利用環境整備の取り組み● OpenFOAMの整備状況

設利用促進機関、及び「HPCIの運営」代表機関

体ソルバー群で、多種多様な流体解析に対応する

高度情報科学技術研究機構（RIST）は登録施

OpenFOAM（Open source Field Operation

And Manipulation）はC++で記述された数値流の業務の一環として、スーパーコンピュータ「富ソルバーが実装されています。また利用者の目的行っています。この一環として、HPCIユーザのをカスタマイズ（つくり込むこと）することが可岳」を中心とするHPCIシステムの利用者支援を
利便性の大幅な向上、成果の早期創出、ユーザのすそ野拡大等の効果を狙い、アプリケーション・

ソフトウェア（以下、「アプリソフト」）の利用環

境整備(プリインストール、利用に有用な情報のは、タイムステップループ部分でも有効で、実行
時間は447秒から65秒へ改善できました。

次にCAEワークショップで発表した「富岳」でのベンチマークテスト実行時の事例[6]を紹介します。高並列実行時に初期処理時間が増加してに合致した標準ソルバーがない場合には、ソルバー

しまうという現象が発生し調査を行ったところ、

能です。OpenFOAMは、現在、The OpenFOAM

部分が影響（各processorNディレクトリに対し、から公開されている2種類のバージョンがあります。

が分かりました。これをMPIプロセスが担当する

Foundation[1]と、ESIグループのOpenCFD社[2]v1712から追加されたファイルハンドラー処理の全プロセス数回のアクセスが発生）していること「富岳」におけるOpenFOAMは、Spack[3]と呼ディレクトリにのみアクセスするようにパッチ修ル環境とインストール方法を記載した構築手順書がかかっていた部分を78秒に短縮することができ

正することによって、それまで約18,000秒の時間

提供など)を2017年度から実施しています。そのばれるパッケージ管理ツールによるプリインストー

まれるアプリソフト（Open Source Software; 以下、の2つを提供しています。いずれの場合も、「富岳」

プリソフトや新しい分野として利用が見込まれる

コンパイルしたものを利用できるようになってい２）の２種類に分類したアプリソフトから、RISTを提供しており、spack loadコマンドを実行するOpenCFD 社 へ 情 報 提 供 を 行 い、 そ れ ぞ れ

存のOpenFOAMの標準ソルバーを利用する場合

オリジナルコードが修正されました。その他のベ整備対象として、利用者が多いまたは利用の見込

OSS*）（カテゴリ１）、国で開発された重要なア

アプリソフト（以下、「国プロアプリ」）（カテゴリ向けの最適化オプションをつけてソースコードをます。Spackではビルド済みのバイナリファイル内に設けた外部有識者からなるアドバイザリWG

ことにより容易に環境設定が行われます[4]。既

ジェクトや「富岳」成果創出加速プログラム等のは、このSpackによる方法が便利です。またソル

動向調査などの結果を元に整備計画を立案し、整ために、利用者自身でインストールを行うことが本のOSS（OpenFOAM、LAMMPS、GROMACS、

利用者のHPCIアカウントによるログインが必要)からのアドバイス、ポスト「京」重点課題プロました（図2の512ノード時）。この事例以外にも、「富岳」でのOpenFOAMの利用に関する問い合わ
せ件数は8件ありました。

上 記 の２つ の 事 例 に つ い て は、日 本 ESI、

OpenFOAM+、OpenFOAM-v2012で 採 用 さ れ、

ンチマークについては、HPCIポータル[7]もご覧

バーをカスタマイズして利用する場合に対応するください。

できるように構築手順書を情報共有CMS(「富岳」●今後のアプリ整備計画

Quantum ESPRESSO、FDS）を「富岳」に、カで提供しています。

ンアップを予定しており、また、合計15本の国プ機システムに整備する活動に取り組んでいます。

るOpenFOAMのバージョンは表1の通りです。

コミュニティへのヒアリング、さらには国内外の備を実施してきました。現在、カテゴリ１として5

テゴリ２として15本の国プロアプリをHPCI計算

また、整備したアプリソフトについては、開発グルー

プやHPCIの各基盤センターと連携を取りながら各計算機システムを利用した講習会（ハンズオン）を実施しています。

2022年6月現在、RISTが「富岳」に整備していSpack 提供版
構築手順書

Foundation版
88, 9OpenCFD 版
v2012, v2106
v1912, v2006, v2012,v2106, v2112

今年度、「富岳」においては5本のOSSのバージョ

ロアプリについては、「富岳」をはじめHPCIにおいてバージョンアップを計画中です。さらに、整備したアプリケーションを効率よくまた簡便に実行するためにワークフローツールの整備も検討しています。アプリの普及活動として、R-CCS（理化学研究所）や大学の基盤センターと協力して講▲表1 RISTが「富岳」に整備しているOpenFOAMのバージョン

習会を実施していますが、新たな展開として講習

アプリソフトの利用ランキングにおいて２番目● OpenFOAMの支援

画などのアーカイブ化・公開を行う予定です。

用されているため、本稿では「富岳」におけるせの窓口として「ヘルプデスク」を設け、利用者者からの要望に応えることができるようアプリソ

私の所属する産業利用推進部で主に担当しているOpenFOAMは、利用報告書に記載された（2022/3/30までの産業課題において）に多く利RISTのOpenFOAMへの取り組みについてご紹介します。

▲︎図1 初期処理とタイムステップループの時間の推移

RISTは、HPCI利用者からの一元的な問い合わ

からさまざまな相談や支援の依頼を受け付けています。OpenFOAMの支援から、性能改善事例を▲︎ 図2 初期処理時間の改善結果

会参加者・参加予定者の利便性の向上を目的に動

今後もRISTでは、「富岳」を含むHPCIの利用

フト利用環境整備を進めていく所存です。

【参考文献】［1］https://openfoam.org/［2］https://www.openfoam.com/［3］https://spack.io/［4］https://www.hpci-office.jp/pages/openfoam_r-ccs_riken-2［5］浅見 暁，井上 義昭，青柳 哲雄（高度情報科学
技術研究機構）：「京」，HPCI における大規模並列化に向けた OpenFOAM 高度化支援 RISTNEWS No.61 pp.3-13 2016.7.22 https://www.
rist.or.jp/rnews/61/ristnews_61.html,［6］浅見 暁（高度情報科学技術研究機構）：第4回
CAE ワークショップ 富岳 /FX1000に向けた
OSS移植に関する富士通-RISTの共創 https://www.hpci-office.jp/invite2/documents2/ws_
cae_210312_azami.pdf［7］https://www.hpci-office.jp/documents/appli_
software/Fugaku_OpenFOAM_performance.pdf＊OSS…ソフトウェアのソースコードが一般に公開され、商用および非商用の目的を問わずソースコードの利用・修正・再頒布が可能なソフトウェア。

7

今号の表紙FFVHC-ACEによる民間旅客機のLES 解析「富岳」成果創出加速プログラム「航空機フライト試験を代替する近未来型設計技術の先導的実証研究」では、これまで困難であった実フラ
イト高レイノルズ数条件における航空機全機複雑形状周りの高忠実な圧縮性流体 LES 解析を実現させるため、圧縮性流体 LES 基盤ソルバー
FFVHC-ACE の研究開発を進めています。表紙の画像は、三菱重工グループによる FFVHC-ACE を用いた民間旅客機「SpaceJet」の実機フ
ライト試験を対象とした LES 解析結果です。形状データの入力のみで完全自動かつロバストな LES 解析が実現しており、この成果により、高精度な離着陸時の空力予測が可能であることが示されました。
東北大学大学院工学研究科航空宇宙工学専攻 教授

河合 宗司

画像提供／三菱重工グループ

編集後記「『富岳』成果創出加速プログラム」は、現在 4領域 22課題で推進されており、そのうち 4課題は、産業競争力の強化に資するものづくり分野の課題です。今号の特集では、それらの課題のうち、「航空機フライト試
験を代替する近未来型設計技術の先導的実証研究」で挙げられている優れた成果の一つの安定・高忠実な KEEPスキームについて、課題代表者に語っていただきました。また、ものづくり分野の 4課題で開発されている 4つのアプリケーションの開発状況について紹介しました。2020年から開始された「『富岳』成果創出加速プログラム」も 3年目を迎え、今回紹介した4課題のうち3課題は、今年度が最終年度になっています。得
られた最終成果により、産業界の具体的課題解決へ貢献することが期待されています。

計算工学ナビ オフィシャルサイト
本誌の PDF 版やソフトウェアライブラリ、ニュースなどのコンテンツを提供している Web サイトは下記の URL からアクセスできます

http://www.cenav.org/

計算工学ナビ Vo l.23
発行日： 2022年9月1日
発

行： 東京大学生産技術研究所
革新的シミュレーション研究センター〒153-8505 東京都目黒区駒場4-6-1
office@ciss.iis.u-tokyo.ac.jp