⽂部科学省「 『富岳』成果創出加速プログラム」（令和5年度〜令和7年度）

AIの活⽤によるHPCの産業応⽤の⾶躍的な拡⼤と次世代計算基盤の構築
課題代表者 ⻑⾕川洋介 東京⼤学⽣産技術研究所⾰新的シミュレーション研究センター 教授

概要「富岳」成果創出加速プログラム

AIの活⽤によるHPCの産業応⽤の⾶躍的な拡⼤と次世代計算基盤の構築

代表機関︓東京⼤学⽣産技術研究所推進事務局︓⾰新的シミュレーション研究センター

研究テーマ③︓実船の推進性能の予測

実施機関︓東京⼤学（⽣産技術研究所）、⽇本⼤学、明治⼤学、豊橋技術科学⼤学、神⼾⼤学研究テーマ④︓⾃動⾞の空⼒騒⾳予測と空⼒騒⾳低減⼿法の確⽴

実施機関︓ （株）本⽥技術研究所、神⼾⼤学、理化学研究所、豊橋技術科学⼤学、東京⼤学（⽣産技術研究所）

研究テーマ②︓スマートin-situ可視化基盤の構築

研究開発 得成果
次世代計算基盤 構築

実施機関︓（⼀財）⽇本造船技術センター、東京⼤学（⽣産技術研究所） 、⽇本⼤学

研究テーマ① ︓AIを活⽤した実機
スケール乱流の予測モデルの開発

開発成果 実証

AIを活⽤することによってHPCの適⽤範囲を⾶躍的に拡⼤するための研究開発を実施し、強⼒な産学連携体制の下、その効果を実証します。さらに、⼤規模な産学連携コンソーシアム組織等と連携することによって、実証研究の成果を幅広い産業分野に展開します。また、研究成果の社会実装、すなわち、研究成果の実⽤化を加速するために次世代計算基盤を構築します。
本課題は、HPCの産業応⽤を⾶躍的に拡⼤し、産業界におけるHPCの実⽤化を加速するための基盤的な研究、基盤研究の産業上の効果を検証するための、カーボンニュートラル時代のものづくりを代表する実証研究、および、実証された基盤研究の成果を幅広い産業分野に展開するための次世代計算基盤の構築に係る6つの研究テーマを実施することによって補助事業の⽬的を達成することとしています。

次世代計算基盤の構築に係る連携機関

研究テーマ⑥︓次世代計算基盤の構築

実施機関︓東京⼤学（⽣産技術研究所）

東京⼤学（情報基盤センター）

理化学研究所（計算科学研究セン
ター運⽤技術部⾨）

実施機関︓神⼾⼤学、理化学研究所

研究テーマ⑤︓ヒートポンプ⽤ファンの性能向上

実施機関︓⽇本⼤学、東京⼤学（⽣産技術研究所）

展開
連携

成果の展開に係る連携機関（⼀社）ターボ機械協会「流体性能の⾼精度予測と⾰新的流体設計分科会」

HPCを活⽤した⾃動⾞次世
代CAEコンソーシアム

洋上⾵⼒発電関係のHPCI
課題

スーパーコンピューティング技術産
業応⽤協議会（公財）計算科学振興財団※成果の普及および実⽤化で連携実施機関︓東京⼤学、神⼾⼤学、豊橋技術科学⼤学、⽇本⼤学、明治⼤学、理化学研究所、（⼀財）⽇本造船技術センター、（株）本⽥技術研究所

実施内容
研究テーマ
①

AIを活⽤した実機スケール乱流の予測モデルの開発

実施機関︓東京⼤学、⽇本⼤学、明治⼤学、豊橋技術科学⼤学、神⼾⼤学

データの中に潜在する特徴量やパターンを抽出することによって、計算コストを⾶躍的に軽減できる壁⾯挙動予測モデルを開発します。さらに、多数の計算結果を集約することにより設計空間を短時間に探索できる⾼精度なサロゲートモデ
ルを構築します。

研究テーマ②

スマートin-situ可視化基盤の構築

実施機関︓神⼾⼤学、理化学研究所

⾃動⾞などの輸送機器の空⼒・騒⾳問題を主たる対象として実証研究に⽤いられてきた複雑現象統合シミュレーションフレームワークCUBEの機能を拡充してHPCの適⽤分野を⾶躍的に拡⼤するために、スマートin-situ可視化基盤の構築に係る研究開発を実施します。

研究テーマ
③

実船の推進性能の予測

実施機関︓（⼀財）⽇本造船技術センター、東京⼤学、⽇本⼤学

研究テーマ①で開発する壁⾯挙動予測モデル
を活⽤して、模型試験スケールの流場と模型船の推進性能を予測する技術を研究開発します。
さらに、実船スケールの流れ場と実船の推進性能を予測し、試験結果等と⽐較することによって、予測精度を検証します。

船⾸近傍の境界層（⼤規模な渦構造を確認）

スマートin-situ可視化

開発する壁乱流予測モデルの概念図

研究テーマ
④

⾃動⾞の空⼒騒⾳予測と空⼒騒⾳低減⼿法の確⽴

実施機関︓（株）本⽥技術研究所、神⼾⼤学、理化学研究所、豊橋技術科学⼤学、東京⼤学

研究テーマ
⑤

FrontFlow/blueによる船体抵抗の予測結果

ヒートポンプ⽤ファンの性能向上

実施機関︓⽇本⼤学、東京⼤学

プロペラファン

東京大学生産技術研究所 革新的シミュレーション研究センター

研究テーマ
⑥

次世代計算基盤の構築

実施機関︓東京⼤学

研究テーマ①で開発する壁⾯挙動予測モデル 研究テーマ①で開発する、⾼速かつ⾼精度なを活⽤して、⾃動⾞の開発現場で実施可能な、 性能・騒⾳予測のためのサロゲートモデルを活空⼒騒⾳を精度良く予測する技術を構築しま ⽤して、従来は検討されていなかった広範な設す。さらに、研究テーマ②で開発する研究成果 計パラメータを探索することによって、従来性能を活⽤して、⾞両まわりの主要な空⼒⾳源を⾼ を⼤幅に上回るプロペラファンを設計する技術を研究開発します。
確度に特定する技術を研究開発します。

⾞両まわりの⾳場全抵抗の試験結果との⽐較（予測精度を確認）

HPC ア プ リ ケ ー シ ョ ン を 、 GPGPU に 移 植 し 、HPCシミュレーションを幅広い産業分野に展開します。また、アプリケーションの実効性能がメモリー性能律速にならない解析アルゴリズムを研究開発するとともに、「富岳」の実効通信性能を向上させるための基盤研究を実施します。

⾼F/B⽐アルゴリズムの効果の検証例

通信テーブルの最適化例

http://www.ciss.iis.u-tokyo.ac.jp/

⽂部科学省「 『富岳』成果創出加速プログラム」（令和5年度〜令和7年度）

AIの活⽤によるHPCの産業応⽤の⾶躍的な拡⼤と次世代計算基盤の構築
課題代表者 ⻑⾕川洋介 東京⼤学⽣産技術研究所⾰新的シミュレーション研究センター 教授

利⽤するアプリケーション
成果の詳細は以下を参照ください

FrontFlow/blue (FFB)

CUBE“Toward Realization of Numerical Towing-Tank Tests by Wall-Resolved Large Eddy
Simulation based on 32 billion grid Finite-Element Computation”, C. Kato, et al.,Proceedings of the International Conference for High Performance Computing,Networking, Storage and Analysis, November 2020, Article No. 3

 複雑流体・構造現象を⼤規模計算するための共通基盤シミュレーションフレームワーク 階層直交格⼦有限体積法
 流体解析にはLESを採⽤した⾼精度解析
 熱流体運動・構造変形・化学反応が共存する複雑現象場に対してスケーラブルな連成アルゴリズム

 乱流の微細な渦まで計算する有限要素法ソフトウェア
 ⼤規模な流体シミュレーションを実現するための計算格⼦の⾃動分割機能を具備

船舶のプロペラまわりの流れのシミュレーション

翼まわりのキャビテーション流れのシミュレーション

FFBのメモリー転送速度を向上させるための⼯夫
参照される節点の番号

・メモリー内のデータ配置の最適化計算する領域を⼩さな領域に分割

最適化前の翼まわりのキャビテーション流
データ参照関係
れのシミュレーションZ

node number
参照する節点の番号

Y

⼩領域ごとに節点番号を並び替え

1011

12

最適化後のデータ参照関係
93

・有限要素法の新しい計算⽅法を考案参照される節点の番号

Xnode number
参照する節点の番号

翼まわりのキャビテー
ション流れのシミュレー
ション「富岳」チューニング状況（単体ノード性能）
従来の有限要素法の計算⽅法

さまざまなCPU上での計算速度「富岳」チューニング状況（並列性能）

1CMG及び1ノードの実⾏時間の⽐較

本研究で考案した計算⽅法

ウィークスケーリング (経過時間)「富岳」の全系を⽤いた計算速度
ウィークスケーリング (FLOPS)

4.5PFLOPS
217億セルを実現「富岳」を⽤いて、22.6 ペタ・フロップスという、実際のアプリケーションとしては驚異的な計算速度を実現「富岳」単体234.6 GFLOPS を実現

FFX Lattice Boltzmann法（LBM）による超⼤規模乱流/空⼒⾳解析 階層型直交格⼦法（BCM: Building Cube Method）による計算格⼦の⾃動⽣成 メモリ使⽤量約1/20 ，計算速度約20倍でFFBと同程度の解析精度

実⾞の空⼒・⾳響解析に向けたテスト計算

FFXの解析精度の検証例
⼀様等⽅性乱流
1.0E+00

Power Spectrum of E

1.0E-01

1.0E-02

1.0E-03

⼤規模並列性能のベンチマーク結果

1.0E-04
DNS
FFB:no‐model
FFX:no‐model

1.0E-05

1.0E-061

チャネル乱流

10100

Wave Number「富岳」単体200.0GFLOPS を実現

東京大学生産技術研究所 革新的シミュレーション研究センター

http://www.ciss.iis.u-tokyo.ac.jp/

⽂部科学省「 『富岳』成果創出加速プログラム」（令和5年度〜令和7年度）

AIの活⽤によるHPCの産業応⽤の⾶躍的な拡⼤と次世代計算基盤の構築
課題代表者 ⻑⾕川洋介 東京⼤学⽣産技術研究所⾰新的シミュレーション研究センター 教授

これまでに得られた成果概要（その１）
AIを活⽤した実機スケール乱流の予測モデルの開発

研究テーマ①

 壁⾯モデルの開発について、ネットワーク構造を提案し、壁⾯近傍の情報から壁⾯せん断応⼒を出⼒するネットワーク（⽣成器）、および、壁モデルを⽤いて計算された流れ場とWall-resolved LESで得られた流れ場を判別するネットワーク（判別器）の基盤コードを開発した。
 サロゲートモデルについては、ネットワークの基本構造を検討し、従来の設計変数に加えて、流れ場の空間構造を組み込んだネットワーク、および、流れ場の空間情報を⾃⼰符号化器により低次元に圧縮するネットワークを開発した。
流れ場を考慮したサロゲートモデルの開発

壁乱流予測モデルの開発

スマートin-situ可視化基盤の構築

研究テーマ②

 独⾃に開発を進める可視化基盤ソフトウェア（Kyoto Visualization System（KVS））を使ってin-situ可視化を実現するための基本フレー
ムワークを開発した。そして、CUBE、および、OpenFOAM等向けの接続機能を開発し、動作検証と性能評価を⾏った。
 最適視点推定機能を実装したモジュールや最適な注視点を推定する技術を開発し、基本フレームワーク向けのモジュールとして実装し、正常に動作していることを確認した。
可視化事例（⻭茎摩擦⾳発⽣シミュレーション）

⾳源位置と推測される⼝元付近の圧⼒変動の様⼦を⾃動撮影

w/o mouth

w/ mouth

T. Yoshinaga, K. Nozaki, and S. Wada. Experimental and numericalinvestigation of the sound generation mechanisms of sibilant fricatives
using a simplified vocal tract model. Physics of Fluids 30, 3, 2018).

固定カメラ

経路推定

w/ mouth

w/o mouth

w/ mouth

w/o mouth

w/ mouth

w/o mouth…

…
New sound source near
the center of mouthSound source of /s/around the mouth
PalateMouth

Tongue

1,670

固定カメラ

研究テーマ③

注視点推定

1,695

1,707

1,731

time step

注視点&拡⼤率推定

実船の推進性能の予測

 FrontFlow/blueに対する壁⾯挙動予測モデルの実装準備として、実際に壁⾯挙動予測モデルの使⽤が想定される船の形状で、壁⾯挙動予測モデルの⼊っていない粗い計算格⼦を使った計算結果とWall-resolved LESの結果について統計的性質の違いについて分析した。
 壁⾯挙動予測モデルの⼊⼒に必要なデータの抽出を効率的に⾏えるようなコードの改変を⾏った。Under-resolved LESの計算結果は、壁付近の⼩さな渦が再現できず、摩擦応⼒を過⼤評価する場合と過⼩評価する場合があることなどの重要な知⾒が得られた。
壁乱流予測モデルの⼊⼒に必要なデータの例

船底付近の壁付近の渦の様⼦

Under-resolved

U[0.3:1.3]
Fully-resolved

Under-resolved

V-0.3:0.3
Fully-resolved

Under-resolved

W[-0.3:0.3]
Fully-resolved

Under-resolved

P[-0.04:0.02]
Fully-resolved

東京大学生産技術研究所 革新的シミュレーション研究センター

http://www.ciss.iis.u-tokyo.ac.jp/

⽂部科学省「 『富岳』成果創出加速プログラム」（令和5年度〜令和7年度）

AIの活⽤によるHPCの産業応⽤の⾶躍的な拡⼤と次世代計算基盤の構築
課題代表者 ⻑⾕川洋介 東京⼤学⽣産技術研究所⾰新的シミュレーション研究センター 教授

これまでに得られた成果概要（その２）
研究テーマ④

⾃動⾞の空⼒騒⾳予測と空⼒騒⾳低減⼿法の確⽴

 CUBEに対する壁⾯挙動予測モデルの実装準備として、KEEPスキームの実装と壁⾯近傍における計算の不安定性の改善、実⾞を対象とした広帯域バサバサ⾳予測のためのベンチマーク問題の選定と空間解像度の検討、バサバサ⾳予測のための変動⾵モジュールの開発を実施した。
 FFXに対する壁⾯挙動予測モデルの実装準備として、格⼦ボルツマン法の壁⾯処理について検討し、安定な解析を⾏えるようにした。解析結果に関して、波数周波数スペクトル解析を⽤いて⾳場と流れ場に分離し、⾳源を解析できることを確認した。
CUBEを⽤いた空⼒騒⾳予測

FFXを⽤いた空⼒騒⾳予測

FFBとCd値はほぼ⼀致

変動⾵再現下での⾞体近傍の流線の時間変化（左）と⾳源近傍の流れ構造（右）実⾞を対象とした計算例

サイドミラーでの圧⼒変動の変調パラースペクトログラムの⽐較（左︓定常流, 右︓変動⾵）。
特に低変調周波数で⼤きな差異が観察されている研究テーマ⑤乱流境界層中の波数・周波数スペクトル

ヒートポンプ⽤ファンの性能向上

 ⾃動⾞ラジエータ⽤ファンなどの軸流ファンを参考にして、ファンの上流設計で重要となる、主要な形状パラメータと性能との関係を調査した。この調査にあたり、実機ファンの3次元形状測定に基づく設計とモデリングを⾏う環境を構築した。
 ファン単体での性能評価によるプロペラファンの数値解析を⾏い、従来ファンと⽐較して設計パラメータ（形状）の範囲を⼤幅に拡⼤した概念設計を実施してその有効性を確認した。概念設計した開発したファンをエアコン室外機流路に組み込んだ数値解析を実施し、従来ファンの性能を上回る結果を得ることができた。
ファン＋筐体の性能

ファン単体の性能
⾃動⾞⽤ラジエータファンの３次元形状計測に基づくに基づくモデリング

現⾏ファン

性能曲線

熱交換器の圧⼒損失を考慮した
ファンと筐体流路のモデリング

改良ファン

性能曲線

ファン単体の内部流れの流動予測結果

研究テーマ⑥

現⾏ファン

改良ファン

筐体に組み込んだファンの流れの予測結果（圧⼒コンター図）

特許出願済み︓ファン装置、空調⽤室外機及び給湯ヒートポンプ⽤室外機、鈴⽊康⽅、三⽊悠也、⿅園直毅

次世代計算基盤の構築

 課題内の代表的なアプリケーションFrontFlow/blueをNVIDIA社製GPU A1に移植し、GPU単体実効性能257 GFLOPS、64 GPUの並列実効性能12,963 GFLOPS、並列化効率78.8 %を達成した。
 「富岳」におけるプロセス間通信に要する時間を短縮し、並列化効率を向上させるために、ランクマップを最適化するアルゴリズムを開発し、192ノード・384プロセスの並列計算において、通信時間を24.0 %短縮し、通信時間を含めた計算時間を5.4 %短縮した。
中核アプリケーションのGPGPUへの移植
要素数 [million]

演算性能[GFLOPS]

中核アプリケーションの並列化効率の向上

ピーク性能比[%]1186.90.962228.6

1.174257.2

1.32

A100の単機性能の計測結果
GPU数

要素数 [million]

演算性能[GFLOPS]

並列化効率[%]

14257-

16643,75491.3

6425612,96378.8

並列性能の計測結果（ weak-scale, mpiはompi-cuda ）FrontFlow/blueの「富岳」
上のランクマップの最適化

東京大学生産技術研究所 革新的シミュレーション研究センター

転送データ量で重み付けられた通信ペアの可視化（128プロセス、100時間ステップ）

http://www.ciss.iis.u-tokyo.ac.jp/