HPCシミュレーションとAIの融合によるSociety 5.0時代のスマートデザイン
神戸大学大学院システム情報学研究科 計算科学専攻 教授
理化学研究所 計算科学研究センター チームリーダー
坪倉 誠
2021年9月7日
KOBE HPCサマースクール（初級）2021
12:40-13:40

Society 5.0
 サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する社会（Society）

2

Society 5.0時代のものづくり サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたものづくり
Physical Space

実走行する自動車や周囲環境の情報を入力すれば…

膨大な形状候補の中から…
最適な形状を提案!

最適な運転条件の提案!
自動運転のトレーニング!

Cyber Space

人工知能と高精度シミュレーションの融合

3

Society5.0を支えるスーパーコンピュータ「富岳」







Fujitsu A64FX

相理論演算性能：488PFLOPS（倍精度）
LINPACK実行性能：442.01PFLOPS（82.3%, 2020秋）
総ノード数：158,976個(京の約2倍)（384ノード×396ラック＋192ノード×36ラック）
ノード単体性能：3.072TF(京の約24倍)
 命令セットアーキテクチャ: ARMv8.2-A SVE 512bit
 計算コア数: 48 cores (+ 2 for OS)(京の6倍)
 メモリとバンド幅: HBM2 32 GB(京の約2倍), 1024 GB/s(京の約16倍)
インターコネクト: Tofu Interconnect D
四冠達成(二期連続)：ISC(2020) と SC(2020)
 Top500(442.01PFLOSP)






Supercomputer FUGAKU

Peta
Tera
Giga
Mega
Kilo
[year]

富岳ヴァーチャルツアー

密行列連立一次方程式
LU分解
粗行列連立一次方程式
共役勾配法

HPL-AI(2.00EFLOPS)

Trend of world-fastest supercomputers

HPCG(16.00PFLOSP)[FLOPS]
Exa

AI性能

Graph500(102.95TFLOPS)


グラフ探査性能（データ処理）4ものづくりを対象としたシミュレーションの難しさ
 現象の複雑さ
 熱・流体・構造…様々な現象が複合的に合わさった複雑・複合・連成問題
 単なる性能評価のみではなく、性能向上を達成するために、現象のメカニズム解明も求められる（膨大な時空間データを扱う必要がある）
 形状の複雑さ 数百～数千の部品が集まったデジタルデータ
 部材間の隙間、重なり、厚み無し部材等、計算モデルの作成が困難
 要求されるスピードの速さと膨大な対応ケース
 実験計測以上のターンアラウンドタイムが求められる
 実験では到底対応不可能な膨大なテストケースを扱うことが期待される
5

熱・流体シミュレーションにおけるデータ構造
 非構造データ
 複雑形状の再現に有利
 データアクセスがランダムになる: HPCに不利

 構造データ 規則的なデータ構造(x, y, z): HPCに有利
 複雑形状の再現に不利

6

解析ソルバーCUBEの概要
複雑流体・構造現象を大規模計算するための共通基盤シミュレーションフレームワーク• 階層直交格子有限体積法• 流体解析にはLESを採用した高精度解析• 熱流体運動・構造変形・化学反応が共存する複雑現象場に対してスケーラブルな連成アルゴリズム••

トップダウンに全体構造が見渡せる統一的データによる偏微分方程式解法
流体と構造を連続体として統一的に扱える基礎方程式

プログラムの特徴• Building Cube Method (Nakahashi et al., 2003)•

プロセッサ単体性能の向上と超並列環境に適したデータ構造•

複雑形状や移動境界に適した境界処理•

産業界で用いられているCADデータ（部材間ギャップ，重なり，厚み無し等）に対応した高速なメッシュ作成• Immersed Boundary Method (Fadlun et al., 2002, Rahul et al., 2020)• Dirty CAD treatment (Onishi et al., 2013)7

複雑現象統一的解法CUBEの開発

高速かつ大量にシミュレーションモデルを作成し，スパコン性能を最大限に活用できるソフトウェア
2012年より理化学研究所で産学連携で開発．
 スパコン「京」を活用して，自動車，燃焼システム，建築耐風設計で多くの実績．
 2020年初頭，Society5.0時代のものづくりへ向けて富岳でチューニング中に，新型コロナパンデミックが発生．
「京」による自動車エンジンシミュレーションと燃料噴霧噴射の様子「富岳」による飛沫シミュレーション

8

「富岳」が拓くSociety5.0時代のスマートデザイン
背景

我が国の産業界では，少子高齢化する社会での国際競争力の強化や，予期せぬ新興ウイルスの蔓延，カーボンニュートラル社会の実現，自然災害とその後の社会変容へ対応するために，新たなデジタルエンジニアリング技術を活用したものづくりが求められている．



そのためには，既存の性能評価実験の代替としてのシミュレーションに留まらず，サイバー空間とフィジカル空間をより高度に融合させたSociety5.0時代のスマートデザインシステムの構築が不可欠である．

目的

計算科学と情報科学を融合させた新たなデジタルエンジニアリングシステムを創生し，製品デザイン・設計に活用する．

4つの具体的設計：(1)自動車空力設計， (2)都市・建築設計，(3)室内環境設計，(4)燃焼システム設計，に適用し，産学連携でその有用性を実証，産業界への実装を目指す．

優位性

スパコン「京」や「富岳」において，産業問題に対してその有用性が既に実証されているソフトウェア（CUBE，FFR）
を基盤技術とする点．



単なる技術開発に留まらず，それぞれの課題に応じた産学連携コンソーシアムを活用し，システム設計から実証，社会実装までを目指す点．



情報科学における従来のトップダウン式研究と異なり，ボトムアップ式に実際の設計現場で得られた知見を還元できる点．

「富岳」による機械学習やソフトウェアチューニング（DL4Fugaku）で，理研R-CCSの全面的な支援を得る点．

9

「富岳」が拓くSociety5.0時代のスマートデザイン
三位一体のR-CCS高度化利用研究の活用
計算科学

計算機科学

データ科学

利用ソフトウェア（CUBE, FrontFlow/red）やデータ科学技術（AI, データ同化）及びその「富岳」チューニング支援

サブ課題A（神戸大）
意匠空間を考慮したAI支援多目的
最適化による自動車空力デザイン

CUBE

サブ課題B（東工大）
変容する都市・建築の自然擾乱
対応の性能設計

CUBE/FFR

サブ課題C（九大）
新興ウイルス感染症にロバストで健康・快適・サステイナブルなポストコロナ時代の室内環境設計

CUBE

サブ課題D（京大）
マルチコンポーネント統合シミュレーションによるカーボンフリーガスタービン設計

FFR

産業界の強力なバックアップでニーズに対応したシステム開発と実証，社会実装を目指す

10

サブ課題A:意匠空間を考慮したAI支援多目的最適化による自動車空力デザイン
背景

カーボンニュートラル実現に向けた新たな自動車の開発には，今までの長年の経験に基づく「ものづくり」では不十分．
AIを活用して，より高速に複数の設計案件に対して多目的最適化する技術が必要．



自動車空力設計では，意匠担当のデザイナーと協調した形状最適化が不可欠であり，既存の空力性能設計空間のみでの最適化は実用化しない．

目的

性能設計空間と意匠デザイン空間を融合させた新たな空力多目的最適化システムを構築し，実際の自動車空力設計に適用することで，その有用性を実証する．



多次元設計空間での最適化を実現するために，遺伝的アルゴリズムに基づく多目的最適化を，自動車設計で実用化するフレームワークを構築する．



キャパシティコンピューティングによる多目的最適化で問題となる計算負荷低減技術として，機械学習によりサロゲート（代理）モデルやリダクション（縮約）モデルを構築し，多目的設計の大幅な時間短縮を目指す．

優位性

キャパシティコンピューティングによる多目的最適化で問題となる計算負荷低減技術として，機械学習によりサロゲー
ト（代理）モデルやリダクション（縮約）モデルを構築し，多目的設計の大幅な時間短縮を目指す．

11

サブ課題A:意匠空間を考慮したAI支援多目的最適化による自動車空力デザイン


機械学習によるサロゲートモデル・リダクションモデルの開発
POD基底で表した速度場とNS縮約モデル

瞬時に性能評価可能なサロゲート（代理）モデル



ニューラルネットワーク

高速に高精度な予測ができるリダクション（縮約）モデル

サロゲートモデル・リダクションモデルとシミュレーションを併用したAI支援多目的最適化

性能設計空間（空気抵抗，前後揚力バランス，横風安定性…）＋

デザイン特性空間＝エンジニアとデザイナーの協調作業の実現！

12

サブ課題A準備状況

CUBEによるリアルタイムシミュレーション
Dirty CADからの直接メッシュ作成•

Dirty CADからの270億セルメッシュ作成を1時間以内で実現

WLTP(Worldwide harmonized light vehicles test procedure)認証に要求される予測精度を実現
0.06

ΔCdA (difference from the Base model)
EXP.

0.05
0.04
0.03

±0.015

CUBE

0.02
0.01
013

サブ課題A準備状況

サロゲートモデル併用多目的最適化フレームワーク

フレームワークは「富岳」に実装済み

多目的進化アルゴリズム（Cheetah/R, JAXA）•••

多目的最適化問題のパレート最適化が一度に得られる大域的最適解探査が可能
HPCI戦略プログラム等で既に多くの実績
形状データ

サロゲートモデル••

空力性能（目的関数値）

ガウス過程回帰モデルによる機械学習
予測値の不確実性に基づくシミュレーション/サロゲート選択

形状パラメータ（設計変数値）

8設計変数，4目的関数，18集団サイズ，16世代サロゲート併用多目的最適化の例
ベンチマーク(CFD)

サロゲートモデル併用最適化

Cd最小形状ΔCl最小形状14

サブ課題A準備状況

機械学習による縮約モデルの構築
3次元円柱周り流れ場の縮約モデル••

縮約モデル構築の手順

次元縮約のための非線形関数(Encoder)及びその逆関数(Decoder)をニューラルネットワークを使用した機械学習により構成する
縮約された空間での系の時間発展については、時系列データの学習に適したLSTM(Long-Short Term Memory)を使用して予測する

次元縮約のためのニューラルネットワークの構成[1]次元縮約の例 (2変数または20変数)

LSTMによる時間発展の予測

縮約シミュレーションの結果[1] T. Murata, K. Fukami, and K. Fukagata, “Nonlinear mode decomposition with convolutional neural networks for fluid dynamics,” J. Fluid Mech., vol. 882, A13., 2020,
doi:10.1017/jfm.2019.822.

15

サブ課題B:変容する都市・建築の自然擾乱対応の性能設計
背景

コロナなど感染症の蔓延を起こさせない，あるいは将来の気候変動による温暖化を抑制するためのカーボンニュートラルを実践する社会の構築が喫緊の課題であり、これまでの集中化する都市・建築の姿を見直すことが求められている.



地球温暖化がもたらす将来の顕著気象に対して未経験の気象インパクト下での変容都市の安心安全な生活の構築．

目的

データサイエンスに基づきメタボリズム（新陳代謝）的に変容する都市・建築モデルをサイバー空間上に再現し，都市・建築の離散的空間での換気性能，グリーンインフラに基づく気温調整機能を定量化する

気象モデルと乱流シミュレーションを融合した広範囲の周波数帯の乱流変動の再現し，極端気象（スーパータイフーン，竜巻，豪雨）下での都市・建築の挙動を把握することで防災性能を予測するSociety 5.0の理念を踏襲しながら，自然起源の擾乱の都市・建築へのインパクト推定技術の社会貢献をめざし，コンソーシアムを基本として，産業界を巻き込んで実務的展開と不確定性に基づく性能設計の理念と方法を構築する

優位性

コロナ後

未来の変容する都市を想定し，建物を移動・分散させたシミュレーション

都市の変容：離散の概念へ

環境判定結果と被災推定結果のデータサイエンスに基づく分析により換気性能の確保，省エネ
都市，リスク共生への道筋を創生するとともに，極端気象に対する減災と復旧の迅速化のための設計法や規範などを法体系にまで提案し，都市・建築のレジリエンス強化を実現する

集合住宅

頑強な構造体商業建物（場合によっては5年から10年で変容）

変容する
木質構造体

集合住宅

オフィスビル

低層集合住宅
外部へ開放された住戸

駅（100年という時間スケールで変容）

低層木造住宅生垣

三次元的な避難経路確保のためのデッキ

低層木造住宅三次元的な避難経路確保のためのデッキ

16サブ課題B:変容する都市・建築の自然擾乱対応の性能設計
台風下の気象モデル・乱流シミュレーションによる広範囲周波数帯の乱流変動の再現と都心部でのピーク風速の推定

高解像度気象モデルによる極端気象の解析
東京湾上・東京西の丘陵地の強風再現



気象場高周波変動の再生成
気象モデル・工学LESの融合解析

メタボリズム的に変容する都市・建築モデルをサイバー空間上に再現

地域の風を活かした新しい都市計画・換気性能向上のための通風計画
・ビル風低減と熱環境向上のための植栽・環境計画
・オープンスペースによる防災拠点，避難動線の確保

LES解析による建築構造物へのインパクト評価
東京都心密集建物群での瞬間最大風の発生

現状

将来

サンプリング領域：560m×560m×40m(実スケール）
サンプリング-0.7<x<0.7，-0.7<y<0.7，0.1<z<0.2（単位m,実験スケール）の401x401x51の格子点から建物内部を除いたもの

頻度[%]

将来
現状

10500246810

Velocity magnitude(Average) [m/s]

換気性能・気温調整機能を定量化

サブ課題C:新興ウイルス感染症にロバストで健康･快適･サステナブルなポストコロナ時代の室内環境設計
背景 現在進行形の新型コロナウイルス感染症への迅速な対策技術の確立，更に，確実に来襲する新たな新興ウイルスへの準備と対策が求められている．
 予測精度・信頼性，スピード，対応ケース数の全てにおいて，今までの実験計測やシミュレーションを凌駕する革新的な感染リスク統合評価システムの構築が必要不可欠である．
目的 各種の空気感染性汚染物質の生成から室内空気中での輸送動態，さらに体内動態と免疫システム応答･生理反応までを包括的に解析し，可視化する統合的システムを開発し，「富岳」に実装する．
 室内の快適性と感染症に対するロバストネスを両立させる多目的最適化による設計手法を提案する．
優位性
 システム開発の基盤技術として，既にものつくり分野で実績を上げている理化学研究所等で開発された熱流体複雑現象統一的解法シミュレーションフレームワークCUBEを活用することで，確実且つ迅速な研究開発が可能となる．
 各段に精度の高い感染リスク評価により，新たな新興ウイルス対策のための政策立案に貢献
18

サブ課題C:新興ウイルス感染症にロバストで健康･快適･サステナブルなポストコロナ時代の室内環境設計① 人が放散源となる病原物質の呼出メカニズ
ムを解明･モデル化② 室内空気－呼吸を介して気道内粘膜上皮に到達する病原物質輸送動態解析技術の確立

室内微粒子拡散のEuler-Lagrange解析＋気道内粒子沈着分布(Hot-Spot解析)＋気道内粘液輸送の統合解析

病原物質の室内動態から細胞レベルの防御反応機構の複雑現象と統一的に理解･解析し，定量的に可視化する数値人体モデルと室内環境設計システムの開発④ 室内換気設計の実務へ展開･実装③ 経気道曝露に伴う病原物質宿主反応ダイナミクスを記述する生体防御反応モデル開発

dR
Target dTT =− βT TT V − φ FTT + ξ R
dt
dt
Cells
Infected dI= βT TT V − κ F IF − κ E ITC − δ X ICells
dt

dV= β E I − δV V − κV VA
dt(Virus)サブ課題C:準備状況

感染症リスク評価のデジタルトランスフォーメーション


マスクシミュレーション



公共交通機関での感染リスク評価



室内での感染リスク評価

20

サブ課題C:準備状況

飛沫・エアロゾル感染リスク評価
到達飛沫量の予測による感染リスク推定

No=900を基準に300～2000変化（縦誤差棒）

100

10

Loud Speaking

Loud speaking

Soft speaking

80

Soft speaking

0.1

確率（%）

飛沫量（mg）

10.01

60

400.001
200.0001
0.00001

000.5

11.522.5

300.5

確率論に基づく感染リスク推定


No: 感染に至るウイルス量

N: 体内に侵入したウイルス量

感染をポアソン過程として扱うと𝑁𝑁(− )P(𝑁𝑁) = 1 − e 𝑁𝑁0

大声（15分対面）
従来株
I=1.25
I=2.5

00.5

11.5

2

感染者からの距離 (m)

1.5

2

2.5

3

2.5

10090
80
706050403020100

通常会話（15分対面）
従来株
I=1.25

感染確率 (%)

1009080
70
60
5040
30
20100

1

感染者からの距離（m）

感染者からの距離（m）

感染確率 (%)



感染確率（15分対面）

300.5

11.5
2
感染者からの距離 (m)

2.5

321

サブ課題C:準備状況

室内感染リスクの定量評価

換気装置のみ換気装置にエアコンとキッチンダクトを併用

排気ダクト12A

2.72m

345691011B6.5m

76.7m

16128131415

給気ダクト
カウンターのリスク

テーブルのリスクテーブルのリスクカウンターのリスク

22

サブ課題D:マルチコンポーネント統合シミュレーションによるカーボンフリーガスタービン設計
背景

風力や太陽光などの再生可能エネルギーから製造する水素（H2）やアンモニア（NH3）を燃料として燃焼させ，発電する手法（究極のカーボンフリー発電システム）が注目されている．



水素やアンモニアの燃焼はフラッシュバック（逆火），燃焼振動，失火等の異常燃焼が起こる危険性があるため，それらの燃料に順応したガスタービン（圧縮機，燃焼器，タービン）の設計，開発，操作条件の選定が不可欠である．

目的

ガスタービンを構成する圧縮機，燃焼器，タービンを完全に統合してLES で一気に解く，世界初，真のマルチコンポーネント統合シミュレーション技術の開発を行う．

本統合シミュレーションが，フラッシュバックや燃焼振動等の異常燃焼，さらには，窒素酸化物（NOx），一酸化炭素（CO），およびすす等の様々なエミッションの正確な予測に有用であることを示す．

本統合シミュレーション（サイバー空間）結果から，異常燃焼発生時の物理メカニズムを解明し，さらに異常燃焼の兆候を自動で探知するための A I センシング技術を開発することによって，これらの知見，技術が実機（フィジカル空間）の設計や最適操作条件選定に貢献しうることを実証する

優位性

圧縮機，燃焼器，タービンの数値解析は各々が計算負荷が高く，「京」を用いてようやく実施可能なものであった．それらの統合シミュレーションは，「富岳」の誕生によってはじめて実現可能な状況にある．従って，本解析を実施できる環境にあるのは世界でも本研究グループのみである．
23

サブ課題D:マルチコンポーネント統合シミュレーションによるカーボンフリーガスタービン設計



マルチコンポ―ネント総合シミュレーションの概念
京

富岳

フラシュバック

燃焼振動

圧縮機

燃焼器

タービン

各コンポーネントを京で個別に解析

マルチコンポーネントを統合して富岳で一気に解析

乱流特性

24

領域名：産業競争力の強化（③）•

課題名：「富岳」が拓くSociety 5.0時代のスマートデザイン
概要・目標

スーパーコンピュータ「富岳」成果創出加速プログラム

坪倉誠（理研計算科学研究センター・チームリーダ）

 計算科学と情報科学を融合させた新たなデジタルエンジニアリングシステムを創生し、製品デザイン・設計に活用する ４つの具体的な設計・デザインに適用し、産学連携でその有用性を実証し、産業界での実装を目指す
実施体制・関係機関・詳細
 理研R-CCSが開発を進める基盤技術を活用し、全面支援のもと、サブ課題ごとに責任機関が中心となって研究開発する それぞれのサブ課題に応じて産学連携コンソーシアムを設立、システム設計から実証、社会実装までを目指す
サブ課題A（神戸大）
意匠空間を考慮したAI支援多目的
最適化による自動車空力デザイン

連携：成果創出

サブ課題B（東工大）
変容する都市・建築の自然擾乱対応の性能設計

連携：成果創出

サブ課題C（九大）
新興ウイルス感染症にロバストで健康・快適・サステイナブルなポストコロ
ナ時代の室内環境設計

サブ課題D（京大）
マルチコンポーネント統合シミュレー
ションによるカーボンフリーガスタービン
設計

連携：JST・CRESTコロナ課題

連携：成果創出・NEDO

共通基盤：三位一体のR-CCS高度化利用研究の活用

計算科学
基盤ソフトウェア：CUBE, FrontFlow/red

計算機科学「富岳」利用支援

データ科学
AI活用プロジェクト：DL4Fugaku

想定される具体的成果
 性能試験の代替としてのシミュレーションを脱却し、サイバー空間とフィジカル空間の高度結合によるスマートデザインシステムの実現
 自動車空力、都市・建築、室内環境、ガスタービンに対して、実設計や政策立案のためのシステムの社会実装