27

VOL.

ものづくりに HPC を活用するためのツールとケーススタディー

計算工学ナビ・ニュースレター2024年秋号■計算工学ナビ・特集「富岳」
成果創出加速プログラム「『富岳』が拓く Society 5.0時代のスマートデザイン」
神戸大学／理化学研究所計算科学研究センター 坪 倉 誠
プロジェクトの概要と進捗について「富岳」
が拓く Society 5.0時代のスマートデザイン■レポート

広島大学 中島 卓司

各サブ課題研究開発成果の概要

横浜国立大学／東京工業大学 田村 哲郎「富岳」
での通信最適化をめざした汎用ランクマップ最適化ツールの開発

FrontFlow/blue の東北大学サイバーサイエンスセンター AOBA-S への展開

九州大学 伊藤 一秀

京都大学 黒瀬 良一

理化学研究所計算科学研究センター 黒田 明義
日本電気株式会社 加藤 季広

計算工学ナビ・特集「富岳」成果創出加速プログラム「『富岳』が拓くSociety 5.0 時代のスマートデザイン」
プロジェクトの概要と進捗について
スーパーコンピュータ「富岳」の特性を十分に活用して科学的・社会的課題解決に直結する成果の早期創出を支援するために、
文部科学省は2020年度から「『富岳』
成果創出加速プログラム」
を実施
しています。2024年度時点では、
AI・データ科学との融合・連携、社会実装に向けた産業界との連携、次世代を見据えたアプリケーションに繋がる取り組み、
基礎科学の新たなる展開など、新規成果の創出が期待される研究課題として「健康長寿社会の実現」「、産業競争力の強化」「、防災・減災、
環境問題」「、基礎科学の発展、新領域」の４つの領域に20課題が挑戦しています。今回紹介する「『富岳』が拓くSociety 5.0時代のスマートデザイン」
も、「産業競争力の強化」
領域の課題の1つです。この
課題の研究開発課題責任者である神戸大学大学院システム情報学研究科（ならびに理化学研究所
計算科学研究センター所属）の坪倉 誠教授に、
課題のねらいや取り組み、進捗についてお話しいた
だきました。

Society 5.0時代のものづくりと
スマートデザイン「『富岳』が拓く Society 5.0時代のスマートデ

ザイン」の取り組みやねらいについてご説明ください。

はじめに「Society 5.0時代のものづくり」についてお話ししましょう。
「Society 5.0」とは、狩猟社会（Society 1.0）
、農耕社会（Society 2.0）、な手法です。今までこの2つが両輪となって科学ンを構築しようとしているのです。

によって、短時間に膨大な量の計算が可能になり、プロジェクトにおいて、分野が大きく異なる4つ

してデータをとって、その結果から考える帰納的技術は進んできましたが、計算機の急速な発達

仮想空間が利用可能になってきました。これまでのシミュレーションは、理論解析を仮想空間でやっていて、人間が解けない基礎方程式を計算機が解き、それによって理論的なアプローチのもとにそうだというニーズがある分野、さらにはこれまでいくのです。つまり、人間が寝ている間にも、する人間中心の社会」としてSociety 5.0が初め代になってきているのです。

示した Society 5.0の概念を具体化し、現実のもを考えながら、私たちは自動車を対象に、エンジた第6期科学技術・イノベーション基本計画では、

つまり燃費がよくてかっこいい自動車の設計をめ

仮想空間のなかで科学がどんどん進んでいく時声をかけさせていただきました。サブ課題 A は

そんなSociety 5.0時代に何をすればよいのか

ニアだけでなくデザイナーも満足するデザイン、に、一人ひとりが多様な幸せ（well-being）を実り、現実に自動車が走る空間を仮想空間に再現現できる社会」と表現しています。Society 5.0でをデジタルツイン（現実空間のさまざまな情報のデジタルコピーをサイバー空間上に表現する先的最適化を進めてきました。デジタルツインによして、そこで性能評価をするわけです。リアルワー
ルド評価は、これまで自動車ができていなければやれませんでしたが、いまや設計図の段階で自由に自動車を仮想空間で走らせて性能を予測する

進技術）として構築し、現実とそっくりな“双子”

ことが可能になっているのです。こうした自動車

ザイン、都市や地域の整備などを再構成した上車・都市開発・室内環境・燃焼システムという4をサイバー空間上に作り出し、制度やビジネスデでそれをフィードバックし、街づくりや設計・生産ラインの改善など、フィジカル空間に反映して社会を変革していくことと説明されています。もっとわかりやすく説明すると、研究者たちが自動車の設計など研究開発をしている世界が現実空間、それに対して私たちが「富岳」を活用して新たに構築しようとしている仮想空間があるわけです。
科学には、トップダウン型アプローチとボトムアップ型アプローチがあります。トップダウン型は演

計算工学ナビ Vol.27

でにつながりのある研究者の方々のなかで、すごく大きなシミュレーションというより、実際のざしてきました。そこで、私たちはAIによる多目

は、サイバー空間において、社会のあらゆる要素

出してこられて、「富岳」でも新しい設計ができ

み込む、これが仮想空間のなかで自律的に進ん

Society 5.0の未来社会像を「持続可能性と強靭性を備え、国民の安全と安心を確保するととも私たちが中心になってこれまでやってきたのは自動車と室内環境です。あとは、スーパーコ

急速に進展してきて、シミュレーションをどんど空間とフィジカル空間を高度に融合させたシステのとするために、2021年3月26日に閣議決定されの課題を選ばれたのはなぜですか。

ンピュータ「京」の時代からいろいろな成果をん流して、集めた膨大なデータを人工知能が読て提唱されました。第5期科学技術基本計画で提た次世代型設計システムであるスマートデザイ

現象を調べてきたわけです。しかし、最近ではデー

来社会の姿でもあります。第5期科学技術基本計

ムにより、経済発展と社会的課題の解決を両立

同化などのデータ科学を融合させることによりサ

イバー空間とフィジカル空間を高度に結合させ

タ科学的なアプローチ、つまりAIが仮想空間で画（2016年1月22日閣議決定）において、「サイバー

坪倉 誠 教授 / チームリーダーます。つまり理論解析。ボトムアップ型は実験を

工業社会（Society 3.0）
、情報社会（Society 4.0）に続く新たな社会であり、わが国がめざすべき未2

繹的にその現象を支配する方程式を解いていき

神戸大学大学院システム情報学研究科／
理化学研究所計算科学研究センター

を対象とした研究開発をさらに拡張させて、自動つの分野で、Society 5.0時代のスマートな設計技術を考えていくのが、このプロジェクトです。

急速に変化する社会に対応したものづくりを実現するには、単なる性能試験の代替としてのシミュレーションを脱却し、新たなデジタルエ

ンジニアリング技術を創生することが急務です。
私たちは、「富岳」の性能を十二分に活用できる

アプリケーションソフトウェアによる高性能シミュ

レーションと、多目的最適化・機械学習・データ

設計をどうしていくのかを考えている先生方に
私たち神戸大学と広島大学、サブ課題 Bは横浜国立大学と近畿大学、お茶の水女子大学、サブ

課題 Cは九州大学と神戸大学、サブ課題 Dは京都大学と九州大学が、それぞれ中心になって取り組んでいます。4つのサブ課題のいずれも産学連携のコンソーシアムを組んでいて、密に連携を取りながら進めているのが大きな特徴です。

単にシミュレーションを流すだけでなく、コンソー

シアムと協議しながら、成果を各産業界でどのように実用化していくかを考え、社会実装までもっていくことをめざしています。

研究開発に活用している基盤ソフトウェアは、

主に複雑現象統合シミュレーションフレームワー

クCUBE、流体解析ソフトウェア FrontFlow/redの2つです。サブ課題メンバーの多くはソフト開発を行う人々ではないので、4つのサブ課題を束ねるかたちで理化学研究所計算科学研究センターが立ち、ソフトウェアのチューニングや実際の利用に関するサポートを行っています。

プロジェクトの4つのサブ課題
サブ課題 Aは、「意匠空間を考慮したAI支援多

目的最適化による自動車空力デザイン」ですね。
性能設計空間と意匠デザイン空間を融合させた新たな空力多目的最適化システムを構築し、実際の自動車空力設計に適用することで、そのサブ課題 Cは、「新興ウイルス感染症にロバスト

で健康・快適・サステイナブルなポストコロナ
時代の室内環境設計」ですね。

なエミッションの正確な予測にも有用であることを示したい考えです。この統合シミュレーション（サイバー空間）結果から、異常燃焼発生時の物
理メカニズムを解明し、さらに異常燃焼の兆候

さまざまな空気感染性汚染物質の生成から室を自動で探知するためのA I センシング技術を開発

疫システム応答･生理反応までを包括的に解析

ジカル空間）の設計や最適操作条件選定に貢献

有用性を実証しようとしています。自動車は大内空気中での輸送動態、さらには体内動態と免度や衝突安全性、振動・騒音など、いろいろなして、可視化する統合的システムを開発し、そし得ることを実証しようとしています。かつては、がデザインです。いくら性能がよくても、かっ

課題 Aと同様に、最終的には多目的な最適化をが、「富岳」を活用して、空気を圧縮して燃焼器

きな1つのシステムで、空力性能はもちろん、強評価が関わってきますが、忘れてはいけないの

こよくなければ売れませんから。しかし、これまれを「富岳」に実装しようとしています。サブ

めざしています。室内環境は、これまで快適性することにより、これらの知見・技術が実機（フィ

燃焼器なら燃焼器の計算しかできませんでしたに送る圧縮機も、燃焼により力を得るためのター

ビンも、すべて含めて実機全体に広げた統合シ

では価値観の異なるエンジニアとデザイナーがを重視して設計されてきました。寒過ぎたり暑たわけです。そんな人たちを同じ設計プラットです。ところが、今回、新型コロナウイルス感染

ステムをつくりたいのです。そのために、空力染症に対しても強い室内設計が求められました。

実証段階まで進んだ研究開発

室内環境設計です。この二つを最適化するようプロジェクトはあと2年ですね。研究開発の進捗同じテーブルで議論することはほとんどなかっ
フォームのもとで一緒に協議して作業できるシ

性能とデザイン特性のどちらも最適化するフレー

ムワークの構築をめざしています。

サブ課題Bは、「変容する都市・建築の自然擾乱
対応の性能設計」ですね。

データサイエンスにもとづいてメタボリズム（新陳代謝）的に変容する都市・建築モデルをサイバー空間上に再現して、都市・建築の離散的空間での換気性能やグリーンインフラに基づく気温調

整機能の定量化、気象モデルと乱流シミュレー

ションを融合した広範囲の周波数帯の乱流変動の再現、スーパータイフーン、竜巻、豪雨などの極端気象下での都市・建築の挙動を把握することによる防災性能の予測などをめざしています。
コンソーシアムを基本として、自然起源の擾乱

過ぎたりしない空調の設計がなされてきたわけ

ミュレーションをやろうというわけです。

症の感染拡大によって、快適性だけでなく、感つまり、2つの目的、快適性と健康を両立させるな室内環境設計のためのプラットフォームを構築することがこの課題の目的になります。実際には、風の流れが変わると身体に入ってくる飛沫の量なども変化し、体内のどこに付着するかも変わります。そこで、精度を上げるために実際に人の気道を再現し、気道内のどこでウイル

スがどう増殖するのかも追えるシミュレーションになっています。

状況についてお話しください。

現在はFeasibility Studyといいますか、4つのサブ課題いずれもフレームワークができ上がって、いよいよ実証していこうという段階に入っています。たとえば、サブ課題Ａであれば、もう多目的最適化のフレームワークはできていて、設

計変数をこうしたら決められるということもわ

かっていて、昨年度は、それが確実に動くこと

サブ課題Dは、「マルチコンポーネント統合シミュを確認するために、空気抵抗とデザイン性の２設計」ですね。

り、最適化もどんどん進めていく方向に動きつ

レーションによるカーボンフリーガスタービン

ガスタービンを構成する圧縮機・燃焼器・軸だけでやってきたものをさらに軸を増やした

つあります。サブ課題 Bも着実に進んでいます。

サブ課題 C では、小さなモデル室内を拡張して、の都市・建築へのインパクト推定技術による社

タービンを完 全に統 合して LES（Large Eddy

変容する都市・建築の自然擾乱対応の性能設計のマルチコンポーネント統合シミュレーション技

こで空調システムがどのように最適化すればど建物の性能などを、実際の空気の流れや気象をにデジタルツインで、仮想空間上に実機を再現階に移っています。サブ課題 D も全体を統合し会貢献にも役立てていきたい考えです。要するに、について、今までは風洞のなかで評価してきた

Simulation）で一気に解くという、世界初かつ真術の開発をめざしています。サブ課題 Bと同様再現して進めていこうとしているわけです。実際

しようというものです。それにより、フラッシュする、まさにデジタルツインの世界です。

（NOx）・一酸化炭素（CO）
・すすなどのさまざまの世界をコンピュータ上に再現して性能を評価

バックや燃焼振動などの異常燃焼、窒素酸化物

実際のオフィスやかつて新型コロナウイルス感染症のクラスターが発生した場を想定して、それくらいリスクが下がるかを検証するという段たシミュレーションがすでに動いています。今後は、さらに解像度を高めていき、より信頼性の高い計算を実施していく段階に入っています。

▲「富岳」が拓くSociety 5.0時代のスマートデザインの4つのサブ課題

3◆ 計算工学ナビ・特集「富岳」が拓くSociety 5.0 時代のスマートデザイン
サブ課題 A 意匠空間を考慮した AI 支援多目的最適化による

自動車空力デザイン

広島大学大学院
先進理工系科学研究科 准教授

中島 卓司

サブ課題 A「意匠空間を考慮したAI支援多目

性能は、車両周り乱流場の高精度な数値解析によって評価します。複雑現象統合シミュレーショ

◉各サブ課題 研究開発成果の概要

体形状の特徴量を車体形状パラメータ（設計変数）とし、現実的な車体形状のバランスを保ちながらパラメトリックな設計探索を行いました。ただし、空力解析の計算コストの制約から探索可能なサンプル数の少なさを考慮し、設計探索のアルゴ

ンフレームワークCUBE（理化学研究所にて開発）

リズムにはEGO（Efficient Global Optimization）

業を必要としない利点を活かして、効率的かつことと「実用的な印象（と相関のある形状特徴量）

計算の過程で得た数値解析結果からガウス過程

行った結果、外観から受ける「実用的」な印象を使用し、形状変更に伴う解析格子の再生成作法を使用しています。そして、「空気抵抗を減らす」

的最適化による自動車空力デザイン」では、空高精度に空力性能を評価します。さらに、進化を強調する」ことを２つの目的とする設計探索を

能的な価値を考慮するだけではなく、外観の意

回帰によるサロゲートモデルを構築し、数値解が異なるなかで、それぞれ空気抵抗が最も低い

値についても考慮可能な、新たな空力多目的設

トを効率的に削減します。

意匠空間を考慮した多目的最適化による自動車

プロジェクト全体の共通基盤の構築のため、スーいについては、特に空力性能にも関わる車体の「形きました。

トワーク処理のチューニングや流れの縮約モデ

ける印象を調査しながら、意匠空間の数理モデル

ついて、目的関数にとる項目を拡大しながら、本フサブ課題 A で構築を進める空力多目的設計支

イナーの方にも協力いただきながら、自動車の外変数とするパラメトリックな設計探索技術を用い、外観のCG画像を用いたアンケート調査を行って、気抵抗などの力学的性能、すなわち物理的、機匠性のように人間が感じる感覚的、精神的な価計支援システムの構築をめざしています。また、

パーコンピュータ「富岳」におけるニューラルネッ

ルの構築技術の開発にも取り組んでいます。

援システムでは、車体の形状パラメータを設計
基準車体の形状をモーフィングして新たな車体形状を生成、評価します。ここで、意匠特性を考慮した設計探索のため、デザイン的な意図に関わる車体形状を変える形状パラメータを設定します。また、多目的な設計探索には、多目的進化アルゴリズムCHEETAH/Rを使用します。

物理的価値としての目的関数となる車両空力

サブ課題 B

析を行う車体形状を選別することで、計算コス
一方、感覚的な価値に関わる意匠空間の取り扱状」の影響に注目し、自動車の外観から人間が受化を進めています。自動車の意匠を担当するデザ◆ 気象スケール・市街地スケールの融合

販されている多数のSUV車両について車体形状を象と関係のある外形形状の特徴も調査しています。
最後に、以上の取り組みの成果として、意匠

空間を考慮した空力設計探索のFeasibility Studyの結果を示します（図）。ここでは、市販車の車生成する一方、都市市街地のより小さいスケー

ルの流れの解析には工学的なLES（Large-Eddy

Simulation）
を適用します。両者は、独立してシミュ

レーションが実施されてきましたが、異なるスケーが鋭敏に変化することが認識されているためです。
◆ 都市・建築スマートデザインでの要件

建物の周囲に設置される壁面、屋根、壁面なないように設計する必要があることから、ピーク続を達成します。その結果、中間スケールにおい率的な挙動を把握しなければなりません。今回のす。本課題では、都市あるいは建築に対する不確てロール構造あるいは波動的な構造が現れ、都市の受容を適切に処理する設計技術を提示すること

合、断面形の後流構造の歪み、隅角部形状による剥離せん断層の非定常変化など、かなり空力特性することでここでは両スケールの間にある、気象

スケールより高波数側の成分を予測し、両者の接を、スーパーコンピュータ「富岳」を活用するこ再現する必要があり、ここでは数十cmの解像度を用います。建物の形態を流体力学的に捉えた場

どの外装材の安全性を検証するためには、建築題を解決するための技術、特に設計手法の目的達

定性の強い極端気象インパクトを推定し、またそ▲空気抵抗の低減（縦軸下向き）と「実用的」な印
象と相関のある形状特性（横軸左向き）を２目的とする自動車空力設計探索の結果

ル間の接続を円滑に行うことが重要なスキルとなります。スケールに関するフィルタリングを適用

成のための先鋭化・洗練化が強く求められていま

レームワークの実証を進めていくことを考えています。

主成分分析し、車体形状の特徴量を抽出して、印

温暖化に伴い、気象事象における激甚化が進行し、都市あるいは建築物の防災あるいは環境問

今後は、物理的な価値と感覚的な価値の双方に

外観と印象の関係を明らかにしました。また、市～極端自然事象に対する都市・建築のスマートデザインの展開～

田村 哲郎

空力デザインの実現可能性を確認することがで観が与えると考えられる「印象」を選定し、車体変容する都市・建築の自然擾乱対応の性能設計

横浜国立大学 客員教授／
東京工業大学 名誉教授

車体群が得られ、構築したフレームワークによる被覆上での突風構造あるいは建物に作用する風圧のピーク性状を推定します。市街地あるいは建物へ作用するインパクトに対し、気象擾乱込みで部材スケールのピーク風圧に対して部材が破壊し風圧の大きさ、変動特性および発生頻度など確シミュレーションでは、建築物の外装材の安全性を台風などの不確定挙動を確率的に踏まえた上で、構造部材の破壊挙動を予想し、安全性を確保することをめざすもので、極端自然事象に対す

変動幅の大きいデータを数値化し、都市・建築物

る都市・建築のスマートデザインを実践するもの

るシミュレーション技術を展開します。本課題にいわばスマートデザインが実現することになりまを対象に、それを構成する小スケールの場も同モデルなどを活用し、都市上空での気象擾乱をデル化に対しては、建築物の実際の形状を的確に可欠で、DX ＊の適用によりcapability computingとで実現することをめざします。

そのために都市・建築の極端気象事象に関す

おいては、スケールの大きな現象に対して気象の耐風性能を確保するための洗練された設計法、す。なお、小スケールの建築物まわりの空間のモです。今回のシミュレーションは大スケールの場時に取り扱って風荷重を正確に推定することが不からcapacity computingへ移行し、大サンプルの解析から不確定性の理解の確度が上がり、スマー

トデザインの高度化が進むものと考えられます。
◆ 解析例～渋谷建築物密集地区～

解析の一例として、東京渋谷地区における高層建物群を対象とし、中央に位置する高層建物▲極端台風下の高層建物における突風とピーク風圧の発生機構の理解（M. Kawaguchi and T. Tamura, Ensemble LES Analysis of Gust Occurrence in an Urban Area During
Typhoon Hagibis, ECCOMAS2024, Lisbon, June 2024）とそれを取り囲む高層建物群が干渉して、局所的に発生する過大な負圧に関する解析結果を示します。上流から流れ込んだ流れが、隅角部に＊DX：Digital Transformation

4

計算工学ナビ Vol.27

触れ、側面に沿って進むとき、剥離せん断層が流れ込みの風向と位置により微妙に変化するため、◆ おわりにから発生し、壁面負圧が上方へ広がるように大れ込みのゆったりとした時間変化とそれに伴う局豪雨・洪水・猛暑など）の防災・環境問題を考えと壁面に跨るように局所的な渦が形成され、局られ、こうした計算結果を用いることにより、建た外装材の局部負圧の形成は、上流からの風のとになります。

デザインを構築し、災害低減をめざすことになります。

サブ課題 C 新興ウイルス感染症にロバストで健康・快適・サションツールに統合可能な新しい数値人体モデルの連成解析手法等の統合シミュレーション技術

Quality)を定量的に評価するための指標作成やそ

側方壁面と干渉して円錐渦が隅角部の中途高さ

きくなります。また、下方の入隅部では、屋根面部負圧がアーチ状に生み出されます。こういっ本シミュレーションのような、気象スケールの流部負圧の発生挙動を緻密に推定することが求め
築物の外装材の耐風性能が適切に評価されるこ

ステイナブルなポストコロナ時代の室内環境設計

九州大学総合理工学研究院
教授

伊藤 一秀

各種の空気感染性汚染物質の生成から室内空

気中での輸送動態、さらに体内動態と免疫シス

テム応答･生理反応までを包括的に解析し、可視化する統合的システムの開発とともに、複雑現象統合シミュレーションフレームワークCUBEへの実装を目的としています。最終的に、室内の快適性と感染症に対するロバストネスを両立の開発などに取り組んできました。この数値気道モデルを用いて、気道内気流解析に液膜から液滴形成を再現するEulerian Wall Filmモデルを実HPC＊のもとで不確定性を有する各種物理量を数値化する必要があり、同様な概念の下、スマートの開発にも取り組んでいます。

ま た、 室 内 環 境 の 質 (Indoor Environmentalの解析方法に関する研究にも取り組んでいます。
室内に形成される汚染物質等のスカラ不均一混合場を定量的に評価する新たな換気効率指標(Net Escape Velocity、Net Escape Probability、室内環境中への呼出を連続して解析する技術を定義を示すとともに、(これまで定量評価が困難

ことで、咳に伴う気道内での飛沫･飛沫核生成とTransfer Probability)などを提案し、その厳密な確立しています。気道粘膜上でのウイルス増殖であった空気感染制御の観点で必要となる)換気

装することで、気道内でのウイルス含有飛沫のを続けています。

を予測するためHost Cell Dynamicsモデルを実沈着からウイルス増殖( 複製)の時間変化を3次元的に可視化する技術の開発に取り組んでいます。

これまで、ボランティアのCT ＊データを基に適で健康な空間を提供することにありますので、から気管支第16分岐( 終末細気管支 )までの下気現は必須です。本研究では、人体形状と体温調節

鼻腔･口腔から気管支までの上気道モデルと気管

るには、こういった多重スケールの現象を融合させ、装し、気道内Lagrange 粒子解析と連成解析するさせる多目的最適化による設計手法の提案をめ
ざしています。

本課題においては、極端自然事象（台風・突風・設計への実装可能性に関して、地道に取り組み

室内環境設計の目的は、居住者であるヒトに快

環境シミュレーションを実施する際に、人体の再モデルを再現した数値人体モデルに数値気道モデ▲病原物質の室内動態から細胞レベルの防御反応機構の複雑現象と統一的に理解･解析し、定量的に可視化する数値人体モデルと室内環境設計システムを開発

サブ課題 D マルチコンポーネント統合シミュレーションによるネントから構成されますが、研究開発段階では、

道モデルを統合した数値気道モデルの作成、気道内流体解析と粘膜上皮細胞上の粘液輸送解析

ルを統合することで、汎用的な室内環境シミュレー

カーボンフリーガスタービン設計

京都大学工学研究科
教授

黒瀬 良一

件の選定を行う上で、試行錯誤の検討が比較的容易で現象理解の助けになるとの理由から、燃焼の数値シミュレーションは有力なツールとなり

通常、これらは別々に解析・評価されており、ガスタービンとして俯瞰的・統一的な事前評価ができているとはいえません。特に、フラッシュバッ
クや燃焼振動は主として燃焼器で発生する非定

常かつ不安定な現象ですが、圧縮機やタービン得えます。しかし、燃焼は極めて複雑な現象でを含めたガスタービン全体の圧力変動や速度変燃焼反応に伴う急激な密度変化に適用可能な安ビン全体としての評価が不可欠です。このようなや太陽光などの再生可能エネルギーへの移行がまた、燃焼の数値シミュレーションは計算負荷

縮機・燃焼器・タービンを完全に統合してLES＊は環境に左右される変動電源となり、直接使う

効率的な計算実施に関するノウハウが不可欠で

ミュレーション技術の開発を進め、すでにその実をゼロとみなせる水素（H2）やアンモニア（NH3）

界において浸透しているとはいえません。

論文や、自身が主催する「燃焼システム用次世進のためのエネルギーを得る方法が期待されて性能や利便性の両面で優れたスーパーコンピュー

わが国は、温室効果ガスの排出を2030年度に13年度比で46 %削減、2050年までに実質ゼロとすることを宣言しています。将来的には、風力あるため、燃焼の素過程についての数理モデルや、
定スキームに関する理解や選定が容易でないこと、

期待されますが、このような再生可能エネルギーが極めて高いため、その資源確保と並列計算等、には制限と限界があります。そこで、CO2排出量あることなどの理由から、その利用は特に産業を燃料として燃焼させることにより、発電や推しかし、最近では、「京」や「富岳」のようないます。しかし、水素は燃焼速度が速い（メタタの登場により、燃焼数値シミュレーションのンの約5倍）ことによって生じる火炎の逆流（フラッ利用が産学官で急激に進んできています。また、件で発生しうる火炎の不安定化と圧力変動の相との連成や、液体燃料の微粒化・蒸発・沸騰現き起こす危険性があること、また、アンモニア

チフィジクスシミュレーションへの期待も高まっ

シュバック）や低NOx 化に不可欠な希薄燃焼条互作用（燃焼振動）がガスタービンの損傷を引ら、これらの対策が不可欠であり、その解決がはあるものの、将来に向けた極めて有望なテーマ

講じた新しい燃焼器や火炉の設計、最適操作条で一気に解く、真のマルチコンポーネント統合シ

現に成功しています（図）。今後、詳しい成果を
代 CAE コンソーシアム（https://www.riken.jp/

collab/consortium/cngc/）」を通して、広く公開していく予定です。

象など多種多数の複雑な現象を同時に解くマルています。さらに、実機全体を解く、いわゆる実喫緊の課題となっています。このような対策を状況から、筆者らは、ガスタービンを構成する圧燃焼の騒音問題の解決に関連した音（圧力変動）

は逆に燃焼速度が遅い（メタンの約5分の1）ことによって生じる失火が起こりやすくなることか

動と密接に連動しながら進展するため、ガスター

機丸ごとシミュレーションは、チャレンジングでと考えられています。例えば、ガスタービンは、
主に圧縮機・燃焼器・タービンの3つのコンポー▲ガスタービン統合シミュレーション結果の一例（対象は川崎重工業ガスタービン）＊HPC：High Performance Computing ＊CT：Computed Tomography ＊LES：Large Eddy Simulation
5

レポート

「富岳」
での通信最適化をめざした
汎用ランクマップ最適化ツールの開発間がかかり、それ以上のプロセス数の最適化は困難でした。これを回避するために大並列問題

では、Tofu 単位をまとめて最適化するツールを用意しました。しかし輻輳が多いと予想される x 軸方向の通信を他の軸に置き換えるために

理化学研究所計算科学研究センター 技師

は、本手法では実現が困難で、通信時間削減効

黒田 明義

果は大きくありません。現在、局所的な徐冷と、Tofu 単位の大域的な徐冷を組み合わせた最適化

背景
スーパーコンピュータ「富岳」
（以下、
「富岳」
）

をはじめとする、ハイパフォーマンスコンピュー
ティングでは、時代とともに向上する演算性能と比べて、相対的に演算器間の通信性能が低くなっています。このためアプリケーションの実

行時間に通信時間の占める割合が増加する傾向

ランクマップ最適化ツールの開発

ツールの開発中です。

理化学研究所運用技術部門ソフトウェア開発技

評価関数として、ホップ数で書き下せる関数

術ユニットでは、村井均ユニットリーダーのもと、を用いて最適化を行いましたが、通信していな安藤和人、中村宜文、黒田明義の技師3名体制で、いリンクを有効活用するという観点では、通信研究センターと、協力して、汎用ランクマップ最き、情報エントロピーを用いた評価関数を考え

東京大学生産技術研究所革新的シミュレーション

適化ツールの開発を手がけています（図2）。これにあります。私たちは、東京大学生産技術研究

は、MPI通信の時系列情報を解析する手段として、発されている有限要素法（以下、
「FEM」
）アプ

Toolkit (SST) DUMPI Trace Libraryを用い、得られ所革新的シミュレーション研究センターにて開3. 新規アルゴリズム開発

汎用のOSSライブラリであるStructural Simulationの平滑化を評価関数として取り入れることがでました。情報エントロピーの計算には、全通信経路を探索し、得られた全リンクの通信量を計算する必要があります。これは中継通信を含む

通信量であり、「富岳」ではTNR (Tofu Network

たランク間通信量テーブルをもとに、最適なラン

Router)カウンタ情報として計測が可能です。経岳」でランクマップを最適化することで、FEM「富岳」ユーザ向けに公開を開始しました。また開などに向けた新規手法として、また最適化問題

削減をめざしています。

ムでも通信最適化を行えるよう整備を進めています。

リケーションである乱流音場解析ソフトウェア
FrontFlow/blue（以下、「FFB」）を用いて、「富クマップを生成するツールです。すでに試作を終え、路探索には時間がかかりますが、徐冷回数削減

発コードをGithubで公開し、「富岳」以外のシステに対する新たな取り組みとして有効と考えます。

「富岳」での通信の特徴

ランクマップ最適化ツールのしくみ「富岳」での標準のランクマップは、x-a軸、y-b「富岳」直接網上の通信では、Tofu と呼ばれ「富岳」での通信性能劣化要因として、ホッ

これは必ずしもFEMの隣接切片領域間の通信に間のホップ数削減により、通信時間短縮が期待のみで行われるのであれば、Tofu内48プロセスで用いられる1対1非同期通信などの通信時間のるノード単位外の通信ホップ数が増えると、輻

輳が大きくなり、問題になることが FFB による通信性能解析でわかってきました。図1の通り、
通信輻輳はホップ数の増加並びに斜め方向の通信により発生します。
「富岳」では、Tofu 単位

から外に出る最初の通信方向が物理 x 軸方向と決め打ちされているため、x 軸方向の通信で輻輳が特に多いとされています。リンクを横切る

プ数効果を挙げましたが、通信量が多いランク
できます。私たちは、ホップ数と通信量で記述された評価関数を用い、最適化することで、通信性能の削減をめざしました。ここで行った工夫をいくつか紹介します。

1. 評価関数

評価関数は、ランク間のホップ数 n と通信量c で4. 初期ランクマップ

軸、z-c軸の組み合わせによる3次元トーラスです。
最適な配置とはいえません。通信が隣接ランク

単位を意識したMetisによる多段階分割を行い、Tofu内に近くのランクを一筆書きで配置するのが最適に近いランクマップといえます。しかし実際のアプリケーションでは隣接切片領域間だけではなく、遠くの切片領域間でも通信を行います。
本ツールを用いると、より安定な配置を探せるこ

通信量は、リンク両側のノード数の積で増えま記述されていれば何でも良く、「富岳」の通信特とが確認できました。最適化対象となる初期ラ

すべを持たないため、ローカルに制御します。

下すことができます。しかしホップ数の影響を演

配置を探し出すことができると考えています。

合流する際は、ファスナー合流をすると効率が大値の計算は並列処理が困難で時間がかかります。

スの例では、1ステップの実行時間がオリジナ

す。またノード自身は、全体の通信状況を知る
交通流で例えますと、高速道路 IC で渋滞中に性に合せるのであれば、max(c *2n-1)のように書き算数の多い冪乗で計算する必要性はなく、また最ンクマップの工夫により、より短時間で最安定なプロセスあたり50万要素の FFB 3,072プロセ

ル配置と比べて、0.449秒から0.398秒へと削減良いとされていますが、「富岳」でも同様の制

ここでは単純にΣ(c *n 2)のような評価関数を用い

数 n が1つ増えると中継通信帯域が1/2ずつ減少します。帯域は単純に1/n ではないため、想定て最適化を行いました。平均値に置き換えることできました。このなかには演算時間も含まれ、なると期待されますが、評価関数の削減効果と通困難ですが、通信時間は約0.16秒程度であるとプタイミングを同期させることで、一斉にバケ

2. 最適化処理

す。現在、他のアプリケーションでの効果につ御がなされています。この機構により、ホップ

より通信時間が増えます。集団通信では、ホッツリレーを行い、輻輳を回避しています。これが「富岳」で開発された MPI ライブラリ内のTofu 専用アルゴリズムと呼ばれるものです。

で評価関数はなめらかになり、最適化時間が短く
信時間が必ずしも一致するとは限りません。

最適化手法として、シミュレーテッドアニーリ

非同期通信であるため正確な通信時間の分離は見積もられ、30 % ほど短縮できたことになりまいても確認を進めています。理化学研究所では、ングを用いました。徐冷計算には時間がかかり「富岳」の通信能力を最大限に引き出すツール

100,000ステップの最適化に40,000秒ほどの時資する活動を、今後も引き続き進めて参ります。

ます。ナイーブな実装で3,072プロセス規模ののさらなる開発を推し進め、ユーザの利便性に

点線の左ランク×右ランク数の通信が輻輳します。
富岳では Tofu 外は、x 軸方向に最初に通信します。

ホップ数の増大、斜め方向の通信により競合が発生します。

ノード内からの通信と中継する通信で帯域は1/2。
つまり、多段では帯域が1/2n になります。

▲図1 「富岳」でのノード間通信の特徴
左図：通信輻輳の発生例 右上図：多段ホップでの通信輻輳
右下図：発信パケットと経由パケットの輻輳6

計算工学ナビ Vol.27▲図2 ランクマップ最適化ツール概念図

レポート

FrontFlow/blue の東北大学サイバーサイエンスセンター AOBA-S への展開

や複雑形状周りの非定常乱流解析および流れから発生する騒音の予測が可能です。

FFBにおいて実行時間の多くを占める処理は、

メモリバンド幅が実効性能に大きく影響する、

日本電気株式会社デジタルプラットフォームビジネスユニット
インフラ・テクノロジーサービス事業部門
HPC 統括部 プロフェッショナル

いわゆるメモリインテンシブな処理であり、高いメモリバンド幅をもつSX-Aurora TSUBASAが加藤 季広

得意とするところです。

東京大学生産技術研究所革新的シミュレーショ

SX-Aurora TSUBASA シリーズ

ラストレベルキャッシュについては容量を従来のン研究センターとNECでは、2018年からFFBの

SX-Aurora TSUBASAシリーズは、日本電気株

レベル3キャッシュとよばれる2 MB/コアのコア専的に進めてきました。

式会社（NEC）が40年にわたって開発してきたベ

クトル型スーパーコンピュータSXシリーズの流れをくむ製品として2018年に出荷が開始されました。
Vector Engine (VE) とよばれるベクトルプロ

セッサと主記憶を PCI Express (PCIe) カードに搭載し、これを Vector Host (VH)とよばれる標準的な x86サーバに接続することによってシス

テムが構成されます。

通常、GPUやFPGAのようなPCIeカード型のアクセラレータでは、ホスト側で実行されるプログラムの一部分を実行し、全体処理時間の短縮をはかります。一方 VEでは、プログラム全体をカード上で実行することができるため、性能ボ

トルネックとなるPCIe バス上の頻繁なデータ移16 MBから64 MBに大幅増強しています。さらに、用大容量キャッシュを新設しました。

ベクトル型計算機向け性能調査、高速化を継続

AOBAのような大規模計算機システムにおいて、分散メモリ並列化による大規模な計算を行う際

AOBA-S
東北大学サイバーサイエンスセンターでは、には、個々のプロセッサによる計算処理の性能だけではなく並列性能も重要となります。その2020年10月からスーパーコンピュータ AOBA

ため、計算処理を高速化するためのベクトル長

AOBA はサブシステム AOBA-A、サブシステム

メモリ並列化（スレッド並列化）とMPI 並列化の運用を開始しました。スーパーコンピュータ

延長、ベクトル化率向上等の施策に加え、共有

AOBA-Bの2種類の計算機システムと、ストレーのハイブリッド並列化の適用、MPI 通信性能の新しいサブシステムとして、AOBA-S の運用をしてきました。その結果として、1 VE あたりのAOBA-Sは、1台のVHと8台のVEが構成単位とメモリバンド幅から推定される演算性能の55.6は504台のVHと4,032台のVEで構成されます。VE

いメモリバンド幅を十分に生かした演算性能をジシステム等で構成されます。2023年8月から開始しました（図2）。

なるC401-8モデルを採用し、サブシステム全体最適化等、並列性能向上のための施策にも注力
性能は最大341 GFLOPSとなりました。これは%に相当し、FFBが、SX-Aurora TSUBASAの高送が発生しません。アクセラレータ向けの特殊とVHを合わせたシステム全体の理論演算性能は、のプログラムをSX-Aurora TSUBASA向けコンパ

総メモリバンド幅は9.97 PB/秒となります。504台

テストでは、並列効率61.7 %、総演算性能301

帯域・低遅延なデータ通信を可能としています。

リッド規模の計算をステップあたり0.82秒で実施

1997年よりユーザアプリケーションの高精度化、した大規模LES 解析が可能となります。

に開発した第三世代のVEです。図1にVE30Aプロ

を、1999年より共同研究制度を実施しています。

TSUBASA向けに高速化されたFFBは、AOBA-S

します。

技術職員、およびベンダー技術者が連携してアンストールされています。通常の企業や研究室

FrontFlow/blue

は大規模な問題もAOBA-Sならば取り扱えます。

なプログラミングは必要なく、Fortran、C/C++

イラを用いてコンパイルするのみでプログラム

は自動的に最適化され、高速に実行されます。
Vector Engine Type30A

Vector Engine Type30A (VE30A)は、NECが新規

セッサの主要な諸元および概略ブロック構成を示

VE30Aプロセッサでは、前機種VE20Bの2倍となる16個のコアを搭載し、コアへのデータ供給能力を向上させるためにメモリサブシステムを一新しています。主記憶にはHBM2eメモリを6個搭載

21.05 PFLOPS（倍精度）、総主記憶容量は504 TB、のVHはInfiniBand NDRネットワークで接続され広東北大学サイバーサイエンスセンターでは、大規模化の支援を目的とした高速化支援活動

利用者、計算機科学を専門とするセンター教員、

プリケーションの高速化に取り組んでいます。

FrontFlow/blue (FFB) は 非 圧 縮 流 体 の 非実現していることを示しています。また、最大

2,048 VEまで使用したweak-scaleベンチマーク
TFLOPSを達成しました。これにより、120億グできるため、AOBA-S 上での実用問題を対象とこのように ベ クトル 型 計 算 機、SX-Aurora

で利用可能なアプリケーションのひとつとしてイの計算機システムでは取り扱えない大量あるい
AOBA-Sのご利用をぜひご検討ください。

今後も東北大学サイバーサイエンスセンター

し、最大で2.45 TB/秒という非常に高いメモリ帯

定 常 流 動 を 高 精 度 に 予 測 可 能 な Large Eddy

では、AOBA-S で大規模計算を行うことができにあるキャッシュ階層の見直しもはかりました。レドです。形状適合性に優れた有限要素法によるリケーションの高精度化、大規模化の支援を目

域を実現しました。また、コアと主記憶の経路上

ベル1、レベル2キャッシュはそれぞれ容量を倍増、▲図1

Simulation (LES)に基づいた汎用流体解析コー
離散化を採用し、ファン/ ポンプ等の流体機械

Vector Engine Type30A (VE30A)のプロセッサの主要な諸元および概略ブロック構成

るアプリケーションを順次増やし、ユーザアプ的とした高速化支援活動を推進していきます。

▲図2 東北大学サイバーサイエンスセンターのスーパーコン
ピュータ、AOBA システム構成図

7

今号の表紙「富岳」が拓くSociety 5.0時代のスマートデザイン

激変する社会に対応して、わが国が “ ものづくり大国 ” として国際競争力を維持していくためには、性能試験の代替としてのシミュレーションを脱却し、新たなデジタルエンジニアリング技術を創生することが急務です。
「富岳」成果創出加速プログラム「『富岳』が拓くSociety 5.0時代のスマートデザイン」では、
複雑現象統合シミュレーションフレームワーク CUBE、流体解析ソフトウェア

FrontFlow/red というスーパーコンピュータ「富岳」の性能を十二分に活用できるアプリケーションソフトウェアによる高性能大規模シミュレーションと、

多目的最適化・機械学習・データ同化などのデータ科学を融合させることで、
サイバー空間とフィジカル空間を高度に結合させた次世代デジタル設計シス

テムを構築します。具体的には、わが国の基幹産業分野を構成する自動車 ･ 機
械 ･ 土木 ･ 建築分野から、4つの課題（P.2～3を参照）を設定し、大学などの研究者と産業界のエンジニアが強力に連携して課題に取り組んでいます。

神戸大学大学院システム情報学研究科 教授／理化学研究所計算科学研究センター チームリーダー

坪倉 誠

編集後記

文部科学省において2020年度から実施している「『富岳』成果創出加速プログラム」では、「健康長寿社会の実現」、「産業競争力の強化」、「防災・減災、環境問題」、「基礎科学の発展、新領域」という４領域が設定され、現在、20の課題が研究開発を行っています。これにより、AI・データ科学との融合・連携、社会実装に向けた産業界との連携、次世代を見据えたアプリケーショ
ンに繋がる取り組み、基礎科学の新たなる展開など、これまでにない新規成果の創出が期待されています。今号では、2021年より実施している、「産業競争力の強化」領域の課題の1つである「『富岳』が拓く Society 5.0時代のス

マートデザイン」（研究開発課題責任者：坪倉誠 神戸大学大学院システム情報学研究科 教授／理化学研究所計算科学研究センター チームリーダー）に注目し、その概要と現在までの進捗や成果について紹介しています。

計算工学ナビ オフィシャルサイト
本誌の PDF 版やソフトウェアライブラリ、ニュースなどのコンテンツを提供している Web サイトは下記の URL からアクセスできます

http://www.cenav.org/

計算工学ナビ Vol.27
発行日： 2024年9月1日
発

行： 東京大学生産技術研究所
革新的シミュレーション研究センター〒153-8505 東京都目黒区駒場4-6-1
office@ciss.iis.u-tokyo.ac.jp