科学技術計算分科会 2023年度会合

富岳スペシャル4.0 ～拡がる応用～「富岳」を活用した水まわり住宅設備機器開発のための混相流シミュレーション
本日の目的
報告

・審議・相談2023. 10. 27
TOTO株式会社 技術本部 技術統括部
ＣＡＥ技術グループ 〇佐々木 一真
池端 昭夫
Copyright © TOTO LTD. All Rights Reserved.

会社概要（2023年3月末時点）■商号■創立■ 本社所在地■ 連結売上高■ 連結営業利益■ 連結経常利益■ 連結純利益■資 本 金■ グループ社員数

Copyright © TOTO LTD. All Rights Reserved.

ＴＯＴＯ株式会社（TOTO LTD.）
1917（大正6）年5月15日
福岡県 北九州市
7,011億 8,700万円
491億 2,100万円
547億 6,000万円
389億 4,300万円
355億 7,900万円
34,152名

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

2

会社概要

TOTOはトイレの会社？

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

3

会社概要

■事業セグメント別の売上構成と主な商品

売上構成比

グローバル住設事業（日本・中国ｱｼﾞｱ・米州欧州）
新領域事業7%

海外住設事業
27%

欧州
米州

衛生陶器

ｱｼﾞｱ・ｵｾｱﾆｱ

中国大陸

日本
（ﾘﾓﾃﾞﾙ）45%

温水洗浄便座「ウォシュレット」

日本住設事業
66%

日本
（新築）
21%

水栓金具

連結売上高 7,012億円(2023年3月期)
新領域事業

静電チャック

浴槽

システムキッチン

システムバスルーム

洗面化粧台

AD部材

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

4

会社概要

■主要国内販売拠点（2023年4月現在）【販売拠点】

・支社
・ショールーム・販売グループ会社

１３ヶ所
９７ヶ所
１１社

北海道支社

信越支社

東北支社

北陸支社

北関東支社

ＴＯＴＯミュージアム（本社敷地内）
東京支社
九州支社

中国支社

四国支社
東関東支社

本社
横浜支社

●
関西支社

Copyright © TOTO LTD. All Rights Reserved.

中部支社

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

5

会社概要
【生産拠点】■国内生産拠点（2023年4月現在）

２０ヶ所
滋賀・滋賀第二工場
・衛生陶器
・システムキッチン・洗面化粧台茨城工場
・温水洗浄便座「ウォシュレット」

小倉第一・第二工場
・衛生陶器・水栓・電温・手すり豊前工場
・カウンター・プラスチック

土岐工場

苅田工場
・カウンター・プラスチック
・電子部品

・温水洗浄便座「ウォシュレット」
・環境建材

赤穂工場
茅ヶ崎工場

・ユニットバスルーム
・浴槽

・トイレシステム

中津工場

佐倉工場

・衛生陶器
・ニューセラミックス・ユニットバスルーム
・浴槽

茂原工場

サンアクアＴＯＴＯ・水栓金具（組立）・給排水部品（組立）

大分工場
・水栓
Copyright © TOTO LTD. All Rights Reserved.

・システムキッチン・洗面化粧台奈良工場

愛知工場

・カウンター・プラスチック

・衛生陶器

勝浦工場
・カウンター・プラスチック

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

6

会社概要

■海外拠点
（2023年4月現在）

ドイツ

中国大陸

イギリス

アメリカ合衆国

フランス
インド
UAE
ミャンマー
タイ

韓国
台湾地域
フィリピン
インドネシア メキシコ

シンガポールベトナム：グループ会社：グループ会社（営業所・駐在員事務所）

マレーシア

：関連会社

17の国と地域、38の拠点に展開（日本除く）（生産・販売：5拠点，生産：21拠点, 販売：12拠点）
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

7

TOTOの混相流解析のご紹介

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

8

TOTOの混相流解析のご紹介■ 第27回数値流体力学シンポジウム 2013.12.18

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

9

TOTOの混相流解析のご紹介 ～なぜ「富岳」が必要か？～■ 気液二相流（混相流）シミュレーションの技術的課題
Navier-Stokes方程式：

気液界面移流方程式：： 流体率： 流速ベクトル： 密度： 圧力

水と空気の流れシミュレーションの難しさ：①密度比が約1,000倍 → 計算安定性の保持が難しい②気液界面移流方程式を精度よく解くのが難しい③時間刻みが小さく、計算量が膨大となる→ 東工大との共同研究による解析手法の開発 ＋ スパコン利用
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

10

TOTOの混相流解析のご紹介 ～混相流解析手法について～■ 気液界面の計算方法 （VOF法）
気液界面移流方程式： 流体率0.0 (= 0%) ・・・ 空気
1.0 (=100%) ・・・ 水

固定メッシュにおいて「流体率」により気液界面を表す→ 混相流の複雑な界面変形（気泡生成、飛沫等）を表すことができる
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

11

TOTOの混相流解析のご紹介 ～混相流解析手法について～■ TOTOが提案する 「STAA」 法 (Computers and Fluids 論文, 2016年)①流体率 F について、一般的な移流方程式解法で計算する②Fの数値拡散を、 気液界面の法線ベクトルに沿った “反拡散” フラックスにより補正する (STAA=Surface Tracking by Artificial Anti-diffusion）

スパコン計算に対応しやすい簡易かつ高精度な手法
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

12

TOTOの混相流解析のご紹介 ～混相流解析手法について～■ 計算精度 ベンチマークテスト (Rudman, M., 1997)
剛体回転流れ場（時計回り）で初期分布（切り欠き円形状）がどれだけ維持されるかを検証

TVD二次精度

気液界面計算精度の標準的な検証方法
通常の移流方程式解法では「数値拡散」 が発生する
STAA
一回転後

TOTOの開発した 「STAA」 は良好な解析精度を得られる
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

13

TOTOの混相流解析のご紹介 ～大規模計算手法について～■ TOTOが提案する「境界不整合領域分割法」 (情報処理学会論文, 2016年)

既存手法（サイクリックブロック分割法）

衛生陶器シミュレーション
強スケーラビリティ結果
提案手法（多次元分割）※ホットスポット部のみ(圧力計算)

提案手法により、複雑製品モデルにおいても良好な並列化効率
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

14

TOTOの混相流解析のご紹介 ～これまでの「衛生陶器」適用実績～■ 衛生陶器シミュレーション （自社開発ソフトウェア、2013年）

東工大スパコン「TSUBAME」
衛生陶器シミュレーション結果（メッシュ間隔0.5mm)

社内GPUサーバー
衛生陶器シミュレーション結果（メッシュ間隔1.5mm)

スパコン「TSUBAME」の100GPU利用により、社内サーバーよりも飛躍的に計算精度を向上できた
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

15

TOTOの混相流解析のご紹介 ～非構造格子による高精度化～■ 直交格子と非構造格子

直交格子

任意多面体型 非構造格子(直交格子から自動変換)■ TOTOが提案する 「非構造格子STAA」 法 (日本計算工学会論文, 2018年)「STAA」 法 を非構造格子に拡張した手法を構築

非構造格子を用いることにより、物体表面の薄膜流れや複雑製品流路形状に対応が可能となる
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

16

TOTOの混相流解析のご紹介 ～非構造格子による高精度化～■ 衛生陶器シミュレーション（社内GPUサーバー利用：700万メッシュ）

実機画像

非構造格子シミュレーション結果

非構造格子を用いることにより、1ミリ程度の薄膜の水流シミュレーションが実用レベルの計算精度で実施可能
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

17

「富岳」による大規模混相流解析の研究

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

18

「富岳」による大規模混相流解析の研究 ～より広い水回り空間へ～

全身シャワー
吐水・被水

薄膜水の流れ水残り

水栓吐水
洗浄・水はね

使用時に微小水滴飛散・薄膜水流が生じる製品全般へ適用拡大
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

19

「富岳」による大規模混相流解析の研究 ～富岳CPUでの高速化～■ 大規模計算対応のための計算性能向上検討と結果
・富岳利用マニュアルの詳細な調査やHPCI事務局ヘルプデスク様のサポートによりA64FXに適したプログラミング手法を理解することで、富岳の性能を活用できるプログラムに改修することができ、計算時間の半減を達成
・統一的なプログラム改修方法を全体に適用し、個々の部分でのチューニングを避けることで比較的短期間に目標を達成
プログラム全体計算時間の比較

プログラム各部の計算時間の比較（「チューニング後」と「改良後」との比較）

1.43

1.00.58

チューニング前 チューニング後(富岳移植時) (’21.3時点)

改良後(’22.3時点)(改良前後の比較)■計算時間比（ ’22.3時点
÷ ’21.3時点）

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

20

「富岳」による大規模混相流解析の研究 ～富岳CPUでの高速化～■ 富岳向けプログラム改修内容
典型的なTOTOの非構造格子プログラム（ループ構造）：
double s;for (i = 0; i < N; i++) {s = 0.0;for (j = 0; j < M; j++) {p = neighbor(i,j);...
s += v[p] * ...
}val[i] += s * ...
}i：メッシュ番号,

p=p6
p=p5

p=p0

p=p4

自格子i
p=p1

p=p3
p=p2

例：M=7

p：メッシュiに隣接するメッシュ番号neighbor(i,j)を介して間接的に参照する

各隣接メッシュとの情報交換(移流や拡散フラックス)をsに積算し、val[i]に入れる

このプログラム形式では、A64FXでは最内側のjに関するループに対してベクトル化（SIMD化）される → ベクトル化不十分につき性能低下
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～21

「富岳」による大規模混相流解析の研究 ～富岳CPUでの高速化～■ 富岳向けプログラム改修内容
試行錯誤後の結果、下記ループ構造をプログラム全体にわたって適用
double sp[NS];for (i0 = 0; i0 <= N-NS; i0 += NS) {for (ii = 0; ii < NS; ii++) sp[ii] = 0.0;
for (j = 0; j < M; j++) {for (ii = 0; ii < NS; ii++) {・内側にメッシュiに関するiiのループを追加し、
i = i0 + ii;演算をベクトル化
p = neighbor(i,j);...
・小さなサイズの一時保存用配列sp[]を利用
sp[ii] += v[p] * ...
※OpenMPにおいてprivate属性}※NSのサイズは個別のサブルーチンで}チューニングせず全プログラム統一的に
for (ii = 0; ii < NS; ii++) {i = i0 + ii;#define文で定義
val[i] += sp[ii] * ...
}}内側ループの完全なSIMD化//残りの部分for (i = N-N%NS; i < N; i++) {...
Copyright © TOTO LTD. All Rights Reserved.

により性能向上を得られた
科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

22

「富岳」による大規模混相流解析の研究 ～シャワーへの適用試行～
吐水時：内部流路に気泡が残存し吐水の安定性に影響
止水時：設置傾斜により、下流側より水垂れが生じることがある

当社製品 オーバーヘッドシャワー

高品位なシャワーを開発するため流体解析手法を確立する
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

23

「富岳」による大規模混相流解析の研究 ～微細形状モデル簡易化～■ シャワー流路内部の「メッシュフィルタ」のモデル化検討

上昇

フィルタ

上昇が止まるフィルタ

メッシュフィルタ効果の富岳テスト計算結果（フィルタ周辺部分のみの0.033mm高精細メッシュ計算）

・フィルタ表面に表面張力により固着する効果を富岳計算により確認できた・フィルタの表面固着力を算出できた

Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

24

「富岳」による大規模混相流解析の研究 ～微細形状モデル簡易化～■ シャワー流路内部の「メッシュフィルタ」のモデル化検討
フィルタ固着効果の「簡易抵抗力モデル」の適用 （ばね係数でモデル化）

上昇が止まる

フィルタ

フィルタを考慮した
0.033mmメッシュ計算

上昇が止まるフィルタ(簡易抵抗力で置き換え)「簡易抵抗力モデル」による0.2mmメッシュ計算※フィルタは便宜的に重ね表示

富岳計算パワーを活用したばね係数パラメータ探索により、フィルタ表面に表面張力により固着する効果を「簡易抵抗力モデル」 で表すことに成功→ フィルタを含んだシャワー流路全体計算を実用化
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

25

「富岳」による大規模混相流解析の研究 ～吐水の計算精度検証～■ カルマン渦の原理を用いたシャワーのウェーブ吐水
シャワーのウェーブ吐水を実現する流体素子の機構（令和4年度）定式化変更
表面張力
𝒇 = 𝜎𝜅𝛻𝐹

⇒𝒇 = 𝜎𝜅𝛿 𝜙 𝒏𝜙

壁面粘性応力(1)(1)小林敏雄、大島伸行、坪倉誠訳、コンピュータによる流体力学、丸善出版、
245-249 (2012).

高速度カメラ撮影結果

シミュレーション結果（1.5億、５０μmメッシュ)

カルマン渦効果による吐水の脈動・広がりを概ね再現
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

26

「富岳」による大規模混相流解析の研究 ～吐水・被水・止水モデル～■ 計算手順のフローチャート
内部流路～吐水口までを非構造格子により混相流計算に適した「非構造格子法」
飛散液滴計算に適した「SPH粒子法」を併用（両者の利点を融合)

富岳計算
ファイル出力吐水口からの時系列出力の粒子法形式出力ファイル(時刻、粒子X,Y,Z座標、粒子速度U,V,W)※連成計算ではなく、逐次計算であることに注意

ファイル入力吐水口～人体表面までをSPH粒子法により
富岳計算

流路の計算と飛散液滴の計算を分離することにより部分的・並行的なケーストライが可能となる
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

27

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和3年度） 富岳産業利用による成果 ： シャワー吐水・被水解析の実用化
0.1mm・1億5千万メッシュ内部流路の富岳計算結果

計算時間：約150h※レンダリングは自社製ソフト使用 (Ray-tracing法）

大径のオーバーヘッドシャワーの気泡混入流れを評価可能
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

28

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和3年度） 富岳産業利用による成果 ： シャワー吐水・被水解析の実用化
表. 止水時の水垂れの実機と富岳計算結果との比較
設置角度

フィルタなしフィルタあり

実験結果

計算結果

実験結果

計算結果

0°（水平）

〇〇

〇

〇

5°

×〇

〇

〇

6°

××〇

〇

8.5°

××××

※ 〇：水垂れなし、×：水垂れが継続

水垂れの傾向はほぼ実験結果に沿っている（フィルタなしの設置角度5°の場合のみ符合していない）
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

29

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和3年度） 富岳産業利用による成果 ： シャワー吐水・被水解析の実用化
0.1mm・1億5千万
メッシュ内部流路＋300万SPH粒子法の富岳計算結果

力積 [N・s]
大小※レンダリングは自社製ソフト使用(Ray-tracing法）

シャワー吐水→被水→止水の一連の解析を初めて実用化
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

30

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和3年度） 富岳産業利用による成果 ： シャワー吐水・被水解析の実用化
0.1mm・1億5千万
メッシュ内部流路＋300万SPH粒子法の富岳計算結果

力積 [N・s]
大小

吐水の人体へのかかり方を力積分布等により定量化実現
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

31

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和4年度） 富岳産業利用による成果 ： シャワー吐水・被水解析の定量評価
シャワーが人体に着水する面積、液滴径分布、液滴速度等をシミュレーションにより定量化するフレームワークを構築

シャワー性能を数値的に精緻に評価することができるようになった
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

32

「富岳」による大規模混相流解析の研究 ～全身シャワー解析適用～■ （令和3年度） 富岳産業利用による成果 ：並列化効率結果 （プログラム全体）

240MPIプロセス(60ノード)で約200倍

シャワーモデル内部流路 計算メッシュ（96並列例、領域を色分け）

シャワーモデル 1億5000万メッシュ
内部流路シミュレーション
強スケーラビリティ結果(96CMG≡96)

実製品複雑流路において実用的なスケーラビリティを得た
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

33

「富岳」による大規模混相流解析の研究 ～浴室床への適用試行～

使用後はパターンの溝に水が引き込まれ、素早く水がはける
翌朝にはカラリと乾く（靴下で入っても濡れない）

当社製品 ほっカラリ床

水はけの良い浴室床を開発にも流体解析手法を適用する
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

34

「富岳」による大規模混相流解析の研究 ～浴室床への適用試行～■ シミュレーションの妥当性検証 ： ほっカラリ床の水はけ
全体的な排水スピードは少し差異があるものの定性的には実機の流れをよく表現できている。
a, b を比較すると、パターンのめくれかたを再現できているa

近赤外線カメラ撮影結果

b下流側

シミュレーション結果（0.5億メッシュ、70万ステップ以上)

溝パターンの水のはけ方の特徴を良く再現している
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～35

「富岳」による大規模混相流解析の研究 ～浴室床への適用～■ （令和4年度） 富岳産業利用による成果 ： 浴室の排水シミュレーション「富岳」シミュレーション結果（0.36億メッシュ、130万ステップ以上)

乾き面積率“濡れ”閾値
0.0s

4.0s

6.0s

8.0s

10.0s

20.0s

視覚的、定量的に排水性能を評価するフレームワークを構築した
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

36

「富岳」による大規模混相流解析の研究 ～まとめ～●非構造格子流体計算において、「富岳」のA64FXの性能を発揮するためにプログラムのループ構造を改変し、2倍近い高速化を達成した。
●60ノード240MPIプロセスの大規模並列計算を行い、シャワー内部の微細構造における1億5千万メッシュの混相流シミュレーションが実用的な計算時間内でできるようになり、シャワー吐水の浴び心地や止水時の水垂れを評価できるようになった。
●浴室床の排水性能を定性的・定量的に評価するシミュレーションができるようになった。

↓
これまで衛生陶器製品に限定されていた混相流シミュレーションが水栓やシャワー、浴室など他の部位にも適用できることが分かった。

今後は製品開発への適用・詳細な精度検証を行う
Copyright © TOTO LTD. All Rights Reserved.

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～37

「富岳」による大規模混相流解析の研究 ～まとめ～
富岳利用歴

2020年 HPCI 「富岳」 試行的利用課題 （課題番号：hp200243）※1
2021年 HPCI 「富岳」 産業課題A期（課題番号：hp210013）※1

2022年 HPCI 「富岳」 産業課題A期（課題番号：hp220046）※1HPCI利用研究課題優秀成果賞受賞
2023年 HPCI 「富岳」 産業課題B期

Copyright © TOTO LTD. All Rights Reserved.

（課題番号：hp230239）※2※1 課題代表者 ： 池端 昭夫※2 課題代表者 ： 佐々木 一真

科学技術計算分科会 2023年度会合 富岳スペシャル4.0 ～拡がる応用～

38