FOCUSにおけるFDSベンチマーク
報告書

2020/1/15
株式会社CAEソリューションズ
技術部
大槻 真人

はじめにこれまでFDSは大規模並列には向かないと考えてきた。過去に実施したベンチマークは100万セル程度で、最大12コア程度の規模であった。
最近、テレビの歴史番組（本能寺の変）のために大規模並列計算を実施する機会を得た。そこで、計算科学振興財団の厚意によりFOCUS Fシステムを使用させていただき、1000万超メッシュで144並列までのスケーラビリティを計測した。
本報では実施したシミュレーションの概要とベンチマーク結果を報告する。
Copyright(C) 2018. CAE Solutions Corporation.

FDSの概要• 火災シミュレーションに特化したCFDソフト
https://pages.nist.gov/fds-smv/index.html• 米国NISTが開発・無償配布• オープンソース• Fortran90で開発• MPIとOpenMPによるハイブリッド並列• Microsoft Windows/MacOSX/Linuxで稼働• FOCUS共用領域にインストール済Copyright(C) 2018. CAE Solutions Corporation.

火災シミュレーションモデルの作成
2D図面をもとにSOLIDWORKSで構造モデルを構築（2.5人日）
メッシュ解像度を考慮して構造材を簡略化
ParasolidからSTLに変換し、PyroSim GUIにインポートしてモデル設定

Copyright(C) 2018. CAE Solutions Corporation.

火源設定
100kWの火源を５か所に設定
信長が自刃後、家臣が油をまき、燈明を倒して着火させたと想定

Copyright(C) 2018. CAE Solutions Corporation.

可燃物（燃え広がり）設定
床、畳、柱、ふすま、障子、天井、垂木、屋根をモデル化
木材の着火温度 260℃
着火後の火災成長曲線を設定 (tglow、Qmax)
減衰は無視(燃え尽きると消失）
Tglow：各部材の嵩表面積から算出
Qmax：木質系可燃物の平均値 148kW/m2 を使用
太い柱は焼失しないと仮定
出典：日本建築学会、「建築物の火災荷重および設計火災性状指針（案）」、丸善(2013).

Copyright(C) 2018. CAE Solutions Corporation.

解析モデル
上空と周囲は大気開放境界、地面は壁境界

20cmメッシュ
6x6x1 ブロック

10cmメッシュ
6x6x3 ブロック

10,782,720 セル
144ブロック
Copyright(C) 2018. CAE Solutions Corporation.

シミュレーションの実施• PyroSim2018/FDS 6.7.0を使用• FOCUC F system 4ノード 144コアを使用• 火勢の拡大とともに時間刻み幅が小さくなる• 489sで計算不可となる• 所要CPU時間 約77h

Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 1分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

天井に向かって火炎が伸長

時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 2分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

天井に着火隣室へも燃え移る
時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 ３分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

フラッシュオーバー
床面にも着火時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 4分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

天井裏に燃え抜け
軒下から屋根に燃えうつり
時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 5分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

時刻(s)

Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 6分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

屋根の燃焼が拡大

時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 7分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

屋根の燃焼がさらに拡大時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

シミュレーション結果 8分後
火災室中央床上40cmの温度

火災室中央天井上40cmの温度

総発熱速度

居室内の可燃物はほぼ消失時刻(s)Copyright(C) 2018. CAE Solutions Corporation.

並列性能ベンチマーク• FOCUS F Systemを使用• 時刻とともに計算速度が遅くなるため300sまでを計算• コア数とノード数を変化させて計算速度を比較

Copyright(C) 2018. CAE Solutions Corporation.

© 2019 株式会社CAEソリューションズ

ベンチマーク結果
Case

コア数

計測値

ノード数

領域分割

CPU時間
(h)

速度*1(s/h)

速度比*2

A

144

4

6x6x4

17.3

17.3

32.0

B

120

3

6x4x5

21.4

13.9

25.7

C

72

2

6x6x2

46.1

6.5

12.0

D36

1

3x3x4

66.4

4.5

8.3E

1813x3x2

133.0

2.34.3F8

12x2x2

405.5

0.74

1.4G4

12x1x2538.8

0.54

1.0

*1 速度=CPU1hあたりの解析の進行時間(s)*2 CaseG (4コア)に対する速度比
Copyright(C) 2018. CAE Solutions Corporation.

© 2019 株式会社CAEソリューションズ

ベンチマーク結果

グラフ

並列性能
40

４コアに対する速度比

35
理論限界

30

実測

2520151050020406080
コア数

Copyright(C) 2018. CAE Solutions Corporation.

100120140160

シミュレーションまとめ• 20cmメッシュで点火後10分までの火災進展を計算できた。燃焼が拡大すると時間進行が遅くなり、これ以上の計算は困難。
• 燃え抜け時間などを仮定することなく燃え広がりが再現できた。
• 10cmメッシュでは8分までの計算が限度と思われる。
• 計算科学振興財団(FOCUS)の厚意により、144並列の計算資源を使用させていただいた。
• 結果の一部は2019/12/18 NHK「歴史探偵」で放映された。

Copyright(C) 2018. CAE Solutions Corporation.

ベンチマーク結果まとめ• ノード内並列(<40core)では理論限界に近い性能• 40コア以上では若干性能の低下がみられる• 144コアまで、速度向上の飽和は見られない
144コア以上で、さらなる高速化が期待される

Copyright(C) 2018. CAE Solutions Corporation.

CAE専門サイト https://www.cae-sc.com※記載されている会社名および商品名は、各社の商標または登録商標です。

Copyright(C) 2018. CAE Solutions Corporation.