（様式第 20）成果報告書

共同利用（産業利用トライアルユース：先端研究施設共用促進事業 『みんなのスパコン』TSUBAME によるペタスケールへの飛翔） 成果報告書 平成 23 年度 新規利用拡大

利用課題名 建築物の室内外環境の連成解析とその高速化技術の開発
英文：The Speedup Techniques and Coupled Analysis for the Building Indoor and Outdoor Environment
利用課題責任者
PHAM VAN PHUC
所属：清水建設（株）技術研究所
Affiliation: Institute of Technology, Shimizu Corporation
URL: http://www.shimz.co.jp
建築物の快適な室内環境の創出及び居住性の向上の他，その建築物の運用による環境への負荷を最小限に抑えるために，屋外の自然環境の活用及びその環境の変化に応じる室内設備の制御による室内外環境の連成解析の実施が必要となる．その連成解析は非常に大規模となり，通常の計算機で実施することは困難である
ため，大規模計算クラスタや高速な計算方法の確立が必要となる．本件利用は，TSUBAME スパコンの計算資源を利用することで，建築物の室内外環境を含めた解析モデル及び大規模連成解析システムを構築し，超並列CPU 及び GPU による数値解法を開発するとともに，その大規模計算による建築物の室内外環境の評価を可能にする．
TSUBAME2 supercomputers were used to develop the speedup techniques and build up a coupled analysis
system for the building indoor-outdoor environment. The coupled analysis system was applied in an application ofreal building including both indoor-outdoor sides and its performance was also evaluated well. It was found thatthe numerical solver and GPGPU had taken an important role in speedup the problem. The new computer system
was also effective for large parallel computation. A full GPU code was developed for the pressure and momentum
equation and speedup the CFD. GPU also showed a good performance in the image rendering solution.
Keywords(5): CPU, GPU, CFD, Speedup Techniques, Building Indoor and Outdoor Environment
背景と目的周辺の自然環境の配慮や快適な室内生活環境の提供は建築分野において重要な課題のひとつである．こ算高速化の方法を確立する．さらに，実験結果などとの比較によりその計算精度を評価し，大規模計算の実施により建築物の室内外環境の評価を可能にする．の課題を解決するためには室内環境や屋外環境の双方を考慮できる室内外環境の連成解析が必要となるが，計算量及び計算時間は膨大となるため，その実施は困難であると思われている概要
平成 22 年度では「新規利用拡大」の利用区分を通して単体建物の室内外を対象にして TSUBAME の活用に

しかしながら，近年の計算機の性能向上により大規より以下の項目を検討していた．数値流体解析につい模な数値解析を実施することも可能になりつつある．まては，室内外環境の連成解析が必要となる室内・屋外

た，それぞれの計算機を構成する CPU 又は GPU の独を含めた約 1 億格子解析モデルの作成に成功した．ま自なアーキテクチャーを考慮してその性能を活かすことた，数値流体解析から得られた平均風速場及び建物にによってより高効率な数値解法を創出することは可能と作用する平均風圧力は実験結果とほぼ一致することをなり，上記の問題のようにこれまで解けない領域は解け確認できたが，建物の外装材設計が必要となる風圧ピるようになってくると考えられる．

ーク値を評価するためには高精度な乱れパワースペクト

本利用課題では，まず TSUBAME クラスタを活用しル密度及び乱流長さスケールの流入変動風を作成するて建築物室内外環境の解析モデル及び大規模連成解必要があることが分かった．また，1000CPU コア規模の析システムを構築する．また,実建物の問題を対象にし大規模計算により既存ソフトウェアの並列性能を調べてて各種の解析ソルバと計算機の計算性能を調べ，CPUおり，その性能は計算コードの圧力方程式の数値解法及び GPU による数値解法を開発するとともに，その計に大きく依存することを明らかにした．更に，圧力方程（様式第 20）成果報告書
式の数値解法の GPU 化により計算性能を 3 倍程度に構築している連成解析システムの大規模計算の可能性向上し，より計算を高速させるためには建築物の環境条と計算の安定性を確認した．同様に，図-3 は室内外光件を考慮した数値流体計算コードのフル GPU 化を行う

環境の連成解析から得られた屋外と室内の結果の一例必要がある．

である．

光計算については光計算エンジン iray を組み込んだGPU 計算システムを構築し，実建物のモデルを対象に画像レンダリングにより得られた画像は実環境とよく相似することを確認した．また，単 GPU の計算は単 CPU コ
アの約 14 倍となり，十数 GPU の活用により通常の CPUによる数時間の計算を数十秒で可能にした．よりリアルタイム処理を実施するためには大規模 GPU 処理の構築は必要となる．

(a) ターゲット建物の写真

本利用課題の実施には，平成 22 年度の開発課題の解決を含めて，周辺の建物群や植栽などの環境を含めた建物の室内外を対象にして TSUBAME の利用により次のような研究開発を取り組んだ．
まずは，数値流体・音響計算についてフル GPU 化した運動方程式や圧力方程式を既存計算コードに組込み，計算データ構造の再構築や適切なチューニングを行うとともに，その計算の高速性能を向上する．同様に，
光計算については超並列 CPU・GPU 間のデータ通信を実施し，その全体の計算性能を明らかにする．また，計算精度を向上するためには境界層風洞を模擬した数値解析モデルを構築し，大規模計算により自然風のパ(b) 周辺建物群写真
図-1 対象とした実建物とその周辺の環境

ワースペクトル密度や乱流長さスケールを再現するとともに，高精度な流入気流を確立し，建物の屋外環境の高精度予測を可能にする．更に，周辺建物の考慮により対象とする建物室内外の厳密な数値解析モデルを作成し，TSUBAME での大規模解析を実施するとともに風洞実験や実測結果との比較によりその性能を評価し，(a)屋外の計算格子(b)室内の計算格子建築物の室内外環境の連成解析システムを確立する．
本利用課題では，開発している解析コードと流体解
析オープンソース OpenFOAM や Iray 光計算エンジンを用い，気流・温熱・光などを含めた建築物の室内外環境の連成解析システムを構築していた．
図-1 に本解析システムを用いて対象とした実建物とその周辺の環境を示す．図-2 は数値流体解析により構築した屋外と室内の計算格子，および室内外風環境の連成解析から得られた気流コンターの一例である．その(c) 気流コンター図 （ターゲット建物の窓開放）

計算規模は室内屋外を含めた約２億格子となっており，

図-2 室内外風環境の連成解析

（様式第 20）成果報告書
る．図より，市販ソフト Ansys Fluent はその優位性を示したが，いずれのコードは同様なソルバを用いる際には同等な性能を得られることがわかる．

図-4 解析ソフトによる計算時間の変化(a) 屋外から見た光環境(b) ネットワークによる計算高速化
図-5 には CG 及び AMG 解析ソルバを用い，1 から 32ノードまで（１ノード：8 並列）数値流体解析を実施，1 ノードに対する計算加速率を算出した．実施している計算機は TSUBAME1.2 と TSUBAME2.0 である．それぞれのネットワークは Infiniband QDR(2 本，バンド幅：80GBps)及び SDR(2 本，バンド幅：20GBps)であり，図内の実線及び点線に対応している．図より 8 ノード(64 並(b) 室内から見た光環境
図-3 室内外光環境の連成解析結果および考察
1.数値流体解析の計算高速化
平成 22 年度は計算時間の大部分を含める圧力方程式の解析に着目して各解析ソルバの計算性能を評価し，計算高速化において有効な解析ソルバを明らかにした．

列)以下には CG 及び AMG 解析ソルバの加速率が増加している．小さなハンド幅のネットワークを用いる際には 16 ノード(128 並列)で AMG 解析ソルバの加速率は頭打ちとなる．一方，より高速なネットワークを用いることによりその加速率が増加している．また，16 ノード(128並列)以上を行うと CG 解析ソルバの方が有利であることがわかる．
48

また，ハードウェア技術の変化によりその解析ソルバのの解析ソルバの GPU 化を行い，GPU による計算高速化を確認した．
本検討は各解析ソフトや計算ネットワーク及び大規模計算による大規模並列処理の計算高速化を評価する．

(a) 解析ソフトによる計算高速化
図-4 にはそれぞれの市販ソフト Ansys Fluent コードとオープンソース FrontFlow/Red コード及び OpenFOAM
コードを用いて，1000 万計算格子規模の流体解析による計算時間の変化とそれぞれを実施した計算機の CPU性能（クロック周波数）を示す．なお，かっこ内はそれぞれのコードでの圧力方程式を解いている解析ソルバを示す．また，TSUBAME の CPU クロックは 2.93GHz であ

計算加速率

性能及び全体計算時間の変化を評価した．さらに，そSDR (AMG)SDR (CG)QRD (AMG)
QDR (CG)4032241680081624
ノード数32

図-5 ネットワークによる計算性能の変化(c) 大規模計算による大規模並列処理の計算高速化
図-6 には 1 千万格子の中規模市街地モデルと 4 億格子の大規模市街地モデルを用いて得られた計算加速率を示す．解析ソルバは AMG である．図より 1 千万格子モデルでは 512 並列で計算加速率は頭打ちとなっている．一方で，4 億格子モデルでは大規模計算より 1024

（様式第 20）成果報告書並列でも計算加速率はまだ増加している．より大規模モデルは大規模並列計算を実行しやすいことがわかる．
600
1千万格子
4億格子

計算加速率

450(a)直交構造(A) (b)直交構造(B) (c)1 層非構造(d)多層非構造
300

図-8 計算格子

算性能を確認した．その残りは運動方程式や圧力方程式などの構築時間の短縮も必要となる．次式は CFD の運動方程式を示す．

∂v
1+ (v ⋅ ∇ )v = − ∇p + ν∇ 2 v
ρ∂t
ここで，左辺の第 1 項は非定常項，第 2 項は移流項，右辺の第 1 項は圧力項，第 2 項は拡散項である．

1層非構造

直交構造(A)01.2(b)直交構造(B)

1.1

多層非構造

11層非構造直交構造(A)

0.9

圧力方程式

分を占めており，その解析ソルバの GPU 化を行い，計10運動方程式

CFD では圧力方程式を解く部分が計算時間の大部

20

圧力項

(d) アクセレーターとしての GPU による高速化

多層非構造(a)拡散項

図-6 大規模並列計算による計算加速率の変化

30

移流項

1024 並列数128 ノード数

5126440

非定常項

1 128 256
1 16 32

GPUの無次元化計算時間

0CPU/GPUの計算時間

150

図-9 計算格子による GPU 計算性能の変化

本文では，移動屋根面を持つ三次元キャビレィ流れ問
題(図-7)を対象にして，非構造格子による GPU の計算性能を調べた．図-8 には利用している直交構造格子(A)と(B)及び非構造格子(1 層非構造，多層非構造)を示す．図-9(a)は運動方程式のそれぞれの項についてCPU 及び GPU の計算時間の比を示す．図-9(b)はそれぞれの計算格子において GPU の計算時間は直交構造格子(A)の GPU 計算時間に無次元化された結果を示す．図-9(b)より計算格子の多層非構造化により計算時間が大きい規模の直交構造格子（B）の計算時間に漸近するが，少ない層の非構造格子では GPU の良い計算性能を確認できた．非構造格子に基づく数値流体コードの GPU 化を行い，計算格子による GPU の計算性能を調べた．
適切な非構造格子の利用により

2.数値流体解析の計算精度
建物の室内外の風環境を正確に評価するためには自然風と相似する流入気流の作成が必要となる．平成
22 年度では風洞を忠実に再現した 300 万及び 3000万格子の解析モデルを用いて，解析を行った．得られたいずれの流れ場の平均風速および乱れ強さの鉛直分布は実験結果とよく一致するが，建物に作用する局部風圧の発生位置やその大きさは異なっている．これらにより建物近傍の流れ場は正確に再現できないこととなり，建物の室内外の風環境の連成解析の予測精度に大きく及ばすことも考えられる．
本検討では，数値流体解析の予測精度を明らかにするために，表-1 に示すように 3 種類の計算格子を用いた．それぞれの計算格子数は 300 万，3000 万及び 1億 2000 万である．図-9 は数値解析モデルの概要を示

GPU の良い計算性能が得られるす．図-10 はそれぞれの計算格子の断面図である．図

ことを確認した．
図-7 キャビティ問題-11 は解析及び実験から得られた平均風速及び乱れ強度の鉛直分布を示す．いずれの計算格子についても建築物荷重指針(AIJ)により定められた値および実験結果

（様式第 20）成果報告書とほぼ一致する．図-12 は風速変動のパワースペクトルおり，実験結果とよく一致していることを確認した．図-15

密度と Karman スペクトルとの比較である．なお，図内でにも同様に粗い計算格子 B と比べ，計算格子 C の利用はそれぞれの解析モデルの空間解像度の幅が実スケにより建物の入隅部付近の低層屋根面で強い外圧係ール換算で記載されている．実験結果は Karman スペク数が生じ，実験結果と概ね同様な結果が得られた．これ

トルモデルにほぼ一致するが，解析結果では無次元化らにより建物に作用する標準偏差及びピーク値を再現

周波数 nLx/UH=1 以上の領域においてパワースペクトルするためには上記の接近流のパワースペクトルの予測は急激に減少している．ただし，計算格子解像度を増精度を上げることが重要であることもわかる．

やすと，より高周波数を再現できる．これは計算格子幅
Real z(m)が十分ではないため変動風の高周波数側の精度を再3
AIJ
Exp.
Cal.(C)
Cal.(B)
Cal.(A)となる．また，実験の精度を完全に再現するためには約z/H

高解像度の計算格子の利用による大規模計算が必要

23100150
AIJ
Exp.
Cal.(C)
Cal.(B)
Cal.(A)

2z/H

現できないことによるものを確認した．すなわち，風速のパワースペクトル密度の予測精度をあげるためにはよりReal z(m)15050

110050

1

1 千億計算格子の解析は必要となることがわかる．
0表-1 計算格子の特性
計算格子

水平(mm)

鉛直(mm)

格子数

A25~200

1~200

300 万

B

12.5~1000.5~100

3000 万C

6.25~50

0.5~100

1.2 億建物モデル

ラフネスブロック

スパイヤー

00.5
11.5
Wind speed ratio U z/UH(a)平均風速000102030
Turbulence Intensisty

400(b)乱れ強度

図-11 風速の鉛直分布U0フェンス

図-9 数値解析モデル
図-12 風速のパワースペクトル密度

図-16 は建物近傍の平均流線を示したものである．接(a)計算格子 A

近流の風向は風上壁面に対して 10deg 偏っており，風上側の高層屋根面の角部で円錐状の渦が形成されて(b)計算格子 B と C
図-10 計算格子の断面図
図-13，14 と 15 には実験および解析から得られた外圧係数の平均値，標準偏差及び負側のピーク値を示す．
図-13 より外圧係数の平均値は風向に概ね正対する壁面で 0.7，高層屋根面で−1.3 の局部負圧が生じることを再現できており，いずれの計算格子も実験結果と類似した結果となっている．一方，図-14 より標準偏差は高解像度の計算格子 C の利用により実験結果と同様に建物の入隅部付近の低層屋根面で局部風圧係数が生じている．一方，地上付近の流れは低層屋根面の前縁角で剥離して，高層部からの吹き降しにより低層屋根の入隅部近傍で馬締形渦が生じており，いずれの計算モデルについても同様な流れ場を確認した．しかしながら，粗い計算格子(B)についてはその渦が巻き込みながら側面に流れていくが，計算格子(C)ではその渦が巻き込みながら側面に昇って行き，屋根面で発生した円錐状の渦に巻き込んで，3 次元的な複雑な流れ場が生じている．高解像度計算格子の利用による大規模計算は建物近傍の新たな流れ場を確認できることがわかる．

（様式第 20）成果報告書
GPU 規模の室内外光計を実施し，TSUBAME の各計算ノード内の計算時間及びノード間の通信（バンド幅）を再測定し，CUDA 新バージョンの性能の変化や光計算のボルトネックを詳細な分析を行っていた．TSUBAME(c)モデル Cの大規模 CPU・GPU の実施によりさらに数秒単位で計図-13 建物に作用する外圧係数の平均値算処理が可能となって，実務においてほぼリアルタイム(a)実験(b)モデル B処理を実施するようなことを確認できた．
まとめ，今後の課題
本利用課題では TSUBAME の利用により以下の項目を検討していた．数値流体解析については周辺建物群や植栽などの屋外環境を含める実建物を対象にして，(a)実験(b)モデル B(c)モデル C

図-14 建物に作用する外圧係数の標準偏差

室内外環境の連成大規模解析を行い，その計算性能及び計算安定性を確認した．また，各種ソフトウェアの計算性能やネットワークの並列性能及び大規模計算による大規模並列処理性能を調べており，その性能は計算コードの圧力方程式の数値解法に大きく依存することを明らかにし，並列計算規模により利用している高効率な数値解法の選定法や大規模計算に対する並列数(a)実験(b)モデル B(c)モデル C

図-15 建物に作用する外圧係数の負側のピーク値の選考を確立し，運動方程式や圧力方程式の GPU 化により計算高速性能を向上することを確認した．さらに，数値流体計算の大規模計算により得られた平均風速場
並びに建物に作用する風圧力は実験結果とほぼ一致し，室内外連成解析において必要な解析の空間解像度を明らかにした．今後に観測結果等の詳細な比較により本開発したシステムの精度をさらに向上する予定である．

(a)モデル B(b)モデル C
図-16 建物近傍の平均流線3. 光計算の計算高速化
光計算については光計算エンジン Iray を組み込んだCPU・GPU ハイブリッド計算システムを構築し，単 GPUの計算は単 CPU コアの約 14 倍となり，十数 GPU の活用により通常の CPU による数時間の計算を数十秒で処理できることを確認した．本利用課題では周辺建物群や植栽などの環境を含めるターゲット建物を対象に画像レンダリングにより得られた画像は実物に相当することを確認した(図-1)．また，CUDA 新バージョンに合わせて，大規模多数 CPU・GPU 間のデータ通信方法の改良や対象としたモデルの修正を行い，大規模の 200CPU・

光計算については光計算エンジン Iray を組み込んだCPU・GPU ハイブリッド計算システムを開発し，その実建物を対象に画像レンダリングにより通常の CPU による数時間の計算を数秒で可能にした．よりリアルタイム処理を実施するためには TSUBAME システムの考慮及び大規模多数 CPU・GPU 間のデータ通信の配慮によりチューニングを行う必要がある．