（様式第 20）成果報告書

共同利用（産業利用トライアルユース：先端研究施設共用促進事業 『みんなのスパコン』TSUBAME によるペタスケールへの飛翔） 成果報告書 平成 22 年度 新規利用拡大

利用課題名 建築物の室内外環境の連成解析とその高速化技術の開発
英文：The Speedup Techniques and Coupled Analysis for the Building Indoor and Outdoor Environment
利用課題責任者
PHAM VAN PHUC
所属：清水建設（株）技術研究所
Affiliation: Institute of Technology, Shimizu Corporation
URL: http://www.shimz.co.jp
建築物の快適な室内環境の創出及び居住性の向上の他，その建築物の運用による環境への負荷を最小限に抑えるために，屋外の自然環境の活用及びその環境の変化に応じる室内設備の制御による室内外環境の連成解析の実施が必要となる．その連成解析は非常に大規模となり，通常の計算機で実施することは困難である
ため，大規模計算クラスタや高速な計算方法の確立が必要となる．本件利用は，TSUBAME スパコンの計算資源を利用することで，建築物の室内外環境の解析モデル及び連成解析システムを構築し，超並列 CPU 及びGPU による数値解法を開発するとともに，大規模計算による建築物の室内外環境の評価を可能にする．
TUSBAME1.2 and TSUBAME2 supercomputers were used to develop the speedup techniques and build up a
coupled analysis system for the building indoor-outdoor environment. It was found that the numerical solver hadtaken an important role in speedup the computation fluid dynamics. The new computer system was also effective
for large parallel computation. A new GPU solver was developed for the pressure equation and speedup the CFD in
3 times in comparison with 1 CPU. GPU also showed a good performance in the image rendering solution.
Keywords(5): CPU, GPU, CFD, Speedup Techniques, Building Indoor and Outdoor Environment
背景と目的

本利用課題では，まず TSUBAME クラスタを利用し二酸化酸素などの排出による環境への負荷を最小限て建築物室内外環境の解析モデル及び大規模連成解に抑えて，快適な生活環境を提供することは建築分野

析システムを構築する．また,実建物を対象にして各種において重要な課題のひとつである．これを解決するたの解析ソルバと計算機の計算性能を調べ，CPU 及びめには環境への負荷を定量的に評価する数値シミュレ

GPU による数値解法を開発するとともに，その計算高速ーション技術の確立が必要となる．特に，室内環境・屋化の方法を確立する．さらに、実験結果との比較により外環境の双方における気流，温熱，音，光などの複雑その計算精度を評価するとともに，大規模計算の実施な物理現象を高精度に予測するためには室内外環境により建築物の室内外環境の評価を可能にする．の連成解析を行う必要があるが，膨大な計算量及び計概要算時間となる．その解析を可能にするためには十分な

本利用課題では，開発している解析コードとオー精度の数値モデルの構築や高速化な計算方法の開発

プンソース（FrontFlow/Red, OpenFOAM…）や Iray 光及び大規模計算機の利用により高度な解析システムの計算エンジン等を用い，気流・温熱・音・光などを含確立は不可欠である．

めた建築物の室内外環境の連成解析システムを構

近年，計算機の性能向上により大規模な数値解析を築していた．図-1 に本解析システムを用いて対象と実施することも可能になりつつある．しかしながら，それする実建物において流体計算及び光レンダリングをぞれの計算機を構成する CPU 又は GPU はそれぞれ独実施した結果の一例を示す．計算規模は室内屋外自のアーキテクチャーに基づいているため，その能力をを含めた約 1 億格子となっており，構築している連成発揮するためには夫々の CPU や GPU のアーキテクチ

解析システムの大規模計算の可能性を確認した．まャーに有効な数値計算法，及び多数の並列ジョブを処た，本システムの計算性能を評価するためには図-2

理できる高効率な数値解法の創出が必要となる．に示すような実中層市街地の建築物群を対象にして（様式第 20）成果報告書ため，それぞれの計算コードの結果を個別にまとめていない．
結果および考察
1.流体計算の計算高速化

本検討は非構造格子の実流体問題を対象にして，RANS と LES 乱流モデルで行った．流体運動を有限体積法により離散化し，風速と圧力の連成解法には(a)対象建物

SIMPLE 法を採用した．RANS 乱流モデルについて
は RNG モデル，LES 乱流モデルについては標準
Smagorinsky サブグリッドスケールモデルを採用した．
計算格子規模は約 2000 格子である（図-2）．
(a) 解析ソルバの加速率(b)屋外の計算格子(c)室内の計算格子

図-3 には RANS 乱流モデルを用い，圧力方程式の代表的な解析ソルバによる流体計算の無次元解析時間を示す．AMG 解析ソルバは GS より 100~400倍以上に，CG より 2 倍以上に計算を加速することが可能であり，計算高速化については解析ソルバの選定が重要な要素であることが分かる．

(d)気流・風圧コンター(e)光レンダリング図

図-1 室内外環境の連成解析モデルとその解析例(b) 大規模並列計算の加速率●年代による計算性能
図-4 は 2006 年と 2010 年に導入された TSUBAME1.2と TSUBAME2 の 1 ノード内の 8 並列の計算性能を示すものである．それぞれの計算システムの CPU 機種及びネットワーク環境の性能が異なるけれども，本検討の流体問題においてはこの 4 年間で計算機の実行性能が約 4 倍で増加していることが分かる．
●ハイパースレッディングの計算性能
ハイパースレッディングはプロセッサ内のレジスタやパイプライン回路の空き時間を有効利用して，1 つのプ

図-2 中層市街地の解析モデル及び計算格子の概要解析を実施し，風洞実験結果と比較していた．

ロセッサをまるで 2 つのプロセッサであるかのように見せかけるマイクロプロセッサの高速化技術である．この技術は HPC 計算機等や TSUBAME2 で実装されており，解析システムの計算高速化を実施するためにはその実行性能については実用の流体問題において十TSUBAME の数百 CPU コア及び GPU を用い，数値分に検討されていない．図-5 には図-2 のモデルを対象

流体計算については CPU や GPU 解析ソルバを構築にして 1 ノード内の並列数による計算加速率を示す．計するとともに，計算性能及び大規模並列計算性能を算加速率は，並列数が増やすと増加しているが，12 並評価した．光計算については光計算 Iray エンジンを列で頭打ちとなっており，16 並列で低下していることが導入し，大規模 CPU や GPU の計算によりその計算みられる．本検討においては，流体計算についてハイ性能を評価した．なお，数値流体計算についていずパースレッディング効果が得られなく，TSUBAME2 の 1れのオープンソースでは同様な計算性能が得られる

ノードの 12CPU コアに対して 8~12 並列の計算で良い計（様式第 20）成果報告書●大規模並列の計算性能CG 及び AMG 解析ソルバを用い，1 から 512 並列（CPU コア）まで数値流体計算を実施，計算加速率を算無次元計算時間1000算性能が得られることが分かる．

10010出した（図-6,7）．図内の実線及び点線は TSUBAME1.21GS

及び TSUBAME2.0 によるものである．図-6 により 64 並列以下には CG 及び AMG 解析ソルバの加速率が増加その加速率が増加していることが分かる．

いずれの行うと CG 法の方が有利であり，512CPU コアで CG 法は算時間の大部分を占め，その解析時間を短縮するために圧力方程式の CG ソルバの GPU 化を行った．図-8 はアクセレーターとしての GPU による流体計算の概要である．また，図-9 は GPU 化を行う際に利用しているそれ計算加速率

数値流体解析においては圧力方程式を解く部分が計

22008
year2010

図-4 ノード内の 8 並列の計算性能

AMG 法より実計算時間が少ないことが分かる．
(ｃ)アクセレーターとしての GPU による高速化

tsubame2.0
tsubame1.2

312006

LES 及び RANS 乱流モデルの計算でも同等な加速率が得て，TSUBAME1.2 の 128CPU 以上の並列処理を

AMG-CG

4計算加速率TSUBAME2.0 ではより高速なネットワークの構築によりAMG-GS
Solver

図-3 解析ソルバによる計算時間の変化している．TSUBAME1.2 計算機について 128CPU コア
では AMG 解析ソルバの加速率は頭打ちとなる．一方，

CG

65432
100

4812
ノード内の並列数

16

図-5 ハイパースレッディングの計算性能

ぞれの単 CPU・GPU，複数 CPU・GPU 及び複数 CPU・
複数 GPU の処理方法を示す．これらの方法に基づいて得られた圧力方程式の処理時間やホスト・デバイス間のデータ転送時間及び流体計算の全体計算時間をまとめた（図-10）．単 GPU の利用により圧力方程式の解析を 6.7~8.7 倍に高速化し，1CPU コアの全体計算時間を1/2.7~1/3 に短縮した．また，複数 CPU・GPU 又は複数CPU・複数 GPU を利用する際には GPU の計算性能より多数の領域分割処理を行う共に全体の計算時間を大図-6 RANS モデルの計算加速率の変化幅に短縮可能することが分かる．
2.流体計算の計算精度
建物の室内外環境を正確に評価するためには自然風と相似する流入気流の作成が必要となる．風洞実験
では測定部分の風上側に長い助走路を設けて，十分な乱流境界層を得るためのスパイヤー，ラフネスブロック及びフェンス等を風洞床面に配置することによって，想定した気流を作成している．目的の気流粗度及びその配置を選ぶといった試行錯誤により気図-7 LES モデルの計算加速率の変化

（様式第 20）成果報告書
流体計算が必要となることが分かる．図-14,15 には実験及び 3000 万計算格子の解析から得られた建物の外圧係数を示す．解析結果は実験結果と概ね同様な結果が得られることを確認できたが，建物の外装材設計が必要となる風圧ピーク値を評価するためには高精度な乱れパワースペクトル密度及び乱流長さスケールの流入変動風を作成する必要があると考えられる．

測定点

図-8 GPU による流体計算の概要

ラフネスブロック
U0フェンススパイヤー(a)数値解析モデルの概要(b)3000 万計算格子の立面図(c)300 万計算格子の立面図(a)単 CPU・GPU(b)複数 CPU・GPU (c)複数 CPU・複数 GPU

図-11 数値風洞モデルと計算格子

図-9 CPU・GPU の処理法
AIJ
Exp.
Cal.(3000万格子)
Cal.(300万格子)

AIJ
Exp.
Cal.(3000万格子)
Cal.(300万格子)

322z/Hz/H

図-10 GPU による計算時間の短縮化

311流の作成方法が確立されている．図-11 には風洞の測定部分及び助走路を忠実に再現した 3000 万及び300 万計算格子の解析モデルの概要を示す．

000.5

101.50Wind speed ratio Uz/UH

図-12 に流入気流の平均風速および乱れ強さの鉛直102030

図-12 風速の鉛直分布分布を示す．いずれの計算格子についても建築物荷重100指針(AIJ)により定められた値および実験結果とほぼ一Karman スペクトルとの比較である．300 万格子モデルの解析結果は実験結果と比べると 1Hz 以下の領域においてパワースペクトル密度は増大しているが，1Hz 以上nS(n)/σ2致する．図-13 は風速変動のパワースペクトル密度と

10-1

10-2

KarmanExp.
Cal.(3000万格子)
Cal.(300万格子)の領域においてそのパワースペクトル密度は急激に減少している．一方，3000 万格子モデルの解析結果は10Hz 以上の領域以外においてほぼ実験結果を再現した．高精度な流入気流を生成するためにはより大規模

10-3
0.1

40

Turbulence intensity Iz(%)

110100n(Hz)図-13 風速のパワースペクトル密度

（様式第 20）成果報告書
風速場及び建物に作用する平均風圧力は実験結果とほぼ一致することを確認できたが，建物の外装材設計が必要となる風圧ピーク値を評価するためには大規模数値流体計算による検討が必要となる．
光計算については光計算エンジン Iray を組み込んだ(Exp.)(Cal.)

図-14 建物の平均外圧係数（3000 千万格子）

CPU・GPU ハイブリッド計算システムを開発し，実建物のモデルルームを対象に画像レンダリングにより通常のCPU による数時間の計算を数十秒で可能にした．よりリアルタイム処理を実施するためには TSUBAME システ
ムの考慮及び大規模多数 CPU・GPU 間のデータ通信の配慮によりチューニングを行う必要がある．

(Exp.)(Cal.)

図-15 建物の負側のピーク外圧係数（3000 千万格子）
3. 光計算の計算高速化
光計算については光計算エンジン Iray を組み込んだ
CPU・GPU ハイブリッド計算システムを構築し，実建物のモデルルームを対象に画像レンダリングにより得られた画像は実物に相当することを確認した(図-1)．また，単GPU の計算は単 CPU コアの約 14 倍となり，十数 GPUの活用により通常の CPU による数時間の計算を数十秒で可能にした．よりリアルタイム処理を実施するためには
TSUBAME の計算システムを考慮し，GPU 最大性能及び大規模 CPU・GPU 間のデータ通信の配慮によりチューニングを行う必要がある．
まとめ，今後の課題
本利用課題では TSUBAME の利用により以下の項目を検討していた．数値流体・音響計算については実建物を対象にして，室内外環境の連成解析が必要となる室内・屋外を含めた約 1 億格子解析モデルの作成に成功した．また，1000CPU コア規模の大規模計算により既存ソフトウェアの並列性能を調べており，その性能は計算コードの圧力方程式の数値解法に大きく依存することを明らかにし，並列計算規模により利用している高効率な数値解法の選定方法を確立した．更に，圧力方程式の数値解法の GPU 化により計算性能を 3 倍程度に向上し，より計算を高速させるためには建築物の環境条件を考慮した数値流体計算コードのフル GPU 化を行う必要がある．さらに，数値流体計算から得られた平均