（様式 20）成果報告書

平成 25 年度 TSUBAME 産業利用トライアルユース 成果報告書

利用課題名 広域都市環境の大規模計算による検討
英文：Large scale simulation for the global urban environment
利用課題責任者 佐々木 澄
Sasaki Kiyoshi
所属： 清水建設（株）技術研究所
Affiliation: Institute of Technology, Shimizu Corporation
URL: http://www.shimz.co.jp

本利用課題は，「商用アプリバンドル型トライアルユース」に提供された商用アプリを活用し，TSUBAME スパコンの計算資源を利用するとともに，広域都市環境評価における大規模計算環境を整備した．また，実中層市街地を対象として都市環境解析の千並列 CPU 処理を実施し，商用アプリにおいてその大規模並列計算の性能特性と解析時間の短縮性を確認し，システムの実用性を明らかにした．
A large scale simulation for a global urban environment are developed using the commercial
software provided on TSUBAME2.5 supercomputer. Several benchmarks have been done to clarify theperformance of massively parallel computation up to a thousand of CPUs on urban environment
analysis that is able to expectedly reduce the computational cost.

Keywords: City Environment, Large Scale Simulation, Building, Commercial Software, Speedup

背景と目的
新たに高層建物，あるいは大規模構造物を建てる場

ーションの並列性能と大規模計算の有効性を明らかにし，今後の広域都市環境評価の実用性を図りたい．

合，風の状況変化に従う影響は無視できない場合が多く，風環境や風騒音などの問題が生じる場合もある．こう概要

した建設による問題や障害の発生を未然に防ぐために

本利用課題では，まず，提供された商用アプリの計は，風環境の変化や風騒音の発生状況を風洞実験や算環境を整備し，TSUBAME2.5 で基本計算テストによ数値流体計算などの方法により予測し，事前に調査・検り広域都市気環境に必要な解析の手順を確認した．ま討および対策の立案を行う必要がある．都市部では，

た，図 1 に示す 2km×1.5km 中層市街地を対象として高層ビルの密集度合に応じてその周辺影響の範囲は数値流体計算を実施し，得られた市街地の流れ場など数十 km までなることも考えられる。しかしながら，現在を評価した．さらに，TSUBAME の最大千並列規模のの風洞実験では実験装置の制約や縮尺の問題で評価計算を実施し，商用アプリの大規模並列計算の性能特できる範囲は直径約 1km 程度にとどまる．一方，数値流性を把握した．

体計算では，こうした広域を評価できるための数億格子の計算が必要となるが，一般の計算機では数か月間もかかるため実設計利用が困難である．
本利用課題では，「商用アプリバンドル型トライアルユース」に提供された，建築環境評価に多くの実績を持っている流体計算アプリケーションの活用検討を行う．また、TSUBAME2.5 計算資源の利用による大規模数値流体計算を実施し，従来予測困難とされてきた広域の都市の風環境評価を試みる．また，対象としたアプリケ

図 1 対象とした中層市街地

（様式 20）成果報告書
結果および考察
1. 計算モデルと結果
図 2 には本課題で利用していた計算領域のメッシュとその拡大図を示す．メッシュは非構造格子であり，その全体は約 1 千万格子である．解析では，標準 k-εモデルを用いた．境界条件としては，流入境界で U0=10m/sの一様流入，流出境界で自由流出とした．建物壁面で no-slip 条件を適用した．図-3 は，計算から得られた地上 5m の風速コンターと建物壁面の圧力コンターおよびその拡大図である．風上側の高層建物群から発生されたウェークは、周辺に与える影響も確認できる。

2. 大規模並列の計算特性提供された商用アプリの計算性能特性を調べるために，上記の計算モデルを対象として，最初の 200 ステップを助走計算とし，次の 200 ステップの計算時間を用いてベンチマーク結果として評価した．なお，計算では，TSUBAME2.5 の THIN ノ ー ド （ イ ン テ ル 製 CPUWestmere-EP 2.93GHz）を用いて，並列計算性能を評
図 2 計算領域のメッシュとその拡大図

価する．ノード内には 2 ソケット，合計 12CPU コアがある．
ノード間は，Infiniband QDR ネットワークに接続されている．なお，本商用アプリは GPU 計算に対応していな
いため，GPU の評価検討を行わなかった．
図 4(a)には計算ノード内において CPU コア数による計算加速率を示す．計算加速率は，1CPU コアに対して 2CPU コアの利用で約 1.9 倍，4CPU コアの利用で約3.6 倍，8CPU コアの利用で約 6.4 倍，12CPU コアの利用で約 7.9 倍に達成し，その傾向はやや低下しているが，並列数が増やすと，その性能が増加していることがみられる．
図 4(b)には 1CPU コアに対する 1024CPU までの計算加速率を示す．なお，ノード内に 8CPU コアを採用した．
1024CPU の利用で約 536 倍に達成し，並列数の増加同時に加速率が増加することも確認できた．計算ノード間接続 Infiniband QDR ネットワークの影響を調べるた
めに， 1 ノードに対する計算加速率を図 4(c)に整理した．図より，32 ノードの利用で約 28 倍，64 ノードの利用で約 52 倍，128 ノードの利用で約 84 倍の高い並列性能に達成することが分かった．

図 3 流速と圧力コンターとその拡大図

（様式 20）成果報告書
121032CPUs
4CPUs
8CPUs
12CPUs16CPUs32CPUs64CPUs128CPUs
256CPUs
512CPUs
1024CPUsMPI Overhead Time(s)10Speedup

864

10221010002

468

10400

600

800

1000Ranks

12CPUs

図 5 MPI ランクのオーバーヘッド時間(a) 計算ノード内の並列計算特性

1022CPUs
4CPUs
8CPUs
12CPUs16CPUs
32CPUs64CPUs128CPUs
256CPUs
512CPUs
1024CPUsMPI Overhead Elapsed Time(s)600500400
Speedup2003002001011000200400600

8001000Ranks

00128 256 384 512 640 768 896 1024

図 6 MPI ランクの待機経過時間

CPUs(b) 複数 CPU 並列計算の特性

図 5 と図 6 にはそれぞれの MPI ランクにおけるオーバーヘッド時間と待機経過時間を示す．計算分割領域

96

数の増加に伴い，ランクにおける計算量が少なくなると80ともに，MPI ランクのオーバーヘッド時間が減少されている．いずれのランクのオーバーヘッド時間は同等であ

Speedup

64るため，商用アプリがロードバランシングされたし，図 648に示すように利用 CPU 数が増加するとともに，MPI ラン
クの待機経過時間は少しずつ増加しているが，一定の32値に漸近することもわかり，商用アプリは本 Infiniband
160

QDR ネットワークに十分にチューニングされると考えられている．
0163248648096112 128

Nodes

まとめ、今後の課題(c) 複数ノード並列計算の特性

本利用課題では，「商用アプリバンドル型トライアルユー

図 4 並列計算の性能特性ス」に提供された商用アプリを活用し，TSUBAME2.5 の（様式 20）成果報告書利用計算整備と，広域実中層市街地の建物群に対象とした風環境解析を実施した．また，数千 CPU コア規模の大規模計算によりアプリの並列性能を調べており，商用アプリの大規模計算とその計算時間短縮化を確認できた．なお，本検討には 1 千万格子の規模を対象として，既存のメッシュ作成ソフトの連携によりモデルの作成や計算と可視化までの一連処理を確認できるが，より数億計算格子規模について TSUBAME 計算環境の中でモデルの作成、計算結果の可視化と計算の安定性など，大規模広域都市環境解析の実応用において商用アプリの検討課題として残されており，次年度以降に検討する必要がある．