（様式第 20）成果報告書

共同利用（産業利用トライアルユース：先端研究施設共用促進事業『みんなのスパコン』TSUBAME によるペタスケールへの飛翔）
成果報告書 平成 23 年度 産業利用トライアルユース

利用課題名 大規模地震における強震動評価と屋内収容物の被害評価
英文：Estimation of strong ground motion and damage of indoor objects during giant earthquake
利用課題責任者 正月 俊行
Toshiyuki Masatsuki
株式会社 構造計画研究所
Kozo Keikaku Engineering Inc.
http://www.kke.co.jp/
地震による被害軽減策を考える上で、基礎的なデータとなる地震の揺れの強さや建物内の収納物の挙動を想定するためのプログラムを TSUBAME に移植し、大規模な計算の実行が可能な環境を構築した。地
震の揺れの強さを想定する波動伝播解析では、プログラムの GPU 化を行ない、CPU のみの場合の約 10 倍の計算速度が出ることを確認した。また、巨大な計算領域を必要とする東海・東南海・南海地震のシミュレーションを行ない、多数の GPU を用いることで、実用的な時間で計算が出来ることを確認した。建物内の収納物の挙動解析については、倉庫内に積み上げられた積荷が崩れる様子をシミュレーションし、従来の約 2 倍の速度が計算を実行できることを確認した。
Two programs have been ported to TSUBAME in order to estimate the damage due to giant
earthquake. One is the program for wave propagation analysis and the other is for the simulationof the behavior of indoor objects. The strong ground motions due to the Tokai, Tonankai, andNankai Earthquake have been simulated using a number of GPU. The computation time using
GPU was about 10 times faster than not using GPU. The Behavior of indoor objects in a warehousehas also been simulated. The computation time was about two times as fast as before.

Keywords: Earthquake, Wave Propagation, Strong Ground Motion, Indoor Damage, Multi-Body
Dynamics Simulation

背景と目的2011 年 3 月に発生した東北地方太平洋沖地震では、動の波動伝播解析プログラムと屋内被害のシミュレーションプログラムの 2 種類のプログラムを非常に広い範囲で甚大な被害が発生した。今後、発TSUBAME に移植した。そして、移植したプログラム

生確率が高いと言われている東海・東南海・南海地を用いて、東海・東南海・南海地震の波動伝播シミ震が起こった場合も同様に、都市部を含めた広い範ュレーション、および、屋内被害評価の一例として、囲で被害が発生すると予測されている。このような倉庫内の積荷が崩れる様子のシミュレーションを行

被害を軽減するためには、事前に、地震による揺れなうことで、TSUBAME を用いた実用的な計算が実行や被害を予測し、対策を立てておくことが重要であ出来ることの確認を行なった。

る。最新の知見を用いれば、従来よりも精度のよい評価が可能となる。しかし、最新の知見がよく用い概要られるのは、発電所等の重要構造物がメインであり、地震動の波動伝播解析については、まず、既に MPI一般の建物の耐震設計等に用いられることは少ないによる並列化がなされていたプログラムの GPU 化をのが現状である。

行なった。改造の結果、GPU を用いると、CPU のみのそこで、本課題では、莫大な計算量や計算時間が場合と比較して、10 倍程度計算速度が向上すること必要なため、実務への適用が困難な地震動評価と屋が確認できた。その後、改造したプログラムを用い内被害評価の実用性向上に取り組んだ。まず、地震て、今後発生確率が高いとされている東海・東南海・（様式第 20）成果報告書
南海の 3 連動地震の波動伝播のシミュレーションを弱スケーリング性能3.0行ない、実用的な大規模計算が実行できることを確認した。今回計算を実行した最大のメッシュ規模は2.5・31億メッシュ規模
・並列数を210～600に変更して計測・並列数210のケースを表示倍率・加速率の基準としている加速倍率

約 120 億メッシュ規模で、ステップ数 77600 (継続時間約 232 秒)の計算を、GPU 810 基を用いて、4 時間程度で解くことが出来ることを確認した。

2.0

屋内被害評価では、解析法と呼ばれる手法を用い1.5て剛体の物理運動を計算するプログラムを使用してシミュレーションを行なった。改造前のプログラム

1.0
1.0

1.5

2.0

2.5

3.0

は、剛体の数が 1000 個程度以上となると、計算がスGPU数倍率トップしてしまうような仕様となっていたため、プ

図 1 波動伝播解析プログラムの弱スケーリング性能

ログラムを改造して、剛体の数が 10000 個以上でも南北断面計算が実行できるようにした。また、計算時間の大きな部分を占めていた衝突判定の処理部分をメインに GPU 化を行ない、GPU 化した部分については、CPUに比べて 3～4 倍の計算スピードとなることを確認した。剛体数約 1400 の計算ケースでは、全体の計算震源時間を、改造前と比較して 2 分の 1 程度に短縮できた。最終的な倉庫内の積荷の挙動計算は、剛体数1000 個程度のケースで行ない、地震の揺れにより、深さ(km)

積荷が崩れる様子を TSUBAME 上で実行できることを東西断面計算領域

結果および考察深さ(km)確認した。

まず、地震動の波動伝播解析プログラムの図 2 東海・東南海・南海地震の震源域と計算領域

TSUBAME への移植・GPU 化について述べる。改造は、
PGI Fortran コンパイラを用いて行なった。プログ
ラムは、MPI による並列計算には既に対応していた300

ため、GPU 化のみを行なった。GPU 化は、同一の計算

加速度 NS0の GPU 化を行なっている竹中(2011)1)を参考に改造-300

場合(-fastsse オプションを使用)と比較して、10倍程度計算速度が向上（約 31 億メッシュ規模、100ノード、300GPU）することが確認できた。図 1 にプログラムの弱スケーリング性能を示す。並列数を600 にしても、ある程度性能がスケールしていることが分かる。現状では、MPI の通信時間がボトルネックになっているため、さらなる高速化を図るためには、通信量を小さくするか、通信時間を短くすることが必要である。また、GPU のグロバールメモリ

速度(cm/s)を行なった。その結果、GPU を用いると、CPU のみの050100150200250300
加速度 EW

050100150200250300
加速度 UD

050100150
時間(秒)2002503000-300
3000-300※周期 2 秒より短い周期をフィルターでカットしている

図 3 名古屋における速度波形

300（様式第 20）成果報告書
がさらに大きくなれば、同じ規模の計算をより少なは約 120 億メッシュ規模で、ステップ数 77600 (継い並列数で実行できるので、効率が上がると思われ続時間約 232 秒)の計算を GPU 810 基(270 ノード)をる。なお、今回計算を実行した最大のメッシュ規模用いて、4 時間程度で解くことが出来ることを確認

15.0sec

105.0sec

30.0sec

300.0sec

大阪・名古屋拡大

75.0sec

大阪・名古屋拡大

図 4 波動伝播解析の様子（地表の速度をコンターで表示）（様式第 20）成果報告書なった。改造前のプログラムは、剛体の数が 1000個程度以上となると、計算がストップしてしまうような仕様であったが、改造後は、10000 個程度以上でも計算が実行できるようになった。プログラムの並列化は、Intel の TBB を用いて行い、複数の GPUを用いて計算が行えるように改造を行なった。計算時間の大きな部分を占めていた剛体の衝突判定の処理部分をメインに GPU 化を行ない、この部分については、CPU に比べて 3～4 倍の計算スピードとなることを確認した。全体の計算速度としては、改造前の2 倍程度となった。

図 5 倉庫の積荷の地震時挙動

倉庫内の積荷の地震時挙動のシミュレーションのシミュレーションの計算モデル

計算モデルを図 5 に示す。約 1m 角のパレット（図中している。
続いて、改造したプログラムを用いて行なった東海・東南海・南海地震の 3 連動の地震の波動伝播シミュレーションについて述べる。図 2 に想定地震の震源域と計算領域を示す。震源は、中央防災会議(2003)の震源情報 2)、および、山本・吉村(2012)3)を参考に設定した。計算規模を 31 億メッシュ規模(550x750x60km)、メッシュ間隔を 0.2x0.2x0.2km、計算時間刻みを 0.006 秒とし、計算ステップ数は50000(継続時間 3000 秒)とした。計算可能周期は、2秒以上である。図 3 に名古屋における速度波形を示す。50 秒前後で揺れはじめ、それ以降、300 秒後も揺れがほとんど収まっていないことが分かる。図 4には波動伝播の様子のスナップショットを示す。地表面の速度の大きさをコンターで示している。断層の破壊開始から約 75 秒で大阪平野や濃尾平野に波が到達し、その後、平野で揺れが長く続いており、赤線で表示）の上に、麻袋を想定した剛体（図中白線で表示）48 個を、方向を変えながら積み上げたモデルを一塊として、さらにその塊を 2 列分上げている。片方の列は、壁際に設置している。全体の剛体数は約 1400 個である。今回の課題では、最大で剛体数 10000 個強のケースが実行可能であることを確認しているが、数十秒間のシミュレーションに 2 週間以上かかる上、剛体の数が増えると計算が不安定になりやすいことが分かったため、剛体数を少なめに設定した。
図 6 に、図 3 で示した波形を計算モデルの床に入力した場合のシミュレーション結果を示す。図を見ると、揺れが強くなる 75 秒を過ぎたあたりで、積み上げていた積荷が崩れ始め、崩れた壁際の積荷が隣の単独配置の列に覆いかぶさっている様子が見て取れる。今後は、計算結果の工学的妥当性について検証を行なっていく必要がある。

この部分からも平野部で強い揺れが長く続く現象をシミュレーションで再現できていることが分かる。
今後は、計算結果の妥当性について検証を行なっていく。
屋内被害評価については、剛体の 3 次元物理運動シミュレーションプログラムを用いて、倉庫内の積荷の挙動を計算した。剛体同士が衝突した際の接触力については、解析法を用いて計算を行なっている。
プログラムを TSUBAME に移植するにあたって、まず、プログラムを大規模なデータに対応させる改造を行まとめ、今後の課題
本課題では、地震動の波動伝播解析プログラムと屋内の収容物の挙動解析プログラムを TSUBAME に移植し、大規模な計算を従来よりも短い時間で行なえる環境を構築した。今後は、これらのプログラムを実務に生かしていくことを念頭に、計算結果の工学的妥当性の検証を行なっていく予定である。

（様式第 20）成果報告書
参考文献1)

2)
3)

竹中 博士 : 並列 GPU を用いた大規模地震波伝播シミュ
レーション, 学際大規模情報基盤共同利用・共同研究拠
点 平成 23 年度共同研究中間報告書, 2011, 12.
内閣府中央防災会議 : 「東南海, 南海地震等に関する専門調査会」(第 16 回) 資料 3 図表集 2, 2003, 12.
山本 優・吉村 智昭 : 3 次元大規模 FEM による東海・東南海・南海連動地震の長周期地震動シミュレーション,
日 本 建 築 学 会 構 造 系 論 文 集 , Vol. 7, No. 677,
p.1055-1064, 2012, 7.

40.0sec

76.4sec

75.0sec

76.8sec

76.0sec

図 7 倉庫の積荷の地震時挙動シミュレーションの結果