― 2 ―SENAC Vol. 52, No. （2 2019. 4）［共同研究成果］

リアルタイム津波浸水被害予測の全国展開に向けた検討
越村俊一・阿部孝志：東北大学災害科学国際研究所
井上拓也：東北大学大学院工学研究科、国際航業株式会社
撫佐昭裕：東北大学サイバーサイエンスセンター、NEC
村嶋陽一・鈴木崇之：東北大学災害科学国際研究所、国際航業株式会社
太田雄策・日野亮太：東北大学大学院理学研究科
佐藤佳彦：NEC ソリューションイノベータ株式会社
加地正明：株式会社エイツー
小林広明：東北大学大学院情報科学研究科
巨大津波発生直後のきめ細かな津波情報や、迅速な被害情報の推計・把握と配信を通じて被災地を支援し、災害に対するレジリエンス（回復力）の向上と我が国の国土強靱化に資する、リアルタイム津波浸水被害予測システムを構築し、内閣府の津波浸水被害予測システムとして 2017年 11 月より運用を開始した。本稿では、リアルタイム津波浸水被害予測システムの全国展開に向けた計算リソースの検討を行った。10 分以内の 30m 格子での全国リアルタイム津波浸水予測には 140Tflop/s 程度の計算性能が必要であることが分かった。

1.

はじめに

巨大災害後の災害対応や救援活動において最も重要なことの一つは被害の全容把握である。地震や津波災害といった巨大災害の発生直後は、激甚な被害を受けた地域からの情報が断片的となり、被害全容の把握がきわめて困難になるとともに、被災地の救援活動や復旧活動も難航する。
著者らは、2011 年東北地方太平洋沖地震津波災害の教訓を踏まえ、効果的な災害対応、被災地の救援を目的として、リアルタイム津波浸水被害予測システムを構築した。
本稿では、リアルタイム津波浸水被害予測システムの全国展開に向けた検討結果を報告する。
具体的には、著者らが開発した津波解析モデルの効率化を、スーパーコンピュータの潜在能力を引き出すためのベクトル化・並列化の観点から実施し、全国沿岸への適用のために計算領域の系統的な自動設定手法を検討する。ケーススタディとして、解像度 270 m、90 m、30 m で、10 分以内に全国即時津波浸水予測を完了するために必要となる計算機リソースを検討する。なお本稿は、井上ら[1]の結果の概略を述べるものであり、詳細については原著論文を参照されたい。

2.

津波解析モデルの最適化

ここでは、井上ら[1]による多角形領域接続・MPI 並列津波解析モデル（以下、「本モデル」と呼ぶ）を利用して検討を行う。本モデルは、平面 2 次元非線形長波理論及び有限差分法による、世界的に用いられている TUNAMI (Tohoku University Numerical Analysis Model for Inundation) コード（既報）[2]に基づく。解析領域及びネスティングの形状を従来の矩形から多角形に拡張し、高精度解析の対象地域を津波の遡上しうる沿岸域に限定することで、解析格子数を削減し安定条件を緩和した、特に広域津波解析で効率的なモデルである。多角形領域は、矩形の「ブロック」を積み重ねることで表現する（図-1 左）。 本モデルでは TUNAMI コードに対して解析領域形状のみを複雑なものに拡張し差分スキーム等は変更していないため、解析精度に関して高知市を対象としたケースでは、対象沿岸域の津波解析結果が従来の矩形モデルによるものと概ね同様となることが分かっている。
本研究では、高性能計算資源として東北大学サイバーサイエンスセンターの運用するベクトル型スーパーコンピュータ SX-ACE を使用した。SX-ACE はメモリ集約的な津波解析コードの実行リアルタイム津波浸水被害予測の全国展開に向けた検討― 3 ―で高い性能を発揮することが明らかにされている[3]。また、恒常的に稼働率の高い高性能計算資源にあって、災害時に緊急ジョブにより稼働中のジョブをサスペンドし、防災上重要なプログラムのために優先的にリソースを確保できることも、即時津波予測技術の実用化に向けた強みである。
本モデルにおけるブロック及び MPI 領域分割手法は、津波解析領域の外側計算ループ（南北方向）を複数のブロックに 1 次元的に分割し、さらにブロック内の外側計算ループを MPI 領域分割（プロセスごとに割り当てる解析範囲を設定）することを基本とする。そして、内側計算ループ（東西方向）の演算はベクトル実行する。ブロック及び MPI 領域の分割が 1 次元的であり、高知県沿岸のように海岸線が東西方向へ延び、複数の岬（潮岬及び室戸岬）が海へ張り出すような地形条件に対しては大水深の地域を避けて多角形解析領域のブロックを南北に積み上げられないため、東西・南北方向を転置して解析を実施できるよう機能拡張されている（図 1 左）。

図 1 高知県津波予報区を対象とした多角形領域設定（左）と MPI 領域分割（右：2 次元・1 次元）の概略。左図の実線は多角形解析領域端を、点線は東西方向ブロック分割位置を表す。ここでは東西・南北方向が転置されている。右図は、左図の 10 m 格子領域（ピンク実線）において西から 28 個目のブロック周辺を拡大した図であり、2 次元的な MPI 領域分割において南北の MPI 領域で海域（青）・陸域（緑）の格子数にインバランスが生じている。
高知県津波予報区に対する空間解像度 10 m の津波浸水解析を対象に、まずベクトル演算の効率化を行った。SX-ACE のベクトル演算においては一度に 256 データ（解析格子）を対象に計算を行うことができる。条件分岐式（if 文）が存在する場合、真偽両方の場合を計算し、後で真となる場合の結果を採用するマスク処理が行われる。従って、条件分岐式が少ない方が総演算量が少なくなる。そこで、解析実行時間の 90%以上を占める運動方程式の演算において、各格子の浸水判定を行っている複雑な条件分岐式を整理し、より少ない分岐で同様の処理を実行できるよう改良した。
MPI 領域分割手法に関しては、2 次元から 1 次元に変更した。2 次元平面の解析領域を 1 次元的に MPI 領域分割する場合、一般に、並列数が大きくなると隣接プロセスと情報通信する必要のある境界格子が多くなり効率が低下するので、2 次元的な MPI 領域分割により境界格子を減らす工夫がなされる。本モデルでは 1 次元的な MPI 領域分割を基本とするが、大規模並列時の MPI領域分割の自由度を高めるため、計算の内側ループを外側ループに比較して粗く分割する 2 次元分割を採用した（図 1 右、2 次元）。井上ら[1]で報告されている通り、128 ノード（512 並列）による 6 時間積分の実行時間は 315 秒と、10 分以内のリアルタイム性を十分確保できている。
しかし、本モデルでは計算の内側ループが海岸線に直交する方向となるよう設計されているため、南北の MPI 領域で海域・陸域の格子数に大きなインバランスが生じるブロックが存在しうる。
一般に、津波浸水解析では海域格子の方が計算負荷が高いので、外側ループのみを 1 次元的に分割することにすると（図 1 右）、上述のベクトル演算の効率化も含めて、実行時間は 270 秒に削減

― 4 ―

SENAC Vol. 52, No. （2 2019. 4）できた（約 14 %削減）。これは、プロセスごとの海陸格子のインバランスが緩和するだけでなく、同じ空間解像度の解析領域内での MPI 通信相手も減ることが理由として考えられる。
計算の外側ループや内側ループにおいて MPI 領域ごとの幅を変化させる不等分割機能も実装し性能を検証したが、最適な MPI 領域分割位置はブロック形状や使用リソース量（プロセス数）だけでなく、海陸格子の配置や波源モデルごとに異なる浸水程度にも依存しうることが分かった。
様々な地形条件に対して最適な MPI 領域分割位置を得るスキームについては、今後の課題である。
ここでは、ばらつきが小さく常に一定程度のパフォーマンスを得られることを重要視し、純粋な1 次元 MPI 領域分割を採用することとした。

図 2 多角形領域の自動動設定手法の概略図
全国沿岸での多角形領域の設定を効率的かつ系統的に実施するため、領域の自動設定手法を提案する（図 2）。以下に手順（ルール）を示す。この手法により、系統的なルールの下で並列実行が効率的となる多角形領域を自動設定できた。
A) 空間解像度 Δx を定める。
B) 評価対象地域の地形条件（海底勾配の大小）を考慮し、Δx に対して安定条件を満たし、整数倍して 1 秒となる計算時間間隔 Δt を定める。
C) 安全率 α を定め、Δt を α で割った場合でも安定条件を満たす許容最大水深 Hmax を算定する。
D) 沖側接続位置は、Hmax を満たす中で極力沖側に設定する。
E) 陸側接続位置は、汀線あるいは空間解像度が一段階高い領域における Hmax の等深線に対する30 格子幅のバッファより沖側とする。
F) 浸水評価対象とする遡上域は、南海トラフの巨大地震モデル検討会[4]の最大浸水範囲に設定した 30 格子幅のバッファを包含するよう決定する。
G) 開始・終了点を与える（評価対象範囲を指定）。
H) 上記ルールを満たし、ブロック数を最小化しブロック幅が最大化されるブロック位置を探索・設定し、その集合として多角形領域を設定する。

3.

全国展開に向けた適用性検討

南海トラフの巨大地震モデル検討会[4]（以下「既往検討」と略記する）で評価された沿岸全域に対して 10 分以内の津波解析を実行するための所要リソースを、空間格子間隔 270 m、90 m、30m の複数解像度で算定した。

リアルタイム津波浸水被害予測の全国展開に向けた検討― 5 ―解像度 270 m 及び 90 m の解析は UTM53 帯で全国一律に実施した。解像度 30 m の解析は津波予報区と座標系の組み合わせごとに平面直角座標系で実施した。既往検討の評価範囲に含まれる津波予報区は 37 区であるが、伊勢・三河湾は平面直角座標系 VI 系と VII 系に、奄美群島・トカラ列島は I 系と II 系にまたがるため、解析領域数は計 39 となった。本研究では、既往検討で堤防が地震発生 3 分後に破壊するシナリオの結果が提供されている神奈川県三浦半島から鹿児島県佐多岬までの計 21 領域を解析対象とした（表 1、「津波予報区」列を参照）。積分時間は地震発生から 6 時間とした。
既往検討で水位時系列情報が提供されている沿岸海域の観測点における、最大津波高（初期水位からの水位変動の最大値）に関する K-κ 値（比の対数の平均と標準偏差）を評価し、多角形領域設定による計算結果と、多角形ブロックの最大包絡として得られる矩形領域設定による計算結果を比較した（図-3）。精度検証は、解像度 30 m の場合のみ実施した。
各解析に対して実行時間を 10 分以内に収めるために必要となる SX-ACE のノード数を 2 の冪乗単位を基本として評価し、所要ノード数に 1 ノードあたり浮動小数点演算能力である 276Gflop/s を掛けて計算コストを見積もった。解析しない 18 領域については、井上ら[1]の解像度 10mでの算定結果を利用して、重み付けをすることにより全領域のコストを概算した（表 1）。

図 3 多角形領域設定と矩形領域設定の概略図（高知県）。左：多角形領域設定、右：多角形ブロックの最大包絡としての矩形領域設定（点線は上の多角形ブロック）。

― 6 ―

SENAC Vol. 52, No. （2 2019. 4）

表 1 空間解像度 30 m における精度検証及び計算コスト算定の結果表。右 2 列は既往検討での空間解像度 10 m の矩形領域に対する井上ら[1]の計算コスト算定結果（一部修正加筆）。

表 1 に、津波予報区ごとの精度検証結果（K-κ 値）及び計算コスト算定結果（所要ノード数と計算時間間隔、領域情報）を示す。前述の算定手法に基づき、計 39 領域に対して、10 分以内のシミュレーション完了のためには 518 ノード（140Tflop/s 程度）必要であることが分かった。
精度検証結果については、全ての領域において K-κ 値の両方がほぼ 1 となった。すなわち、神奈川県の三浦半島から鹿児島県の佐多岬に至る、多様な地形条件を含む広域沿岸において、多角形領域接続モデルによる結果が従来の矩形領域モデルとほぼ同じとなることが示された。全領域に対する最大津波高の散布図を図 4 に示す。
解像度 30m の解析により、本モデルでの並列化効率（1 プロセスの単体解析に対する所要時間削減率を並列数で割った値）の観点において以下の 2 種類の地域が存在することが明らかになった（図 5）。
A)ブロック数が多く多角形領域形状が複雑であり、低並列数で低効率（例：高知県、図 3 左）B)ブロック数が少なく多角形領域形状が単純であり、低並列数でも高効率（例：淡路島南部、
図 6）8 ノード（32 並列）の場合には、高知県の並列化効率が低く淡路島南部の方が所要時間が短いが、並列数を増やすと計算時間間隔 Δt が大きい高知県の方が所要時間を短くできた。すなわち、複雑な領域形状により Δt を大きく取れることが、本モデルが効率的であることの主要因であるが、複雑な領域形状とすることは特に低並列数において並列化効率とトレードオフの関係にあるので、求められる解析時間と地形特性を考慮し、適切な Δt、多角形領域、使用計算リソース量の設定が必要となる。

リアルタイム津波浸水被害予測の全国展開に向けた検討

図 4 最大津波高解析結果の散布図による比較検証

図 5 並列化効率の特性が異なる 2 地域での比較

図 6 多角形領域設定の概略図（淡路島南部，沿岸域）― 7 ―

― 8 ―

4.

SENAC Vol. 52, No. （2 2019. 4）

まとめ

リアルタイム津波浸水被害予測システムの全国展開を目指し、計算領域接続・MPI 並列モデルをベクトル化・並列化両方の観点から最適化し、約 14 %の効率化を達成した。また、計算領域の自動設定手法を提案し、この手法による多角形領域設定を用いる場合、従来の矩形領域設定による津波解析結果と概ね同じ結果が得られることを、神奈川県から鹿児島県にかけての広域での解像度 30m の津波浸水解析により検証した。
ベクトル型スーパーコンピュータ SX-ACE を用いた 2 次元非線形長波理論による津波解析を空間解像度 270m、 90m、 30m で実施し、6 時間分の浸水被害予測を 10 分以内で完了するためのリアルタイム津波解析の計算コストがそれぞれ 2、10、140 Tflop/s 程度となることを明らかにした。空間解像度 10m での全国即時津波浸水予測には東北大学サイバーサイエンスセンターの運用する SX-ACE 全 2,560 ノード程度が必要であると評価されているが[1]、解像度 30 m で必要となる計算コストはこの 1/5 程度であり、解像度 30 m であれば概略的な全国即時津波浸水予測・被害推定が実用化可能であることが示された。解像度 90 m の場合は、 同じリソースでさらに概略的な全国一律の即時解析を 10 シナリオ程度、270 m であれば 100 シナリオ程度実行可能であることが分かり、シミュレーションの空間分解能を考慮することで全国展開が可能であることが実証できた。

謝辞
本研究は、東北大学サイバーサイエンスセンターのスーパーコンピュータを利用することで実現することができた。また、研究にあたっては同センター関係各位に有益な指導と協力をいただ
いた。基礎研究に際しては、JST の CREST（グラントナンバーJPMJCR1411）の補助を受けた。
ここに記して謝意を表する。
参考文献[1] 井上拓也, 阿部孝志, 越村 俊一, 撫佐 昭裕, 村嶋 陽一, 小林 広明, 多角形領域接続・MPI 並列津波解析モデルの複数解像度における全国津波解析への適用性検討, 土木学会論文集 B2(海岸工学), 73 巻, 2 号, I_319-I_324, 2017.
[2] 越村俊一，阿部孝志，撫佐昭裕，村嶋陽一，鈴木崇之，井上拓也，太田雄策，日野亮太，佐藤佳彦，加地正明，小林広明，スーパーコンピュータによるリアルタイム津波浸水被害予測,
SENAC Vol. 51, No. 1、2018.
[3] Musa, A., H. Matsuoka, O. Watanabe, Y. Murashima, S. Koshimura, R. Hino, Y. Ohta, H. Kobayashi, A
Real-Time Tsunami Inundation Forecast System for Tsunami Disaster Prevention and Mitigation，TheInternational Conference for High Performance Computing, Networking, Strage and Analysis (SC15),
Austin, Texas, Nov. 2015.
[4] 南海トラフの巨大地震モデル検討会:第二次報告，2012
http://www.bousai.go.jp/jishin/nankai/taisaku/pdf/20120829_2nd_report01.pdf