（様式 20）成果報告書

平成 25 年度 産業利用トライアルユース：先端研究基盤共用・プラットフォーム形成事業『みんなのスパコン』TSUBAME による日本再生
成果報告書

利用課題名 大規模三次元電磁界シミュレーションのトンネルモデルへの適用
英文：Large Scale 3D Electromagnetic Simulation for Tunnel Applications
利用課題責任者 川村 雅彦
Masahiko Kawamura
所属 構造計画研究所
Kozo Keikaku Engineering, Inc.,
URL http://www.kke.co.jp
邦文抄録（300 字程度）
トンネルのような大規模な問題に対しても FDTD 法は精度的に適用可能であることを確認するために、FDTD 法による市販の電磁界解析プログラム XFdtd を用いて、大規模なトンネルモデルの数値シミュレーションを実施し結果の評価を行うことで、トンネル内での電磁波シミュレーションの有効性を検証した。さらに、大規模モデルのシミュレーションにおける GPU 並列処理による計算速度向上のため、メッシュ数等の計算条件に対して高度なスケーリング性を実現する方法とその高速化効果を検証した。その結果、大規模解析と現実的な解析時間のためには GPU クラス
タが必須であり、TSUBAME を利用することで、その実現性と高速化効果を検証できた。
英文抄録（100 words 程度）
In order to assess the accuracy of FDTD method even for large models like tunnels, a commercial
electromagnetic field analysis program based on the FDTD method (XFdtd) was used to perform anumerical simulation inside a large tunnel model. The results verified the effectiveness ofelectromagnetic simulations inside tunnels. In addition, to improve calculation speed by GPU parallel
processing in large models, ways on how to achieve a high degree of scaling with respect to calculation
conditions such as the number of mesh, etc were investigated and verified. As a result, GPU clusters
are essential to analyze large models within a reasonable time. By utilizing TSUBAME, the feasibility
and speed ups were verified.

Keywords: 大規模電磁界シミュレーション、GPU クラスタ、FDTD 法、高速化、スケーリング性

背景と目的性を検証した。また、大規模モデルのシミュレーション

近年、自動車や鉄道などの交通分野においては、トにおける GPU 並列処理による計算速度向上のため、ンネル内での通信利用が盛んに行われており、トンネメッシュ数等の計算条件に対して高度なスケーリング性

ル内での電磁波の振る舞いを事前にシミュレーションを実現する方法とその高速化効果を検証した。検討すすることが必要となってきている。これまで 1 億メッシュるトンネルモデルは、大規模モデルであるため、十分なを超えるような大規模なモデルのシミュレーションではGPU クラスタを持つ TSUBAME 2.0 の利用が必須と処理時間的に限界のあった電磁界解析プログラムは、なる。

近年の GPU クラスタによるマルチスレッド処理が可能な計算機リソース環境で、トンネルのような大規模問題

概要でも計算が可能となった。

本課題は、以下の２つのステップにより実施した。

そこで本課題では、FDTD 法による市販の電磁界解（１）トンネル内での電磁界シミュレーションの有効性検証

析プログラム XFdtd[1][2]を用いて、大規模なトンネルFDTD 法 に よ る 市 販 の 電 磁 界 解 析 プ ロ グ ラ ム

モデルの数値シミュレーションを実施し結果の評価を行XFdtd を用いて、大規模なトンネルモデルの数値シミュうことで、トンネル内での電磁波シミュレーションの有効レーションを実施し、既存手法であるレイトレース法[3]（様式 20）成果報告書等による電界強度分布結果との比較による評価を行うことで、トンネル内での電磁界シミュレーションの有効性を検証した。
図２．２ 解析モデル（水平断面図と送信点位置）

図１ FDTD 法とレイトレース法（２）スケーリング性の実現方法と高速化効果の検証
FDTD 法のアルゴリズムはメッシュ数に比例して計算時間が増加するため、計算時間短縮の効果的な解決方法として GPU による並列処理の利用が考えられる。ただし、多くの並列処理を行った場合でも、CPU-GPU 間のデータ転送やスレッド間のタイミング調整のためのオーバーヘッドがかかり、単純に GPU コア

図２．３ 解析モデル(車両あり／なし)

主な解析パラメータは以下のとおりである。
・周波数：400MHz・セルサイズ 0.02m～0.024m
・Tx アンテナ：半波長ダイポールアンテナ(垂直偏波)
・Rx アンテナ： 無指向性アンテナ(垂直偏波)・トンネルの材質：コンクリート(比誘電率 5.0–j0.1)
・車両の材質：銅(導電率 5.96 x 107 S/m)数に比例した高速化は期待できない場合があることが□解析結果わかっている。
そこで更なる計算速度向上のため、メッシュ数（セル数）等の計算条件に対して高度なスケーリング性を実図３．１および図３．２に、FDTD 法とレイトレース法の比較結果を示す。

現する方法と、その高速化効果を検証した。

結果および考察（１）トンネル内での電磁界シミュレーションの有効性検証□解析モデル以下に示す解析モデル(図２)の組み合わせにより、レイトレース法および推定式との比較を行った。
・送信点位置：中央(TxCenter)／中央からオフセット（TxSide）
・断面形状：方形モデル／馬蹄形モデル
・車両：あり／なし

図２.１ 解析モデル（断面形状と送信点位置）

図３．１ FDTD 法とレイトレース法の比較（方形モデル）

（様式 20）成果報告書

図３．２ FDTD 法とレイトレース法の比較（馬蹄形モデル）

図４．２ FDTD 法と推定式の比較

図４．１に FDTD 法における車両あり／なしの比較
結果を図４．２に FDTD 法と推定式[4]の比較結果を、示す。また、図５に方形トンネル断面の電界強度分布10m
Y軸3.8m1.9m

X軸の例を示す。トンネル深部に進むにつれ，基本モードが1010m

TxCenter

0m 100m 200m 300m 400m支配的になっていることがわかる。

図５ 方形トンネル断面の電界強度分布□ 有効性検証・ 方形モデルの場合、FDTD 法では Tx から 800λ、レイトレース法では 200λ の距離まで、また馬蹄形モデルの場合、FDTD 法では Tx から 400λ、レイトレ
図４．１ FDTD 法における車両あり／なしの比較ース法では 50λの距離まで妥当な減衰特性を導出できた。
・ FDTD 法で得られた減衰係数は推定式と良い一致が見られ、トンネル深部ではシングルモードになっていることが確認できた。
・ 今回の形状では方形および馬蹄形モデルの減衰係数はほぼ一致していた。

（様式 20）成果報告書
・ FDTD 法の計算時間は TSUBAME2.0 で 10 ノー

図 8 および 9 は、Sim1 と Sim2 それぞれについて、ドを利用した場合、MPI+GPU で約 2 時間 15 分でスループットを GPU メモリの占有率の関数で表したもあり、GPU クラスタを利用することで十分に解析可のである。双方のモデルにおいて、スループットと占有能である。

率の間に正の相関が見られる。
Sim2 については与えられた占有率に対してスルー（２）スケーリング性の実現方法と高速化効果の検証プットの高いモデルと低いモデルに分けられる(図 9)。こFDTD 解析の速度を評価するにあたり、以下スルーれらは同じ電磁界解析モデルであるが、高スループットプット(単位時間あたりに計算される FDTD セル数)を指を実現した系列は全て、解析空間(直方体)を最長軸に標と する 。 前 掲の 1km ト ン ネ ル モ デ ル に お い て 、垂直な面で等分割し各 GPU に割り振ったものである。

OpenMPI+GPU の解析では最大 20.7 [Gcell/sec]、電磁相互作用は近接相互作用であり、分割面付近のOpenMPI のみの解析では最大 1.62 [Gcell/sec]のスセルを異なる GPU で重複計算させ、隣り合う領域を担ループットが出ており、GPU 上の解析の有効性が示さう GPU 間で共有する。高スループットを実現したモデれている。

ルは、このレイテンシがうまく隠蔽できていることを示し

GPU クラスタ上の FDTD 解析の特性を理解するたていると思われる。

め、本検証では 2 種類の電磁界解析モデル(Sim1,Sim2)について、必要メモリ、セル数、GPU 数、タイムステップ数、メモリアロケートの方法、MPI プロセスの分散の仕方などを変更してベンチマークを実行した。
図 6 および 7 は解析実時間と総セル数×タイムステップ数の相関を表したものである。同じモデルであれば演算性能はほぼ一定値を保っているが、Sim1 と Sim2それぞれで 2 種類の相関に分かれている。

図 10 は 18 GPUs を用いた同一モデルの解析について、ノード数(n)、MPI ランク数(r)、各 MPI プロセスの利用 GPU 数(g)を (n,r,g) = (6, 6, 3), (6, 18, 1) , (18,18, 1) の 3 通りに変化させた場合のスループットである。占有率はほぼ同一であるが、各 MPI プロセスを異なる物理ノードへ分割する方が演算性能が高いという結果が得られた。

（様式 20）成果報告書[5] Gilbert Siy Ching, Kensuke Tsuda, Yukiko
Kishiki,“ComparisonofPropagation

Characteristics Using Ray Tracing Method
andFDTDfor

Wireless

Services

insideTunnels,” IEICE Technical Report, AP 39-44,
July 2012.
[6] Gilbert Siy Ching, Kensuke Tsuda, Yukiko
Kishiki,Masahiko

Kawamura,“FieldPredictions inside Electrically Large Tunnel
with Objects Using FDTD”, in 2012 IEICE
実際の電磁界解析モデルでは、メモリやセル数、タイSociety Conference, A-17-8, Sep. 2012.

ムステップ数が多様になる。しかし、GPU メモリの占有[7] Kensuke Tsuda, Gilbert Siy Ching, Yukiko

率、解析空間の形状と GPU へのアロケートの方法、

Kishiki, “Analysis of Tunnel Propagation

MPI プ ロ セ ス の 負 荷 分 散 を 考 慮 す る こ と に よ り 、Characteristics at 400MHz Using FDTD andFDTD 計算において高い演算性能が得られるという一Ray般的傾向が確かめられた。

Report, Technical Meeting on Electromagnetic

TracingMethods”,

IEICE

TechnicalTheory, EMT-13-009, Jan. 2013.

まとめ、今後の課題[8] Gilbert Siy Ching, Kensuke Tsuda, Yukiko

トンネルのような大規模な問題に対しても FDTD 法

Kishiki, “Analysis of Path Gain Inside Tunnels

は精度的に適用可能であることを確認した。また、大規Based on FDTD and Ray Tracing Methods”,

模解析と現実的な解析時間のためには GPU クラスタ

2013が必須であり、TSUBAME を利用することで、その高Electromagnetic速化効果を検証できた。なお利用成果として、４編の論23PM2E-02, May 2013.

文を発表した。[5-8]
本課題では 300 億セル以上のモデルでの検証も行ったが、今後は TSUBAME2.5 および更に大規模なモデルでの高速化効果を検証したい。

参考文献[1] XFdtd, Remcom, Inc., State College, USA,1994, http://www.remcom.com/xf7[2] XFdtd, Kozo Keikaku Engineering, Inc.,
http://network.kke.co.jp/products/xfdtd/[3] RapLab, Kozo Keikaku Engineering, Inc.,
http://network.kke.co.jp/products/raplab/[4]

Y. Yamaguchi, T. Abe, and T. Sekiguchi, “Onthe approximate equation for the attenuation
constant in tunnels with arbitrary crosssection,” IEICE Trans. Commun. vol. J67-B, no.
3, pp. 352-353, Mar. 1984.

International

Symposium

Theoryon(EMTS2013),