（様式 20）成果報告書

TSUBAME 共同利用 平成 28 年度 産業利用 成果報告書

GPU マルチノードを活用した大規模電波伝搬の FDTD 法による再現
Reproduction by large-scale radio wave propagation of the FDTD method utilizing the GPU multi-node
山本 康典
Yasunori Yamamoto
マツダ株式会社
Mazda Motor Corporation
URL: http://www.mazda.co.jp
自動車同士でお互いの位置や状態を無線通信にて交換することで、見通し不良の交差点で接近車両の存在をシステムにより検知し注意喚起する協調型安全運転支援（V2X）システムの実用化が始まっている。一方、無線通信電波は、道路交通環境において建物や道路上の車両などにより複雑に反射、回折を繰り返して干渉し、受信特性は大きく変動する。弊社では、この道路交通環境に特有な電波伝搬特性とその結果に至る伝搬メカニズムを解明することを上位目的として、FDTD 法を用いた電波伝搬数値解析技術の開発に取り組んできた。本課題では、ハ
イブリッド並列の 3D_FDTD（2,4）法の解析プログラムを開発し、5.8GHz 帯の電波伝搬を高精度に再現できることを確認した。また、TSUBAM 2.5 を用いることで、100m 規模の伝搬計算が現実的な計算時間内（1 日以内）で実行可能なことを検証した。
V2X communication system has been turned into actual utilization for a safety driving system ofwarning about approaching cars at a bad line of sight intersection. On the other hand, radio wave
causes interference intricately by buildings and cars, as a result the propagation character fluctuate.
Our company has been making studies on FDTD radio wave propagation calculation method to clarify
V2X propagation character and mechanism. In this article, we developed the hybrid parallel 3D
FDTD(2,4) code, and then made sure being able to reproduction 5.8GHz radio wave propagation withhigh accuracy. And we showed to be able to finish calculation of 100m scale radio wave propagation
within one day.

Keywords: V2X, 5.8GHz, FDTD, electromagnetic simulation, GPU multi-node

1.

背景と目的る FDTD 法（Finite Difference Time Domain method）[1]

自動車同士でお互いの位置や状態を無線通信にてを用いた電波伝搬数値解析技術の開発に取り組んで交換することで、見通し不良の交差点で接近車両の存きた。FDTD 法は、解析空間を波長の 10 分の 1 以下の在をシステムにより検知し注意喚起する協調型安全運

サイズのセルで分割して計算するため、高周波数帯に転支援（V2X）システムの実用化が始まっている。一方、なるほど計算規模が膨大となり、使用メモリ量が過大と無線通信電波は、道路交通環境において建物や道路なるとともに現実的な時間内での解析が困難となる。

上の車両などにより複雑に反射、回折を繰り返して干本課題では、FDTD 解析に GPGPU（General-Purpose

渉し、受信特性は大きく変動する。通信環境によっては、computing on Graphics Processing Units）[2]と MPI

データ復元に最低限確保すべき PER（パケットエラー率）（Message Passing Interface）技術[3]を応用し、マルチを超えて、安全運転支援サービスを提供できなくなる事

GPU 搭載の複数ノードが高速通信で接続されている態も起こりうる。環境変化に対してロバスト性が高いシTSUBAME 2.5 を用いることで、メモリ量と計算時間のステムを実現するためには、現実の道路交通環境下の問題解決を図る。本取組の第一目的は、マルチ GPU

電波伝搬特性を精度高く把握し、システム設計に反映で動作可能な高精度 FDTD 解析（FDTD(2,4)法）プログすることが重要である。

ラムを開発し、5.8GHz 帯において理論値（2 波モデル）

弊社では、この道路交通環境に特有な電波伝搬特性と計算結果の一致を検証することである。第二目的は、とその結果に至る伝搬メカニズムを解明することを上位

100m 規模の伝搬計算が現実的な計算時間内（1 日以目的として、電磁波の支配原理に基づき厳密に計算す内）で実行可能なことを検証することである。

（様式 20）成果報告書
2.

FDTD 法の概要

計算の 1 計算ステップでのセル同士の電界または磁界FDTD 法は、マクスウェル方程式（式（1）、（2））に差分の独立性により解析空間を並列に計算できる特長を活法を適用して、離散化した式（3）、（4）に基づき、空間領かし、GPU を用いることで高速化を図り、MPI 並列で複域と時間領域で分割し、電界成分と磁界成分を交互に数ノードの並列計算で大規模化を図ることとした。ただ計算する手法である。電界成分と磁界成分は、図 1 にし、GPU 毎に解析空間を分割して割り当てた場合に、示す Yee 格子上に配置して計算し、このボクセルで解分割した空間で境界処理が必要であり、境界に袖領域析空間を分割する。

を設け GPU 間でデータ転送する処理を織り込んだ。

∇×𝑬 = −

∂𝑩
∂t(1)

𝜕𝑫
𝜕𝑡(2)

∇×𝑯= 𝑱+11𝑛𝑛𝜕𝐹(𝑖, 𝑗, 𝑘, 𝑡) 𝐹 (𝑖 + 2 , 𝑗, 𝑘) − 𝐹 (𝑖 − 2 , 𝑗, 𝑘)=+ 𝑂(∆𝑥 2 )
𝜕𝑡
∆𝑥
1(3)

1

𝜕𝐹(𝑖, 𝑗, 𝑘, 𝑡) 𝐹 𝑛+2 (𝑖, 𝑗, 𝑘) − 𝐹 𝑛−2 (𝑖, 𝑗, 𝑘)=+ 𝑂(∆𝑡 2 )
𝜕𝑡
∆𝑡(4)

また、さらなる高速化を狙い、ノード内の GPU はOpenMP で並列化し、ノード間を MPI で並列化するハイブリッド並列[6]に対応するとともに、境界処理のデータ転送量を削減する独自の工夫を織り込んだ。

3.

5.8GHz 帯の 3D FDTD(2,4)計算の妥当性検証
弊社で開発したハイブリッド並列の 3D_FDTD(2,4)法の解析プログラムで、5.8GHz 帯の電波伝搬を 25 ノードの 50 個の GPU 計算で高精度に再現できるか検証した。
計算条件を図 2 と表 1 に示す。解析空間サイズは、V2X

Ey

Hzの伝搬解析で最低限確保したいと考えている、交差点周辺としての距離 50m を上回る長さとした。伝搬環境と(i+1, j, k+1)

ΔzHx

しては、路面に対して水平アンテナがあり、最もシンプルな干渉条件である 2 波モデル（直接波と反射波の 2Hy波干渉）とした。理論値と比較するため、路面を金属導Ez体に設定した。
zyx

Ex1.12m(22.4λ )(i, j, k)(i+1, j, k)Δy1.5m(29λ )Δx

図 1. FDTD 法における電磁界配置（Yee 格子）

1.12m(22.4λ )2.24m(44.8λ )64m(1280λ )1/2波長ダイポールアンテナ（水平設置）

金属導体

ただし、一般的な 2 次精度差分法の Standard-FDTD

2.24m(44.8λ )法では、伝搬距離に比例して位相誤差が累積し[4]、図 2. 2 波モデルの解析条件

V2X 伝搬のような大規模解析では計算誤差が顕著に

表 1. 5.8GHz 帯伝搬計算の検証条件なる。そこで、我々は 4 次精度差分法の FDTD(2,4)法を採用した。FDTD(2,4)法では、クーラン数を最適化する

周波数

5.8[GHz]

解析空間

64m×2.24m×2.24m

ことで、空間的に生じる位相誤差と時間的に生じる位

セルサイズ

0.005168836[m] （=λ/10)

相誤差を相殺でき、ほぼゼロとすることができる[5]。

計算手法

FDTD(2,4)

クーラン数 CFL

0.13105以下とする必要がある。このため、5.8GHz 帯（波長：時間ステップΔ t

2.26E-12 [s]0.05m）の伝搬において、交差点周辺（100m 程度）規模

放射源

λ/2ダイポールアンテナ、連続サイン波の計算では、数 100 億セルを要し、使用メモリ量が数計算ステップ数

125000 [回]

TByte となる。計算時間は、CPU で計算する場合、数年吸収境界

PML 32層、R0=1.0E-32、M=4となる見積りである。この問題に対して、我々は、FDTD＊R0：入射角0[°]の反射係数、M：導電率分布の次数

また、FDTD 計算ではセルサイズを波長の 10 分の 1（25.7億セル）

（様式 20）成果報告書
計算結果として、受信電力の空間分布を図 3 に示す。

テナから近距離では近傍界となることで、振幅が小さく

この結果より、直接波と反射波の干渉による電力の山なり、理論値（理想的な水平面無指向性のダイポール・谷を示す干渉縞を確認できる。ただし、可視化データがアンテナからの伝搬）と差異がある。しかしながら、大きすぎるため、本来はない縞模様のエリアシングが我々が着目している伝搬領域（5m 以降の遠方界領域）現れている。赤枠の部分を拡大したものを図 4 に示す。

では、電力のピークレベル、ヌル位置ともに理論値と良拡大すれば、本来ない縞模様は消えて、正しい干渉縞く一致している。この結果より、FDTD 計算で 5.8GHz 帯がきれいに表れていることを確認できる。この結果より、の電波伝搬を正確に再現できることを検証できた。

大規模データにおいて、正確且つ伝搬現象を分かりや4.

すく可視化する技術の構築が今後の課題であることが分かった。

ウィーク・スケーリングの調査
V2X の 通 信 エ リ ア の よ う な 大 規 模 空 間 に お け る

5.8GHz 帯の電波伝搬計算を、現実的な計算時間内で受信電力の空間分布（y-z面）

単位 [dBm]実行できるか検証した。
計算条件を図 6 と表 2 に示す。ここでは、y 方向の長さが 1.28m で使用メモリ量が 5.53GByte（0.5 億セル）の解エリアシング

図 3. 受信電力の空間分布

析空間を一つの GPU で計算する一塊として、使用するGPU の数を増やし、y 方向に解析空間を拡大していったときの計算時間の変化を調べた。ただし、ハイブリッ
ド並列の計算では、GPU_ID = 0 と 1 により実行している
ため、ノード内でも QPI 経由となっている。
zx

1GPUの計算範囲=1塊

GPUの数を増やすと、この塊が増える

y1/2波長ダイポールアンテナ

448cell
224cell= 1.12m

図 4. 送信アンテナ周囲の拡大図

224cell = 2.24m= 1.12m・・・・・

290cell= 1.5m448cell= 2.24m2cell= 0.01m
256cell= 1.28m

路面（金属導体）図 6. ウィーク・スケーリング調査の解析モデル
表 2. 計算条件
周波数

図 5. 受信電力の距離特性

解析空間

5.8 [GHz]（1.28m×2.24m×2.24m）× ｎ[* n = 1～100、0.5億セル～50億セル]

セルサイズ

0.005168836[m] （=λ/10)

計算手法

FDTD(2,4)

クーラン数 CFL

0.13105

時間ステップΔ t

2.26E-12[s]放射源λ/2ダイポールアンテナ、連続サイン波

計算ステップ数

2500[回]/1GPU

変数の型

float (GPU)

受信電力の空間分布データから、アンテナ位置高さ使用メモリ量5.53GB(float)/1GPUのデータを切り出し、横軸をアンテナからの距離として吸収境界

PML 32層、R0=1.0E-32、M=4プロットした結果を図 5 に示す。FDTD 計算結果とともに、＊R0：入射角0[°]の反射係数、M：導電率分布の次数2 波モデルの理論値も合わせて記載している。FDTD 計

調査結果を図 7 に示す。横軸が GPU の数[個]（また算では、送信アンテナのエレメントを考慮しており、アンは解析空間の長さ[m]）で、縦軸が計算時間[hour]であ（様式 20）成果報告書る。ただし、100 個の GPU の計算時間は、定常状態の 8分の 1（31,250step）までの計算時間の結果から見積も工学社、p.20-31、2010[3]った数値である。

片桐 孝洋、並列プログラミング講習会「MPI 基礎：並列プログラミング初級入門」、東京大学情報基盤センター

この結果より、100m 規模の 5.8GHz 帯の電波伝搬計[4]

園田 潤、大規模電波伝搬解析に適した波動方程式に算が、弊社で開発したプログラムを用いることで、現実基づく FDTD(2,M)法の数値分散と並列計算特性、信学的な計算時間内（1 日以内）で実行可能であることを検技報、AP2009-12、p.7-12、2009

証できた。
0[5]20

GPU数 [個]6040よる大規模電波伝搬解析に関する研究、東北大学博士
80100120100.0

計算時間 [hour]

10.017.5 H

ハイブリッド並列1.0[6]用）、東京大学情報基盤センター
1.00

0.100.00.01

20.0

40.060.080.0100.0
解析空間長さ [m]120.0140.0

図 7. ウィーク・スケーリング調査結果
まとめと今後の課題
ハイブリッド並列の 3D_FDTD(2,4)法の解析プログラ
ムを開発した。この解析プログラムには、分割した解析空間を連結するための境界処理および、境界処理を高速化するための独自の工夫を織り込んでいる。
最もシンプルな干渉条件である 2 波モデル環境で5.8GHz 帯の電波伝搬を計算した結果、FDTD 計算値と理論値は良く一致することを確認でき、開発したプログ
ラムの妥当性を検証できた。
また、TSUBAME 2.5 を用いて、ウィーク・スケーリン
グを調査した。その結果、5.8GHz 帯における 100m 規
模の電波伝搬計算を現実的な計算時間内（1 日以内）で実行可能であることを検証できた。
今後の課題としては、大規模計算データにおいて、正確且つ分かりやすく可視化する技術を構築することであり、本格的に V2X の電波伝搬特性と伝搬メカニズムの解明に取り組むことである。

参考文献
[1]

宇野 亨、FDTD 法による電磁界およびアンテナ解析、
コロナ社、p.22、2009[2]

片桐 孝洋、Hybrid 並列化技法（MPI と OpenMP の応

10.00

MPI並列

0.1

5.

学位論文、p.78-83、2005

100.0039.6 H24 H

0.0

園田 潤、高次 FDTD 法とクラスタを用いた並列計算に青木 尊之、額田 彰、はじめての CUDA プログラミング、