（様式 20）成果報告書

TSUBAME 共同利用 令和 2 年度 学術利用 成果報告書

GPU クラスタを用いたミリ波帯大規模広帯域電波伝搬シミュレーション
Large-Scale Propagation Simulations of Ultra-Wideband Electromagnetic Fields in Millimeters Wave
Frequencies Using GPU Cluster
チャカロタイ ジェドヴィスノプ
Jerdvisanop Chakarothai
国立研究開発法人情報通信研究機構
National Institute of Information and Communications Technology
URL: www.nict.go.jp
これまでのミリ波帯電波伝搬解析において, 地面等の複素誘電率の分散特性が Cole-Cole モデルによって表され,電磁界解析に盛り込むことが困難であった。本研究において, 新たな周波数依存型 FDTD 法を用いることにより,一度の解析で複数点の周波数における解を求めることができ, かつパルス波形の伝搬特性を求めることができた。
大規模 GPU クラスタにより高速化を行った結果, 4 ノード(16 GPUs)による計算時間(10000 ステップ)は 58 分で終えることができ, 通常ワークステーションによる 24 並列での計算よりも約 20 倍速い結果が得られた。
Since dielectric properties of natural materials such as soils are frequency-dependent and they areoften expressed by the Cole-Cole model, it is difficult to incorporate the material properties into
time-domain electromagnetic simulations for analyses of propagation in millimeter-wave band. In thisstudy, we use a new finite-difference time-domain method and perform parallelization on theTSUBAME 3.0 GPU cluster to accelerate the calculation of millimeter-wave propagations. As a result,the acceleration rate performed on the 4 nodes with 16 GPUs was approximately 20 times faster thanthat using common workstation with 24 parallel threads.

Keywords: Large-scale simulations, Electromagnetic pulse, Frequency-dependent, Finite-differencetime-domain method, millimeter-wave

背景と目的

概要

5G や Beyond 5G の次世代無線通信技術はミリ波

ミリ波帯における電波は他の周波数帯と比較して，帯電波が利用される。しかし，ミリ波帯電波は波長が短電波の直進性が大きく，見通し伝搬の形態が多い。しく，表面が凹凸な地面や物体から散乱されやすいため，かし，ひとたび電波伝搬のフレネルゾーン内に該当帯従来のレイトレーシング法や光学近似法による受信電域電波の吸収体・散乱・反射体などが存在すると，受力の予測が困難である。そこで，本研究では，様々な信電力の予測手法の複雑さが増大し，不確かさが大き伝搬環境(地表上・室内など)におけるミリ波帯広帯域くなる。そこで，本研究では，様々な伝搬環境(地表上・電波の受信電力を高精度に予測するために，大規模室内など)におけるミリ波帯広帯域電波の受信電力を電磁界シミュレーションを新たに開発する。加えて，地高精度に予測するために，大規模電磁界シミュレーショ面やコンクリートなどの広帯域な電磁的分散特性を考ンを新たに開発する。加えて，地面やコンクリートなど慮できるようにする。の広帯域な電磁的分散特性を考慮できるようにする。

本プロジェクトでは、ミリ波帯の電波伝搬計算のために、TSUBAME3.0 のＧPU クラスタを用いて、高速に結果および考察解析を行うとともに、物質との相互作用を正確にモデリ

TSUBAME3.0 の GPU クラスタによる大規模電磁ングするために、電磁的特性の周波数分散を考慮でき界シミュレーションのための並列化周波数依存型時間る手法を組み込み、広帯域パルス電磁界に対する大領 域 有 限 差 分

規模電磁界シミュレーション技術を確立することを目的

Finite-Difference Time-Domain, (FD)2TD)法を開とする。

発した[1]-[5]。各ノードにおいて 4 つの GPU を同時に(Frequency-Dependent（様式 20）成果報告書使用し, 並列化を行った。また計算速度を加速するた
めに, GPU 間での通信を NVIDIA の GPUDirect 技術によって直接行うと共に, 各ノード間の通信については, MPI(Message Passing Interface)によって行った。
本研究ではモデルの大きさに合わせて, 計算に使用する並列ノード数を設定し, 開発した並列化 FDTD 法の計算性能及び妥当性を以下のように確認した。

まず、Cole-Cole 分散特性を有する誘電体球モデルに対して、大規模並列化周波数依存型 FDTD 法による解析を行った。誘電体球の半径は 0.1 m で、分散特性を考慮するために、必要な項数は 21 項であった。最大 256 GPUs (64 ノード)を同時用いたと

図 1 Cole-Cole 分散特性を有する誘電体球モデル

きの計算効率（理想的な計算時間と実際の計算時に吸収されるエネルギーの分布間との比）は 82%であった。計算速度に換算すると,55 億セルの電磁界値を更新することができた。誘電体球内に吸収されるエネルギー(Specific EnergyAbsorption)分布を比較した結果、2%以下の差異で一致したため, 本手法の妥当性検討を確認することができた（図 1）。
これまでのミリ波帯電波伝搬において, 地面の複素誘電率の分散特性が Cole-Cole モデルによって表され,

図 2 ミリ波帯電波の地表の電波伝搬解析（自由空間電磁界解析に盛り込むことが困難であったことから, 単伝搬及び地表電波伝搬）一周波数によって解析が行われてきた。本研究において, 新たな周波数依存型 FDTD 法を用いることにより,まとめ、今後の課題一度の解析で複数点の周波数での解を求めることがで本研究は，GPU クラスタを用いることによって高速にき, かつパルス波形そのものを求めることができる。特モデル環境内における電波伝搬の解析が可能となり，に、地中レーダ等において、実際のパルス波形を信号様々な条件における伝搬モデル推定のためのデータを処理に用いることができることから、高精度・高分解能取得できた。さらに，同一環境内における複数デバイスなイメージング手法の開発にも有用であると考えられる。

によって形成された電磁環境を解析でき，次世代無線また GPU により高速を行い, ミリ波帯電波伝搬に用い通信システムの設計にとって非常に重要な技術である。

ると共に, 大規模 GPU クラスタにより高速化を行った

今後は、大規模計算に適した吸収境界条件の設定や結果, 4 ノード(16 GPUs)による計算時間(10000 ステッ

計算高速化、さらなる高周波化してテラヘルツ帯電波プ)は 58 分で終えることができ, 24 コアの CPU で並列対する電波伝搬解析が課題である。

したワークステーションによる計算速度よりも約 20 倍速

本研究の目標を達成するために, 東京工業大学のい結果である。さらに, ノード数を増やすことにより, 計TSUBAME3.0 の GPU クラスタの計算資源を多く利用算速度を向上させることができる（図 2）。

させて頂いた。また GPU クラスタの不具合が生じたとさらに, ミリ波帯の伝搬伝搬解析では, これまで大規きに早急かつ丁寧に対応して頂いたことに感謝する。

模で計算時間が長くかかったものを GPU クラスタの使おかげで, FDTD 法による大規模電磁界シミュレーショ用により現実的な計算時間で解を得ることができ, 今ン分野においては, Cole-Cole 分散特性を考慮できる後のミリ波帯の研究を加速させることができる。

周波数依存型 FDTD 法の大規模並列化が可能となり,

（様式 20）成果報告書
多くの 研 究会・ 国際 会議 で の発 表を 行うこと がで きた人体近傍 UWB 信号の到来波電力遅延特性解[6]-[10], 非常に大きな成果が得られた。今後, 学術論

析,” 電子情報通信学会 ソサイエティ大会, B-19-7,文への執筆・投稿も進める予定である。

pp. 323, 2020 年.
[9]

Jerdvisanop

Chakarothai,KatsumiFujii,

参考文献“Retrieval of Debye Parameters from Cole-Cole[1] Jerdvisanop Chakarothai, “Novel FDTD scheme forModel for Broadband FDTD Analyses,” ISAP 2020,analysis of frequency-dependent medium using fast

Osaka, Japan, Jan. 25-28, 2021.

inverse Laplace transform and Prony’s method,” IEEE

[10] Li Kun, Jerdvisanop Chakarothai, Katsumi Fujii,

Trans. Antennas Propagat., vol. 67, no. 9, pp. 6076-6089,“FDTD analysis of pulsed electromagnetic fields for

Sep. 2019. DOI: 10.1109/TAP.2018.2878077

intra-vehicle UWB radios using a voxel human head[2] Jerdvisanop Chakarothai, Soichi Watanabe, Kanakomodel,”Wake, “Numerical dosimetry of electromagnetic pulse

Technologies for Communications (ICETC) 2020,exposures using FDTD method,” IEEE Trans. Antennas

H1-1, Dec. 12, 2020.

Propagat., vol. 66, no. 10, pp. 5397-5408, Oct. 2018.
DOI:10.1109/TAP.2018.2862344.
[3] チャカロタイジェドヴィスノプ, 和氣加奈子, 渡辺聡
一, 陳強, 澤谷邦男, “超広帯域電磁界解析のための周波数依存性 FDTD 法,” 電子情報通信学会 和文論
文 C, vol. J102-C, no. 5, pp. 102-113, May 2019.
[4] 小内利仁, チャカロタイジェドヴィスノプ, キックアル
フレード, 鈴木敬久, 柴山純, “GPU を用いた超並列計算による高速逆ラプラス変換及び Prony 法を適用した周波数分散性 FDTD スキームの高速化に関する検討,” 電子情報通信学会 和文論文 C レタ ー , vol.
J102-C, no. 5, pp. 156-160, May 2019.
[5] Jerdvisanop Chakarothai, Katsumi Fujii, “A unified
approach for treatment of frequency-dependent materials
in FDTD method,” ISAP 2019, Xi’an, China, Oct. 30,
2019.

[6] チャカロタイジェドヴィスノプ, 勝巳藤井, “高速逆ラプラス変換と Prony 法を適用した広帯域時間領域電磁界解析及びその応用,” 電子情報通信学会
ソサイエティ大会, CS-1-5, pp. S9-S10, 2020 年.
[7] 鈴木敬久, 小内利仁, 柴山純, チャカロタイジェドヴィスノプ,“FILT 及び Prony 法を用いた(FD)2TD ス
キームの並列化とパフォーマンス評価,” 電子情報通信学会 ソサイエティ大会, CS-1-6, pp. S11-S12,2020 年.
[8] 李鯤, チャカロタイジェドヴィスノプ, 勝巳藤井,和氣加奈子, 有馬卓司, 宇野亨 “FDTD 法を用いInternationalConferenceonEmerging