（様式 20）成果報告書

TSUBAME 共同利用 令和 3 年度 学術利用 成果報告書

利用課題名 GPU クラスタを用いたミリ波帯・テラヘルツ帯大規模広帯域電波伝搬シミュレーション
英文：Large-Scale Propagation Simulations of Ultra-Wideband Electromagnetic Fields in Millimeters and Terahertz
Wave Frequencies Using GPU Cluster
チャカロタイ ジェドヴィスノプ
Jerdvisanop Chakarothai
国立研究開発法人情報通信研究機構
National Institute of Information and Communications Technology
URL: www.nict.go.jp
ミリ波帯・テラヘルツ帯における電波は他の周波数帯と比較して、電波の直進性が大きく、見通し伝搬の形態で利用されることが多い。しかし、ひとたび電波伝搬経路のフレネルゾーン内に吸収体・散乱体・反射体などの障害物が存在すると、受信電力の予測手法の複雑さが増大し、不確かさが大きくなる。特に屋内伝搬環境は、壁、天井、机、棚や椅子等の様々な障害物が存在し、伝搬状況を正しく予測することは困難である。そこで、本研究では、オフィス等の室内環境においてミリ波帯（特に 28 GHz 帯）電波の受信電力を高精度に予測するために、大規模電磁界シミュレーション技術を開発した。実際に、大きさ 3 × 4.8 × 2.6 m3 規模の解析モデル(約 384億セルで約 2 TB の総使用メモリ)に対して、大規模 GPU クラスタにより並列計算を行った結果、32 ノード(128GPUs)による計算時間は 1000 ステップ当たり、約 32 分で実用的な計算時間で終えることができた。通常の計算機では、解析が不可能であるモデルであるが、TSUBAME3.0 を用いて 28 GHz 帯屋内電波伝搬環境の解析が可能であることを示した。
Electromagnetic wave in millimeter-wave and terahertz bands is normally used in the line-of-sightcommunication systems due to its directivity since the size of the wall, building, objects, etc., is much larger than
the wavelength of the EM field. When there is an obstruction such as absorbers, scatterers or reflectors inside theFresnel zone of EM propagation path, the receiving power at the receiver fluctuates and changes abruptly.
Therefore, it is difficult to predict the receiving power in such cases, especially, an indoor propagation environment,
since it includes many scatterers such as chair, table, shelf, ceiling, wall, and so on. In this report, we havedeveloped large-scale EM simulation technique for prediction of receiving power at 28 GHz in an indoor
environment (office environment). As a first step, we have performed simulation of mock room having a size of
4.8 x 3 x 2.8 m3 (40.3 billion cells with 2 TB memory usage) by using 32 node (128 GPUs) of TSUBAME3.0 GPU
supercomputer. It takes approximately 32 minutes to calculate 1000 time steps using TSUBAME3.0. Therefore, it
has been shown that large-scale simulation of 28 GHz EM propagation inside an indoor environment is possibleusing TSUBAME3.0.

Keywords: ５つ程度

背景と目的
5G 無線通信や Beyond 5G の次世代無線通信技術は主にミリ波帯電波が利用される。しかしながら、ミリ波環境(特に室内環境)におけるミリ波帯電波の受信電力を高精度に予測するために、超大規模電磁界シミュレーション技術を新たに開発する。

帯電波の伝搬経路のフレネルゾーン内に吸収体・散乱体・反射体などの障害物が存在すると、受信電力の予概要

測手法の複雑さが増大し、不確かさが大きくなる。また、本研究では、オフィス等の室内環境においてミリ波帯波長が短いため、物体の表面形状等による散乱が生じ、（特に 5G 無線通信に使われる 28 GHz 帯）電波の受信従来のレイトレーシング法や光学近似法による高精度電力を高精度に予測するために、TSUBAME3.0 GPUな解析が困難である。特にオフィス等の屋内電波環境クラスタを用いた大規模並列化電磁界シミュレーションにおいては、様々な障害物によって電波が散乱され、技術を開発した。解析に用いた計算手法は、電磁界解複雑な電波環境を形成するため、受信電力を正確に予析でよく使われている時間領域有限差分測することが難しい。そこで、本研究では、様々な伝搬(Finite-difference time-domain, FDTD)法である[1]。

（様式 20）成果報告書
本研究に用いたプログラムは文献[2]-[7]にも用いら
施⼯ボード

れた人体ばく露評価のためのプログラムを改良・拡張したものである。主な改良及び拡張した点は、以下の 3

上ランナー点である。
(1) 電気定数をセルごとに設定するのではなく、セルスタッド
2.3 mの各辺に細かく設定することができるように変更した。

zより細かく、かつ忠実にモデル構築が可能となった。
(2) 従来では、モデリングを行うプログラムと解析プ

yx

下ランナー

2.4 m
3.0 m

ログラムを分離し、モデル全体を一旦ハードディスクに
図 1 模擬部屋 (⼤きさ 3 × 2.4 × 2.3 m3)保存してから、解析の際に読み込む手順を踏んでいたが、大規模モデルの場合、ハードディスク容量が多く要したため、モデルデータをハードディスクに保存することなく、解析プログラムの中に直接組み込んだ。
(3) 様々なアンテナ(特に指向性アンテナ)を精度よく解析領域に組み込むために、アンテナ開口面の電磁界分布を波源とした解析手法に拡張した。
本研究の解析対象としては、主にオフィス等の屋内電波環境であるが、実測結果と比較検討を行うために、(a) xy ⾯

まず、模擬部屋内での電波環境を可視化することを目的とした。実際に、大きさ 3 × 4 × 2.6 m3 規模の解析モ
デル(約 384 億セル、約 2 TB の総使用メモリ)に対して、大規模 GPU クラスタにより高速化を行った結果、32 ノード(128 GPUs)による計算時間は 1000 ステップ当たり、約 32 分で終えることができ、実用的な時間で解析が可能であることを確認した。

結果および考察
まず、図 1 に示すように、実際に測定に用いた模擬(b) xz ⾯

部屋の大きさ 4 × 3 × 2.4 m3 の約 3/5 の体積を有する 3

図 2 模擬部屋内の電界分布

× 2.4 × 2.3 m3 の模擬部屋内に、波源としての長さ 5mm のダイポールアンテナを配置して解析を行った。模ップ数及び計算時間ステップ間隔は、それぞれ 30,000

擬部屋は、r = 2.4,  = 0.001 S/m の施工ボード、金属ステップ及び 1.907 ps である。並列計算に使用したノー製のランナーとスタッドから構成されており、各部の詳

ド数は 16 ノード(64 GPUs)で、使用メモリは約 757 GB で細な寸法は図 1 に示す。床面は、r = 13,  = 0.01 S/mある。30,000 ステップにかかる計算時間は、約 10 時間の厚さ 10 cm のコンクリートである。解析モデルの解像27 分で、1 ステップ当たりの計算時間は、1.255 秒であ

度は、1 mm で、8 層の完全整合層 (Perfectly matchedった。

layers)を含めた解析領域は、3,024 × 2,424 × 2,424 セ

模擬部屋内の 28 GHz における電界分布を図 2 に示ルで、総セル数は、約 164 億セルである。ダイポールアす。図からわかるように、電界強度は自由空間に配置

ンテナの中心座標は、(x, y, z) = (2.0 m, 1.1 m, 1.3 m)でされたダイポールアンテナと同じように、アンテナ中心あ る 。 励 振 周 波 数 は 、 28 GHz と し た 。 計 算 ス テで強く、距離が大きくなるにつれて小さくなる傾向がみ（様式 20）成果報告書

扉
2.4 mzyx
3.0 m4m

図 4 模擬部屋内の電界分布
3

図 3 模擬部屋 (⼤きさ 3×4×2.4 m )てとれる。しかしながら、施工ボートやスタッド等から多重散乱波によって、単純に距離に依存して減衰するのではなく、定在波のような強弱が生じることがわかる。
また、ダイポールアンテナの周囲方向にも同様に電界強度の強弱が生じていることが分かる。
次に、図 3 に示すように、実際の模擬部屋と同じ大きさ(4 × 3 × 2.4 m3)の解析モデルを作成した。模擬部屋には、大きさ 10 × 25 × 10 mm3 の振止めが各スタッド中心を通しており、実際の模擬部屋を完全に再現した。一部施工ボードが切り取られた出入り口を設けた。扉の図 5 ホーンアンテナを波源とした電界分布(垂直⼊射)

材質は、木材とし、比誘電率と導電率は、それぞれ 2.0及び 0.001 S/m とした。解析領域は、3,024×4,824×2,624 セルで、総セル数は、約 384 億セルである。並列計算に使用したノード数は 32 ノード(128 GPUs)で、使用メモリは約 1.62 TB である。8,000 ステップにかかる計算時間は、約 3 時間 9 分で、1 ステップ当たりの計算時間は、1.422 秒であった。図 1 の解析モデルに比べて、約13%増加した。これはノード間通信が増加したことによるものであるが、実際の模擬部屋を実時間で解析することが可能であることを確認した。
図 4 に座標(x, y, z) = (2.0 m, 2.3 m, 1.4 m)に配置され

図 6 ホーンアンテナを波源とした電界分布(斜め⼊射)たダイポールアンテナによる電界分布を示す。図 4 に示る。そこで、本研究では、アンテナの開口面分布の電界すように、28 GHz における電波はほとんど施工ボード及び磁界を波源として入力できるようにした。解析モデを透過し、スタッドによって電界レベルが低い領域(影)ルは、3 × 2.4 × 2.6 m3 とした。ホーンアンテナの開口面ができていることを確認した。また、スタッドからの散乱分布をモーメント法により求めておき、それらを波源とし波と入射波が作る定在波が確認できる。図 2 と図 4 をた。ホーンアンテナを用いた場合、開口面分布は磁流比較すると、領域が狭く、かつ開放部（扉）がないモデのみで表現できるが、任意波源の場合は電流及び磁ルではより複雑な電界分布を示していることが分かる。

流の両方をモデリングする必要がある。図 5 及び図 6

これまでは、波源としてダイポールアンテナを用いたは模擬部屋の外に波源（K バンドの標準ホーンアンテが、実際の 28 GHz 帯電波を発射するアンテナとしてホナ）を設置したときの電界分布を示す。図 5 では、模擬ーンアンテナ等のより指向性が鋭いアンテナが使われ部屋の壁面を平行にアンテナを配置し場合の解析結果

（様式 20）成果報告書である。スタッドの間を透過することが分かる。またホー

value problems involving Maxwell’s equations in

ンアンテナから細く、鋭いビームが形成されていること

isotropic media,” IEEE Trans. Antennas Propag., vol.

を確認できた。一方で、図 6 では、ホーンアンテナを反AP-14, no. 3, pp. 302–307, May 1966.

射板(完全導体)に向けて斜めに配置した場合の解析[2] J. Chakarothai, K. Wake, S. Watanabe, “Scalable

結果を示す。斜めに入射された電波は、スタッドによっGPU-parallelizedて進路が遮られているため、後ろに影ができており、複large-scale

数の細かいビームが形成されていることが見て取れる。

Applied

また、模擬部屋内の電波の反射や散乱の様子がよくわ

Journal, vol. 31, no. 6, pp. 661-668, June 2016.

かる。実際に 20,000 ステップにかかる計算時間は、約 7[3] J. Chakarothai, “Novel FDTD scheme for analysis

時間 53 分で、1 秒当たりの計算時間は、1.412 秒であっof frequency-dependent medium using fast inverse

た。従って、開口面分布を波源とした場合、ダイポール

Laplace transform and Prony’s method,” IEEE Trans.

アンテナを波源とした場合と比較して同程度の計算時

Antennas Propagat., vol. 67, no. 9, pp. 6076-6089,間で解析が可能であることを確認した。一方、使用メモ

Sep. 2019.

リは、884 GB であった。このように、通常の計算ワーク[4] J. Chakarothai, S. Watanabe, K. Wake, “Numerical

ステーションでは、解析が不可能なものに対して、

dosimetry of electromagnetic pulse exposures using

TSUBAME3.0 の大規模 GPU クラスタを用いることによ

FDTD method,” IEEE Trans. Antennas Propagat., vol.

り、実用的な計算時間で大規模電磁界解析が可能で66, no. 10, pp. 5397-5408, Oct. 2018.

あることを示した。

[5] チャカロタイジェドヴィスノプ, 和氣加奈⼦,

FDTD

methodelectromagnetic
Computationalfordosimetryanalysisofproblems,”

Electromagnetics(ACES)

渡辺聡⼀, 陳強, 澤⾕邦男, “超広帯域電磁界解析
まとめ、今後の課題のための周波数依存性 FDTD 法,” 電⼦情報通信

本研究では、28 GHz における室内電波伝搬環境を学会 和⽂論⽂ C, vol. J102-C, no. 5, pp. 102-113,

高精度に解析できる時間領域有限差分法を開発した。

May 2019.

本手法では、これまでのプログラムに対して、(1) セル[6] J. Chakarothai, K. Fujii, “A unified approach forの各辺に対して媒質定数を設定できるようにした。(2)treatment of frequency-dependent materials in FDTD

モデル作成のために一時的にハードディスクに解析モ

method,” ISAP 2019, Xi’an, China, Oct. 30, 2019.

デルを保存する作業を削減した。そして(3) アンテナの[7]開口電磁界分布を波源とした解析が可能となった。例“Convergence of a single-frequency FDTD solution inとして、ダイポールアンテナ及びホーンアンテナを波源

numerical dosimetry,” IEEE Trans. Microw. Theoryとした場合の 3 × 4.8 × 2.6 m3 及び 3 × 2.4 × 2.6 m3 規模

Techn., vol. 64, no. 3, pp. 707-714, March 2016.の模擬部屋内の 28 GHz における大規模電波伝搬の様子をシミュレーションによって可視化することができた。
今後は、解析結果と測定結果との比較を行い、解析手法の妥当性を確認し、さらに、より現実に近いオフィス環境内の電波伝搬を解析し、様々な反射体・散乱体(電波散乱壁やリフレクトアレー等)を組み込んだ大規模電波伝搬解析へ拡張する予定である。

参考文献[1] K. S. Yee, “Numerical solution of initial boundaryJ.

Chakarothai,K.

Wake,S.

Watanabe,