― 10 ―SENAC Vol. 55, No. （1 2022. 1）［共同研究成果］

細線化ならびに多層化されたプリント基板の FDTD 解析における高速化の検討
⻑野⼯業⾼等専⾨学校

春⽇

貴志

プリント基板は⾼速⼤容量のデータ処理や多機能化に伴い，多層化ならびに配線の細線化が⾏われている．有限差分時間領域（FDTD）法を⽤いた電磁界解析を実⾏する場合，プリント基板構造により最⼩の単位セルサイズが決定するが，セルサイズに対して基板⾯積が広いため解析が膨⼤となる．本研究では，MPI による計算の⾼速化について検討した．セル数によるベクトル化率についての検討では，256 の倍数の前後においてベクトル⻑は増えるが，演算時間とベクトル化率に⼤きな影響がないことがわかった．また，ノード数の⽐較では，ノード数を増やすことで概ね増えたノード数だけ⾼速化が実現できていることが分かった．SX-ACE と SX-Aurora TSUBASA (以下、SX-Aurora)の⽐較では，SX-ACE に対して SXAurora は約 4〜5 倍の⾼速化が実現できることが明らかとなった．

1．はじめに5G や 4k・8k 放送などの普及により，⼤容量データを処理する電⼦機器の性能は向上している．電⼦機器の⾼性能化に伴い，プリント基板内の信号伝送は⾼速化している．プリント基板内の信号伝送における信号品質（Signal Integrity: SI）の改善や，ノイズ放射（Electromagnetic Interference: EMI）を低減させる
ためには，設計時に回路シミュレータや電磁界シミュレータにより SI や EMI の検討[1〜4]を⾏った上で，設計へフィードバックする．しかしながら，⾼性能化や⾼機能化により，プリント基板の部品点数は増加しており，信号配線が増加するために基板の多層化ならびに配線の細線化が進んでいる．現在，プリント基板の層間の距離や線路幅，線路間隔は約 0.1mm オーダーが多い．このような基板の電磁界解析を⾏うためには，構造的な⼨法を正しく解析モデルに反映させるため，線路構造よりも⼩さなセルでモデル化する必要がある．⼩さなセルサイズに対し，基板の⾯積は⼤きいため，電磁界解析を⾏う際には⼤規模解析となる．
本報告では，厚みに対して表⾯積が遙かに⼤きいプリント基板を対象とした電磁界解析において，MPIを⽤いた有限差分時間領域（FDTD）解析の⾼速化について検討した．また，今回は SX-ACE と SX-Auroraの更新時期に共同研究に採択されたこともあり，それぞれのコンピュータ同⼠の性能の⽐較も⾏った．
2．解析対象図 1 に解析対象のプリント基板モデルを⽰す．今回は，計算の⾼速化に関する内容であるため，プリント基板は簡易的なモデルとした．FDTD 解析における単位セルサイズはx=y=z=1mm である．時間ス
テップは 10,000 ステップとした．

細線化ならびに多層化されたプリント基板のFDTD 解析における高速化の検討― 11 ―

図 1 プリント基板

16 ノード
図 2 MPI による解析イメージ

32 ノード

図 3 16 ノードと 32 ノードの区分

FDTD 解析を行う場合，MPI プロセス数の違いによる解析の高速化を行う．図 2 に MPI プロセスを用いた 8 ノードの空間分割のイメージ図を示す．FDTD 法の場合，プリント基板とその周辺を取り巻く自由空間，解析の最外殻に吸収境界条件（ABC）として Perfect Matched Layer（PML）を設ける必要がある．
プリント基板と自由空間の電界と磁界は，各ノード共に共通のアルゴリズムにより解析が行えるが，PMLは最外殻に適用されるため，ノード毎に PML の配置を変更する必要がある．このため，MPI プロセス数が増えるほど PML の解析プログラムの行数が増える．
比較対象として，16 ノードと 32 ノードのイメージを図 3 に示す．16 ノードは x 方向に 4 分割，y 方向に 2 分割した．32 ノードは x と y 方向をそれぞれ 4 分割した．z 方向に分割数を増やさない理由として
は，プリント基板の厚みは薄いため，z 方向のセル数が増加しない傾向があるためである．一方で，x とy 方向は基板の平面方向にあたり，基板面積が増えるほどセル数が増大する．

図 4 ベクトル化率の検討図

― 12 ―

SENAC Vol. 55, No. （1 2022. 1）

3．ベクトル化率の検討

25098.84 の解析モデルにより解析を行った．x 方向のセル

Real Time [sec]

数は 2028 から 2068cell まで変化させた．x 方向を他平均ベクトル長160の y や z よりも大きくすることで，x 方向をベクト200140ル演算させる．演算には SX-Aurora を用いた．図 5Real Time
平均ベクトル長に MPI 8 の解析における解析時間（Real Time），平120

98.6

98.4

ベクトル演算率

均ベクトル長，ベクトル演算率の変化を示す．なお，

ベ ク ト ル 演 算 率 [%]

セル数に対するベクトル化率を検討するため，図2040
2060
x方 向 セ ル 数

この値は Rank 0～7 プロセスの平均値である．ベク
トル演算率に注目すると 98% 以上になっており，

図 5 MPI 8 による演算時間とベクトル長，ベク高効率な計算ができているといえる．またセル数がトル演算率（SX-Aurora）

2064 cell と 2068 cell のときを比較すると，2068 cell では平均ベクトル長が 28.8，ベクトル演算率が 0.12%低下し，Real Time が 9.3 秒増加した．セル数が 2068 cell のときに Real Time が増加しベクトル演算率が低下したのは MPI 通信の処理によるものと考えられる．
図 6 に MPI プロセス数 16（以下 MPI 16）による演算時
250

解析空間の中央のノードには，吸収境界条件 PML の解析

100
Real Time
平均ベクトル長80平均ベクトル長について，x 方向セル数が 2048 cell（=256図62040
2060
x方 向 セ ル 数

MPI 16 による演算時間とベクトル98100なったために，9 個目のベクトル長の効率が落ちたためとときに Real Time が増加しベクトル演算率が低下したのは MPI 通信の処理によるものと考えられる．

Real Time [sec]cell ではベクトル演算率が低下した．セル数が 2044 cell の80200

して吸収層の厚みのセル数が少ないため，ベクトル長に影97.697.4

Real Time
平均ベクトル長ベクトル演算率

20402060
x方 向 セ ル 数

算率の結果を示す．MPI 16 と同じ傾向が得られた．MPI 8る．PML は，電波吸収のために 9 層設けている．面に対97.815060

図 7 に MPI32 での演算時間とベクトル長，ベクトル演だけ異なる傾向になった理由としては PML の影響であベ ク ト ル 演 算 率 [%]250考えられる．
また，ベクトル演算率については，x 方向セル数が 2044100長，ベクトル演算率（SX-Aurora）

cell では平均ベクトル長が低下した．これは 1 プロセス当たりの解析空間の x 方向セル数が 256 の倍数より大きく97.8

ベクトル演算率28.1 秒増加した．

98150

向セル数が 2044 cell になったとき，急激に Real Time が×8）までは高い平均ベクトル長を維持しているが，2052

平均ベクトル長については，PML の違いによる差は見られなかった．x 方98.2200

平均ベクトル長

ル長や演算率については，ノードにより異なる．演算時間

Real Time [sec]が，最外殻のノードと比較して少ない．このため，ベクト12098.4

ベ ク ト ル 演 算 率 [%]間と平均ベクトル長，ベクトル演算率を示す．MPI16 では，

図7100

MPI 32 による演算時間とベクトル長，ベクトル演算率（SX-Aurora）

細線化ならびに多層化されたプリント基板のFDTD 解析における高速化の検討― 13 ―

響が出たと考えられる．
4．ノード数による比較
図 8 に MPI のノ

3000

ード数を変化させ

MPI 8

ACE ， (b) が SXAurora による演算
時 間 で あ る ． SX-2000

MPI 161000

はメモリ量が足り0400
MPI 16200

MPI 32

MPI 32

Aurora の MPI8 の1400cell について

MPI 8Real Time [sec]示 す ． (a) が SX-Real Time [sec]た際の演算時間を600ないため計算が実行できなかった．

80010001200
y方 向 セ ル 数

01400

80010001200
y方 向 セ ル 数

1400(b)SX-Aurora(a)SX-ACE

図 8 ノード数による演算時間の比較結果

SX-ACE の 1400cell で比較すると，MPI8 に対して MPI165048

では 43%，MPI32 では 25%に時間が短縮し，高速化が実て MPI16 では 60%，MPI32 では 35%に時間が短縮した．
ノード数が 2 倍，4 倍に増えたにも関わらず，演算時間が50%，25%にならなかった理由としては，分割処理やプロセス間通信によるオーバーヘッドの影響と考えられる．
SX-ACE と SX-Aurora との比較では，MPI 8 の 1000cellのとき，演算時間は SX-ACE が 2275.7 秒，SX-Aurora が426.4 秒であり，SX-ACE よりも 18.7% に時間が短縮した．同じく，MPI16 では 25.6%，MPI32 では 26.0%まで時間が短縮した．新しい SX-Aurora では，約 4～5 倍の高速使用メモリ量 [GB]現できる．一方，SX-Aurora の 1200cell では，MPI8 に対し化が実現できた．

600

4030205001000
y方向セル数1500

図 9 使用メモリ量の推定（SX-Aurora）

SX-Aurora の MPI8 でメモリ制限により計算が実行できなかったことについて考察する．SX-Aurora のVE のメモリ上限は 48GB である．図 9 に，MPI 8，16，32 の解析で使用したメモリ量を示す．解析規模に比例して使用するメモリ量が増加していく様子が読み取れる．1 つの VE に搭載されているメモリは48 GB であるため，これ以上メモリを消費するような解析はできない．MPI 8，16，32 で解析できる最大の空間の規模を予想すると，図 9 のメモリ使用量の予測の点線と横軸との交点を読み取り，x 方向を4200，z 方向を 400 と一定にしたとき
MPI 8 :4200 × 1300 × 400cell

MPI 16 : 4200 × 1550 × 400cell
MPI 32 : 4200 × 1700 × 400cell程度と推定した．細線化した基板などの解析のため，これ以上のセル数のモデルを扱う場合には，使用す― 14 ―

SENAC Vol. 55, No. （1 2022. 1）

るノード数を増やして計算を分散させる必要があると考えられる．
5. まとめ
本報告では，厚みが薄く，面積が広いプリント基板構造のような偏った解析対象を想定し，SX-ACE な
らびに SX-Aurora により計算の高速化について検討した．その結果，セル数によるベクトル化率についての検討では，256 の倍数の前後においてベクトル長は増えるが，演算時間とベクトル化率に大きな影響がないことがわかった．また，ノード数の比較では，ノード数を増やすことで概ね増えたノード数だけ高速化が実現できていることが分かった．SX-ACE と SX-Aurora の比較では，SX-ACE に対して SX-Aurora
は約 4～5 倍の高速化が実現できている．ただし，SX-Aurora の VE のメモリ上限が 48GB であるため，解析規模が大きくなると実行できないことが分かり，大規模解析には MPI の数を増やすことが不可欠である．
今後，プリント線路の細線化や高密度化が進むと予想され，解析に求められる規模が 10 年前から飛躍的に大規模化している．このため MPI64 や MPI128 についても検討が必要である．
謝辞：
本研究は，令和 2 年度萌芽型課題「MPI によるプリント基板の電磁界解析法の高速化」として行った．高速化に対して，東北大学サイバーサイエンスセンターからの支援に感謝する．
参考文献[1] T. Kitazawa, R. Kitahara, T. Yamagiwa, J. Chakarothai, Y. Hayashi, T. Kasuga, "Basic Study on a Novel FDTD

Method Implemented Frequency Dispersion of PCB", 2021 Joint IEEE International Symposium on EMC+SIPI
and EMC Europe, TP-WED-8B-4, (2021).
[2] 北澤太基，春日貴志，林優一他，“FDTD解析を用いたFR-4基板の異方性が与える信号伝送への影響の検討”，電子情報通信学会環境電磁工学研究会，EMCJ2021-17，（2021.7）[3] 北澤太基，春日貴志他，“コネクタにおける信号伝送評価のための3D解析モデルの構築”，電子情報通信学会環境電磁工学研究会，EMCJ2020-67，(2021.1)．
[4] 北澤太基，春日貴志他，“周波数分散性を組み込んだFDTD法によるFR-4基板の信号伝送解析に関する基礎検討”，電子情報通信学会環境電磁工学研究会，EMCJ2020-44，(2020.10)．