（様式 20）成果報告書
TSUBAME 共同利用 平成２８年度 学術利用 成果報告書

利用課題名 : LRnLA アルゴリズムを用いた物理シミュレーション
英文：Simulation of Physical Processes with LRnLA Algorithms
善甫 康成
Yasunari Zempo

法政大学 情報科学部

Computer and Information Sciences, Hosei University
http://cis.k.hosei.ac.jp/
LRnLA (Locally Recursive non-Locally asynchronous) アルゴリズムに基づいた FDTD コードのパフォー
マンスと並列効率を検証している。LRnLA アルゴリズムにより計算の局所性から相互依存グラフを使って数値計算の課題を時空間分割によってほぼ 100%に近いスケーリング性能を得ることができた。局所性があれば、通常の空間分割による並列化に比べ非常に高い性能を出すことができるので、計算資源を極めて有効に使うことができる。これまでの利用ではパフォーマンスの確認に留まっていたが、今回、応用研究としてこのコードを用
いて OLED の表面プラズモンポラリトンの伝播およびマイクロキャビティーWGM (Whispering GalleryMode) 共振器の数値解析を試みることができた。
We have previously verified the performance and parallel efficiency of our FDTD code based onLRnLA (Locally Recursive non-Locally asynchronous) algorithms. The performance goals wereachieved and scaling was close to 100%. This is possible, because LRnLA algorithms improve thelocality of computations by space-time decomposition of the dependency graph of the numericalproblem. Since locality is greatly improved in comparison with usual (e.g. domain decomposition)
methods of parallelisation, computer resources are used more efficiently. Previous studies
concerned only the performance, this time we used the code for simulation of various physicalproblems. Namely, surface plasmon polariton propagation in OLED, and analysis of the whispering
gallery mode in the micro cavity resonator.

Keywords: FDTD, LRnLA, OLED, WGM resonator
背景と目的
マルチスケールに関する物理シミュレーションには様々な課題がある。非常に多い格子点が必要となることから当然大きな計算コストがかかる。また解析領域のデータが大きくなるので、データアクセス時間が問題となり、並列化の際にデータ通信の方が計算より長い時
間 が か か る 。 LRnLA (Locally Recursive nonLocally asynchronous) アルゴリズムは空間積分と時間発展を部分的に同時に行うことを特徴としている。具体的にはシミュレーションにおける空間積分と時間発展の依存性をグラフの分析から最適な計算順序を求めている。これによりデータ通信と計算性能の不均衡を解消するために柔軟に対応できる。
我々は 2015 年度に FDTD (Finite DifferenceTime Domain)コードに関してパフォーマンス評価を実施し、満足得られる結果が得られた。そこで様々な物理シミュレーションに対して同様に適用し、我々の手法の有効性を確認したいと考えている。今回、FDTD 法を用いて以下の２つの問題の解析が行った。いずれも優れた計算効率が得られることが判明した。
(1) OLED (Organic Light Emitting Display)でのSPP (Surface Plasmon Polariton) の伝播
OLED は複数の層で構成された電界発光素子である。OLED によって生成された電磁波が OLED の金属陰極の表面に SPP を誘起する。これにより大きな損失チャンネルが構成され、光取出し効率の低下につながっている。
OLED の光取出し効率向上に効果があるとして用いられている手法として、陰極金属の表面形状を凹凸にすることにより、SPP によるエネルギー損失を減じ光取出し効率を向上させる手法がある。もちろん OLEDの発光の際、多層構造と陰極金属の凹凸構造の相互作用を正確に解析するためには数値計算が必須となる。
しかし SPP の伝播や減衰を正確に記述するためには、取出し方向に対して横方向に大きな計算領域を確保する必要がある。今回の解析では DTmaxwell コードを用いて銀など長い減衰時間を持つ金属材料でも SPPの動的な減衰の様子を解析できることを示すことができた。
(2)マイクロキャビティーWGM (Whispering GalleryMode, ささやきの回廊) 共振器の数値解析。
WGM 共振器はレーザー、フィルター、センサーや変調器など数多くの分野で使われている最新技術である。
マイクロキャビティーに局在した電磁場によって WGMの効率を向上に関する理論的な研究が多くなされている。例えば Q 値を増加させる。あるいはサイズを小さくする。更に電磁波と共振器の固有モードの相互作用を（様式 20）成果報告書改善するなどがあげられる。もちろん解析的な推測では全体の状況を把握することが難しいので FDTD による数値モデルに基づいた計算が必要となる。
概要
LRnLA アルゴリズムの特徴は、空間分割だけではなく、時間・空間分割によって並列化を行うところにある。
図 1 は我々の時間発展プログラムでの「時空間分割」の模式図である。通常の空間分割 (a) では 1 ステップ毎に同期を取り、次のステップの計算を行う。時空間分割 (b) では、局所性があれば部分的に時間発展をさせ、これを繰り返す。これによりある長さのステップ毎に同期をとるが、基本的に時空間を合わせて分割して計算を 進 め る 。 我 々 は こ の 種 の 一 連 の 手 法 を LRnLA(Locally Recursive non-Locally Asynchronous) アルゴリズムと呼んでいる。詳細は参考文献[1, 2, 3]参照。
時間時間

空間ての格子点は CUDA-block 内の CUDA-thread で処理する。ノード内の並列化はこの DiamondTorre の並びを 3 つの GPU へ分散して実行する。ノード間の並列化は、図 4 に示したように、𝑋𝑋-𝑡𝑡 時空間の分割によって行う。

図 4．ノード間の並列化

図 5 は TSUBAME2.5 において、我々の FDTD コー
ド DTMaxwell の Weak scaling の結果である。計算領域 𝐿𝐿 = 5 µm, メッシュ幅 𝛥𝛥𝛥𝛥 = 5 nm の場合、データサイズは 8.7 GB で計算時間が約0.5 h となる。同様に
𝐿𝐿 = 10 µm では 38.4 GB で4.5 h、𝐿𝐿 = 20 µm では
140 GB で36 h、𝐿𝐿 = 40 µm では 550 GB で290 h となる。これらの事から Weak scaling はほぼ完璧であり、GPU を追加することにより線形的に加速されることがわかる。

空間

図 1．通常の空間分割(左)と我々が開発してきた時空間分割(右)．基本的な形状．三角領域の中では独立して計算ができる．この計算の局所性を利用する．

図 1 に示したケースを基に、時空間を合わせた 4 次元領域に対して 𝑋𝑋-𝑌𝑌-𝑡𝑡 時空間分割を行うと、 図 1~4に示すようなプリズム形状に分割することができる。なおここでは 𝑍𝑍 軸では分割しない。もちろん 4 次元領域
では各時間ステップに対応した計算が行われる。図 2
は、このプリズム (DiamondTorre と呼ぶ) 内での計算毎の依存関係を示している。また図 3 に示すように
DiamondTorre 内ではデータ通信なしで並列処理が可能である(図 2)。これを実現するため非同期 CUDAblock で処理する。 𝑍𝑍 軸（図には示していない）に沿っ

図 2．時空間の分割（DiamondTorre）

図 5．DTMaxwell の Weak scaling の様子

結果および考察(1) OLED での SPP の伝播解析に用いた形状と領域を図 6 に示す。OLED の解析には大きな計算サイズが必要なことが端的にわかる。これだけのサイズが使えると、金属電極の凹凸の影響を示すことが可能となる。計算では凹凸の数は40 × 40であり、幅 ∆𝑟𝑟 = 5 nm と し て 7680 × 7680 ×
128 個の Yee セルを用いた。すべてのシミュレーション
では発光はモデルの中央に配置した垂直は双極子(𝐸𝐸𝐸𝐸成分のみ)から行われるとした。またこの双極子からの発光は 500 nm 狭いスペクトルであるとした。金属上で観測することとしシミュレーション領域の中心から距離𝑟𝑟 離れた点で電磁場の時間的に変化する𝐸𝐸𝑥𝑥 成分を観図 6．計算に用いた OLED の構造
図 3．CUDA-block による非同期並列処理．

（様式 20）成果報告書測することとした。一般に SPP 減衰長は非常に大きい(20 − 40µm)が、金属電極上の凹凸により顕著にその長さが減少することがわかった。このときの OLED 面での電磁場の様子を図 7 に示す。
SPP の伝播は金属表面では簡単に追跡することができる。平面形状でのプラズモン減衰長は24 µm であるが、凹凸のある表面形状では 1.7 µm と大幅に短くなる。

WGM (Whispering Gallery Mode) 共振器の数値解析を試みることができた。いずれもデバイスサイズの解析である。OLED の解析では、SPP の伝播追跡が可能なサイズであり、WGM 共振器の解析では、計算を行 っ た 領 域 が 15 × 5 × 15 µm で あ り サ イ ズ 的 に もTSUBAME2.5 初 め て で き る サ イ ズ で あ る 。 ま た
LRnLA アルゴリズムによる時空間分割により、これらの計算をほぼ 100%に近いスケーリング性能で行うことができた。
今後はもっと多くの物理的な問題へ適用して行く予定である。特に高精度を保ちつつ巨大なメッシュが可能となるため、実問題の解析が可能な点を生かした解析を行う予定である。

図７．2 つの時間間隔での電磁場の分布の様子．計算は3D で行われているが、2D 断面での電磁場の様子を示したものである．

(2) WGM
図 8 に WGM の概形を 3 次元形状が描かれている。
数値計算を行った領域は15 × 5 × 15 µm であり、半径がR = 6 µm の球が垂直方向に 5 μm 離れた 2 つの面で切り取られた形をしている。 また図 9 では計算領域での電磁場の分布が示されている。WGM 共振器で計算結果から Q-値を求めたが、解析的に求めた結果と一致している。

図 9. 計算領域での電磁場の分布

参考文献[1] A. Perepelkina, V. Levchenko, "DiamondTorre
Algorithm for High-Performance Wave Modeling",
Keldysh Institute preprints, 2015, #18[2] A. Zakirov, V. Levchenko, A. Perepelkina, Y.
Zempo, “High performance FDTD algorithm for
GPGPU supercomputers”, 2016 J. Phys.: Conf.
Ser. 759 012100[3] A. Zakirov et al, “Using memory-efficientalgorithm for large-scale time-domain modelingof surface plasmon polaritons propagation inorganic light emitting diodes”, submitted to J.
Phys.: Conf. Ser.

図 8. 計算での WGM 共振器の構造まとめ、今後の課題
実際のデバイスサイズでの光学過程のシミュレーションが可能な FDTD コードを用いて、今回、応用研究としてこのコードを TSUBAME2.5 の GPU クラスター用
いて OLED の SPP の伝播およびマイクロキャビティー

[4] V. Levchenko, Y. Zempo et. al., Numerical 3D
Simulation of the Light Propagation in the
Optical WGM-microresonator by the FDTD
Method, 3A1.5, IEEE International Conference
on Computational Electromagnetics (ICCEM2017) (8-10 March, 2017, Kumamoto, Japan).