（様式 20）成果報告書

TSUBAME 共同利用 令和５年度 学術利用 成果報告書

利用課題名 時空間並列アルゴリズムを用いた物理シミュレーション
英文： Simulation of Physical Processes using time-space parallelization
善甫 康成
Yasunari Zempo
法政大学 情報科学部
Computer and Information Sciences
http://cis.k.hosei.ac.jp
物理シミュレーションは大規模であり、多くの格子点が必要である。それに伴って並列化ではデータアクセス時間や通信コストの方が、問題を計算する時間より長くなる。この問題を解決するため我々は LRnLA アルゴリズ
ムを開発してきた．空間積分と時間発展を部分的に同時に行うことで対応した。大規模計算の例として OLEDの SPP 伝播と 3 次元地震波シミュレーションからのトモグラフィーの解析を行い、実用的なサイズの計算をと実用的な時間内に計算できることを実証した。今後は実時間 TDDFT について時空間並列化を検討し、光学材料の解析を進める予定である。
Physics simulations are generally large and require many grid points. Correspondingly, inparallelization, the data access time and communication cost are longer than the time required tocompute the problem. To solve this problem, we developed the LRnLA algorithm. We have addressed
this problem by performing spatial integration and time evolution partially simultaneously. As an
example of large-scale computation, we analyzed surface plasmon polaron (SPP) propagation in
OLEDs and tomography from 3D seismic simulations and demonstrated that the algorithm is able
to compute the practical size of computation and in practical time. In the future, we plan toinvestigate the parallelization of real-time TDDFT in space and time, and analyze optical materials.

Keywords: LRnLA Algorithm, FDTD, OLED, OLED, synthetic seismogram

背景と目的

時間

時間

大規模な物理シミュレーション物理シミュレーションには様々な離出の課題がある。もちろん非常に多くの計空間算点(格子点)が必要となるので、大きな計算コストがかかる。解析領域のデータが大きくなるので、データアクセス時間が問題となり、並列化の際データ通信は計算より長い時間がかかる．この大きな課題に対して、我々はLRnLA (Locally Recursive non-Locally asynchronous)

空間

図 1．従来の空間分割(𝑎𝑎)と時空間分割(𝑏𝑏)。実線で囲まれた領域が並列計算の分割単位、矢印が計算の順番を表す。同期はΔ𝑡𝑡毎に取る必要がなく、ある一定時間𝑛𝑛Δ𝑡𝑡毎に取ればよい．

概要

アルゴリズムを用いることで、空間積分と時間発展を部

LRnLA アルゴリズムの特徴は、空間分割だけではな分的に同時に行うこと解決できる．我々はこれまでにく、時間・空間分割によって並列化を行うところにある。

FDTD (Finite Difference Time Domain)に関して、実施し図 1 は我々の時間発展プログラムでの「時空間分割」のってきた．特に、OLED (Organic Light Emitting Display)に同期を取り、次のステップの計算を行う。時空間分割

パーフォマンスの評価を行いつつ、実用的な解析を行でのSPP (Surface Plasmon Polariton) の伝播と、3 次元模式図である。通常の空間分割 (𝑎𝑎) では 1 ステップ毎(𝑏𝑏) では、局所性があれば部分的に時間発展をさせ、地震波シミュレーションからのトモグラフィーの解析の補これを繰り返す。これによりある長さのステップ毎に同期正に関して報告する．

をとるが、基本的に時空間を合わせて分割して計算を進める。我々はこの種の一連の手法をLRnLA アルゴリズムと呼んでいる。このようにするとある決まった領域(ス（様式 20）成果報告書テンシル)のデータを参照しながら計算することになる．
形 状 か ら DiamondTorre,DiamondCandy ,DiamondSeism 等の名前が付けられている．このステンシル内ではデータ通信なしで並列処理が可能であり、24 μm であるが、凹凸のある表面形状では 1.7 μm と大幅に短くなる。

(2) 3 次元地震波シミュレーションからのトモグラフィ

非同期CUDA − blockで処理する。また分割しない軸にーの解析の補正処理を行う．

フィーを用いる際に注意すべきことの一つに不凍土層沿った格子点ではCUDA − block内のCUDA − threadで結果および考察(1) OLED でのSPP の伝播

OLED の解析に用いた形状と領域を図 2 に示すには大きな計算サイズが必要なことが端的にわかる。これだ
けのサイズが使えると、金属電極の凹凸の影響を示すことが可能となる。計算では凹凸の数は40 × 40であり、永久凍土(permafrost)がある地域での地震波トモグラ(Talik)の存在の有無がある。不凍土層があると地震計の記録に干渉によるノイズが発生するからである。3 次
元シミュレーションから、推測した位置にある不凍土層を含む地震層モデルから理論的な地震波が得られるので、地震波トモグラフィーの解析について補正を行い、地震波を正確にとらえることが可能となる。(図 4)

幅 ∆𝑟𝑟 = 5 nm として 7680 × 7680 × 128 個のYee セルを用いた。すべてのシミュレーションでは発光はモデルの中央に配置した垂直は双極子(𝐸𝐸𝐸𝐸成分のみ)から行われるとした。またこの双極子からの発光は 500 nm 狭いスペクトルであるとした。金属上で観測することとしシミュレーション領域の中心から距離 𝑟𝑟 離れた点で電磁場

図 2．計算に用いたOLEDの構造

図 4. 地震層モデル．(𝑎𝑎) Layer1 の141200m-144925m がTalik 層である。地震源は134925mから151200mの空間にあるとした。(𝑏𝑏) 密度の空間分布．

𝑥 (km)の時間的に変化する𝐸𝐸𝑥𝑥 成分を観測する．

𝑡𝑡 (s)

図 5．理論的に求めた地震波。震源付近での変位の速度の大きさを表している。

図 3．2 つの時間間隔での電磁場の分布の様子．計算は 3Dで行われているが、2D 断面での電磁場の様子を示したものである．

震 源 の 振動 数 は 30 Gz で あ る 。( 図 5) モ デ ルの134925 mから151200 mまでの空間内で50 mごと に325個の地震波源がある。地震波センサーは地表に25 m毎に650個設置した。シミュレーション領域は地震金属電極上の凹凸により顕著にその長さが減少するこ計を設置した線に沿って長さ10 kmである。深さは5 kmとがわかった。このときのOLED面での電磁場の様子をである。空間のメッシュ数は1500 × 600 × 256個である。地震計の線の垂線の方向で128メッシュ内には PML

図 3 に示す。SPPの伝播は金属表面では簡単に追跡す層も含んでいるが、球形の波面を持つ地震波の伝播距

一般にSPP減衰長は非常に大きい(20 − 40μm)が、るこ と がで きる。平面形 状で のプ ラズモ ン減衰長は離にからすると減衰は十分である。計算データは13 GB

（様式 20）成果報告書となるので、ノード内で 4 つの独立なシミュレーションを実施することが可能である。時間ステップは~0.667秒であるため、5秒の伝播を図るためには15000ステップ必要 で あ る 。 現 在 の パ ー フ ォ マ ン ス は 3.1 × 109 cell
update per second であり一つの計算は 12 分程度で済んだ。これは実用的な解析を行うために十分な計算速度であり、我々の目的にかなったものである．
まとめ、今後の課題
実際のデバイスサイズでの光学過程のシミュレーションが可能なFDTDコードを用いて、今回、応用研究としてOLEDのSPPの伝播に関して、数値解析および 3 次元
地震波シミュレーションからのトモグラフィーの解析の補正について解析を行った．いずれもデバイスサイズの解析である。これまでに開発したLRnLAアルゴリズムを使ったコードの有用性を実証することができた．
今後の課題として、光学材料等の解析が可能な実時間TDDFT（Time Dependent Density Functional Theory）について時空間並列化を検討する．通常のTDDFT計算と違い時間発展を伴うので、従来これまでFDTD技術で培ってきた時空間並列化の技術の展開が期待できるからである．

参考文献[1] A. Perepelkina, V. Levchenko, "DiamondTorre
Algorithm for High-Performance Wave Modeling",
Keldysh Institute preprints, 2015, #18[2] A. Zakirov, V. Levchenko, A. Perepelkina, Y. Zempo,“High performance FDTD algorithm for GPGPU
supercomputers”, 2016 J. Phys.: Conf. Ser. 759 012100[3] A. Zakirov et al, “Using memory-efficient algorithm
for large-scale time-domain modeling of surface
plasmon polaritons propagation in organic lightemitting diodes”, submitted to J. Phys.: Conf. Ser. 905,012030[4] T. Levchenko, V. Rok, V. Levchenko, A. Perepelkina,
Y. Zempo, “Computer modelling specifics of thegeological structure with contrasting inhomogeneities
under the permafrost conditions” GEOEurasia-2019,
Materials of the International geologic and geophysics
conference and exhibition (Feb. 4-7, 2019, Moscow),
pp. 814-817
https://www.gece.moscow/https://drive.google.com/file/d/1Z7o5H8ZQ6EYqgpa
tcbBEGlaKiEMFiarh/view?usp=sharing