（様式 20）成果報告書

TSUBAME 共同利用

平成 30 年度

学術利用

成果報告書

利用課題名 LRnLA アルゴリズムを用いた物理シミュレーション
英文：Simulation of Physical Processes with LRｎLA Algorithm
善甫 康成
Yasunari Zempo
法政大学 情報科学部
Computer and Information Sciences
http://cis.k.hosei.ac.jp/
永久凍土地域の地震探査で注意しなければならないことに、不凍土層(talik)の存在が地震記録に干渉を引き起こすことが知られていることである。 この干渉はシミュレーションで予測することができ、その記録を解析することにより不凍土層に起因した地震波の解析結果について補正を行い、地震波を正確にとらえることが可能である。この解析では以前に開発された DTmaxwell を基に高度に改良したDiamondSeism を使用した。 このコードは 1 秒間に最大 14 億のセル更新を実行し、層状媒体の地震弾性波解析を行うことが可能である。 我々は Putorana 台地の地震モデルを使用し、1 件あたり約 50GBのメモリが必要なシミュレーションを 1000 件以上行うことができた。
In the seismic surveys in the areas of permafrost, the regions of melted soil, talik, are known to causeinterference on the seismograms. The interference may be predicted with computer simulation, andthis is used to introduce corrections into real seismogram analysis. We use the code DiamondSeism,
which is an advanced version of a previously developed and tested code DTmaxwell. The code
simulates seismic elastic waves in a layered media with a performance up to 1.4 billion cell updates
per second. We have used the seismic model of the Putorana plateau, and obtained results for morethan 1000 simulations, while each required about 50GB of memory.

Keywords: LRnLA Algorithm, Hooke’s law, synthetic seismogram, FDTD

Depth (km)ーションを行うと、データ量は50GB以上になる。
背景と目的
また幾つかの震源位置での地震解析の結果を得るに永久凍土(permafrost)がある地域での地震波トモ
は 、必要 な計算 を1000 ケ ース以 上行う 必要があグラフィーを用いる際に注意しなければならないこる。との一つに不凍土層(Talik)の存在の有無がある。
このためには効率的なアルゴリズムを持つ並列コ不凍土層があると地震計の記録に干渉によるノイズードと高性能計算機の利用が不可欠となる。本プロが発生することが知られている。3 次元全波数値シジェクトでは、GPU を使用して地震波の伝播現象
ミュレーションを使用すると、推測した位置にあるをシミュレーションする高性能コード
不凍土層を含む地震層モデルから理論的な地震波がDiamondSeism を many-GPU の 環 境 で あ る得られる。その記録を解析することにより不凍土層
TSUBAME3.0 に移植し不凍土層を含む地震層モデに起因した干渉の検出が可能になり地震波トモグラ
ル計算を実施した[1]。
フィーの解析について補正を行い、地震波を正確にとらえることが可能である。
計算コストの観点から、不凍土
Layer
0.0
Talik
1
層は低速度層であるので、解析の2-1.0
解像度は空間ステップによって決34-2.0
まり、それがモデルの全計算量を5決める。4 次近似の数値スキームを-3.06使用すれば、空間ステップは一番-4.0短い波長の 8 分の 1 程度で、十分で-5.0あり必要な精度が得られるモデル
020406080100120140160180 km
リングが可能である。不凍土層の P
図 1．地震層モデル。 Layer1 の 141200m-144925m が Talik 層で波の伝播速度は𝑉𝑝 ~2400 m/s, S 波ある。地震源は 134925m から 151200m の空間にあるとした。の伝播速度はVs ~1550 m/sであるので、長さが~10 km程度のシミュレ（様式 20）成果報告書/ m概要
地震波の伝播の数値モデルはフックの法則とニュートン運動の法則からなる[2]。モデルは、応力テンソルと変位速度ベクトルの時間発展をあらわす。
使用されている Finite-Difference 数値スキームは空間で４次近似、時間で二次近似である[3]。境界条件として PML を使用し、地震波源のため TF/SF法を使用している。なお本モデルは以前、DTmaxwell コード[4]を基本に TSUBAME2.5 とTSUBAME3.0 上で開発してきた解析を実施してきた実績のあるものである。
図 1 に地震層モデルを示す。地表から地球内部に向かって主要な構造が 6 層ある．これらの層を用い
図 2 に示す層のパラメータ依存性を考慮しシミュレーションを行った。図 2 に密度の空間依存性、P 波および S 波の伝播速度との空間依存性を、それぞれ
図 3 および図 4 に示す。本プロジェクトで用いたモデルは 3 次元データを用いた 3 次元解析であるが、1 断面をとり 2 次元の表示としている。伝播速度が低い Talik 層は Layer1 の中の 141200m-144925mに示してある。
本コードの特徴は、LRnLA アルゴリズムの使用していることである。この数値計算スキームでは局所依存性を考慮し、メモリバンド幅への負担をできるだけ最小化・緩和する。また LRnLA アルゴリズ

2.62.4
2.2
2.0
1.8
1.6
1.4
1.21.0020406080100120140160180km

図 2．密度の空間依存性

4.2(a)

10 m/s3.83.43.0𝑉𝑝

2.6
2.2020406080100120140160180(b)10 m/s

2.4𝑉km

2.22.01.81.61.4020406080100120140

図 3．P 波(a)および S 波(b)の伝播速度の空間依存性

160180km

（様式 20）成果報告書

ムは、全メモリ階層と全並列法を考慮し temporal
blocking[5] の 考 え 方 を 更 に 進 め た 形 に な っ て いる。GPU の場合、計算のデータを比較的に大きいレジスタファイル内に閉込め CUDA-スレッドの並列性を使う[4]。このため Many-GPU とプロセス並列性も併用することができるため、並列スケーラビリティは必然的に良くなる。これらの結果は 2018年迄の我々の成果報告で既に示した通りである。
結果および考察TSUBAME3.0 の ノ ー ド 内 の 4 つ の NVIDIA
Tesla P100 を用い計算を行った。
震源の振動数は30 Gzである。モデルの134925 mから151200 mまでの空間内で50 mごとに325個の地震波源がある。地震波センサーは地表に25 m毎に650個設置した。シミュレーション領域は地震計を設置した線に沿って長さ10 kmである。深さは5 kmである。空間のメッシュ数は1500 600 256個である。地震計の線の垂線の方向で 128 メッシュ内には PML 層も含んでいるが、球形の波面を持つ地震波の伝播距離にからすると減衰は十分である。

計算データは13 GBとなるので、ノード内で 4 つの独立なシミュレーションを実施することが可能である。時間ステップは~0.667 秒であるため、5 秒の伝播を図るためには 15000 ステップ必要である。現在の パ フ ォ ー マ ン ス は 3.1 109 cell update persecond であり一つの計算は 12 分程度で済む（図 3.
参照）。
計算結果の例として、図 4 では理論的に求めた地震計の記録が表している。これは、𝑡 − のグラフ
で 変位の 速度の 𝑉 で あ る。 z- 軸は 下に 向いて いる。不凍土層による反射が良く見える。
まとめ、今後の課題
これまでに開発した LRnLA アルゴリズムを使ったコードを地震波の伝播計算に応用した。
TSUBAME3.0 でバッチ計算を実施した。低速度層によって空間ステップ、及びクーラント条件で決める時間ステップの制限が厳密であるが、短時間で600 位上の理論的な地震波解析が可能となった。

km

図 3．計算処理のパフォーマンス

𝑡 s

図 4．理論的に求めた地震波。震源付近での変位の速度の大きさを表している。

（様式 20）成果報告書

参考文献[1] T. Levchenko, V. Rok, V. Levchenko, A.
Perepelkina,
Y.
Zempo,“Computermodelling specifics of the geologicalstructure with contrasting inhomogeneities
underthepermafrostconditions”
GEOEurasia-2019, Materials of theInternational geologic and geophysics
conference and exhibition (Feb. 4-7, 2019,Moscow), pp. 814-817
https://www.gece.moscow/https://drive.google.com/file/d/1Z7o5H8ZQ6
EYqgpatcbBEGlaKiEMFiarh/view?usp=sharing[2] Aki, Keiiti, and Paul G. Richards,“Quantitative seismology”, 2002.
[3] Levander Alan R. Fourth-order finitedifference P-W seismograms // Geophysics.
53(11), p1425-1436., 1988
[4] A. Zakirov, V. Levchenko, A. Perepelkina, Y.
Zempo, “High performance FDTD algorithm for
GPGPU supercomputers”, J. Phys.: Conf. Ser.
759 012100, 2016[5] Endo, Toshio. "Applying Recursive Temporal
Blocking for Stencil Computations to Deeper
Memory Hierarchy." 2018 IEEE 7th NonVolatile Memory Systems and Applications
Symposium (NVMSA). IEEE, 2018.