10th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 平成30年度採択課題

jh180034-NAH

青木尊之 (東京工業大学 学術国際情報センター)

MPF法によるトポロジー最適化を用いた負荷バランスとノード間通信低減を両立させる動的領域分割の開発
研究背景と目的

従来の動的領域分割の利点と欠点

計算領域を局所的に細分化するAMR（Adaptive Mesh Refinement）法は直交格子を用いながら計算効率を大幅に改善できるが、計算負荷が局所空間に集中する。空間充填曲線を用いて分割を行えば、分割のコストも少なく、計算の負荷バランスを均一にできるが、各領域が凸形状にならないために領域間通信が大きなオーバーヘッドになる。一方、Metis のようなグラフ分割は通信コストの最適化を行えるが、分割コストが大きいため、動的AMR法のように計算負荷の空間分布が時間変化する問題（動的領域分割）には適用できない。
計算の負荷バランスと領域間の通信低減を両立するコストの低い、新たな動的領域分割法の開発が必要である。本研究では、材料分野において多結晶・多相構造の組織形成過程の計算で使われているMPF（マルチフェーズフィールド）法を動的領域分割に適用する新しいアイディアを試みる。動的なAMRを適用したステンシル計算にMPF法による動的領域分割を適用し、その有効性を確認することを目的とする。

空間充填曲線• 領域分割のコストが少ない• 領域形状が複雑で、通信コストが増加

グラフ分割• 領域間通信の最適化• 分割のコストが高く、動的領域分割への適用困難

研究計画

グラフ分割

MPF法による領域分割

8分木の格子細分化ベースのAMR法を用いた大規模ステンシル計算に対し、負荷分散と通信量削減を両立するMPF法による動的領域分割法を開発する。GPUスパコンでの実装を前提とするため、リーフには8×8×8などのパッチを割り当てる。

一般的なMPF法による多結晶組織では大きい結晶粒が粗大化し、小さい結晶粒は収縮し消滅するため、領域分割に適用するために体積補正項を導入する。結晶粒・各相を各ノードで計算する領域と見なし、計算負荷と隣接領域との通信を同時に均一化するような制限を与える。計算と通信に関する2つのパラメータ𝑘を調整することで、どちらを優先するか選択できる。

• MPF法の時間積分は単一ノードで計算し、CPUまたはGPUコードの作成とチューニングを行う。動的領域分割のコストを評価する。
• 気液界面追跡のための保存形Allen-Cahn 方程式を与えられた速度場での移流させる計算に対し、界面に適合するAMR法の複数GPU実装を行い、その動的領域分割に本研究のMPF法を適用する。
• 保存形Allen-Cahn 方程式の大規模移流計算に対しスケーリングを測定し、空間充填曲線による領域分割との比較を行う。MPF方程式の計算を移流計算とオーバーラップさせることにより領域分割時間の隠蔽を試みる。
• AMR 法 の 気 液 二 相 流 計 算 に お い て 、 MPF 法 に よ る 動 的 領 域 分 割 を 行 い 、TSUBAME3.0でスケーリングを取得する。

𝑁𝑁

𝑗=1𝑘=1𝜕𝜙𝑖2= − ෍ 𝜔𝑖𝑗 ෍ 𝜔𝑖𝑘 − 𝜔𝑗𝑘𝜕𝑡𝑛

一般的なMPF法による多結晶組織成長過程Time𝑁𝛿𝜔𝑖𝑗
comp𝐶𝑖𝐶𝑖comm𝑘4𝛿 2 2
𝜙𝑘 + 2 𝛻 𝜙𝑘 + Ω𝜋

計算コスト・通信コストに基づく体積補正項
comp

Ω = 𝑘 comp 𝐶𝑖

研究グループ代表者
青木 尊之 （東京工業大学）
副代表者
高木 知弘 （京都工芸繊維大学）
課題参加者 山中 晃徳 （東京農工大学）
課題参加者 杉原 健太 （東京工業大学）
課題参加者 黄 遠雄（東京工業大学）
課題参加者 渡辺 勢也 （東京工業大学）
課題参加者 長谷川 雄太 （東京工業大学）
課題参加者 松下 真太郎 （東京工業大学）
課題参加者 Xiangyu Y. Hu （ミュンヘン工科大学）

空間充填曲線（モートン曲線）

領域分割の流れcomp− 𝐶𝑗+ 𝑘 comm 𝐶𝑖comm − 𝐶𝑗comm

計算コストの均一化

𝛻𝜙𝑖 2 𝛻𝜙𝑗2

：結晶粒の数：結晶粒界面の厚さ：識別パラメータ：領域𝑖の計算コスト：領域𝑖の通信コスト：パラメータ

通信コストの均一化
AMR格子を分割

1. MPF法の各相を各ノードの計算領域とみなし、AMR格子を分割設定した負荷バランスになるまで繰り返す

2. 各小領域の計算コスト・通信コストの見積もり
comp

計算コスト𝐶：小領域のブロック数
通信コスト𝐶 comm ：小領域表面のブロック数

各小領域のコスト

3. MPFの時間発展方程式を1ステップ計算
MPFの結晶粒組織

MPF法の高速化手法

分割対象のAMRの格子

Active Parameter Tracking法

AMR格子の領域分割テスト

用いる変数φの数は領域分割の数に比例して増え、1000ノードに領域分割する場合は1000個の変数φが必要になる。全領域に変数φのメモリを確保すると破綻するため、必要な領域にのみ変数φを割り当てて使う。

MPF法を用いて2次元と3次元の静的なAMR格子の分割を行った。高解像度のAMR格子が集中している領域には小さい結晶粒、粗い格子の領域には大きい結晶粒が形成され、計算コスト均一化のパラメータ𝑘 comp のみ与えた場合は、95%以上のロードバランスを達成した。MPF法で分割された小領域は凸形状であることが確認できる。

セルベースAMR
MPF法の計算セルはAMR法の最小リーフと同程度の解像度に設定するが、大規模計算では各リーフを1点で代表したとしてもMPF計算がかなり大規模になってしまう。AMR格子とは別のMPF方程式を計算するためだけのNarrow Band のような格子細分化用いて、効率的な計算を行う。

MPFの多結晶組織
分割されたAMR格子の格子（格子は計算セルを示す）（格子はリーフを示す）

動的領域分割への適用

2次元AMR格子の分割

分割されたAMR格子（赤色が小領域界面）

3次元AMR格子の分割

200

MPF iterations

AMR法を導入した保存形Allen-Cahn 方程式の界面移流計
算に、提案したMPF法の領域分割を導入し、動的負荷分散の検証を行った。負荷バランスの誤差を5%以下に抑えた動的負荷分散が行えた。分割された小領域は凸形状をしている。
一回の領域分割に対するMPF法の反復計算回数は、AMRメッシュの変化が大きいときは数十回、変化が小さいときはわずか数回であり、領域分割のコストを抑えられている。

MPFの結晶粒界面MPF法と空間充填曲線の強スケーリング比較

150100500012345Time [s]67Performance [mega cell updates / s]

MPF法の反復回数8

界面捕獲手法の3次元AMR計算に対してTSUBAME3.0の8GPUから128GPUまでの強スケーリングを測定し、MPF法と空間充填曲線による領域分割の比較を行った。MPF法の領域分割では計算コスト均一化（𝑘 comm = 0）と通信コスト均一化（ 𝑘 comp = 0 ）の2つのパラメータ設定で行った。MPF法を用いることで従来のモートン曲線よりも通信時間を削減し、高い実行性能を示した。MPF法のパラメータを調整することで、計算時間と通信時間の比率を変えることに成功した。
4000

3000

2000

10000

渦速度場での界面の移流計算、左から𝑡 = 0, 1, 2, 3, 4 s（上：気液界面プロファイル、下：領域分割）

Comp. centricComm. centric
Morton curve
50100
Number of GPUs

強スケーリングの実行性能

150

実行時間の内訳

学際大規模情報基盤共同利用・共同研究拠点 第10回シンポジウム
2018年 7月 12日，13日

THE GRAND HALL （品川）