8th Symposium

学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 平成２８年度採択課題

jh160057-NAH

都築怜理 (海洋研究開発機構)

動的負荷分散によるGPUスパコンを用いた粒子法の大規模シミュレーション手法の開発 Ⅲ －Debris Flow の衝撃による構造物の破壊－
研究目的と内容
本研究は、平成 26 年度申請課題 (課題番号 jh140036-NA20 )及び、平成 27 年度申請課題 (課題番号：jh150048-NA26)の継続課題である。昨年度までは、DEM(個別要素法)による粉体計算、SPH 法による流体計算、SPH-DEM 連成による流体構造連成計算を GPU スパコン上で可能にし、様々な大規模シミュレーションを実現した。 本年度は、これまで開発した GPU スパコンにおける大規模粒子法シミュレーション手法をさらに発展させ、地形や構造物と流体との連成や、破壊計算の実現など、応用問題に適用できるようにすることを目的としている。すなわち、一連の継続課題の最終段階の研究である。
【研究メンバー】

本研究で解決する課題を具体的に列挙すると以下の様になる。

都築怜理 (海洋研究開発機構)
青木尊之 (東京工業大学)

1) GPU スパコンにおいて有限要素法 (FEM: Finite Element Method) を用いた地形や構造物との連成計算を実現する。

西浦泰介 (海洋研究開発機構)

2) 多数の浮遊する物体を含む場合や、構造物の 2 次破壊を想定し、分散メモリ環境や複数GPU環境において高効率な物体管理法を提案する。 森口周二 (東北大学)
3) 粒子法による脆性破壊の簡単なシミュレーションを行えるようにして、計算コストによる動的負荷分散を導入して高い並列化効率を実現する。 井元佑介 (東北大学)
4) 3)とは別に、SPH 法や DEM-SPH 法による流体がFEMで表現された地形や構造物に作用する場合の応答シミュレーションを可能にする。

本年度 (2016)

昨年度まで (2014～2015)

nn

複数GPUを用いた近接相互作用の粒子シミ
ュ レーシ ョンにおいて、 動的負荷分散法は並列化効率を維持し、 大規模シミュレーシ ョンを実現可能にするために必須の手法である。平成 26 年度の研究により、我々は先駆的に「スライス・グリッド法」による動的負荷分散を導入し、多様な粉体・ 流体の大規模シミュ レーシ ョンを実現することに成功した。一方、「スライス・ グリッ ド法」 による動的負荷分散は256GPU〜512GPUを用いた段階で著しく並列化効率が悪化することがわかり、 大規模化を阻む大きな要因となっていることが明らかになった。

n3種類の空間充填曲線 (左から、ヒルベルト曲線、モートン曲線、ペアノ曲線)

平成 27 度は、「空間充填曲線」という再帰的に定義される曲線を用いた格子細分化による階層的な動的負荷分散法を新たに導入することにより、粉体や流体の大規模シミュレーシ
ョンにおける大幅な並列化効率の向上を試み、 弱スケーリ ングでは従来手法と比べて42%の並列化効率の向上、 強スケーリングでは2倍以上の実行性能の向上を達成した[1]。一方 TSUBAME2.5における強・弱スケーリングの比較、SPH法の強スケーリ ングでは通信と計算のオーバーラップの導入により 並列化効率の向上も実現している。 平成27年度の最後には、社会的に意義の大きい応用問題として多数の瓦礫を伴う大規模な土石流のシミュレーションを実現した。
浮遊する瓦礫を多数含んだ大規模土石流シミュレーション

GPU スパコンにおいて有限要素法(FEM: Finite Element Method) を用いた地形や構造物との連成計算を実現する。 本研究では、freefemや libmesh をはじめとする既存のライブラリ やアプリケーシ ョンを用いて連成計算を実現する。 これらの既存のア プリ ケーションの多く は通常のCPUの実行を想定して開発されているため、本研究では流体計算をデバイス(GPU)側で実行し、 地形や構造物の構造計算はホスト(CPU)側で実行するハイブリット手法を採用する。

Computational workflows

Nishiura(2014) は、多数の物体を扱い、1. 有限要素法(FEM)により表現された地形・構造物とSPH法との連成計算の実現

GPU間の動的負荷分散手法の開発及び大規模流体/粉体シミュレーションの実現

GPUCPUCopy of particle data in theneighboring area of structures

SPHFEM

orSPH + DEM
http://www.sim.gsic.titech.ac.jp/indexj.html

http://libmesh.gi
thub.io

http://www.freefem.org/

GPUスパコンにおけるSPH-FEM
連成計算のハイブリット実装の概念図

nGPUスパコンの持つ階層的なメモリ構造を活かし、SPH 法による流体計算に、FEM による構造計算の一部をオーバーラップさせる手法を用いる。構造物と流体の連成は流体側から構造物への片方向の連成 (one-way-coupling) とし、連成に必要な構造物の表面近傍の粒子だけをパッ キングしてCPU側に転送する。
GPU側で次の時間ステップの流体計算を行っている間に、CPU 側で有限要素法の計算を完了する。SPH法による流体計算における袖領域のハロー通信や、
SPH-DEM連成におけるGPU間リダクションの操作などが、FEM 計算で行われる構成方程式の通信と同時に行われないように実装する。

nGPUスパコンにおいてベンチマーク問題に対するFEM-SPH (or SPH-DEM)連成シミュレーションの並列化効率を調べ、本研究で提案するハイブリット手法の適用領域を明らかにする。また、並列化効率を向上させる方法について検討する。

nGPUスパコンにおいてSPH-FEM計算を実現する一方、GPU に適した有限要素法の計算アルゴリズムについても検討し、 上記のようなハイブリッ ド手法ではなくSPH-FEM 計算過程のすべてをGPUで行う実装についても考察する。

2. 多数の物体を含んだ大規模流体構造連成シミュレーションの並列化効率の向上
多数の瓦礫を含む場合やそれらの 2 次破壊を
【昨年度までの物体管理法】考慮する場合など、シミュレーション領域内に多数の物体が存在する際の効率的な物体管理方法を複数 GPU 計算で導入する。
平成 27 度では 10,368 個の瓦礫 を含 んだ
DEM-SPH による大規模流体構造連成シミュレー
シ ョンを実現することができた。しかし、右上に示すような物体管理法を用いており並列化効率の著しい低下を引き起こしていた。本研究では、各物体はいくつかの粒子によって構成されている。したが【重心による物体管理法】って、物体の並進運動と回転運動を計算するためには、その物体を構成する各粒子が保持する力と10 23 45トルクの総和計算が必要になる。しかし、物体を構成する粒子は分割領域を跨いで計算領域にラ ン
ダ ム に 分散 して い る ので、 ま ず はそ れ ぞ れ のGPU 上で注目する物体を構成する粒子を探索して各粒子が保持する力とトルクなどの物理量を足し合わせた後、それらを Root を担当する GPU に A B C D E F G H I J K L M N O P
Reduction させる実装になっている。
本年度は各物体のReduction 先をいくつかに分【物体番号による管理法】
けることにより、物体番号について並列化を実現して並列化効率を上げることを試みる。「重心による102345
物体管理法」に示すように各物体の重心座標が属する計算ごとに Reduction 先を分けるのが理想的である。しかし、このような実装は非常に困難である。そこで、本研究ではあらかじめ物体番号によってReduction先を分けておく「物体番号による分AB C D E FG H I J K LM N OP
散管理法」により並列化効率の向上を試みる。

これまで開発した大規模計算手法をベースに、 1) や 2) を導入して様々な応用問題の大規模シミュレーションを実現

4. SPH法の流体作用による地形・構造物の構造解析
建物など静止する流体構造連成では、現状では右上図に示すように粒子で表現されており、また構造物内部の構造力学計算は行われていない。本年度は個々の建物や地形面を有限要素法(FEM)で表現し、それらの構造物内部の応力解析を行えるようにする。
昨年度のJHPCNの採択課題では、FEMにより構造物と地形形状を表現し、粒子法(MPS)法による流体作用力が構造物に与えられた場合の流体構造連成解析を京コンピ
ュータで行った例がある[2]。また、MPS-FEMの効率的な連成方法も提案されている[3]。
参考文献の[2]では浮遊する構造物はドラム缶形状の構造物ひとつであった。本研究では2)の課題の達成により多数の浮遊物を含むSPH法による流体計算(DEM-SPH連成計算)の高効率化を実現し、それらと FEMで表現された地面形状・構造物との連成計算を、GPUを搭載した演算加速器型スパコンで実現する。
有限要素法(FEM)の計算は構造力学計算をどこまで考慮するかにより計算手法や計算コストが異なる。本研究では簡単のため、流体と構造の連成は片方向連成とし、各構造物では微小変形までを対象とする。

3. 粒子法による構造物の簡易な破壊シミュレーション
平成 27 年度までの流体構造連成では、構造物内部の力学計算は行われていない。本年度は個々の構造物に対しても EDEM (拡張型個別要素法) を導入して粒子法による簡単な破壊シミュレーションを扱えるようにする。
EDEM は通常の DEM と異なり、構造物を構成する粒子間で間隙バネが常に作用し、ある閾(しきい)値を設けて間隙バネを切断することで破壊現象を表現する(右下図)。 構造物の内部で構造力学に基づく構成方
程式を解くわけではないため、EDEMによる破壊現象の表現には数学的な根拠があるとは言えない。 しかし、実験と比較して適切なパラメータを選ぶことで、コンクリートなどの脆性破壊に限定すれば実際と同様の破壊現象を表現できることも報告されており、簡単に破壊現象を扱うことのできる利点と合わせて、工学的には重要性が認識されている。本研究では簡単な破壊現象に問題を限定し、コンクリートなどを想定した脆性破壊のみを取り上げる。
EDEM による破壊計算を導入した場合、構造物を多数含む領域ほど破壊計算のコストが高くなる。そこで、従来のような粒子数を均一にする動的負荷分散ではなく、破壊計算も合わせた各計算領域の計算コストによって領域分割を行うように変更する。多数の物体を含み、構造物の破壊計算を行うような場合にも、計算コストに基づいた領域分割と、2)による高効率な物体管理を合わせて行うことにより、高い並列化効率を維持した流体構造連成シミュレーションを実現する。
DEM
EDEM

現在の衝突シミュレーションにおける圧力分布の様子

DEMによる2次元破壊計算例 (青木研究室, 2003)

個別要素法(DEM)と拡張型個別要素法(EDEM)の比較【参考文献】[1] S. Tsuzuki, T.Aoki, "Large-scale Particle-based Simulations for Debris Flows using Dynamic Load Balance on a GPU Supercomputer", the international conference Violent Flows 2016, Osaka , 2016[2] K. Murotani and S. Koshizuka“Distributed Parallel Large-Scale MPS-FE Fluid-Structure Interaction Coupled Analysis for Tsunami Analysis on Urban Area” , 6th International Conference on Computational Methods(ICCM2015), Auckland, July 14-17, 2015,[3] N. Mitsume, S. Yoshimura, K. Murotani, T. Yamada. Improved MPS-FE Fluid-Structure Interaction Coupled Method with MPS Polygon Wall Boundary Model. Computer Modeling in Engineering and Sciences,
Vol.101, No. 4, pp. 229-247, 2014.

学際大規模情報基盤共同利用・共同研究拠点 第８回シンポジウム
2016年 7月 14日，15日

THE GRAND HALL （品川）