jh220047

グラフ構造で一般化された静的負荷分散フレームワークの高度化とメッシュフリー法への適用
森田 直樹（筑波大学）

概要
重合メッシュ法は、シミュレーション領域全体を表現する粗いグローバルメッシュと、注目領域を表現するローカルメッシュを重ね合わせ、局所的な高精度化を実現する方法である。2021 年度までの検討により、ローカルメッシュ・グローバルメッシュが重なる領域で、両メッシュの補間関数の不連続性が原因となり、解析精度が低下する問題が明らかになった。現在この問題に対し、エンリッチ関数を節点に付与して局所的に高精度化を図る拡張型有限要素法（XFEM）により重合メッシュ法の高精度化を進めている。XFEM で拡張された重合メッシュ法はエンリッチ関数の付与により節点あたりの自由度が異なるため、従来の重合メッシュ法で生じる計算負荷の不均一性に加え、XFEM の影響を考慮した負荷分散が必須となる。この解決のため、高い並列計算性能を実現する動的負荷分散フレームワークを構築し、実用に供する重合メッシュシミュレータの実現を目指す。
院）：計算力学・数値解析手法に関する検討

1 共同研究に関する情報1.1

 馬込 望（筑波大学大学院理工情報生命学術院）：
計算力学・数値解析手法に関する検討

共同研究を実施した拠点名

 姜 博（筑波大学大学院理工情報生命学術院）：

 東京大学 情報基盤センター

1.2

計算力学・数値解析手法に関する検討 細川 恭太（筑波大学大学院理工情報生命学術課題分野院）：計算力学・数値解析手法に関する検討

 大規模計算科学課題分野

1.3

 中井 悠太（筑波大学大学院理工情報生命学術院）：計算力学・数値解析手法に関する検討

共同研究分野 (HPCI 資源利用課題のみ)

 常見 隆幸（筑波大学大学院理工情報生命学術

 超大規模数値計算系応用分野

1.4院）：計算力学・数値解析手法に関する検討

 伊藤 博哉（筑波大学大学院理工情報生命学術参加研究者の役割分担院）：動的負荷分散フレームワークの開発

 奈良 学（筑波大学大学院理工情報生命学術院）：

 森田 直樹（筑波大学システム情報系、代表）：

動的負荷分散フレームワークの開発

全体統括、動的負荷分散フレームワークの開発

 集路 幸正（筑波大学大学院理工情報生命学術 三目 直登（筑波大学システム情報系、副代表）：院）：動的負荷分散フレームワークの開発

計算力学・数値解析手法、フレームワーク開発

 村井 拓海（筑波大学大学院理工情報生命学術方針策定院）：動的負荷分散フレームワークの開発

 田中 克治（筑波大学大学院システム情報工学研

 高橋 幸大（筑波大学大学院理工情報生命学術究科）：計算力学・数値解析手法に関する検討院）：動的負荷分散フレームワークの開発

 橋本 拓弥（筑波大学大学院理工情報生命学術1あたりの計算時間が同一であるという仮定のもと、良好な並列化効率が得られる。重合メッシュ法の場合、ローカル・グローバルメッシュ間の相互作用に関する計算コストが高いため、1 節点あたりの計算時間が同一と仮定した従来法では計算コストが均一にならず、高い並列計図1算性能を実現できないことが問題となる。適用

アクリル試験体を用いた高速亀裂伝播試験の重合メッシュシミュレーション。亀裂例のひとつである亀裂伝播シミュレーションで周辺を詳細に解像するローカルメッシュが、は、亀裂進展に伴ってローカルメッシュが移動亀裂進展に合わせて移動する。

するため、時間方向へ計算が進むごとにローカルメッシュとグローバルメッシュの内包関係が変化する。これが原因となって、分割領域ごと

 柴沼 一樹（東京大学大学院工学系研究科）：亀の計算コストが刻々と不均一に変化し、計算性裂伝播シミュレーションへの展開能が著しく低下する。本研究では最終的に、こ 松田 哲也（筑波大学システム情報系）：マルチスケールシミュレーションへの展開れらの解決に向けた高い並列計算性能を実現

 吉川 暢宏（東京大学生産技術研究所）：マルチする動的負荷分散フレームワークの構築と、こスケールシミュレーションへの展開れを利用した重合メッシュシミュレータの実現 奥田 洋司（東京大学大学院新領域創成科学研を目指す。具体的には、シミュレーション対象究科）：動的負荷分散フレームワークの開発を、グラフ情報に変換・一般化させ、グラフのノード重みとエッジ重みを適切に設定すること

2 研究の目的と意義

で、数値解析手法に依らない統一的な負荷分散シミュレーション領域全体の挙動を表現する機能を提供する。

粗いグローバルメッシュと、注目領域の詳細挙2021 年度までの検討により、ローカル・グ動を表現するローカルメッシュを重ね合わせ、ローバルメッシュが重なる領域で、両メッシュ有限要素法の枠組みで局所的な高精度化を実現の補間関数の不連続性が原因となり、解析精する「重合メッシュ法」は、亀裂伝播シミュレー度が低下する問題が明らかになった。現在こションなど、微小な領域で生じる作用が領域全の問題に対し、エンリッチ関数を節点に付与体へ支配的な影響を与える現象のシミュレーして局所的に高精度化を図る拡張型有限要素ションに利用される。重合メッシュ法はローカ法（XFEM）により重合メッシュ法の高精度化

ルメッシュによる局所的な高精度化で計算自由を進めている。XFEM で拡張された重合メッ度を削減できる利点があるが、解析対象全体のシュ法はエンリッチ関数の付与により節点あた形状や関心領域で生じる現象を詳細に解像するりの自由度が異なるため、従来の重合メッシュ

場合、重合メッシュ法を利用してもなお計算コ法で生じる計算負荷の不均一性に加え、XFEMストが大きくなる。の影響を考慮した負荷分散が必須となる。

この解決策としてシミュレーションの並列計

また、XFEM はメッシュフリー法のひとつ算がなされる。標準的な有限要素法では、メッとして知られており、有限要素法の枠組みだけシュ構造を利用した領域分割法により、1 要素でなく多様な数値解析手法に適用可能である本

2

フレームワークを利用してこそ、迅速な研究開発が実現可能になる。そこで、フレームワーク設計の妥当性を確認することを目的として、重合メッシュ法だけでなく、メッシュフリー法のひとつである粒子法に適用することで、開発フレームワークの有効性評価を行う。
本研究成果の適用例のひとつである高速亀裂
図2

伝播シミュレーションは、船体などの大型鋼構重合メッシュ法の模式図造体に生じた脆性亀裂を停止させる革新的設計手法の研究に利用する。市場の国際化に伴い増大する物流量に対し、貿易量の 99 ％ 以上を4 前年度までに得られた研究成果の担う外航海運において、輸送コスト低減を目的

概要として大型化する船舶の構造安全性の検討は、4.1

日本経済を支える重要な研究であり意義が大き

重合メッシュシミュレータの開発

2021 年度の研究成果として、研究基盤としい。また重合メッシュ法はこれらの検討に有用て利用する重合メッシュシミュレータを開発であるが、その大規模シミュレーションに向けした。本研究では、重合メッシュ法による構造た並列計算対応は、未だなされていないのが現解析を対象とした。図 2 に、重合メッシュ法状である。この状況に対し、動的負荷分散が可の模式図を示す。解析領域は、解析対象の全体能な並列重合メッシュシミュレータ開発の意義

領域 ΩG を粗く解像するグローバルメッシュは大きい。と、関心領域 ΩL を詳細に解像するローカル

3 当拠点公募型研究として実施したメッシュを重ね合わせで定義される。ここで、

意義

境界 ΓG
D は全体領域のうち Dirichlet 境界条件が定義される境界、境界 ΓG
N は全体領域のう本研究で開発する負荷分散フレームワーク

ち Neumann 境界条件が定義される境界、境界と重合メッシュシミュレータは、大規模シミュ

ΓL は関心領域の境界である。

レーションを想定した研究開発とその性能評価

領域 ΩL では、式 (1) のように、変位 u をが不可欠である。動的負荷分散時に高い並列計

グローバルメッシュにおける変位 uG とロー算効率を実現するためには、グラフのノード重カルメッシュにおける変位 uL の和で表す。

み・エッジ重みを適切に設定する必要がある。

u = uG + uL

その決定方法は対象となる数値計算手法に深く紐付くため、HPC 分野の研究者と工学、計算(1)

ただし、この条件のみでは u を表す uG と力学の高い専門性を有する研究者同士が連携す

uL の一意性がないため、境界 ΓL において式る必要がある。JHPCN の枠組みは本研究の目(2) の条件を付与する。

的を達成するうえで非常に有益であり、この観

uL = 0 on ΓL点から本拠点公募型共同研究として実施した。

(2)

この条件のもと、通常の有限要素法と同様に離散化すると、構造解析において解くべき連立3

一次方程式 (3) が得られる。

[KG
K LG

K GL
KL] { G} { G}
u
f=uL
fL

(3)

ここで、K は剛性マトリックス、u は変位ベクトル、f は外力ベクトルであり、上付き添え字 G はグローバルメッシュに関する変数、上付き添え字 L はローカルメッシュに関する変数、上付き添え字 GL、LG はグローバルメッ

図3

シュとローカルメッシュの連成項に関する変数

ローカルメッシュにおける積分領域細分化の例（nrec = 3）であることを示す。
式 (3) における K GL は式 (4) のように表される。

は領域分割法が適用できない。そこでローカル∫

T

K GL =メッシュとグローバルメッシュ間の相互作用

T

B G DB L dΩL (= K LG ) (4)をグラフ情報に変換・一般化させることで、多ΩL

ここで、D は応力 – ひずみ関係行列、B はひ様な数値計算手法に適用可能な一般性を付与しずみ – 変位関係行列、Ω は解析領域である。また。さらに、グラフのノード重みとエッジ重みた、上付き添え字 T は行列の転置を示す。

を適切に設定することで、統一的な負荷分散機

式 (4) の被積分関数のうち、B GL は領域 ΩLG能を実装した。

Lは領域 Ω 中のグロー

標準的な領域分割は一般に、各分割領域に属バルメッシュにおける要素境界で不連続となする節点数・要素数が等しくなる制約条件を付る。このような関数を数値積分する場合、被積与してデータ分割する。この分割により分割領分関数の不連続性を精度良く取り扱う必要が域ごとの計算量が均一になることで高い並列計ある。本研究では、グローバルメッシュに跨る算効率を実現できる。一方、重合メッシュ法でローカルメッシュの積分領域を再帰的に細分化はグローバル・ローカルメッシュの相互作用にして数値積分を行う。ここで、要素の再帰的細要する計算量の影響で各分割領域での計算コス分化回数を制御するパラメータを nrec とおいトが均一にならず、節点ごとの計算量を均一とた。あるローカルメッシュについて、グローバ仮定した従来の領域分割法を適用しても、高いルメッシュの境界が存在する場合、nrec で定め並列計算性能を発揮できない。そこであらかじた回数まで繰り返し細分化を行う。図 3 では

め計算量を予測し、領域分割時の重みとして考

nrec = 3 となる。

慮することで、計算負荷の均一化を目指した。

中で連続であるが、B

4.2

静的負荷分散フレームワークの構築およ

5 今年度の研究成果の詳細

び重合メッシュ法への適用
重合メッシュ法では、ローカルメッシュとグ

5.1

静的負荷分散フレームワークの XFEM を援用した重合メッシュ法への適用

ローバルメッシュ間の相互作用に関する部分で、両メッシュの補間関数を用いて係数行列静的負荷分散フレームワークを構築し、の値を定めるため、単純なメッシュ情報だけでXFEM を援用した重合メッシュシミュレー
4タに適用した。本手法は、重合メッシュ法におけるローカル・グローバルメッシュが重なる領域で、両メッシュの補間関数の不連続性が原因となり解析精度が低下する問題を、XFEM のエンリッチ関数により局所的に高精度化を図る。XFEM で拡張された重合メッシュ法はエンリッチ関数の付与により節点あたりの自由度が異なるため、従来の重合メッシュ法で生じる計算負荷の不均一性に加え、XFEM の影響を図4

計算時間を利用した節点重みの付与の例考慮した負荷分散が必須となる。
そこで 2021 年度の成果を利用して、ローカルメッシュとグローバルメッシュ間の相互作用をグラフ情報に変換・一般化させることで、XFEM の影響を考慮した負荷分散を実施する。
本研究では領域分割時の重みの決定方法として、実際にかかる計算時間を利用する手法を用いた。具体的には、要素剛性行列の計算に要した時間を節点重みとして付与する（図 4）。このように設定された重みの合計が各分割領域で均一となるように領域分割を行うことにより、並列重合メッシュ法の負荷分散を図る。本

図5

三次元切り欠き材料の 1/4 モデル

研究は将来的に動的な亀裂進展解析への適用を計画しているが、その基礎的検討として静的負荷分散および要素剛性行列のみの負荷分散をアソン比 ν = 0.35 とした。境界条件として、対象とし、重みを決定するための計算は従来の対称面の法線方向変位を固定し、橙四角部のSFEM で行った。以降、従来の SFEM を従来物体の特定の節点に実験より得た変位を付与型 SFEM、重みの最適化を行う SFEM を改良する。
解析では、並列計算性能の観点から反復法を型 SFEM と呼称する。
数値例として、重合メッシュシミュレータの利用することとし、さらに領域分割数に依存し評価および線形ソルバ・反復法前処理の検討をない反復法前処理として対角スケーリング前処行った。図 5 に示す三次元切り欠き材料の 1/4理を用いた。最大反復回数は 10,000 回、収束モデルを対象とした弾性解析を対象として、並判定閾値を 1.0 × 10−8 とした。並列計算性能

列計算性能評価を行う。ここで解析モデルは、評価指標として加速率（Speed-up factor）を使

節点数 42,453、要素数 36,556 である。赤四角用する。本研究では、並列計算機として東京大で囲われた部分がローカルメッシュであり、そ学の Oakbridge-CX を利用した。の外周部分の節点にヘヴィサイド関数を付与し従来型・改良型 SFEM における計算時間をている。材料定数はヤング率 E = 3.2GPa、ポ表 1、表 2 に示す。また、加速率を図 6 に示

55.2

メッシュフリー法（粒子法）への適用

計算対象をグラフ情報に変換・一般化する点
においては、粒子法に代表されるメッシュフリー法など、多様な数値計算手法への展開を考慮したフレームワーク設計が重要となる。前項で挙げた XFEM はメッシュフリー法のひとつとして知られており、有限要素法の枠組みだけでなく多様な数値解析手法に適用可能である
本フレームワークを利用してこそ、迅速な研究開発が実現可能になる。そこで、フレームワー
ク設計の妥当性を確認することを目的として、
図 6 SFEM における加速率 (nrec = 3)

重合メッシュ法だけでなく、メッシュフリー法のひとつである粒子法に適用し、開発フレームワークの並列計算性能における有効性評価を実す。ここで、 matrix gen. は剛性行列生成時施した。

間、 solver は行列求解時間、 total はこれらの具体的には、図 7 のように、粒子法におけ合計時間を示す。

る粒子の相互作用関係から解析モデルをグラフ

従来型 SFEM について、表 1 および図 6 よ構造として表現し、開発成果を用いてグラフ構り、剛性行列生成時間の加速率は 16 並列のと造の領域分割を実施し、並列計算時の解の普遍きに 2.93 であり、良好なスケーリング性能を性の検証とスケーリングテストを実施した。総有しているとはいえない。また、線形ソルバの粒子数を 100 万、1,600 万とした 2 ケースで加速率も 16 並列のときに 12.2 であり、相対ストロングスケーリングによる検証を実施し、的に良好なスケーリング性能を有しているが、1,600 万粒子のモデルでは、2,048 並列においXFEM の適用により 1 節点あたりの自由度がて 80% 以上の並列化効率が達成された。粒子異なるため、標準的な有限要素法におけるス法では、影響半径内に存在する粒子の間で物理ケーリング性能に比べるとその能力は低い。

的な相互作用が生じるため、標準的な有限要素改良型 SFEM について、表 2 および図 6 よ法に比べ、分割領域間のオーバーラッピング領り、剛性行列生成時間の加速率は 16 並列のと域が大きくなる傾向が確認された。

きに 4.89 であり、従来型に比べ 1.96 ポイント

6 今年度の進捗状況と今後の展望のスケーリング性能が向上した。一方、要素剛性行列生成時間に注目した負荷分散を行ったこ

2022 年度は、XFEM を援用した重合メッとで、線形ソルバの加速率は 16 並列のときにシュ法の静的負荷分散およびメッシュフリー法5.81 であり、従来型に比べスケーリング性能はへの適用を実施した。テーマごとに進捗状況お低下した。しかしながら全体計算時間のうち剛よび当初目標に対する達成度を示す。

性行列生成時間は 95% 以上を占めるため、並XFEM を援用した重合メッシュ法の静的負列計算性能は向上しており、合計時間では従来荷分散型の 67.1 s から改良型 36.2 s に短縮できた。

本課題では最終的に、グラフ構造で一般化さ6表1
Number of MPI process
Computation time [s]Parallel eﬃciency [%]1248163264

matrix gen.

1.54E+02

1.39E+02

1.39E+02

8.29E+01

6.27E+01

5.25E+01

3.62E+01

solver

2.00E+01

1.40E+01

1.40E+01

7.14E+00

3.34E+00

1.64E+00

9.55E-01

total

1.79E+02

1.56E+02

1.56E+02

9.17E+01

6.71E+01

5.51E+01

3.80E+01

matrix gen.

1.0

1.11

1.86

2.45

2.93

4.25

4.91

solver

1.0

1.43

2.81

5.99

12.20

20.99

38.74

total

1.0

1.15

1.952.67

3.25

4.71

5.48

表2
Number of MPI process
Computation time [s]Parallel eﬃciency [%]従来型 SFEM の計算時間測定結果

改良型 SFEM の計算時間測定結果
1248163264

matrix gen.

1.54E+02

9.15E+01

5.51E+01

3.52E+01

3.16E+01

3.15E+01

2.72E+01

solver

2.00E+01

1.35E+01

8.99E+00

6.77E+00

3.41E+00

2.69E+00

1.88E+00

total

1.79E+02

1.09E+02

6.65E+01

4.39E+01

3.63E+01

3.53E+01

3.00E+01

matrix gen.

1.0

1.69

2.81

4.39

4.89

4.90

5.69

solver

1.0

1.46

2.20

2.925.817.3410.52

total

1.0

1.65

2.70

4.08

4.94

5.08

5.97て局所的に高精度化を図る拡張型有限要素法（XFEM）により重合メッシュ法の高精度化を進め、査読付き国際論文として発表した [研究業績一覧 1, 2]。

XFEM で拡張された重合メッシュ法はエンリッチ関数の付与により節点あたりの自由度が異なるため、従来の重合メッシュ法で生じる計算負荷の不均一性に加え、XFEM の影響を考慮した負荷分散が必須となる。この解決のため、開発した負荷分散フレームワークを
図7粒子法におけるグラフ構造作成の模式図

XFEM を援用した重合メッシュ法に適用し、数値例により提案手法の有効性を検討した。当該項目の進捗状況は計画通りであり、今後は動れたデータ分割・データマネジメント機能を有的負荷分散フレームワークの構築が展望としてする動的負荷分散フレームワークの構築を目挙げられる。

的に、計算対象をグラフ情報に変換・一般化さメッシュフリー法への適用せ、グラフのノード重みとエッジ重みを適切に計算対象をグラフ情報に変換・一般化する点設定可能な、静的負荷分散フレームワークを実においては、粒子法に代表されるメッシュフ装した。これまでの検討により、ローカルメッリー法など、多様な数値計算手法への展開を考シュ・グローバルメッシュが重なる領域で、両慮したフレームワーク設計が重要となる。前項

メッシュの補間関数の不連続性が原因となり、で挙げた XFEM はメッシュフリー法のひとつ解析精度が低下する問題が明らかになった。ことして知られており、有限要素法の枠組みだけの問題に対し、エンリッチ関数を節点に付与し7

でなく多様な数値解析手法に適用可能である本国際会議発表フレームワークを利用してこそ、迅速な研究開該当なし発が実現可能になる。そこで、フレームワーク

国内会議発表設計の妥当性を確認することを目的として、重1. 伊藤博哉, 三目直登, 柴沼一樹, 森田直樹,

合メッシュ法だけでなく、メッシュフリー法の拡張型有限要素法を援用した重合メッシュひとつである粒子法に適用することで、開発フ解析の並列計算と負荷分散, 第 28 回計算工レームワークの有効性評価を実施した。当該項

学講演会, 日本計算工学会, 筑波, 2023 年.

目の進捗状況は計画通りであり、査読付き国内該当なし

7 研究業績一覧（発表予定も含む）

その他（特許，プレス発表，著書等）
該当なし

学術論文 （査読あり）

1. Kazuki Shibanuma, Kota Kishi, Tianyu
He, Naoki Morita, Naoto Mitsume, Tsutomu Fukui, S-version ﬁnite element
strategy for accurately evaluating local stress in the vicinity of dynamically propagating crack front in 3D solid,
Computer Methods in Applied Mechanics and Engineering, Vol. 399, p.115374,
2022.
2. Tianyu He, Fumitaka Yasui, Naoto Mitsume, Naoki Morita, Tsutomu Fukui,Kazuki Shibanuma, Internal Neumannboundary modeling in the s-version ﬁnite element method: Problem clariﬁcation and solutions veriﬁcation, Computer Methods in Applied Mechanics
404, p.115843,2023.
3. 田 中 克 治, 森 田 直 樹, 三 目 直 登, 風 上 化
LSMPS 法に基づく Euler 型解法による大規模並列解析, 日本計算工学会論文集,

p. 20230003, 2023.
国際会議プロシーディングス（査読なし）

公開したライブラリ等論文として発表した [研究業績一覧 3]。

and Engineering, Vol.

（査読なし）（査読あり）

該当なし

8