（様式 20）成果報告書

平成 26 年度 TSUBAME 産業利用トライアルユース 成果報告書

利用課題名 数値振動台開発を目的とした大規模 FEM 解析の FS
英文：Feasibility Study for Developing Numerical Simulators of Shaking Table
利用課題責任者 熊谷 仁志
Hitoshi Kumagai
清水建設株式会社 技術研究所
Institute of Technology, Shimizu Corporation
http://www.shimz.co.jp
弊社技術研究所では、大型振動台の運用に際し、振動実験の予備解析やパラメトリックスタディを含めた実験後の解析的検討等を実施できる数値振動台の開発を目指している。そのハードウェア／ソフトウェア環境を検討するため、TSUBAME を用いて、商用 FEM ソフトウェア Marc による大規模構造解析の実現性を調査す
る FS を行った。具体的には、接触による境界非線形、及び大変形による幾何学的非線形性を含む大規模非線形解析を実施し、その実現性を確認した。また、DDM（Domain Decomposition Method）をはじめとするMarc 並列化機能のスケーラビリティを調査し、大規模 FEM 解析における有効性を検討した。
We are trying to develop numerical simulators of shaking table. The numerical simulators ofshaking table should be applied in exploratory analyses of shaking experiments, parametric studies
and other analytical studies, which require high computational efficiency and large-scale analyses.
Through the TSUBAME trial use, we conducted a feasibility study to examine Marc, the finite
element analysis solution of MSC Software, for the applicability to the numerical simulators.
Specifically, we carried out large scale nonlinear analysis of large deformation contact problem, andresearched the scalability of parallel algorithms of Marc, such as Domain Decomposition Method
and multithreading.

Keywords: Marc, Domain Decomposition Method, Nonlinear Analysis, Finite Element Method

背景と目的に関する FS を実施する。前年度も同様の FS を行って我が国は地震国であり、2011 年の東日本大震災をおり、基本的な動的問題に対し、Marc 並列機能の有はじめとする過去の地震被害を踏まえ、建築・土木構効性を確認した。本利用課題では、より複雑かつ大規造物、並びに設備・内外装等の耐震性向上が要求され模なケースの検討として、1 億自由度以上の大規模非ている。大型振動台における振動実験は耐震性実証に線形解析における Marc の計算性能を把握することが最も有効なツールであるが、実験用試験体の規模に制目的である。

約があり、相当の費用や時間を要するため、数値シミュレーションを併用して研究開発を行うことが重要となる。

概要

そこで弊社技術研究所では、保有している大型振動台

数値振動台では、材料非線形に限らず、接触や大変における振動実験の予備解析に加え、実験結果を応形等の様々な非線形問題を扱うことが想定される。線用した実大規模構造物のシミュレーション・パラメトリッ

形解析では、一般に、反復法が計算速度・メモリ負荷クスタディも実施できる「数値振動台」の開発を目指して共に他の手法（直接法・DDM）より優れている。しかしいる。

ながら、接触等で強い非線形性を有する問題において解析は大規模なものとなるため、数値振動台の開発は、反復法の収束性は基本的に悪化し、解が得られなに必要となるハードウェア・ソフトウェア環境の検討がくなる場合も起こり得る。そのため、多様な大規模非線急務である。本利用課題では、エムエスシーソフトウェ

形解析に対する適用性が比較的期待できる DDM を対ア株式会社の FEM 解析ソフト Marc を使用し、数値震象として、その実現性・計算性能を検証することとした。

動台のための大規模並列 FEM 解析の実現性・有効性検討した Marc の並列化機能は、DDM（Domain（様式 20）成果報告書
表 1 解析諸元
節点数：41,796,577
要素数：28,413,950
要素タイプ：四面体 2 次要素
構成則：線形弾性
摩擦：Coulomb 摩擦増分解法：完全 Newton-Raphson
ソルバー：マルチフロンタルスパース

図 3 メッシュ分割（拡大）

図 1 解析モデル（全体）(a) 部材 A(b) 部材 B(c) 部材 C(a) X 方向変位(b) Mises 応力

図 2 解析モデル（各部材）

図 4 解析結果

Decomposition Method）及びマルチスレッディングの成され、下から C・B・A の順に部材を積み上げている。

2 種類である。DDM は解析対象を複数のドメインに分部材 A については、4 枚の板状物体が図 2(a)中橙で示割し、ドメイン内を直接法で計算した上で、ドメイン間のした頂部のリングで剛結されている。境界条件として部境界を反復法により収束させるものである（Marc の機

材 C の底面を固定し、各部材の自重による平衡状態を能としては、ドメイン内・ドメイン間両方を直接法または求めた後、部材 A の板状物体表面（X 軸に直交する 2反復法で解くこともソルバーによっては可能である。）。

枚）に風荷重を想定した-X 方向圧力を与える静的解析

マルチスレッディングは、剛性マトリクス作成や応力更である。各部材が相互に接触定義され、また剛体変形

新、マトリクスソルバーの一部をマルチスレッド化するもを生じる大変形問題であるため、境界非線形と幾何学ので、DDM と組み合わせることにより、各ドメインに対的非線形を有する大規模 FEM 解析となる。

しマルチスレッディングを適用することも可能である。尚、並列計算は DDM とマルチスレッディングを併用し、Marc は上記に加え、マトリクスソルバーの一部等をDDM64 ドメインにドメイン当たり 8 スレッドを用いて、合GPGPU で解く機能も有しているが、GPU メモリ不足の計 512 並列とした。尚、本利用課題の解析では、後述ため今回は使用していない。

するメモリ負荷分散の問題から、Thin ノードよりメモリの大きい Medium・Fat ノードを利用している。

結果および考察

解析結果を図 4 に示す。同図において、Z 軸回りの剛1.

体回転及び各部材の接触が発生しており、大変形・接大変形接触問題の大規模非線形解析

解析モデルを図 1～図 3 に、解析諸元を表 1 に各々触解析が有効であることが分かる。同図(b)より、剛結示す。同図より、解析対象は 3 つの独立した部材で構部である部材 A リング周辺や部材 A 板状物体で弱断（様式 20）成果報告書
表 2 検討結果(a) 線形解析
DDM
スレッド/ドメイン数 ドメイン
12324812644811282412562合計
並列数
326412825664128256512128256512256512

メモリソルバー
経過時間(hour)
合計(GB)
時間比(%)
17865.394.93.5178693.4
3.3
1786
93.6
1787
3.0
94.0
1847
3.5
92.9
2.7
1847
91.6
2.4
1847
95.1
1848
2.3
95.4
2071
3.3
93.1
2.4
2072
93.9
2072
2.5
96.4
2774
3.5
95.4
2774
3.2
95.0

領域間反復回数

領域間
節点数

154

91613

138

153080111

25166572400347

領域間反復回数
最大
最小
平均
23585
123

領域間
節点数
153080(b) 非線形解析
DDM
スレッド/ドメイン数 ドメイン
648

合計
並列数
512

メモリ
経過時間(hour) ソルバー
合計(GB) 合計
平均 時間比(%)
2207
114.0
2.1
93.8
6

面となる箇所の他、各部材相互の接触部で応力の増大規模線形解析を含むスケーラビリティ検討

次に、問題を単純化した大規模線形解析におけるスケーラビリティを調査し、さらに非線形解析と比較することで非線形性が並列計算性能に与える影響を推察する。大規模線形解析の対象として、図 1～図 3 に示したモデルの各部材（部材 A リング上面、部材 B・C 底面）

経過時間 (hour)2.

スレッド/ドメイン
1 2 4 85大が確認できる。

4321032ドメイン

64ドメイン
128ドメイン
DDM領域分割256ドメイン

図 5 線形解析 経過時間比較を固定し、接触を無視した自重解析を考える。
検討ケース及び検討結果を表 2(a)に示す。ここで、ソ前年度の検討でも見られた傾向であり、領域内（直接ルバー時間比は経過時間に対しマトリクスソルバーが法）と領域間（反復法）処理における計算コストのトレー占める割合、領域間反復回数は DDM 領域間処理のドオフによって、DDM の計算効率が最大となるドメイン

反復法における反復回数、領域間節点数は DDM 領数が定まると考えられる。また、合計並列数が 128 の域分割境界上の節点数である。パラメータは DDM 領

ケースで比較すると、64 ドメイン各 2 スレッドが最も高域分割とドメイン当たりのスレッド数の 2 種類を定め、速であり、DDM とマルチスレッディングの併用により、各 DDM 領域分割に対しドメイン当たりのスレッド数を計算効率を最適化するドメイン数が変化し得る。これも変化させてその影響を調査した。尚、並列化を行わな同様に、マルチスレッディングにより領域内処理の計算いケース等、32 ドメインより少ない DDM 領域分割につコストが低下し、トレードオフの均衡が変化することを示

いては、メモリ不足のため実施不可能であった。

唆している。

検討結果より、線形解析の経過時間比較を図 5 に示

前項で述べた非線形解析の計算性能を表 2(b)に示し、す。同図をドメイン数で比較すると、ドメイン当たりのス厳密な比較ではないが、線形解析との比較により非線レッド数が 2 以下の場合、計算速度は 128 ドメインで最形解析の計算効率を検討する。ここで、平均経過時間大となり、256 ドメインで逆に効率が低下する。これは、は経過時間をマトリクスソルバー求解回数で除したもの

（様式 20）成果報告書
120

メイン各 8 スレッドにおける線形解析の経過時間は同100程度であり、Newton-Raphson 法や解離・摩擦等によ80る収斂計算を除けば、非線形解析による計算効率の低下は小さいと推測される。この理由としては、まず、非メモリ (GB)である。同表より、非線形解析の平均経過時間と 64 ド6040

線形解析で解離判定等の接触処理に要する時間は経20過時間の 5(%)以下であり、線形・非線形問わずマトリク0スソルバーが経過時間の大部分を占めることが挙げら1れる。次に、非線形解析において、領域間反復回数の120

理の計算コストがあまり増大しないといえる。したがっ100て、非線形性による DDM の計算効率低下はほとんど80

メモリ (GB)ると同程度であり、非線形性によって DDM 領域間処解析と同等に有効であると見込まれる。

9 11 13 15 17 19 21 23 25 27 29 31
DDM ドメイン

線形非線形6020の線形解析はドメイン当たり 1 スレッドのケースである。

0同図より、DDM 領域分割の増大に伴い、ドメイン 2 以降のメモリが低減するのに対し、ドメイン 1（MPI ランク

1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64
DDM ドメイン(b) 64 ドメイン0）のみ逆にメモリが突出して増大することが分かる。こ120のマトリクスサイズが増大し、それをドメイン 1 のプロセ100スが負担するためと考えられる。したがって、特に大規

80

メモリ (GB)

れは、ドメイン数に応じて領域間節点数、つまり反復法コストが増大すると、メモリ負荷分散が不十分となる。

740

各ドメインのメモリ使用量を図 6 に示す。尚、同図中

模解析において、領域分割を増やし領域間処理の計算

5(a) 32 ドメイン最大値はやはり線形解析以上となるものの、平均を見見られず、本課題の非線形解析に対し、DDM は線形

36040

また、ユーザーCPU 時間の負荷分散も悪化するものと20推測される。同様の理由により、表 2 中のメモリ合計使0

用量も、ドメイン数と共に増大することが確認できる。

120

FEM 解析が実行可能であることを確認し、線形解析に100よって DDM の大規模並列計算性能を調査した。しか80

メモリ (GB)

Marc を用いて 1 億自由度以上の大規模非線形きく依存すると予想されるため、今後も種々の問題に対

10 19 28 37 46 55 64 73 82 91 100 109 118 127
DDM ドメイン(c) 128 ドメイン

まとめ、今後の課題し、非線形解析の実現性・計算性能は個々の問題に大16040する検証が求められる。また、本報では省略したが、同一ドメイン数で領域分割方法が異なる場合に計算速度の有意な変化が見られた。特に大規模解析においては、領域間処理を最適化する DDM 領域分割制御の検討が必要と考えられる。

200

1 18 35 52 69 86 103 120 137 154 171 188 205 222 239 256
DDM ドメイン(d) 256 ドメイン
図 6 線形解析 メモリ負荷分散