（様式 20）成果報告書

平成 25 年度 TSUBAME 産業利用トライアルユース 成果報告書

利用課題名 数値振動台開発を目的とした大規模 FEM 解析の FS
英文：Feasibility Study for Developing Numerical Simulators of Shaking Table
利用課題責任者 熊谷 仁志
Hitoshi Kumagai
清水建設株式会社 技術研究所
Institute of Technology, Shimizu Corporation
http://www.shimz.co.jp

弊社技術研究所では大型振動台の運用に際し、振動実験の予備解析やパラメトリックスタディを含めた実験後の解析的検討等を実施できる数値振動台の開発を目指している。そのハードウェア／ソフトウェア環境を事前に検討するため、TSUBAME を用いて、商用 FEM ソフトウェア Marc による並列解析の実行性能、及び大規模解析の実現性を調査する FS を行った。具体的には、基本的な動的問題を対象として、大規模解析への適用性が期待できるDDM（Domain Decomposition Method）をはじめとする Marc 並列化機能を試行した。その結果、大規模解析の実現性については課題が残るものの、一定の並列数まで良好な並列性能を発揮することが確認できた。
We are trying to develop numerical simulators of shaking table. The numerical simulators of shaking
table should be applied in exploratory analyses of shaking experiments, parametric studies and otheranalytical studies, which require high computational efficiency and large-scale analyses. Throughthe TSUBAME trial use, we conducted a feasibility study to examine Marc, the finite element analysis
solution of MSC Software, for the applicability to the numerical simulators. Specifically, we carriedout dynamic analyses and researched the scalability of parallel algorithms of Marc, such as Domain
Decomposition Method and GPGPU support.

Keywords: MSC Software, Marc, Domain Decomposition Method, GPGPU, Finite Element Method

背景と目的に関する FS を実施する。具体的な検討内容としては、

我が国は地震国であり、一昨年の東日本大震災など基本的な動的解析問題における並列化のスケーラビリ

過去の地震被害を踏まえて、建築構造物、土木構造物、ティを検証し、また大規模解析の実現性についても調そこに設置される設備・内外装などの耐震性を一層向査する。

上させることが要求されている。大型振動台における振動実験は耐震性の実証に最も有効なツールであるが、概要実験用試験体の規模に制約があり、相当の費用や時1.

Marc 並列機能間がかかることから、数値シミュレーションを併用して研検討した Marc の並列化機能は DDM（Domain究開発を行うことが重要となってきている。そこで弊社

Decomposition Method）及び GPGPU の 2 種類であ技術研究所では、保有している大型振動台における振る。DDM は解析対象を複数のドメインに分割し、ドメイ動実験の予備解析に加えて、実験結果を応用した実大ン内を直接法で計算した上で、ドメイン間の境界を反復規模構造物のシミュレーション・パラメトリックスタディも法により収束させるものである（Marc の機能としてはド実施できる「数値振動台」の開発を目指している。

メイン内・ドメイン間両方を直接法または反復法で解くこ解析は大規模なものとなるため、数値振動台の開発ともソルバーによっては可能である。）。GPGPU はマトに必要となるハードウェア／ソフトウェア環境の検討がリクスソルバーの一部を GPGPU により並列化するも急務である。本利用課題では、エムエスシーソフトウェ

ので、DDM と組み合わせることにより、各ドメインに対ア株式会社の FEM 解析ソフト Marc を使用し、数値震し GPGPU を適用することが可能である。尚、Marc は動台のための大規模並列 FEM 解析の実現性・有効性

上記に加え、剛性マトリクス作成等の要素プロセスをマ（様式 20）成果報告書ルチスレッド化する機能も有しているが、後述する事例加振源は線形解析のため使用しない。ただし、本報では省略するが、別の検討事例により、要素プロセスのマルチスレッド化がアムダールの法則に準拠することを確認している。
2.

検討事例

検討事例の解析モデルを図 1 に、解析諸元を表 1 に各々示す。解析対象は、アイソレータ及びダンパーで支持された加振源とその周辺地盤である。図 2 に示すように、加振源に Y 方向加振力を加え、周辺への影響を評

図 1 解析モデル（70 万点モデル）価するものである。入力波は図 3 に示す正弦波とし、定加振源常状態に近い応答を求める。尚、表 1 に示すように、本アイソレータ・ダンパー

事例は線形解析だが、剛性マトリクス作成等の処理は、非線形解析同様毎ステップ行うように設定している。
検討ケースを表 2 に示す。検討は全て Thin ノードで

図 2 解析概要（断面図）実施し、モデル規模と DDM 分割数・GPGPU 使用をパ表 1 解析諸元ラメータとした。モデル規模は 3 種類を考え、各々について（CPU）並列数（＝DDM ドメイン数）を変化させてその影響を調査した。尚、表 4 に示すように、ノード当りの使用コア数が一定ではないが、これは、メモリの不足や、TSUBAME の利用形態（ジョブのノード時間を最小化した方が望ましい）を鑑みたためである。また、メモリ不足のため、70 万点モデル以外は並列化なしでの解要素：ソリッド・シェル・ビーム・ばね・ダッシュポット
構成則：弾性ばね・ダッシュポット：線形比例減衰：初期剛性比例型
動的解析：Newmark-β法
ソルバー：マルチフロンタルスパース直接法

全な定常状態とした場合の解析結果を図 4 に示す。

結果および考察
検討結果より解析時間を図 5 に示す。ここで、140 万点モデル・280 万点モデルの GPGPU を使用しない最少並列数ケースは、実測ではなく 1 ステップのみの解荷重 (kN)

析を実施していない。参考として、入力時間を延長し完151050‐5‐10‐1500.5

1時間 (sec)

1.5

図 3 入力波析からの推定値を示す。同図より、適切な並列数やGPGPU の使用を行えば、モデル規模に依らず、24 時間以下まで計算時間を短縮できている。ただし、本事例は線形解析のため、計算時間のほぼ全てをマトリクスソルバーが占めており、GPGPU の効果が最大限に発揮されていると考えられる。したがって、剛性マトリクス作成・応力更新の計算コストが相対的に増大する非線形解析等については、今後の検討が必要である。
次に、高速化率及び並列化効率を図 6・図 7 に各々示す。ただし、GPGPU を使用しない 70 万点モデル以外

図 4 最大加速度ノルム分布（70 万点モデル）

2

（様式 20）成果報告書
表 2 検討ケース
節点数

要素数

備考なし

70万点モデル698,996669,583―あり

140万点モデル

1,380,794 1,337,045280万点モデル

2,777,804 2,675,782

150
10050ありなし

X・Y方向各2分割あり

並列数
コア/ノード並列数
コア/ノード並列数
コア/ノード並列数
コア/ノード並列数
コア/ノード並列数
コア/ノード並列化パラメータ
1248122212481222248 16
1122248 16112248 16 32
112248 16 32
1122

GPGPUなしGPGPUあり

600
500
400
300
200
1000

124 8 16 32 64
並列数(a) 70 万点モデル

016 322216 32
2232 64
2432 642264 128
2464 1282264
264
2――――――――

500

700
計算時間 (hour)GPGPUなし
GPGPUあり

なし

Z方向
2分割

200
計算時間 (hour)

GPGPU

計算時間 (hour)モデル

24GPGPUなし
GPGPUあり

400300200100

8 16 32 64
並列数(b) 140 万点モデル

04816 32 64 128
並列数(c) 280 万点モデル

図 5 スケーラビリティ
は、最少 CPU 並列数で基準化した便宜上の値である合に異なる傾向を示す可能性もあるものの、通常はマことに留意する。図 7(a)より、並列化効率は 100%を上

トリクスサイズに応じて GPGPU の高速化が期待でき回っており、反復法を混合することで見かけ上の並列ると考えられる。さらに、各モデルを相互に比較すると、化効率が向上すると考えられる。加えて、図 6(a)より、モデル規模の増大に応じて高速化率・並列化効率が最高速化率は最大で 50 倍以上に達しており、本事例に大となる並列数が増加しており、解析規模に対する依おける DDM・GPGPU の有効性が確認できる。各モデ存性が示唆されている。

ルの定性的な傾向を見ると、8～16 並列までは高速化率・並列化効率共に良好な上昇傾向を示すが、一定以まとめ、今後の課題上の並列数で逆に低下し始める。したがって、直接法と基本的な動的問題について、Marc の DDM 及び反復法の計算コストのトレードオフにより、最適な並列GPGPU 並列を検証した結果、一定以下の並列数では数が定まると推測される。GPGPU 使用の有無につい良好な性能を示すことが確認できた。今後は、各種非て比較すると、各モデル共に、GPGPU を使用すると最線形性を含む複雑な解析事例について検討を進める

大高速化率となる並列数が低下するが、これは直接法予定である。一方、大規模解析の実現性については、の計算コストが減少し、前述した反復法とのトレードオ

本事例で示した規模を上回る場合に種々の問題が確フの均衡が変化するためと考えられる。ただし、図 7 よ認されており、今後更なる検証が必要である。

り、本事例では GPU コア数に比してマトリクスサイズが小さく、GPGPU 自体の並列化効率が（CPU 並列数に対して見かけ上）単調減少になると推測される。そのため、更にメモリを増大させ、大規模なマトリクスを解く場高速化率

0406080
並列数(a) 70 万点モデル

6050403020100100202520151050406080
並列数(b) 140 万点モデル

100

GPGPUなしGPGPUあり
20406080
並列数

100120GPGPUなしGPGPUあり12481632
並列数(a) 70 万点モデル

14121086420120(a) 70 万点モデル

0876543210120

GPGPUなしGPGPUあり

0高速化率

20並列化効率GPGPUなしGPGPUあり

並列化効率

605040302010064128

GPGPUなしGPGPUあり

1並列化効率

高速化率（様式 20）成果報告書

2876543210481632
並列数(b) 140 万点モデル

64128(b) 140 万点モデル GPGPUなし
GPGPUあり124816並列数(c) 280 万点モデル(c) 280 万点モデル

図 6 高速化率

図 7 並列化効率

3264128