第29回計算工学講演会[F-11-05]

AttentionCNNを用いた工学的説明性の高い地震応答予測サロゲートモデルの構築

才田 大聖 （筑波大学大学院）
西尾 真由子（筑波大学）
1

2 / 16

1.背景

地震リスク評価におけるフラジリティ解析の課題
地震リスク評価において、数値解析をサロゲートモデルに置き換えることでフラジリティ解析の計算コストが低減できる
地震リスク評価における地震荷重の不確定性• 地震の大きさや周波数特性は様々であるため、不確定性の考慮が必要

地震リスク評価におけるフラジリティ解析の流れ
サンプリング…

サロ
ゲート

計算コスト大…

数値
解
析

橋梁の地震応答解析

数値解析をサロゲートモデルに置き換え計算コスト小＜サロゲートモデル（機械学習モデル）＞

フラジリティカーブ

3 / 16

2.既往研究地震応答解析におけるサロゲートモデルの課題
地震応答解析のためのサロゲートモデルに関する研究は増えているが、深層学習を用いるため予測過程が不透明であり説明性が低い
Ning et al., Eng Struct, 2023
• LSTM, WaveNet, CNNによる地震応答予測モデルの比較を実施• 建物および橋梁の地震応答解析に対する有効性を検証

深層学習がよく用いられる

Ning et al., Eng Struct, 2023

Zhang et al., Structures, 2024
• Transformerによる地震波エンコーダとLSTMによるデコーダにより、地震応答を推定するモデルを構築• LSTMのみでモデル化するより高精度
予測精度は高いが予測過程は不透明 ＝ 説明性が低い

Zhang et al., Structures, 2024

3.研究目的

説明性が高い深層学習モデル“ExSRNet”構築

4 / 16① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力本研究では、周波数に着目し説明性が高い地震応答解析の[ExSRNETフロー]
サロゲートモデル“ExSRNet”を構築した①
地震入力②SincNet Conva - b [Hz]③Frew-wise Conv

④Freq Attentionc - d [Hz]周波数帯で波形を分割⑥
応答出力

寄与度が高い周波数帯を把握
CNN

MLP
b - c [Hz]⑤
LSTM

Sigmoid

CNN

LSTM

CNN

周波数帯ごとに畳み込み周波数帯ごとに重みづけ

地震応答
予測

＜ExSRNet＞
説明性の高い“ExSRNet”を構築し、地震応答解析に対する有効性を示す

5 / 16

4.“ExSRNet“のフロー

SincNet Convolutionについて
ExSRNetにおけるSincNet Convolutionでは入力の地震波形を周波数帯ごとに分割する② SincNet Convolution(Ravanelli et al., Neurips, 2018)• バンドパスフィルタを時間領域の畳み込み演算で表現
SincNet Convolutionの概略
0.5 – 1.0 Hz
入力地震波形

1.0 – 1.5 Hz
SincNetConv

周波数帯ごとの時刻歴波形に分割

1.5 – 2.0 Hz① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力[ExSRNETフロー]6 / 16

4.“ExSRNet"のフロー① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力

SincNet Convolutionについて
ExSRNetにおけるSincNet Convolutionでは入力の地震波形を周波数帯ごとに分割する② SincNet Convolution[ExSRNETフロー](Ravanelli et al., Neurips, 2018)• バンドパスフィルタを時間領域の畳み込み演算で表現
SincNet Convolutionの定式化

 f 
 f 
G[ f , f1 , f 2 ] = rect  − rect 
2f2f 2 1
逆フーリエ変換（周波数→時間領域）

g[n, f1 , f 2 ] = 2 f 2 sinc(2 f 2 n) − 2 f1sinc(2 f1n)

f1

周波数 [Hz]＜周波数領域でのバンドバス＞

畳み込み演算で用いる（x：入力、y：出力）

y[n] = x[n]  g[n, f1 , f 2 ]f2

7 / 16

4.“ExSRNet"のフロー

Freq-wise Convolutionについて
ExSRNetにおけるFreq-wise Convolutionでは周波数帯ごとに畳み込み計算を行う① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力[ExSRNETフロー]③ Freq-wise Convolution• 周波数帯ごとの特徴量を抽出する⇒周波数帯ごとの構造物への作用の仕方を学習
Freq-wise Convの概略
0.5 – 1.0 Hz
CNN

0.5 – 1.0 Hzの特徴量

CNN

1.0 – 1.5 Hzの特徴量

CNN1.5 – 2.0 Hzの特徴量

1.0 – 1.5 Hz

1.5 – 2.0 Hz

8 / 16

4.“ExSRNet"のフロー① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力Freq-wise Convolutionについて

ExSRNetにおけるFreq-wise Convolutionでは地震応答解析に適するように、Causal Delated Convolutionを適用した [ExSRNETフロー]
通常のConvolution

Causal Convolution

Causal Delated Conv

• 時間的に未来の荷重は時間的に過去の応答に寄与しない• 時間的に遠くまで、荷重の情報を伝える必要がある• 地震応答解析に適したConvolutionの演算が可能である

出力
未来⇒過去

情報を遠くまで伝達できない

入力ttt

9 / 16

4.“ExSRNet"のフロー

Freq Attentionについて
ExSRNetにおけるFreq Attentionでは、周波数帯ごとに地震応答に対する寄与度を算出する① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力[ExSRNETフロー]④ Freq Attention• Attention機構*: 特徴量のどこに着目すべきかを動的に特定する機構*Vaswani et al., Neurips, 2017

Freq Attentionの概略
0.5-1.0 Hzの特徴量

周波数帯ごとの重みを出力
MLP(多層パーセプトロン)

重みが大きいほど周波数帯の寄与が大きい
周波数帯ごとに重みづけされた特徴

ｗ1

0.5-1.0 Hzの特徴量

1.0-1.5 Hzの特徴量ｗ2

1.0-1.5 Hzの特徴量

1.5-2.0 Hzの特徴量

ｗ3

1.5-2.0 Hzの特徴量

全周波数帯で平均化

10 / 16

4.“ExSRNet"のフロー

LSTMの概略ExSRNetにおけるLSTMでは全周波数帯の特徴量から、地震応答を予測する① 地震入力② SincNet Conv
③ Freq-wise Conv
④ Freq Attention⑤ LSTM⑥ 応答出力[ExSRNETフロー]⑤ LSTM (Long Short Term Memory)• Recurrent Neural Networksの一種で、比較的長期の時系列を扱える
LSTMの概略
全周波数帯の特徴量

地震応答
時刻歴
LSTM
Cell

LSTM
Cell

LSTM
Cell

LSTM
Cell

…

…

LSTM
Cell

LSTM
Cell

LSTM
Cell

LSTM
Cell

LSTM Cell

https://colah.github.io/posts/2015-08Understanding-LSTMs/

11 / 16

5.対象問題免震RC橋脚における数値解析（Japan RoadAssociation, 1997）

上部構造

Bilinearモデル

免震ゴム支承Takedaモデル
RC橋脚<免震RC橋脚の2自由度系モデル>

解析の諸元
数値積分：
• Newmark - β• Newton Raphson
時間増分：0.001s
減衰：レイリー減衰
構造減衰比：• 2% for pier
• 0% for bearing12 / 16

5.対象問題免震RC橋脚における数値解析
サロゲートモデルの学習に関する諸元一覧■入力地震動上部構造• K-Net、Kik-Net（防災科学技術研究所）
計測震度が4.5以上の地震波形を3652波形取得■出力応答
免震ゴム支承• 橋脚の変位• 支承の変位■モデルの学習RC橋脚• 訓練データ数：100
PGA, PGV, ピーク周波数が張る空間内にて、訓練データ間の距離が最大になるようにサンプリング• 検証データ数：20<2自由度系モデル>• テストデータ数：652• 最適化：RAdam （学習率：0.001）• 損失関数：応答の平均２乗誤差

13 / 166.結果

地震応答波形の予測結果
ExSRNetにより地震応答を予測した結果、橋脚・支承ともに定性的に数値解析結果とおおむね一致したExSRNetによる地震応答の予測結果

変位 (m)

橋脚の応答波形
0.020.01
0.00-0.01-0.02-0.03

数値解析結果ExSRNetによる予測
01020304050

変位 (m)

支承の応答波形
0.050
0.025
0.000
-0.025-0.050-0.07560

非線形応答まで予測可能

数値解析結果ExSRNetによる予測
0102030

時間 (sec)

40506014 / 166.結果

地震応答予測の定量的評価
ExSRNetにより地震応答を予測した結果、全時間の地震応答および、最大応答の予測において、高い精度での予測が可能であった
ExSRNetによる地震応答の予測結果（テストデータ数：652）
全時間の地震応答の予測誤差
最大応答の予測誤差• 15%程度の範囲内に収まる• 中央値：5％以内の誤差

1.0

1.0

0.8

0.8

累積分布確率累積分布確率• ほとんどの予測で決定係数0.6以上• 80%以上の予測応答で決定係数0.9以上

0.6

0.4

0.6

0.4

0.2

0.2

0.0
0.0

0.0

0.2

0.4
0.60.8決定係数 (R2)

1.00.05.0 10.0 15.0 20.0 25.0
絶対誤差パーセント (%)

15 / 166.結果

地震応答予測のAttention寄与度の評価
ExSRNetおけるAttentionの周波数寄与度を観察した結果、固有振動数付近で高い寄与度となり、特に一次モードで高い寄与度を示した
ExSRNetによる地震応答予測の寄与度（テストデータ数：652）
Attentionによる周波数の寄与度• 固有振動数付近で高い寄与度が推定される• 特に、有効質量比の大きい一次モードで高い寄与
2自由度系モデルのモード解析結果

20

固有振動数：• 1.10 (Hz)• 3.27 (Hz)有効質量比：• 83.5 (%)• 16.5 (%)

寄与度

15

固有振動数
105.00.00246
周波数 (Hz)810<2自由度系モデル>

16 / 166.まとめ

結論と今後の展望■結論• SincNet畳み込みとAttention機構の適用によって、説明性の高いサロゲートモデル”ExSRNet”を構築した• 免震RC橋脚の地震応答解析を対象にサロゲートモデルを構築し、精度の高い予測が可能であることを示した• Attention機構によって推定された周波数ごとの寄与度は、固有値解析結果から見て、妥当であるものであった■今後の展望• 損失関数に運動方程式からの損失を組み込むことで、精度の向上を図れる可能性がある• 同様に、周波数に関する損失を導入することで、精度向上する可能性がある• スパース性を誘導することによって、説明性が向上する可能性がある• 転移学習を利用することによって、精度が向上する可能性がある