第27回応用力学シンポジウム[21001-06-06]

高次元不確定性を扱う構造信頼性解析への正則化深層カーネル学習サロゲートモデル構築

才田 大聖 （筑波大学大学院）
西尾真由子（筑波大学）
1【背景】信頼性解析の流れ
対象構造物ex) 橋梁

Probability

不確定性の考慮が必要ex)橋脚質量2/11

2/11【背景】信頼性解析の流れ
対象構造物

質量

Probability

不確定性の考慮が必要ex)橋脚質量

橋梁の解析モデル

出力応答分布Probability

モンテカルロサンプリング剛性ex) 橋梁

一般的な信頼性解析
危険ex)最大応力

災害リスク評価
・維持管理の策定
・防災減災
・災害後の復旧

2/11【背景】信頼性解析の流れ
対象構造物

質量

Probability

不確定性の考慮が必要ex)橋脚質量

橋梁の解析モデル

出力応答分布Probability

モンテカルロサンプリング剛性ex) 橋梁

一般的な信頼性解析
危険ex)最大応力

数値解析の計算回数が膨大となる

災害リスク評価
・維持管理の策定
・防災減災
・災害後の復旧

2/11【背景】信頼性解析の流れ
対象構造物

橋梁の解析モデル

質量ex)橋脚質量

危険ex)最大応力

サロゲートモデルを用いた信頼性解析
橋梁の解析モデル

解析データ

機械学習によるサロゲートモデルex)
最大応力

質量ex)
最大応力

剛性

質量

出力応答分布Probability

実験計画法
サンプリング剛性

Probability

不確定性の考慮が必要

災害リスク評価
・維持管理の策定
・防災減災
・災害後の復旧

出力応答分布Probability

モンテカルロサンプリング剛性ex) 橋梁

一般的な信頼性解析

危険ex)最大応力

サロゲートモデルを構築することで、信頼性解析の計算コストを低減【既往研究】信頼性解析・高次元不確定性のサロゲートモデル

3/11

Echard et al. 2011
高次元への適用が困難• ガウス過程回帰（GPR）に能動学習を組み込み、サロゲートモデル構築の計算コストを低減(Structural Safety, Vol.33)

Zhou et al. 2022
• 全結合型NN+GPRで、高次元不確定性への対処• 建物の構造解析のサロゲートモデルを構築• 過学習の可能性• 何次元から有効かが不明(Mechanical Systems and Signal Processing, Vol.162)

課題••

過学習への対処
深層学習+GPRが有効となる次元数の把握

4/11【目的】高次元不確定性を考慮する深層カーネル学習モデル
深層カーネル学習（DKL）

質量②〇

〇
〇

剛性①
剛性②〇〇

〇

●

●

●

●

●

●

●

●

●

●
〇

●

●

剛性N

〇

〇

●
●

〇

〇

●
〇

目的出力（最大応答）〇

ガウス過程回帰（GPR）

不確定性を持つ物性値

質量①

深層学習器で高次元不確定性の特徴次元を圧縮〇

深層学習器とGPRを組み合わせた深層カーネル学習（DKL）
サロゲートモデルに対する過学習への対処の有効性と、GPRに対してDKLが有効な次元数を明らかにする【手法】GPR+深層学習・過学習について
ガウス過程回帰カーネル関数• ノンパラメトリック• 予測分散の出力が可能

RBFカーネルx : 入力ベクトルy : 出力ベクトルk：カーネル関数
K : カーネル行列

カーネル行列K nm = k ( x n , x m )Knm : カーネル行列の要素

 ( x n − x m )2 k (xn , xm ) = exp  −
 +2


2
1



5/11

【手法】GPR+深層学習・過学習について
ガウス過程回帰カーネル関数• ノンパラメトリック• 予測分散の出力が可能

RBFカーネル ( x n − x m )2 k (xn , xm ) = exp  −
 +2


2

1



5/11+ 深層学習

Deep Kernel Learning (DKL) ( g ( x ) − g ( x ))  +
k ( x , x ) = exp  −2nnm
m212x : 入力ベクトルy : 出力ベクトルk：カーネル関数
K : カーネル行列

g : MLP（Multi-Layer Perceptron）
パラメータ数が多い

カーネル行列質量①DKLモデル

K nm = k ( x n , x m )Knm : カーネル行列の要素●●剛性NGPR●【手法】GPR+深層学習・過学習について
ガウス過程回帰カーネル関数• ノンパラメトリック• 予測分散の出力が可能

RBFカーネル ( x n − x m )2 k (xn , xm ) = exp  −
 +2


2
1



5/11+ 深層学習

Deep Kernel Learning (DKL) ( g ( x ) − g ( x ))  +k ( x , x ) = exp  −2nnx : 入力ベクトルy : 出力ベクトルk：カーネル関数
K : カーネル行列

カーネル行列K nm = k ( x n , x m )Knm : カーネル行列の要素

mm

21


2g : MLP（Multi-Layer Perceptron）
パラメータ数が多い

最適化
11N
L = ln p(y ) = − ln K − y T K −1y − ln(2 )222
T−1
 − ln K − y K y + 

複雑性 データへのフィッティング
ペナルティ

パラメータ数：大 ⇒ 過学習の可能性：大【手法】GPR+深層学習の過学習への対処
なぜ過学習を考慮する必要があるのか？
• パラメータ数が大きい• 学習データが少数高次元のサロゲートに当てはまる

L2正則化• モデルが過度にデータにフィッティングするのを防ぐ• モデルパラメータのL2ノルム正則化項を損失関数に追加

Loss = ln K + y T K −1y +  w

2

正則化項

Dropout• 訓練中にランダムにモデルを不活性化する

DKLモデル

●
●

剛性N

GPR

●

目的出力

質量①6/11

【手法】GPR+深層学習の過学習への対処
なぜ過学習を考慮する必要があるのか？
• 学習データが少数• パラメータ数が大きい

高次元のサロゲートに当てはまる

L2正則化• モデルが過度にデータにフィッティングするのを防ぐ• モデルパラメータのL2ノルム正則化項を損失関数に追加

Loss = ln K + y T K −1y +  w

2正則化項

Dropout• 訓練中にランダムにモデルを不活性化する

Iteration：1

●
●

剛性N

GPR

●

目的出力

質量①6/11

【手法】GPR+深層学習の過学習への対処
なぜ過学習を考慮する必要があるのか？
• 学習データが少数• パラメータ数が大きい

高次元のサロゲートに当てはまる

L2正則化• モデルが過度にデータにフィッティングするのを防ぐ• モデルパラメータのL2ノルム正則化項を損失関数に追加

Loss = ln K + y T K −1y +  w

2正則化項

Dropout• 訓練中にランダムにモデルを不活性化する

Iteration：2

●
●剛性N

GPR

●

目的出力

質量①6/11

7/11【問題】本研究で扱った問題

不確定性次元数が 3 から 283 の問題まで、10の問題設定で検証
問題名

不確定性次元数

参考文献

非線形関数

3Zou et al., RESS, 2002

液体水素タンク

5Bichon et al., RESS, 2011

非線形振動

6Echard et al., SS, 2011

車両の側面衝突

11Bichon et al., RESS, 2011

10バートラス

14

Xiao et al., QREI, 2022

片持ち梁

23

Meng et al., SS, 2021

トラス構造

30Hadidi et al., SS, 2017

高次元関数

40Li et al., MSSP, 2020

フレーム構造67

Hadidi et al., SS, 2017

アーチ橋283

Keshtegar et al., Appl MathMo, 2019

7/11

【問題】本研究で扱った問題

不確定性次元数が 3 から 283 の問題まで、10の問題設定で検証
問題名

不確定性次元数

参考文献

非線形関数

3Zou et al., RESS, 2002

液体水素タンク

5Bichon et al., RESS, 2011

非線形振動

6Echard et al., SS, 2011

車両の側面衝突

11Bichon et al., RESS, 2011

10バートラス

14Xiao et al., QREI, 2022

片持ち梁

23Meng et al., SS, 2021

トラス構造

30Hadidi et al., SS, 2017

高次元関数

40

Li et al., MSSP, 2020

フレーム構造67

Hadidi et al., SS, 2017

アーチ橋

283

Keshtegar et al., Appl MathMo, 2019

8/11

【例題】横荷重を受けるフレーム構造
解析詳細• 6階建てフレーム構造• OpenSeesPyでモデル化• 断面積、弾性係数、
断面二次モーメント、荷重を不確定性として設定• 不確定パラメータ数：67• 水平変位H(x)が許容変位量を超えたら故障とみなす

g (x) = 0.07 − H (x)不確定パラメータ
Random variable

Unit

参考：Hadidi et al., SS, 2017
Distribution

Mean

Std

𝐴𝐶1 − 𝐴𝐶18m2

Normal

0.01300.0013

𝐼𝐶1 − 𝐼𝐶18m4

Normal0.0003

0.00003

𝐴𝐵1 − 𝐴𝐵12m2

Normal

0.01300.0013

𝐼𝐵1 − 𝐼𝐵12m4

Normal0.00070.00007

𝑃1 − 𝑃6kN

Normal80

8.0𝐸GPa

Normal

200

20

9/11

【結果】横荷重を受けるフレーム構造
サロゲートモデル構築結果• 構築回数：10回• 実線：平均、範囲：標準偏差

決定係数

故障確率の推定GPR
DKL

正則化DKLMC結果

GPRDKL
正則化DKL• DKLモデルがGPRモデルに比べて、精度が良い• 正則化DKLモデルがDKLモデルに比べて、精度が良い10/11【結果】不確定性次元数に対するDKLの有効性
平均絶対誤差（MAE）によるサロゲートモデルの精度比較
MAE(DKL)
MAE(GPR)

MAE(正則化DKL)
MAE(GPR)10/11【結果】不確定性次元数に対するDKLの有効性
平均絶対誤差（MAE）によるサロゲートモデルの精度比較
MAE(DKL)
MAE(GPR)

MAE(正則化DKL)
MAE(GPR)

DKL>GPR10/11【結果】不確定性次元数に対するDKLの有効性
平均絶対誤差（MAE）によるサロゲートモデルの精度比較
MAE(DKL)
MAE(GPR)

MAE(正則化DKL)
MAE(GPR)

正則化DKL>GPR
DKL>GPR

次元数>20: DKL>GP
次元数>10: 正則化DKL>GPR
正則化DKL>DKL• 不確定性次元数が10を超える範囲で、正則化DKLモデルがGPRモデルおよびDKLモデルよりも高精度である

結論と今後の展望

11/11

結論
• ガウス過程回帰（GPR）+深層学習のモデルである深層カーネル学習（DKL）に対し、L2正則化とDropoutを用いて正則化した• 正則化DKLモデルの有効性を調べるために、広範な不確定性次元数を持つ10の信頼性解析の問題が検証された• フレーム構造を扱った問題において、正則化DKLはGPRおよびDKLよりも決定係数および推定故障確率の精度が高かった• 不確定性次元数が10を超えるすべての問題において、正則化DKLはGPRおよびDKLよりも精度が高く、次元数の高い問題における正則化の有効性を示した

今後の展望• アダプティブサンプリングなどの組み合わせによって、より低計算コストにサロゲートモデルが構築できる可能性がある