論文

Self-attentionに基づく機械学習によるコンクリート床版打撃時の加速度応答を用いた内部欠陥のトポロジー同定― 同定結果へのデータオーギュメンテーションの効果 ―嶋田 雅也1・倉橋 貴彦1・村上 祐貴2・池田 富士雄3・井山 徹郎3
1

長岡技術科学大学大学院 機械創造工学専攻（Department of Mechanical Engineering, Graduate School of Nagaoka University of Technology）
2

環境都市工学科（Department of Civil Engineering, National Institute of Technology, Nagaoka College）
3

機械工学科

（Department of Mechanical Engineering, National Institute of Technology, Nagaoka College）

Defect topology identification in concrete plates
by machine learning based on self-attention using hammering response data- Effectiveness of data augmentation method for identified results Masaya SHIMADA1, Takahiko KURAHASHI1, Yuki MURAKAMI2,Fujio IKEDA3 and Tetsuro IYAMA 3Abstract
The aging of concrete structures in Japan is becoming increasingly serious. Periodic inspection isnecessary to prevent accidents caused by aging. One of the methods used to inspect concrete is thehammering test. In this research, we aim to develop a system to identify the topology of defects in concreteby machine learning based on the acceleration response data obtained from the hammering test. As amachine learning model, we build a neural network based on self-attention. Furthermore, we propose a dataaugmentation method for this task and test its effectiveness.
Key Words : hammering test, defect detection, machine learning, self-attention, wavelet analysis

１．

はじめにを評価する方法として，構造物をハンマーで叩いたときの変位や音から構造物の状態を診断する打撃試

日本国内において，高度経済成長期に急速に建設

験がある．しかしこの手法は作業者の感覚に依存すされたトンネルなどのコンクリート構造物の老朽化ることや，高所，狭所での作業に危険が伴うことかが深刻化している．老朽化による事故を防ぐためにら，総じて熟練が必要と言える．そこで，人の感覚は，定期的な点検が必要である．コンクリート内部に頼らず自動化可能なコンクリート内部状態の評価
25

手法の需要がある．本研究では，コンクリート内部の欠陥のトポロジー（位置と大きさ）を推定する機
械学習モデルを開発する．機械学習モデルのへの入力データには，打撃試験で得られた加速度応答のスカログラムを用いる．機械学習モデルとして，selfattention に基づくニューラルネットワークを構築する．また本検討に対してデータオーギュメンテーシ
ョン手法を適用し，効果を検証する．
図-2

２．

打撃試験データセット

２．１

データセットの概要

人工欠陥付きコンクリート床板 B の無次元密度テンソル

２．２

データセットへの前処理

本研究では，本研究グループの村上らによる人

このデータセットに対し，本研究では2つの前処工的な欠陥を持つコンクリート床板の打撃試験データセット を使用する．このデータセットには，人理を行う．
1つ目は，加速度応答波形の正規化である．この工欠陥の埋没深さが異なる2つのコンクリート床版

データの打撃試験は手によって打撃が行われたため，を打撃した際の加速度応答が含まれている．床版の打撃点によって打撃力の大きさが異なる．各点での大きさは1700mm×1700mm×180mm であり，それぞ打撃力の差による影響を軽減するために，各加速度

1)れ10個の欠陥が埋め込まれている．打撃点は50mm応答波形を，その点における最大打撃力で除す正規間隔に配置されており，1つの床版につき32×32点化を行っている．
2つ目の前処理は，スカログラムの生成である．

ある．埋没深さは床版の半面で異なっており，床版Aには30mmおよび50mm，床版Bには70mmおよびスカログラムは，主に連続ウェーブレット変換によ90mmの深さに欠陥が埋設されている．って生成される，時系列データの時間周波数表現で本研究では，欠陥を含めた床版の構造全体を無次ある．本研究では，加速度応答波形をそのまま機械元密度テンソルによって表現する．テンソルの各要学習モデルへの入力とするのではなく，より多くの素の無次元密度は0から1の値を取り，0が欠陥部，1情報を含む形に変換してから入力とする．連続ウェが健全部，0と1の中間値が欠陥部と健全部の境界を意味する．大きさが(32×32×36)である無次元密度テーブレット変換には，32種類の幅パラメータでのRickerウェーブレットを使用している．推定したいンソルで表したコンクリート床版A，Bをそれぞれ領域の4隅にある打撃点に対応するスカログラムか

図-1，図-2に示す．これらの図では，無次元密度が1の要素を表示していない．

ら，4点の打撃点直下の無次元密度分布を推定する．

３． 機械学習モデル
図-3 に self-attention block2)の構造を示し，式(1)，(2)，(3)にその数式を示す．𝛼𝛼は attention 重み，𝜑𝜑, 𝜓𝜓,𝛽𝛽は学習可能な線形写像， ℛ(𝑖𝑖)はある要素𝑖𝑖の近傍の要素の集合，𝛾𝛾はマッピング関数， 𝛿𝛿�𝒙𝒙𝑹𝑹(𝒊𝒊) �は式(3)に示す関係関数，⊙はアダマール積である．ブ
ロックは残差を学習するため，入力からスキップ結合が伸びており，式(1) に対し入力𝑥𝑥が足されて出力
図-1

人工欠陥付きコンクリート床板 A の無次元密度テとなる．

ンソル

26

Self-attention block の出力テンソルの形状は入力テンソルと同じであるため，self-attention block の後に変形を行う Transition 層を配置し，そのペアを 4 回積み重ねてネットワークを構成する．また最後にsigmoid 関数を通すことで，出力の各要素が無次元密度の値域である 0~1 の値を取るようにしている．

４.

数値実験

４．１
図-3

Self-attention block

実験方法

以下に計算の流れを示す．まず打撃試験によって，ある 4 点の加速度応答波形を得て，それについて正𝑦𝑦𝑖𝑖 = � α�𝑥𝑥𝑅𝑅(𝑖𝑖) �𝑗𝑗 ⊙ β�𝑥𝑥𝑗𝑗 �(1)δ�𝑥𝑥𝑅𝑅(𝑖𝑖) � = �φ(𝑥𝑥𝑖𝑖 ), �ψ�𝑥𝑥𝑗𝑗 ��∀𝑗𝑗∈ℛ(𝑖𝑖) �(3)𝑗𝑗∈ℛ(𝑖𝑖)

α�𝑥𝑥𝑅𝑅(𝑖𝑖) � = γ �δ�𝑥𝑥𝑅𝑅(𝑖𝑖) ��

表-1

Layer
Input
SA block
Transition
SA block
Transition
SA block
Transition
SA block
Output規化を行ったのちに連続ウェーブレット変換を行い，4 つのスカログラムを得る．それらを機械学習モデ(2)ルへ入力して，4 点で囲まれた部分の直下の無次元密度分布を出力する．
次に機械学習モデルの学習方法を説明する．デー
タセットの 32 列のうち 4 列を test データとし，残りの 28 列を train : validation=8:2 の割合でランダムに分

機械学習モデルの構成

Output size
32 × 2048 × 432 × 2048 × 416 × 512 × 1616 × 512 × 168 × 128 × 32
8 × 128 × 32
4 × 16 × 64
4 × 16 × 64
1 × 1 × 36

割して，train データで学習，validation データで学習

Functions[3 × 3, 4 − 𝑑𝑑 𝑠𝑠𝑠𝑠,
4 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙] × 2[2, 4] 𝑚𝑚𝑚𝑚𝑚𝑚 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝→ 16 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙[3 × 3, 8 − 𝑑𝑑 𝑠𝑠𝑠𝑠,
16 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙] × 2[2, 4] 𝑚𝑚𝑚𝑚𝑚𝑚 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝→ 32 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙[3 × 3, 8 − 𝑑𝑑 𝑠𝑠𝑠𝑠,
32 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙] × 4[2, 8] 𝑚𝑚𝑚𝑚𝑚𝑚 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝→ 64 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙[3 × 3, 16 − 𝑑𝑑 𝑠𝑠𝑠𝑠,
64 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙] × 1[1 × 1] 𝐺𝐺𝐺𝐺 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝,
36 − 𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙, 𝜎𝜎

中における精度評価，test データで学習済みモデルの精度評価を行う．また，test データに使用する 4列の位置をずらし，train データと validation データを同じように作成し，学習を行い，test データについての予測を行うことによって，最終的に可視化する無次元密度分布が，すべて機械学習モデルにとって未知のデータに対する推定になるようにする(図4)．学習では，2000 イタレーションの中で validation
データに対しての誤差が最も小さくなった時点の重みを最終的な重みとして採用する．モデルの学習には Adam3)と呼ばれる最適化手法を用い，計算条件については表-2 に示す．

表-1 に self-attention に基づくネットワークの構造を示す．この表において，'n-d sa'は n 次元の出力のself-attention，'n-d linear'は n 次元の線形写像，'[d1,d2] max pool'はストライド及びカーネルサイズが[d1,d2]である max pooling，'[n × n] GA pool'は出力サイズが n × n の global average pooling，'σ'は Sigmoid 関数である．Φ，ψ，β は一般的な self-attention の枠組

みにおける，query, key, value に対応している．selfattention block の左側の流れは，query と key からattention 重みを算出している．

図-427

Train/Test データの分割方法

次に，本手法における推定精度向上のための手法素が減って精度のよい推定になっていることがわかを考える．一般に，機械学習の学習に用いることがる．また図-14 に示すように，最小・最深の欠陥にできるデータが多いほど，モデルの推定性能は向上

ついても推定することができている．

することが知られている．そのため，本データセッ

表-3 に，それぞれの推定結果と実際の無次元密トについて，データ数を適切に水増し(データオー度分布との平均二乗誤差を示し，精度を評価する．

ギュメンテーション)する方法を考え，その効果を

図-6 から，精度向上が鈍化しているものの，回転検証する．

数が多いほど単純に両床板について推定精度が向上

図-5 に，提案するデータオーギュメンテーショしていることがわかる．3 回転(270 度)までの使用でンの方法を示す．データセットは，4 点の打撃点かあれば汎化性能の低下は見られなかったことから，ら得られた加速度応答波形のスカログラムと，そのこの方法によるデータオーギュメンテーションは推4 点に囲まれた柱状の 36 要素の無次元密度分布のペ定精度向上に効果的であるといえる．

アからなる．このペアについて，打撃点を 90 度だけ回転させたようなデータを作成する．4 点からのスカログラムの情報は，図-5 の上側に示す順序で格納されているため，打撃点を回転させた際に対応するようにスカログラムの順序を入れ替え，新たなデータとしてデータセットに追加する．なお無次元密度分布については(1×1×36)の大きさであり，90度回転させても不変であることから，そのまま利用する．一度に推定を行う領域の𝑥𝑥, 𝑦𝑦方向の要素を 2以上に広げた場合にはこの限りではないため，無次元密度分布についても回転を行う必要がある．

本データオーギュメンテーションは，データセッ

図-5データオーギュメンテーションの方法

トを test，train，validation データに分割した後に，train データについてのみ行う．また，90 度回転させ

表-2

100
20000.001
0.90.999
1 × 10−8

ミニバッチサイズ
最大イタレーション数
学習率
Adam β1
Adam β2
Adam ϵ

たデータを生成するごとに，train データ数は元のデータ数分だけ増える．90 度回転，180 度回転，270度回転させたデータまで利用することで，本手法により train データ数は最大で 4 倍になる．一方で，事実上同一のデータを train データセット内に増加させているため，汎化性能が失われて test データに対する推定精度が低下する恐れがある．本研究では，そ表-3の影響を検証するために，90 度回転，180 度回転ま各回転数での平均二乗誤差(10−3 [−])

回転数 (回転角度)
0 (0 度)
1 (90 度)2 (180 度)
3 (270 度)

で，270 度回転までの 3 水準でデータオーギュメンテーションを行い，データオーギュメンテーションを行わない(便宜上「回転数 0」及び「0 度回転」と記載)で学習させたモデルと合わせた 4 ケースについて test データに対する推定精度を比較する．

床版 A
0.772
0.538
0.3040.285

床版 B
1.158
0.776
0.613
0.583

1.41.2

実験結果

平均二乗誤差[-]４．２

数値解析条件図-7 から図-10 に，床版 A に対する各データオーギュメンテーションでの推定結果を示す．また図11 から図-14 に，床版 B に対する推定結果を示す．

10.8
床版A0.6

床版B

0.40.2

データオーギュメンテーションを行っていない状態

0では推定できていなかった小さい欠陥が，データオ

0123回転数[-]

ーギュメンテーションにより推定されるようになり，
図-6

更に回転数が大きいものではノイズとなっている要
28回転数と平均二乗誤差の関係

図-7

床板 A への推定結果(0 回転).

図-11

床板 B への推定結果(0 回転).

図-8

床板 A への推定結果(1 回転).

図-12

床板 B への推定結果(1 回転).

図-9

床板 A への推定結果(2 回転).

図-13

床板 B への推定結果(2 回転).

図-10

床板 A への推定結果(3 回転).

図-14

床板 B への推定結果(3 回転).

29

５. 結論Self-attention に基づくニューラルネットワークを打撃試験時の加速度応答波形のスカログラムに用いる手法で，コンクリート床版内部の欠陥位置・大きさを推定した．また，本手法において実施したデータオーギュメンテーション手法により，汎化性能を落とさずに推定精度を向上させられることを示した．

謝辞：本研究は，国立研究開発法人科学技術振興機
構A-STEP トライアウト(JPMJTM20DK)による 援助を受けた．記して謝意を表す．
参考文献
1) 野内 彩可, 村上 祐貴, 井山 徹郎, 池田 富士雄, 応答信号
取得位置を固定した打撃試験における自己組織化マップによるコンクリート内部の欠陥領域判定, コンクリー
ト工学年次論文集, pp. 1755–1760, 2018.
2) H. Zhao, J. Jia and V. Koltun, Exploring self-attention forimage recognition, in: Proc. of 2020 IEEE/CVF Conference on
Computer Vision and Pattern Recognition (CVPR), pp.
10073–10082, 2020.
3) D. P. Kingma and J. Ba, Adam: A method for stochastic
optimization, arXiv:1412.6980 [cs.LG].
(2021. 10. 1 受付)30