1EP16

テーマ番号和文

深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑに関する研究

英文

A Study on Concrete Compaction Judgment System Based on DeepLearning

プロジェクト
テーマ指導教員プロジェクト
メンバー

長田 茂美 教授

4EP3-22 小島 弘道 (KOJIMA Hiromichi)

Abstract The degree of concrete compaction is judged visually by skilled engineers based on their senses and experience. So far,the authors have proposed and evaluated a concrete compaction judgment system based on deep learning, which is an alternative to
visual judgment by skilled engineers. In this paper, we propose a learning method that focuses on the decision boundary acquired bythe deep learning model and clarifies to further improve the decision accuracy. As a result of the system evaluation experiment, it wasconfirmed that the proposed method and the system can provide more accurate judgment of the completion of compaction.

Keywords deep learning, concrete compaction, visual judgment, metric learning, between class learning.
1. はじめに

2.2 データの取得およびラベルの作成

ｺﾝｸﾘｰﾄは，主にｾﾒﾝﾄ，水，砂（細骨材）および砂利（粗骨材）で構成される．これらの材料を練り混ぜ，型枠に打ち込み，ﾊﾞｲﾌﾞﾚｰﾀ等を用いた“締固め”によって充填し，湿潤状態に養生することで，ｺﾝｸﾘｰﾄは硬化の準備が整う．
この締固めの程度の判定は，従来から熟練技術者の経験に基づく目視や感覚で行われており，このような判定方法はｺﾝｸﾘｰﾄの品質のばらつきや品質低下の一因となる懸念がある．昨今，技術者の減少や働き方改革に伴う作業時間の短縮により，ｺﾝｸﾘｰﾄ工の生産性向上が求められており，品質を確保した上での省人化，省力化，あるいは無人化技術の開発が望まれている．
これまでに当研究室では，熟練技術者による目視判定の代替となり得る深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃ
ﾑを提案してきた[1]．本論文では，ｼｽﾃﾑのさらなる判定精度向上を目指し，深層学習ﾓﾃﾞﾙが獲得するｸﾗｽ間の決定境界に着目して，Metric Learning[2]および Between-Class(BC)Learning[3]の両者をうまく併用することによって，その決定境界をより明確化できる学習手法を提案する．さらに，提案手法を導入した深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑの評価実験について述べる．

ｼｽﾃﾑの評価ﾃﾞｰﾀとして，比較的，撮影環境が安定している屋内環境下において，ｺﾝｸﾘｰﾄをﾊﾞｲﾌﾞﾚｰﾀにより締め固める際のｺﾝｸﾘｰﾄ表面の映像を 39 本取得した．締固めはﾊﾞｲﾌﾞﾚｰﾀの振動が伝播した部分領域から徐々に完了するため，ｺﾝｸﾘｰﾄ表面全体ではなく，より小さな領域ごとに締固め状態を判定する必要があり，図 2 に示すように，締固め映像のﾌﾚｰﾑ画像を 24 個のﾒｯｼｭ領域に分割し，これらを締固め判定の対象領域とした．また，取得した映像すべてのﾌﾚｰﾑ画像(30fps)の領域ごとに，3 名の技術者が判定した締固め完了の適正時間の平均値に基づいて，[before]および[just]の正解ﾗﾍﾞﾙを付与した．このようにして作成された
270×270 画素の画像とそのｺﾝｸﾘｰﾄの性状 5 種類からなるﾌﾚｯｼｭ性状ﾃﾞｰﾀ（5 次元ﾍﾞｸﾄﾙ）が，ｼｽﾃﾑの入力となる．

2. システムと評価方法
2.1 システム概要
図 1 に，提案ｼｽﾃﾑの概要と深層学習ﾓﾃﾞﾙの構造を示す．
ｼｽﾃﾑへの入力は，締固め工程におけるｺﾝｸﾘｰﾄ表面の撮影映像のﾌﾚｰﾑ画像と，そのｺﾝｸﾘｰﾄのﾌﾚｯｼｭ性状（まだ固まらない状態の性状）であり，出力は締固め未完了状態を表す[before]と締固め完了状態を表す[just]の 2 ｸﾗｽの尤度である．予めｼｽﾃﾑにﾌﾚｰﾑ画像およびﾌﾚｯｼｭ性状と締固め状態との対応関係を学習させておくことで，ｼｽﾃﾑに入力されたﾌﾚｯｼｭ性状をもつﾌﾚｰﾑ画像は尤度の高いｸﾗｽに分類される．

CNNVideo frame image
Fully connected layer

Freshproperty
data

Fully connected layer

Concatenation Layer

CNN: Convolutional Neural Network

beforejust

図 1 ｼｽﾃﾑ概要と深層学習ﾓﾃﾞﾙの構造
Fig.1 System overview and its deep learning model.

図 2 締固め判定対象領域（ﾒｯｼｭ領域）
Fig.2 Target area for compaction judgment (mesh area).

2.3 評価方法
取得した 39 本の締固め映像から作成した[before]および[just]の 2 ｸﾗｽのﾗﾍﾞﾙ付きﾌﾚｰﾑ画像とそのﾌﾚｯｼｭ性状ﾃﾞｰﾀからなるﾃﾞｰﾀｾｯﾄに対し，学習，検証，評価ﾃﾞｰﾀｾｯﾄがそれぞれ 3:1:1 となるように，k-分割交差検証(k=5)を適用し，ｼｽﾃﾑの判定精度を評価する．

3. 精度向上に向けたアプローチ
3.1 提案手法
CNN に Network in Network(NIN)を採用した従来ｼｽﾃﾑ[1]では，上述の評価方法および評価ﾃﾞｰﾀｾｯﾄに対する正解率は 82.4%であり，ｺﾝｸﾘｰﾄの性状に依っては，正解ﾗﾍﾞﾙの[before]と[just]が切り替わる境界付近での誤判定，すなわち，締固め適正時間よりも早い締固め完了判定や逆に遅れた締固め完了判定が，解決すべき課題として残されていた．
本研究では，この正解ﾗﾍﾞﾙの境界付近での誤判定の課題を解決するために，深層学習ﾓﾃﾞﾙの学習ﾃﾞｰﾀ（特徴ﾍﾞｸﾄﾙ）間の類似度に着目し，埋め込み空間におけるﾃﾞｰﾀ間の距離を，類似度の高い場合は小さく，類似度の低い場合は大きく学習する Metric Learning と，異なるｸﾗｽ間のﾃﾞｰﾀに着目し，異なるｸﾗｽの 2 つのﾃﾞｰﾀをﾗﾝﾀﾞﾑな比率で合成して，そ1EP16

テーマ番号

表 1 評価実験結果
Table 1 Result of evaluation experiment.
NINCNNlearning method conventional

ResNet18proposed

conventional

proposed

accuracy

82.4%

84.9%(+2.5%)

88.3%

90.4%(+2.1%)[before] f1-score

0.784

0.808(+0.024)

0.853

0.875(+0.022)[just] f1-score

0.850

0.875(+0.025)

0.902

0.922(+0.020)

Conventional method

Proposed method

Mesh numberの合成比率を出力するように学習する BC Learning を併用することで，判定精度向上を図る学習手法を提案する．
図 3 に，提案手法の期待効果のｲﾒｰｼﾞを示す．
BC Learning
により生成された合成ﾃﾞｰﾀに Metric Learning を適用する
ことで，決定境界付近に位置するﾃﾞｰﾀ(mixed)を含め，同一ﾗﾍﾞﾙのﾃﾞｰﾀ間の距離は小さく，異なるﾗﾍﾞﾙのﾃﾞｰﾀ間の距離は大きく学習できるため，締固め映像の正解ﾗﾍﾞﾙの[before]と[just]が切り替わる境界付近のﾃﾞｰﾀの誤判定の改善が期待できる．また，BC Learning の適用は，ﾃﾞｰﾀ数の少ないﾃﾞｰﾀｾｯﾄの有効活用にも繋がる．

Frame

Upper row: Answer label
Lower row: Predict result: classA: classB: classA: mixedA: mixed[just]
un correct

図 5 ｼｽﾃﾑの判定精度
Fig.5 Judgment accuracy of the system.

: classB: mixedB

図 3 提案手法の期待効果
Fig.3 Expected effect of the proposed method.

[before]correct

Conventional method

Proposed method

3.2 学習方法
提案手法では，BC Learning，Metric Learning の各々を適用する 2 段階の学習を実行する．まず，BC Learning を深層学習ﾓﾃﾞﾙ全体に適用する．次に，図 4 に示すように，その重みを連結層まで凍結し，連結層以降の全結合層にSphereFace の学習，
すなわち，Metric Learning を適用する．
Fully connected layer

Video frame
imageCNN

Fully connected layer

Freshproperty
data

Concatenation Layer

CNN: Convolutional Neural Network

Classification

SphereFace
Loss Layer

Label
Non-trainable: before

beforejustTrainable

図 4 提案手法の学習方法
Fig.4 Learning of the proposed method.

4. 提案手法およびシステムの評価提案手法およびｼｽﾃﾑの有用性を確認するために，
従来および提案ｼｽﾃﾑにおいて，CNN として NIN／ResNet18 を用いた場合，Metric Learning，BC Learning を併用した提案手法の導入なし／ありの場合の各々について，判定精度の評価実験を実施した．
表 1 に，各評価実験の正解率と[before]，[just]のｸﾗｽごとの F 値を示す．CNN として NIN，ResNet18 を用いたいずれの場合においても，提案手法の導入による判定精度の向上が確認できた．また，図 5 に，CNN には ResNet18 を用いて，提案手法の導入なし／ありの各々の場合について，1 本の締固め映像のﾃｽﾄﾃﾞｰﾀに対するﾒｯｼｭ領域ごとの判定結果を示す．さらに，図 6 に，出力層への入力特徴ﾍﾞｸﾄﾙを，UMAP を用いて 2 次元に低次元化し，可視化した結果を示す．これらの結果からも，提案手法の導入により，[before]と[just]のﾗﾍﾞﾙ境界での誤判定が減少していること，また，提案手法の導入なしの CNN では顕著な構造を持たずに疎に分布していた特徴ﾍﾞｸﾄﾙが，ｸﾗｽごとにある程度構造化され，[before]と[just]の異なるｸﾗｽの特徴ﾍﾞｸﾄﾙが分離されて分布していることが確認できる．

: just

図 6 特徴ﾍﾞｸﾄﾙの分布
Fig.6 Distribution of feature vectors.

5. おわりに本研究では，ｼｽﾃﾑのさらなる判定精度向上を目指し，深層学習ﾓﾃﾞﾙが獲得するｸﾗｽ間の決定境界に着目して，Metric Learning，BC Learning を併用し，決定境界をより明確化する学習手法を提案した．さらに，提案手法を導入したｼｽﾃﾑ評価実験の結果，提案手法およびｼｽﾃﾑは，より高精度な締固め完了判定を実現でき，その有用性を確認した．

参考文献[1] 林俊斉，齋藤淳，小島弘道，長田茂美：“AI によるｺﾝｸﾘｰﾄの締固め自動判定ｼｽﾃﾑ開発の試み，”AI・ﾃﾞｰﾀｻｲｴﾝｽ論文集，2 巻 J2 号，pp.79-86 (2021)．
[2] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha
Raj, Le Song: “SphereFace: Deep Hypersphere Embeddingfor Face Recognition,” arXiv:1704.08063 (2017).
[3] Yuji Tokozume, Yoshitake Ushiku, Tatsuya Harada:“Between-class Learning for Image Classification,”
arXiv:1711.10284 (2018)．
[4] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun:
“Deep Residual Learning for Image Recognition,”
arXiv:1512.03385 (2015).

本プロジェクトに関する業績
1) 林俊斉，髙木亮一，小島弘道，長田茂美：“AI を活用したｺﾝｸﾘｰﾄの締固め完了判定技術,” ｺﾝｸﾘｰﾄ工学 Vol.
60，No. 3 (2022)．
2) 小島弘道，山﨑晃平，長田茂美，林俊斉：“深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑ -ｼｽﾃﾑの学習手法の提案と評価-,” 動的画像処理実利用化ﾜｰｸｼｮｯﾌﾟ，DIA2022(2022)．