1EP45

テーマ番号和文

深層学習に基づくコンクリートの締固め判定システムに関する研究

英文

A Study on Concrete Compaction Judgment System Based on DeepLearning

プロジェクト
テーマ指導教員プロジェクト
メンバー

4EP4-43 平松

長田 茂美 教授

奏哉 (Soya Hiramatsu)

Abstract The degree of concrete compaction is judged visually by skilled engineers based on their senses and experience. As analternative to the visual judgment, there is a need to develop technologies to quantify the degree of compaction or to automate thecompaction process to ensure quality and improve productivity. In this paper, a compaction judgment system based on deep learning
is proposed. The experimental results show that the proposed system is able to realize a highly accurate judgment of compaction
completion by considering the fresh concrete properties in addition to the video frame image of the concrete surface, and its usefulness
was confirmed.

Keywords concrete compaction, fresh properties, visual judgment, deep learning, Network In Network.
1. まえがき
ｺﾝｸﾘｰﾄは，ｾﾒﾝﾄ，水，砂（細骨材）および砂利（粗骨材）で構成される材料である．これらの材料を練り混ぜ，型枠に打ち込み，ﾊﾞｲﾌﾞﾚｰﾀを用いた“締固め”によって充填し，湿潤状態に養生することでｺﾝｸﾘｰﾄの硬化の準備が整う．この締固めの程度や完了時期の判断は，従来から熟練技術者の経験に基づいた目視判定と感覚で行われている．このような判定方法は，ｺﾝｸﾘｰﾄの品質のばらつきや品質低下の一因となる懸念がある．技術者の減少が続く状況を鑑みると，ばらつきのない判断指標や生産性向上に向けた技術開発が求められている．
当研究室では，深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑを提案および評価してきた[1]．その結果，締固め判定には，ｺﾝｸﾘｰﾄ表面の状態に加えて，ｺﾝｸﾘｰﾄがまだ固まっていない状態のﾌﾚｯｼｭ性状も影響を及ぼしていることが明らかになってきた．本研究では，ｼｽﾃﾑのさらなる精度向上を目指し，ｺﾝｸﾘｰﾄ表面の撮影画像に加え，そのﾌﾚｯｼｭ性状も考慮したｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑを提案する．
本稿では，高精度なｺﾝｸﾘｰﾄの締固め判定を実現できる提案ｼｽﾃﾑと，従来の目視判定の代替可能性を検討するために実施した検証試験について述べる．

2. コンクリートの締固め
ｺﾝｸﾘｰﾄの締固めは，振動や突きなどを与え，型枠の隅々まで行き渡らせるとともに，空隙を減らして密実にする行為である．締固め不足，過剰な締固めともに，ｺﾝｸﾘｰﾄ構造物の設計時に想定する硬化後のｺﾝｸﾘｰﾄの品質を阻害する原因となるため，適切な締固めを行う必要がある．
適切な締固め時間は，ｺﾝｸﾘｰﾄの性状によっても大きく異なる．ﾌﾚｯｼｭ性状はｺﾝｸﾘｰﾄがまだ固まっていない状態の性状であり，この性状を定量化する 1 つの試験として，図 1に示すｽﾗﾝﾌﾟ試験がある．ｽﾗﾝﾌﾟとは，ｺﾝｸﾘｰﾄが自重によって変形する下がり幅であり，ｽﾗﾝﾌﾟが大きいｺﾝｸﾘｰﾄは柔らかく，締固め時間が短く，逆に，ｽﾗﾝﾌﾟが小さいｺﾝｸﾘｰﾄは固く，締固め時間が長くなる傾向にある．

3. システムおよび検証
3.1. システム概要
図 2 に，提案ｼｽﾃﾑの概要と深層学習ﾓﾃﾞﾙの構造を示す．
ｼｽﾃﾑへの入力は，締固め工程におけるｺﾝｸﾘｰﾄ表面の撮影映像のﾌﾚｰﾑ画像と，そのｺﾝｸﾘｰﾄのﾌﾚｯｼｭ性状であり，出力は締固め未完了状態を表す[before]と締固め完了の適正状態を表す[just]の 2 ｸﾗｽの尤度である．
提案ｼｽﾃﾑでは，まず，ｺﾝｸﾘｰﾄ表面のﾌﾚｰﾑ画像からNIN(Network In Network)[2] の MLP 畳み込み層(MultilayerPerceptron Convolutional Layer)によって特徴ﾏｯﾌﾟを抽出し，

図 1 ｽﾗﾝﾌﾟ試験
Fig.1 Concrete slump test.

図 2. ｼｽﾃﾑの概要と深層学習ﾓﾃﾞﾙの構造
Fig.2 System overview and its deep learning model．
全結合層の 1 層目を通して m 次元の特徴ﾍﾞｸﾄﾙに変換する．一方，ﾌﾚｯｼｭ性状ﾃﾞｰﾀは複数のﾌﾚｯｼｭ性状を表す数値を要素とする特徴ﾍﾞｸﾄﾙであり，全結合層の 1 層目を通してn 次元の特徴ﾍﾞｸﾄﾙに変換する．次に，これら 2 つの特徴ﾍﾞｸﾄﾙを(m+n)次元の特徴ﾍﾞｸﾄﾙに連結し，全結合層の 2 層目に通すことによって，[before]と[just]の 2 ｸﾗｽの尤度を得る．予めｼｽﾃﾑにﾌﾚｰﾑ画像およびﾌﾚｯｼｭ性状ﾃﾞｰﾀと締固め状態との対応関係を学習させておくことで，入力されたﾌﾚｯｼｭ性状をもつﾌﾚｰﾑ画像は尤度の高いｸﾗｽに分類される．

3.2. 検証データの取得およびラベルの作成
提案ｼｽﾃﾑの有用性を確認するために，照度がほぼ一定の屋内環境下で，ﾌﾚｯｼｭ性状の異なるｺﾝｸﾘｰﾄの締固め映像を10 本取得した．表 1 に，取得した締固め映像の各々の長さおよびﾌﾚｰﾑ画像数と 5 種類のﾌﾚｯｼｭ性状ﾃﾞｰﾀを示す．締固めはﾊﾞｲﾌﾞﾚｰﾀの周辺から徐々に完了するため，ｺﾝｸﾘｰﾄ表面全体ではなく，より小さな領域ごとに締固め状態を判定する必要がある．そこで，図 3 に示すように，締固め映像のﾌﾚｰﾑ画像を 24 個の 270×270 画素（約 84×84 ㎜）のﾒｯｼｭ領域に分割し，これらを締固め判定の対象領域とした．
また、取得した映像すべてのﾌﾚｰﾑ画像(30fps)のﾒｯｼｭ領域ごとに，3 名の技術者が判定した締固め完了の適正時間の平均値に基づいて，[before]および [just]の正解ﾗﾍﾞﾙを付与した．図 4 に，ﾗﾍﾞﾙ付きﾌﾚｰﾑ画像の一例を示す．このように

1EP45

テーマ番号

表 1 ﾃﾞｰﾀｾｯﾄとﾌﾚｯｼｭ性状ﾃﾞｰﾀ
Table1 Dataset and fresh property data.

表 2 交差検証結果
Table2 k-fold cross-validation results.

映像

フレーム スランプ スランプ 空気量N式

電気の長さ

画像数

貫入量

伝導率

（秒）

（枚）

（mm）

（mm）

4541435465
54
73
70
91
映像10 103

32424
29568
31008
38904
46848
46104
36744
50424
65544
74184

197
176
155
202
195
187
182
154
125
125

277
264
251
332
305
277
269
251
232
232

映像1
映像2
映像3
映像4
映像5
映像6
映像7
映像8
映像9

フロー

（%） （mm） （mS/cm）

3.8
4.2
4.5
4.8
4.9
4.9
4.7
4.6
4.5
4.5

173
170
167
187
184
180
170
159
147
147

1.85
1.87
1.88
1.67
1.74
1.80
1.83
1.81
1.79
1.79

fold1
fold2
fold3
fold4
fold5
平均

従来システム提案システム

正解率F値

正解率F値

正解率

82.3%
66.9%
53.9%
75.2%
69.6%
69.6%

0.82
0.53
0.46
0.76
0.70
0.65

64.0%
77.0%
80.0%
76.0%
79.0%
75.2%

0.69
0.76
0.83
0.76
0.80
0.77

-18.3% -0.13
10.1% 0.23
26.1% 0.37
0.8% 0.00
9.4% 0.10
5.6% 0.11

差F値

図 3 締固め判定対象領域（ﾒｯｼｭ領域）
Fig.3 Compaction judgment target area.

図 6 交差検証結果の比較（fold5）
Fig.6 Comparison of cross-validation results (fold5).

図 4 ﾗﾍﾞﾙ付きﾌﾚｰﾑ画像の一例
Fig.4 Labeled frame image.
して作成した 270×270 画素の画像，および，ｽﾗﾝﾌﾟや空気量などの 5 種類のﾌﾚｯｼｭ性状ﾃﾞｰﾀ（5 次元ﾍﾞｸﾄﾙ）が提案ｼｽ
ﾃﾑの入力となる．

3.3. 評価方法
取得した 10 本の締固め映像から作成した[before]および[just]の 2 ｸﾗｽのﾗﾍﾞﾙ付きﾌﾚｰﾑ画像とそのﾌﾚｯｼｭ性状ﾃﾞｰﾀからなるﾃﾞｰﾀｾｯﾄに対し，6 本を学習，2 本を検証，2 本をﾃｽﾄﾃﾞｰﾀとして，k-分割交差検証法(k=5)を適用し，提案ｼｽﾃﾑと，ﾌﾚｯｼｭ性状ﾃﾞｰﾀは用いずにｺﾝｸﾘｰﾄ表面のﾌﾚｰﾑ画像のみに基づいて締固め判定を行う従来ｼｽﾃﾑ [1]との分類精度を評価した．図 5 に，k-分割交差検証(k=5)のための学習，検証，ﾃｽﾄﾃﾞｰﾀの作成方法を示す．

3.4. 検証結果
表 2 に，k-分割交差検証結果を示す．各 fold の正解率の平均は 5.6%向上した．fold ごとの正解率は，fold2，3，4，5 で向上したが，fold1 では逆に低下した．正解率が 82.3%から 64.0%へと大きく低下した fold1 に着目してみると，
fold1 のﾃｽﾄﾃﾞｰﾀの 1 つである映像 1 の空気量の値が 3.8%と他の映像と比べて小さく，他の学習ﾃﾞｰﾀのﾌﾚｯｼｭ性状ﾃﾞｰﾀの分布と大きく異なることが精度低下の要因であることがわかった．このことから，さまざまなﾌﾚｯｼｭ性状の締固め映像を拡充すれば，提案ｼｽﾃﾑの精度向上が図れるものと考える．

図 5 k-分割交差検証(k=5)
Fig.5 k-fold cross-validation.

また，図 6 に，正解率が 69.6%から 79.0%へと向上した
fold5 のﾃｽﾄﾃﾞｰﾀの 1 つである映像 5 の交差検証結果を示す．この図より，[before]，[just]の境界付近から離れたﾌﾚｰﾑ画像の正解率が大幅に向上し，誤分類したﾌﾚｰﾑ画像が技術者でも判定が難しい[before]，[just]の境界付近に局在する傾向が現れてきていることがわかる．
以上の検証結果から，ｺﾝｸﾘｰﾄのﾌﾚｯｼｭ性状を考慮した提案ｼｽﾃﾑの有用性が確認できた．

4. まとめ本研究では，ｺﾝｸﾘｰﾄ表面の撮影画像に加えて，ｺﾝｸﾘｰﾄのﾌﾚｯｼｭ性状も考慮した締固め自動判定ｼｽﾃﾑを提案し，検証試験により，その有用性を確認した．今後は，さまざまなﾌﾚｯｼｭ性状の締固め映像の拡充による精度向上を目指すとともに，実用化に向けた検証および改良を継続していく予定である．最後に，多大なるご支援をいただいている株式会社安藤・間の関係各位に感謝いたします．

参考文献[1] 塩浜健, 大森光一, 長田茂美, 林俊斉, “深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑの提案，”情報処理学会第 82 回全国大会講演論文集, 2U–08, 2020.
[2] Min Lin, Qiang Chen, Shuicheng Yan, “Network InNetwork,” arXiv:1312.4400, 2014.

プロジェクトに関する業績
1) 塩浜健, 大森光一, 長田茂美, 林俊斉, “深層学習に基づくｺﾝｸﾘｰﾄの締固め判定ｼｽﾃﾑの提案，”情報処理学会
第 82 回全国大会講演論文集, 2U–08, 2020.
2) 林俊斉, 髙木亮一, 齋藤淳, 塩浜健, 長田茂美, “深層学習に基づくｺﾝｸﾘｰﾄの締固め自動判定ｼｽﾃﾑに関する研究, ” 精密工学会誌, 87 巻 2 号, 2021.
3) 塩浜健, 平松奏哉, 山﨑晃平, 長田茂美, 林俊斉, “深層学習によるｺﾝｸﾘｰﾄのﾌﾚｯｼｭ性状を考慮した締固め自動判定ｼｽﾃﾑ,” 動的画像処理実用化ﾜｰｸｼｮｯﾌﾟ DIA2021,2021.