2EP06

テーマ番号和文

深層学習に基づくコンクリートの締固め自動判定システムに関する研究

英文Research on Automatic Concrete Compaction Judgment System
Based on Deep Learning

プロジェクト
テーマプロジェクト
メンバー

4EP4-16 長田 将 (OSADA Masashi)

指導教員

長田 茂美 教授

4EP4-55 山下 晴輝 (YAMASHITA Haruki)

Abstract The degree of concrete compaction is judged visually by skilled engineers based on their senses and experience. As analternative to visual judgment, there is a need to develop technologies to quantify the degree of compaction and to automate thecompaction assessment process to ensure quality and improve productivity. In this paper, we propose a compaction judgment system
based on Semantic Segmentation and a method to automate the system using Robot Operating System (ROS). Experimental results
show that the proposed system can achieve highly accurate compaction completion judgment on video frame images of concretesurfaces, and that it has high versatility and real-world applicability.

Keywords concrete compaction, visual judgment, deep learning, semantic segmentation, robot operating system.
1. はじめにラベルから構築されている．

コンクリートは主にセメント，水，砂（細骨材）および砂利（粗骨材）で構成される．これらの材料を練り混ぜて型枠に打ち込み，バイブレータ等を用いた“締固め”により充填し，湿潤状態に養生することで，コンクリートは硬化の準備が整う．締固め程度の判定は，従来から熟練技術者の経験に基づく目視や感覚で行われており，このような判定方法は，品質のばらつきや品質低下を招く懸念がある．
また，昨今の技術者の減少や働き方改革等に伴うコンクリート工の生産性向上の要請から，品質を確保した上での省人化，省力化，あるいは無人化技術の開発が望まれている．
本稿では，熟練技術者による目視判定の代替となり得る
深層学習に基づくコンクリートの締固め判定システムの研究開発[1]，[2]の一環として，システムの汎用性，特に，締固め判定の粒度（判定対象領域のサイズ）の自由度，および判定精度の向上を目指し，Semantic Segmentation に基づく判定手法およびシステム，さらには，締固め工程全体の完全自動化に向けたモックアップ試作による締固め工程全体の自動化手法を提案する．

3. Semantic Segmentation を用いた締固め判定

2. 深層学習に基づく締固め判定システム
図 1 に，提案する深層学習モデルに基づく締固め判定
システムの概要を示す．
判定システムへの入力は締固め工程のコンクリート表面を捉えた画像であり，出力はこの入力画像の各画素単位での締固め状態（未完了／完了）を表す 2 クラス分類結果である．また，深層学習モデルは，システムへの入力の各画素の値域を 0〜1 に正規化した画像を受け取り，各画素単位での締固め状態を表す尤度を出力する．最終的に，システムは，この尤度が高いクラスを各画素単位の判定結果として色付けした画像を出力する．
本研究で用いる評価用データセットは，締固め工程において 30 fps で撮影したコンクリート表面の映像（締固め映像）39 本から取得したフレーム画像と，そのフレーム画像を 24 分割した小矩形メッシュ領域（判定対象領域）画像単位で技術者が付与した締固め未完了／完了の正解

Semantic Segmentation は，画像から目的のオブジェクトをセグメント化するタスクの一つであり，特に画像中の全画素に意味的なラベルやカテゴリを関連付けるための一連の手法を指す．
従来研究で構築してきた締固め判定シス
テム[2]では，判定対象領域サイズは固定であったが，提案手法では，Semantic Segmentation による画素単位での判定結果に基づいて任意の判定対象領域サイズでの締固め判定を実現でき，システムの汎用性の向上が期待できる．

3.1 Semantic Segmentation 用深層学習モデル
提案手法では，判定システムの実利用時に要求される締固め判定の即時性を考慮して，処理が軽量な深層学習モデルである E-UNet[3]を採用した．また，評価用デー
タセットの正解ラベルには，画素単位での正解ラベルが必要とされるため，メッシュ領域画像単位で付与された正解レベルを近似的に同一領域内の全画素に対する正解ラベルとし，E-UNet の学習は，メッシュ領域画像を用いた事前学習で獲得した重みを初期値として，フレーム画像全体を用いた Fine Turning を行う構成とした．

3.2 環境変化に伴う照度ロバスト性の向上
判定システムには，屋内／屋外環境を含め，環境光や照明等による照度変化に対する高いロバスト性が要求される．提案システムでは，画像の構造的な類似度に着目する
SSIM Loss[4]を損失関数として用い，既存の画像処理技術を適用してさまざまに照度を変化させたコンクリートの表面画像から元の画像を復元できるように学習させた照度補正用 E-UNet を導入し，図 1 に示すように，締固め判定用 E-UNet と直列に接続する構成とした．

4. さらなる精度向上に向けたアプローチと評価
従来研究[2]では，判定システムの誤判定が締固め未完了／完了のラベル境界付近の画像に集中することを指摘し，ResNet18[5]等に距離学習を適用するなど学習手法の工夫を施し，改善を図っている．提案手法でも，このアプローチを発展させ，ラベル境界付近の締固め状態をさらに細分化して新たなクラスを追加定義する方法や，ラベル境界付近の学習データを選択する方法により，さらなる判定精度の向上を図った．

4.1 4 クラス分類タスクとしての設定

図 1 締固め判定システムの概要
Fig.1 Overview of the concrete compaction judgment. system.

従来研究[2]で最高正解率 90.4％を達成した学習済みモデル（ResNet18）を用いて，評価用データセットの画像群から ResNet18 の中間層出力を画像特徴として抽出し，それらをクラスタリングして得た未完了／完了のラベル境界付近の画像特徴を持つ画像群を，新たな 2 つの分類クテーマ番号ラスとして追加定義し，締固め判定を 4 クラス分類タスクとして設定した．4 クラス分類タスクとしての出力（4クラスの尤度）は，ラベル境界を挟んで未完了側，完了側の各 2 クラス，合計 4 クラスの尤度となるが，未完了側，完了側の各 2 クラスの尤度の和をとることで，2 クラス分類タスクの設定と同じ出力を得ることができる．

4.2 ラベル境界付近の学習データの選択
ラベル境界付近の酷似する画像に対して，矛盾するようなラベル付けがなされる可能性に着目し，4.1 で述べた 4クラスのうち，ラベル境界付近の 2 クラスのデータを適量削除し，矛盾が生じる可能性を低減することで，判定精度向上を図った．

4.3 評価実験結果
表 1 に，Semantic Segmentation に基づく提案手法に関する評価実験結果を，表 2 に，ResNet18 を用いた提案手法（学習データの選択）のメッシュ領域単位での評価実験結果を示す．これらの評価実験結果から，提案手法の有用性を確認することができた．
表 1 Semantic Segmentation に関する評価実験結果
Table.1 Experimental result on Semantic Segmentation.
ModelClassesAccuracy1) [%]Mean-F1

Mean-IoU

ResNet18*
E-UNet*E-UNetE-UNetE-UNet**222
4 to 24 to 290.4 ( ..-...)
58.1 (59.1)
89.2 (88.9)
91.4 (91.2)
91.6 (91.2).898 ( ..-...).629 (.631).905 (.900).920 (.919).922 (.919).324 (.315).689 (.539).696 (.592).725 (.625)

2EP06

御信号である．
システムの各機能はノードと呼ばれるプロセス単位で実装し，ノード同士は publish/subscribe 型の通信を行う．ROS は，高い拡張性や豊富なライブラリを持ち合わせており，デバイスの追加やデバイス間通信の設定が容易であるため，ROS を用いることにより，自動締固めシステムのさまざまな機能を拡張しながら効率的に構築していくことができる．

5.2 自動締固めシステムのモックアップ
図 3 に，試作したシステムのモックアップを示す．図 2の全プロセスは，Jetson と Raspberry Pi で実行される．締固め工程では，締固め作業中のコンクリートは時間とともに硬化が進むため，型枠の端から徐々にコンクリートを打ち込み，締固めを行っていく．また，バイブレータは，コンクリートに打ち込んだ状態での移動はさせず，一度，宙に引き抜き，次のポイントに移動させて再度打込みを行う．
試作したモックアップでは，入力となるコンクリートの締固め映像は録画映像とすることで，締固め作業環境を擬似的に再現した．また，バイブレータを引き抜く過程は省略して簡略化し，水平方向の移動のみを，タイミングベルトとモータによって実現した．なお，支柱にはアルミフレームを用いている．モックアップを用いた評価実験では，提案手法およびシステムに基づく自動締固め判定結果に適応的にバイブレータの自律移動が実現でき，締固め工程の完全自動化が実現可能であることを実証できた．

1) メッシュ領域単位（括弧内は画素単位）での算出値．
ResNet18*：従来研究[2]で構築した ResNet18 に基づく判定シス
テム．E-UNet*：事前学習なし．E-UNet**：照度補正用 E-UNetと締固め判定用 E-UNet とを結合したモデル．

表 2 学習データの選択に関する評価実験結果
Table.2 Experimental result on training data selection.
Model
ResNet18
ResNet18Selection [%]80

Accuracy [%]
89.1
89.3

Mean-F1.887.887

5. コンクリートの自動締固めシステム
5.1 システム概要
自動締固めシステムは，コンクリート表面映像の取得から，提案手法およびシステムに基づく自動締固め判定，さらにはシステムの判定結果に基づくバイブレータの自律移動までの一連の締固め工程の完全自動化を目指したシステムを指す．実運用システムの構築では，締固め映像の取得やバイブレータ制御等の機能と，それらを実行するデバイス（Jetson, Raspberry Pi 等）が必要となる．そこで，
本研究では，実運用システムの実現可能性を検討するために，分散処理型のシステム開発に適したロボットソフトウ
ェア開発フレームワーク ROS (Robot Operating System) を用いて，実際にシステムのモックアップを試作した．
図 2 に，システムの処理概要を示す．入力はコンクリー
トの締固め映像，出力はバイブレータ移動用モータへの制

図 3 モックアップ
Fig.3 Mock-up of the system.

6. おわりに
本稿では，コンクリートの自動締固め判定システムの汎用性および精度向上を目指し，Semantic Segmentation に基づく判定手法／システムを提案するとともに，一連の締固め工程を完全自動化する自動締固めシステムの実現可能性を検討し，評価実験により，それらの有用性を確認した．

参考文献[1] 林俊斉, 齋藤淳, 小島弘道, 長田茂美,“AI によるコンクリートの締固め自動判定システム開発の試み,”AI・
データサイエンス論文集, 2 巻, J2 号, pp. 79-86 (2021).
[2] 小島弘道, 山﨑晃平, 長田茂美, 林俊斉, “深層学習に基づくコンクリートの締固め判定システム -システ
ムの学習手法の提案と評価-,”動的画像処理実利用化
ワークショップ DIA2022, IS1-2 (2022).
[3] A new efficient lightweight semantic segmentation Network(E-UNet):URL:
https://github.com/A2Amir/A-newefficient-lightweight-semantic-segmentation-Network.
[4] Zhou Wang et al., “Image quality assessment: from error
visibility to structural similarity,” IEEE transactions on
image processing, 13(4), pp. 600-612 (2004).
[5] Kaiming He et al., “Deep Residual Learning for ImageRecognition,” CVPR, pp. 212-220 (2017).

本プロジェクトに関する業績

図 2 自動締固めシステムの処理概要
Fig.2 Schematic of the automatic concrete compaction system.

1) 長田将, 山下晴輝, 長田茂美, 林俊斉, “深層学習に基づくコンクリートの締固め判定システム -SemanticSegmentation を用いた判定手法の提案と評価-,” ビジョン技術の実利用ワークショップ ViEW2022, ISI-07(2023).