東急建設技術研究所報 No. 45

U.D.C 621.397

不定形廃棄物の重なりを認識し材質判定を行う
ロボットビジョンの開発
白井要

約：

菜月 ＊

中村聡＊

解体現場から排出される建設廃棄物は，現場で重機や人の手により種類ごとに大まかに分類され中間処理施設に運搬される。更に中間処理施設では人の手によって再資源化のための選別作業が行われている。しかし近年の人件費の高騰や労働力不足などの理由から建設廃棄物自動選別システムの社会的ニーズが高まってきている。
本報では，先行研究である建設廃棄物選別システムの改良として，コンベア上を流れる重なりをもった不定形廃棄物からロボットが回収可能な廃棄物を検出するロボットビジョンについてその構成と検出する画像処理工程
ならびに，深層学習を用いた材質の判定を検討した結果について述べる。

キーワード：

ロボットビジョン，廃棄物，画像処理，深層学習

目

1．はじめに

4．中間処理施設手選別ラインでの材質判定実験

2．ロボットビジョンの概要

5．おわりに次：

3．重なった廃棄物の検出実験
1．はじめに
近年，都市部における再開発事業の増加や高度経済成長期に建てられた建物の更新時期などの理由から解体工事が増加している 1)。解体現場から排出される建設廃棄物は，現場で重機や人の手により種類ごとに大まかに分類され中間処理施設に運搬される。人件費の高騰や労働力不足などの理由から建設廃棄物自動選別システムの社会的ニーズが高まってきており，中村らによって「産業用ロボットを使用した建設廃棄物選別システムの開発」2)が行われている。
一方，解体現場で選別しきれない混合廃棄物は中間処理施設に運ばれるが，中間処理施設においても混合廃棄物の写真 1

ロボットビジョン外観

選別は人の手によって行われている。長時間に渡りコンベア上に流れる多量の廃棄物の選別を行う過酷な労働環境や労働力不足などの課題解決手段として，解体現場と同じく廃棄物自動選別システムの需要がある。
現在，中間処理施設に廃棄物自動選別ロボットが導入される例が出てきたが，ロボット専用仕様のコンベアが要求される為，ラインの新設が必要になる。更に技術的な課題から重なりを持った廃棄物の選別には対応していない為，重なりなく廃棄物をラインに流す前工程設備も必要になる。
本報では，建設廃棄物自動選別システムの中間処理施設既存ラインへの適用を目的に，コンベア上に流れる重なりを持った廃棄物の自動検出を行い，材質を判定するロボッ

図1

ロボットビジョン断面図

トビジョンの開発について述べる。
3．重なった廃棄物の検出実験
2．ロボットビジョンの概要

3.1

実験方法

ロボットビジョンの外観を写真 1，図 1 に示す。ロボッ

撮影対象は，中間処理施設手選別ラインに流れる混合廃

トビジョンは重なりのある廃棄物を 3D スキャナとエリア棄物を構成するコンクリート，プラスチック，木材，金カメラで撮影する。

属，紙，ガラスなどの混合廃棄物とした。機材の構成を表＊技術研究所

メカトログループ101

東急建設技術研究所報 No. 45

1 に示す。コンベア幅 600 mm，Work Distance 900 mm，⑤分割した領域のうち，一定面積以上の領域を抽出する。

最大コンベア速度は中間処理施設手選別ラインで使用され⑥抽出した領域と隣り合う領域との最短距離にある点るコンベアスピードに合わせ 40 m/min の条件で実験を行を中心とした一定距離内にある領域の平均高さを比った（写真 2）。3D スキャナは光切断法を用いて距離画像較する事で，隣り合う領域の中で最上層にある領域と輝度画像を取得する。エリアカメラはカラー画像を取得を検出する。

する（図 2）。取得した各画像から廃棄物の領域を切り出⑦し，廃棄物の重心位置検出と材質判定を行う。

表1

カラー画像（⑦‑1）から最上層の領域の廃棄物画像を切り出す（⑦‑2）。

機材構成

図3
写真 2

撮影実験レイアウト

3.3

画像処理工程

廃棄物の検出精度

検出結果の例を図 4 に示す。異なる 10 枚の画像で検出精度検証を行った結果，検出率 84%，未検出率 16%，誤検出率 6% となった（表 2）。

図23.2

取得イメージ

廃棄物の検出方法

検出対象としたのは，ロボットが回収可能な上に他の廃棄物が乗っていない，重なりの最上層にある廃棄物であ
図4る。取得した 3 種類の画像のうち，まず距離画像と輝度画検出結果の例

像を用いて最上層の廃棄物領域を検出し，次にカラー画像
から検出した領域を切り出す。切り出した画像は材質判定

ここで検出率とは，最上層にある廃棄物のうち面積が半に用いられる。

分以上検出できた廃棄物の割合である。誤検出率とは①最今回提案する最上層にある廃棄物領域を検出し，切り出上層以外の廃棄物を検出，② 2 つ以上の廃棄物を 1 つの廃しを行う手順を以下に，対応する画像を図 3 に示す。
①

棄物として検出，③検出した廃棄物の面積が半分以下，以輝度画像（①‑1）から，背景を引いた廃棄物全体の上 3 種類の状態で検出された廃棄物の割合の合計である。

領域を抽出する（①‑2）。
②

検出率が下がる要因として，検出対象物と直接重なって輝度画像と距離画像から廃棄物のエッジ領域を抽出はいないが，対象物より高い位置にある廃棄物が至近距離し，2 つのエッジ領域を統合する。にあった場合，対象物が検出されないことが考えられる。

③

統合したエッジ領域を距離画像に重ねる。

④

エッジ領域が重なった距離画像を領域拡張法により境界（色・高低差）がなく複数の廃棄物が 1 つの廃棄物と個々の廃棄物領域へ分割する。

して検出されてしまう問題がある。これはエッジの抽出パ誤検出率が上がる要因として，隣り合う廃棄物に明確な

102

東急建設技術研究所報 No. 45

表2

検出結果

選別対象は燃料用チップなどに再資源化が可能であり，色や形が他種廃棄物に比べ特徴のある木材とした。
4.2

深層学習による木材判定

深層学習を用いて木材と他種廃棄物の判定実験を行った。学習と評価に用いた木材と木材以外の画像データの数を表 3，使用した CNN ネットワークを図 5，信頼度別の判定結果を表 4，表 5 に示す。試験データ数は実際にラインに流れる廃棄物の構成比となっている。
表3

試験データ数

ラメータの最適化と，エッジを延長してエッジ同士を結合し境界を作ることで改善すると考えられる。また，廃棄物自体に色差，高低差があって領域が分割され誤検出になる問題があるが，廃棄物自体の特徴量と境界を区別する手法の検討が必要である。
4．中間処理施設手選別ラインでの材質判定実験
4.1

学習データの作成

提案した廃棄物の領域検出手法及び材質判定手法を実際の廃棄物で検証する為，中間処理施設手選別ラインに撮影

図5

CNN ネットワーク

表4

判定結果 信頼度 50%

表5

判定結果 信頼度 90%

機材を設置して（写真 3）実際にラインに流れる廃棄物を撮影し（写真 4），画像処理で最上層にある廃棄物の検出と画像の切り出しを行った。

写真 3

撮影設備

写真 4

ライン上の廃棄物再資源化を考慮し，選別回収した廃棄物に他種廃棄物の
写真 5

木材

写真 6

混入がなくなるよう適合率（Precision）を高くすること他種廃棄物とした。
CNN ネットワークの判定で木材である信頼度（Confiまた，切り出した画像を人の判断により材質情報を付与dences）が 50% 以上である廃棄物を木材と判定した際のし（写真 5，6），材質判定の深層学習に用いる学習データ

木材の適合率は 80.6%，見逃し率は 35.2% となった。表 4，を作成した。

表 5 の通り，信頼度を上げれば適合率は高くなり木材と判103

東急建設技術研究所報 No. 45

定した中に含まれる他種廃棄物は減るが，同時に信頼度に65，52］で あ り，補 色 は RGB［52，55，68］で あ っ た。

達さず判定されない木材が多くなり木材の見逃し率も増え

木 材 色，木 材 の 補 色，廃 棄 物 自 身 の 平 均 色 フ ィ ル タ をる。信頼度を 90% とした場合，適合率は 92.7% と高くな

Multi=0.6 で乗算した廃棄物画像と，Multi により画像のるが，木材の見逃し率が 70% 近くなりロボットの稼働率輝度を変化させ，Multi=0.3，0.6，0.9 の 3 指標でフィルは落ちる。

タを乗算した廃棄物画像を図 6 に示す。

4.3

フィルタリングによる精度向上実験

これらのフィルタを乗算した画像を用い，図 4 のネット

中間処理施設での実用化を考えた際には最上層に表出すワークで深層学習による材質判定を行った。信頼度 90%

る木材の個数を増すための前処理を検討する必要があるの適合率と見逃し率の値を表 5 に示す。

が，追加設備の導入が必要になるので前処理以外での判定

木材色フィルタ Multi=0.9，廃棄物自身の平均色フィル精度向上について検討を行った。

タ Multi=0.3，0.6 にて適合率が向上し見逃し率が低下し適合率を向上させ見逃し率を低下させる為に，より木材た。特に廃棄物自身の平均色フィルタ Multi=0.3 では見逃の特徴を強調した学習データを作成する。ここでは木材のし率が 15.2% も低下した。この結果から色の特徴強化は木色に着目し，①木材と同じ色のフィルタを乗算して木材に材の適合率の向上と，見逃し率低下に有効だと考えられる。

近い色の特徴を強化する方法，②木材の補色のフィルタを乗算して木材に近い色を無彩色化して木材の色の特徴を強5．おわりに化する方法，③廃棄物自体の色の平均フィルタを乗算して本報では，重なりのある廃棄物からロボットが回収可能

各廃棄物自体の色の特徴を強化する方法を考える。元画像な最上層の廃棄物を検出する為に有効な領域検出手法を示のグレイ値を G1，フィルタのグレイ値を G2，乗算後のグした。また，深層学習を用いた木材の材質判定において，レイ値を G3，乗算係数を Multi とした時，フィルタの乗精度を確認すると共にフィルタリングを使用した前処理に算式は式(より判定精度を向上させることを示した。今後は判定した)となる。
=(＋)＊(廃棄物をロボットで回収する選別工程ついて研究を行って)

木材 1738 個の RGB 色空間における平均値は RGB［68，いく。

図6

各色フィルタと Multi フィルタ乗算例

表6

信頼度 90% での各フィルタ判定結果

参考文献
1) Hitoshi Hamasaki : Where Do Demolished Buildings Go?” The Japan Journal, p. 30, June 20112) 中村・井上：産業用ロボットを使用した建設廃棄物選別システムの開発，ROBOMEC2014, 1P1‑K01, 2014

ROBOT VISION RECOGNIZING THE OVERLAPPING ObJECTSAND THE MATERIAL OF CONSTRUCTION WASTES WITH VARIOUS SHAPES
N. Shirai, and S. Nakamura
Construction wastes discharged from the dismantling site is sorted for each type by the heavy machine or the hand of aperson at the site and transported to the treatment plant. The social needs of the construction wastes automatic sorting
system has been increasing due to soaring labor costs and labor shortage. In this paper, we describe the robot vision
detecting the wastes with various shapes on the top of overlapping them in the line and recognizes the material of them.

104