深層学習を用いた物体認識と物体把持位置検出に関する研究
指導教授：藤吉弘亘

TP17002 荒木諒介
ロボットが物体を把持するときに必要なタスクとして，物体検出，把持位置検出が挙げられる．特に，物流倉庫のような環境では様々な種類の物体があり，この環境で稼働するピッキングロボットには正確な物体検出とその把持位置検出が求められる．本研究では，物体検出手法である
Deconvolutional Single Shot Detector (DSSD) が，セマンティックセグメンテーションを行うモデルと構造が似ていることに着目し，物体検出とセマンティックセグメンテーションおよび把持位置検出を同時に行う Multi-task DSSDを提案する．これらのタスクを同時に推論することで，各タスクの精度向上が期待できる．

Localization maps
Box回帰
Size: Default boxes×4

Conv.

Conﬁdence maps
クラス推定
Size: Default boxes×クラス数

Deconv.

Detection branch
Conv.

SSD/DSSDと同じ処理

1. はじめに

Segmentation branch
Deconv.

ΣSegmentation maps
セグメンテーション
Size: クラス数

Deconv.

Deconv.

ReLU前層の特徴マップ

Grasp branch: Convolution

Deconv. : Deconvolution
Σ : 特徴マップの加算

2. 関連研究

Grasp localization maps
把持位置回帰Size: Default points×2

Conv.

Conv.

Conv.

エンコーダの特徴マップ

5番目の予測レイヤのみ実行

Graspability maps
把持しやすさ推定
Size: Default points×2

Deconvolutionモジュール

誤差

予測レイヤ

Single Shot Multibox Detector (SSD) [1] は，図 1(a)に示すように物体候補領域の検出とクラス分類を単一のネットワークで行う．複数解像度の特徴マップを用いて，様々なスケールの物体を検出できる．6 つの予測レイヤでは，デフォルトボックスと呼ぶ基準矩形に対するオフセットを特徴マップ (Localization maps) として出力し，物体の矩形を回帰する．また，同様に予測レイヤで得られる物体のクラス尤度を表す特徴マップ (Confidence maps) を用いて，物体のクラスを識別する．この処理で得られた複数の物体候補領域に対して，Non-maximum suppression(NMS) 処理によりオーバーラップする同じクラスの尤度が低い物体候補領域を除去し，過度な検出を抑制する．
SSD に Deconvolution 層を追加した Deconvolutional
Single Shot Detector (DSSD) [2] は，図 1(b) に示すように，Deconvolution 処理により特徴マップをアップサンプリングして入力サイズまで拡大する．DSSD で追加されたDeconvolution 層をまとめて DSSD 層と呼ぶ．DSSD 層では，エンコーダに相当する畳み込み処理から得られる特徴マップと 1 つ前の層から得られる特徴マップを，Deconvolution module を用いて結合する．結合された特徴マップを用いて予測を行うことで，SSD の利点である複数スケー
ルの物体検出をより高精度に行うことができる．

マップと同じサイズまで拡大する．Deconvolution moduleの処理後，図 2 の右側に示すように，予測レイヤの 3 つのBranch により物体検出とセグメンテーション，把持位置検出を同時に行う．
Detection branch: 従来の DSSD と同様に，Localization maps と Confidence maps を出力する．
Segmentation branch: Deconvolution を 3 回行い，入力画像サイズまで拡大した Segmentation maps を出力す
る．6 つの予測レイヤで得た Segmentation maps を全て結合することで，最終的なセグメンテーション結果を得る．
また，各レイヤの Detection branch で得た矩形に NMS を適用し，最も正解に近い矩形に絞り込む．
Grasp branch:（5 番目の予測レイヤのみ）デフォルト
ボックスのような基準把持位置を表すデフォルトポイントの回帰を行う Grasp localization maps と，各デフォルト
ポイントの把持しやすさを表す Graspability maps を出力する．Detection branch と同様に，得られた把持位置候補に NMS を適用し，最も正解に近い把持位置に絞り込む．

3. 提案手法

3.2 誤差関数

本研究では，DSSD に物体検出・セグメンテーション・物体把持位置検出のマルチタスク化をした Multi-task DSSDを提案する．本手法のネットワーク構造を図 1(c) に示す．
DSSD の予測レイヤにセグメンテーション用と把持位置検出用の特徴マップを生成する層を追加した構造である．

提案手法の誤差関数を式 (1) に示す．ここで，各 x は予測された値，各 y は正解値を表す．Lc は Confidence loss，Ls は Segmentation loss，Lgb は Graspability loss であり，これらはソフトマックス関数とクロスエントロピー関数とする．Ll は Localization loss，Lgl は Grasp localization
loss であり，これらは平均二乗誤差関数とする．また，各関数に乗算される α{c,l,s,gl,gb} は重みを表す．αc = 0.25は Lc ，αl = 0.25 は Ll ，αs = 0.25 は Ls ，αgl = 0.125は Lgl ，αgb = 0.125 は Lgb の重みである．これらの重みは，ネットワークのハイパーパラメータと同様に実験的に

図 2 : 提案手法の Deconv. module と予測レイヤ

3.1 Deconvolution module と予測レイヤの構造
Deconvolution module では，図 2 の左側に示すように，前層の特徴マップと対となるエンコーダの特徴マップを加算して活性化関数 (ReLU) に入力する．このとき，前層の特徴マップを Deconvolution 処理によりエンコーダの特徴NMSNMS

Localization Conﬁdencemaps
maps

Localization maps

Conv.4̲3Conv.5̲3 Fc(Conv).7
Conv.6̲2
Conv.7̲2

Conv 1x1x1024

Conv.9̲2Conv

Conv

Input image

Conv.9̲2Conv.8̲2Conv.7̲2Conv.6̲2Conv.5̲3 Fc(Conv).7
VGG-16 Conv.4̲3(a) SSD

Conv 1x1x1024 Conv 1x1x256
Conv 1x1x256

Conv.8̲2

Detection

Input image

VGG-16(b) DSSD
NMS

Conv.4̲3 Conv.5̲3DSSD層Detection

Conv.

Conv.

Conv.9̲2NMS
B-Box extract

Conv.8̲2

Detection(c) MT-DSSD（提案手法）

Segmentation

Convolution
予測レイヤ（物体検出＋セグメンテーション）
予測レイヤ（上記＋把持位置検出）

Conv.7̲2

VGG-16

Feature layer

DSSDの予測レイヤDeconvolution module

B-Box extract
Concat.

Fc(Conv).7
Conv.6̲2

Input image

Conﬁdence maps

Element-wise Sum

Graspingdetection

Non-maximum suppression
Segmentationの外接矩形を取得

Concat. Concatenate（特徴マップ合成）

図 1 : SSD，DSSD および Multi-task DSSD (提案手法) のネットワーク構造

Ground Truth

SSD

Single-task DSSD

Multi-task DSSD

Grasping detection (Det., GT)

Ground Truth

SegNetU-Net

PSPNetMulti-task DSSD

図 3 : Multi-task DSSD と各手法の検出結果例
決める．

L(·) = (αc Lc (xc , yc ) + αl Ll (xl , yl )αs Ls (xs , ys )αgl Lgl (xg , yg )αgb Lgb (xgb , ygb ))

手法

(1)

4. 評価実験
提案手法の有効性を評価するために，物流ロボット競技会の Amazon Robotics Challenge (ARC) のデータセッ
ト Team MC2 ARC2017 RGB-D Dataset を用いて実験する．データセットは，1,210 枚の学習サンプル，200 枚の評価サンプルが含まれており，各画像には物体検出とセグメンテーション，把持位置のラベルが付与されている．認
識対象アイテムは 40 種類あり，箱状のものやビニールで包装されたアイテム，非剛体のアイテムなどがある．学習サ
ンプルは data augmentation により 30 倍の 36,300 枚に増幅する．data augmentation は，スケール変化，平行移動，コントラスト調整，水平/垂直反転をランダムに行う．

4.1 評価方法
提案手法は 3 つのタスクを同時に行う．これらの評価方法は以下となる．
A. 物体検出．認識率，未検出率および重なり率の平均を用いて評価する．認識率は，検出された物体のうち正しく認識できた割合，未検出率は，全ての物体に対して検出できなかった割合，重なり率の平均は，検出された矩形と教師ラベルの矩形の重なり率の平均を表す．
B. セグメンテーション．Pascal VOC で用いられている
Global Accuracy，Class Accuracy，Mean IoU を用いて評価する．Global Accuracy は画像全体に対する精度，ClassAccuracy はクラスごとの認識率，Mean IoU は Class Accuracy に対象クラスの誤認識率を考慮した精度を表す．
C. 把持位置検出．正解率，未検出率，平均距離を用いて評価する．正解率は，検出された把持位置のうち，正解把持位置ラベルとの画像 (1280 × 960 [pixel]) 上のユークリッド距離が 80 [pixel] 以下である把持位置の割合，未検出率は，全ての正解把持位置に対して把持位置が検出できなかった割合，平均距離は，全ての正解した把持位置のユークリッ
ド距離の平均を表す．

4.2 実験結果
物体検出の評価結果を表 1 に，検出結果例を図 3 上部に示す．提案手法は SSD と比べて識別率が 6.06 ポイント向上した．また，提案手法は Single-task DSSD と比べて重なり率が 2.17 ポイント向上したことから，より正確な物体領域を検出できたと言える．
次に，セグメンテーションの評価結果を表 2 に，セグメンテーション結果例を図 3 下部に示す．提案手法は従来手法に比べて各評価指標における精度が向上したことから，高精度にセグメンテーションできたと言える．
最後に，把持位置検出の評価結果を表 3 に，把持位置検出結果例を図 3 上部右側に示す．青色の印が正解把持位置，赤色の印が検出結果である．セグメンテーション結果の重SSD
Single-task
Multi-task

表 1 : 物体検出の結果比較 [%]
認識率
未検出率

87.94
89.81
94.00

29.65
30.3333.24

平均 IoU

81.05
81.1183.54

表 2 : セグメンテーションの結果比較 [%]GlobalAcc.
ClassAcc.
平均 IoU
手法

SegNetU-NetPSPNet
Multi-task

手法
重心Multi-task

78.19
79.36
85.33
90.53

72.16
70.32
80.0985.32

表 3 : 把持位置検出の結果比較
正解率 [%]
未検出率
[%]

51.86
76.32

34.57
33.08

53.97
54.88
68.34
76.27

平均距離[pixel]

38.56
28.45

心を用いた場合と比較すると，検出率が 24.46 ポイント向上し，平均距離が 10.11pixel 向上していることから，最適な把持位置を検出できたと言える．

5. おわりに本研究では，Multi-task DSSD を用いた物体領域と物体把持位置の同時推定を行った．単一のモデルで物体検出とセグメンテーションと把持位置検出を同時に行うことで，高精度な物体検出とセグメンテーションを行い，複数物体の把持位置を高精度に検出できた．今後は，実機のロボットシステムにおける把持テストを行い，より適切な把持位置検出ができるようにアルゴリズムを改善していく．

参考文献[1] W. Liu, et al., “SSD: Single Shot Multibox Detector”,ECCV, 2016.
[2] C. Fu, et al., “DSSD: Deconvolutional Single Shot Detector”, arXiv preprint arXiv:1701.06659, 2017.

研究業績[1] 荒木諒介 等, “Graspability を導入した DCNN による物体把持位置検出”, 日本ロボット学会誌, Vol. 36, No.8, pp. 559–566, 2018.
[2] 荒木諒介 等, “Objectness を導入した SSD による学習デー
タに含まれない未知クラスアイテムの検出”, DIA, 2018.
[3] 荒木諒介 等, “マルチタスク学習を導入した DeconvolutionalSingle Shot Detector による物体検出とセグメンテーションの高精度化”, MIRU, 2018.
(他 13 件)