Multi-task DSSD による物体位置と物体把持位置の同時推定○荒木諒介 大西剛史 平川翼 山下隆義 藤吉弘亘（中部大学）

3.

提案手法

本研究では，マルチタスク化（物体検出・セグメンテー
ション・物体把持位置検出）をした Multi-task DSSDを提案する．本手法のネットワーク構造を図 1 に示す．
DSSD の予測レイヤにセグメンテーション用と把持位置検出用の特徴マップを生成する層を追加した構造である．
Deconvolution module では，図 2 の左側に示すように，前層の特徴マップと対になるエンコーダの特徴
マップを加算して活性化関数 (ReLU) に入力する．こVGG-16

Conv.
Deconv.

Deconv.

Deconv.

Σ

Segmentation maps
for segmentation#ch: #cls

Feature maps
fromencoder

Conv.

: Convolution

Deconv. : Deconvolution
Σ : Elt-wise sum

Conv.

Grasp branch Only 5th deconvolution module
Grasp localization maps
for point oﬀset localization#ch: Default points×2
Graspability maps
for graspability conﬁdence#ch: Default points×2
Prediction module

Deconvolution moduleのとき，前層の特徴マップを Deconvolution 処理により，エンコーダの特徴マップと同じサイズに拡大する．
Deconvolution module の処理後，図 2 の右側に示すよ
うに，予測レイヤの 3 つの Branch により物体検出とセグメンテーション，把持位置検出を同時に行う．
Detection branch: 従来の DSSD と同様に，Localization maps と Confidence maps を出力する．
Segmentation branch: Deconvolution を 3 回行い，
入力画像サイズまで拡大した Segmentation maps を出力する．6 つの予測レイヤで得た Segmentation mapsを結合することで，最終的なセグメンテーション結果を得る．また，各レイヤの Detection branch で得た矩形に NMS を適用し，最も正解に近い矩形に絞り込む．
Grasp branch:（5 番目の予測レイヤのみ）デフォル
トボックスのような基準把持位置を表すデフォルトポ
イントの回帰を行う Grasp localization maps と，各デ
フォルトポイントの把持しやすさを表す Graspability
maps を出力する．Detection branch と同様に，得られた把持位置候補に NMS を適用し，最も正解に近い把持位置に絞り込む．

4.

評価実験

提案手法の有効性を評価するために，Team MC2
ARC2017 RGB-D Dataset を用いて実験する．デー
タセットは，1,210 枚の学習サンプル，200 枚の評価サンプルが含まれており，各画像には物体検出とセグメ
ンテーション，把持位置のラベルが付与されている．認

Deconvolution module

B-Box extract
Concat.

Fc(Conv).7
Conv.6̲2

Conv.

Conv.

Conv.7̲2

NMS
Conv.8̲2

B-Box extract

Detection

Segmentation

図 1 Multi-task DSSD のネットワーク構造

Convolution
Prediction module(Det. + Seg.)
Prediction module(Det. + Seg. + Grasping det.)

Conv.9̲2

Input image

Loss

図 2 提案手法の Deconv. module と予測レイヤ

NMS

Conv.4̲3 Conv.5̲3Conﬁdence maps
for class conﬁdence#ch: Default boxes×#cls

Segmentation branch

Feature maps
form
previous layer

関連研究

Single Shot Multibox Detector (SSD)[1] は，物体候補領域の検出とクラス分類を単一のネットワークで行う．複数解像度の特徴マップを用いて，様々なスケー
ルの物体を検出する．6 つの予測レイヤでは，デフォ
ルトボックスと呼ぶ基準矩形に対するオフセットを特徴マップ (Localization maps) として出力し，物体の矩形を回帰する．また，物体のクラス尤度を表す特徴
マップ (Confidence maps) を用いて，物体のクラスを識別する．この処理で得られた複数の物体候補領域に対して，Non-maximum suppression (NMS) 処理により重なり合う同じクラスの尤度が低い物体候補領域を除去し，過検出を抑制する．
SSD に Deconvolution 層を追加した Deconvolutional
Single Shot Detector (DSSD)[2] は，Deconvolution 処
理により特徴マップをアップサンプリングして拡大する．エンコーダに相当する畳み込み処理から得られる
特徴マップと 1 つ前の層から得られる特徴マップを，
Deconvolution module で結合する．結合された特徴マップを用いることで，物体検出の高精度化を実現した．

Localization maps
for box oﬀset localization#ch: Default boxes×4

Conv.

2.

Deconv.

物流倉庫や生活空間で稼働するロボットには，多品種の物体検出と把持位置検出が求められる．本研究では，深層学習による高速な物体検出モデル [1, 2] をもとに，物体領域のセマンティックセグメンテーションと，吸着ハンド用の把持位置検出を同時に行う手法を提案する．ロボットを用いた把持実験により，提案手法が RGB 画像から出力する把持位置が適切であるこ
とを示す．

Conv.

Detection branch Like SSD and DSSD

はじめに

ReLU

1.

Grasping det.

Non-maximum suppression
Extract bounding boxes
from segmentation maps

Concat. Concatenate feature maps

Object Detection

Semantic Segmentation

Grasping Detection

Techman Robot Inc.
TM5-900

Ground TruthIDS ENSENSO N10IDS RGB camera

Scene 1

Small suction cup

Multi-task DSSD

diameter: 35 mm

Scene 2

Picking area

Placement area

Scene 3(b) Scenes of multiple objects(a) Our robot system

図 3 Multi-task DSSD の検出結果例

図 4 ロボットシステム
手法

表 1 物体検出の結果比較 [%]認識率
未検出率
平均 IoU

SSD
Single-task
Multi-task

87.94
89.81
94.00

29.65
30.33
33.24

81.05
81.11
83.54

表 2 セグメンテーションの結果比較 [%]手法
GlobalAcc.
ClassAcc.
平均 IoU

SegNetU-Net
PSPNetMulti-task

78.19
79.36
85.33
90.53
表3

手法
重心
Multi-task

72.16
70.32
80.09
85.32

53.97
54.88
68.34
76.27

把持位置検出の結果比較
正解率
未検出率
平均距離
[%]
[%]
[pixel]

51.86
76.32

34.57
33.08

38.56
28.45

識対象アイテムは 40 種類あり，箱状，ビニール包装，非剛体など形状は様々である．学習サンプルはデータ増強により 30 倍の 36,300 枚に増幅する．

4.1 評価方法
提案手法は 3 つのタスクを同時に行う．各タスクの評価方法は以下である．
A. 物体検出 検出された物体のうち正しく認識できた割合を表す認識率，全ての物体に対して検出できなかった割合を表す未検出率，検出された矩形と教師ラベルの矩形の重なり率の平均を表す平均 IoU を用いる．
B. セグメンテーション Global Accuracy，Class Accuracy，Mean IoU を用いて評価する．
C. 把持位置検出 検出された把持位置のうち，正解把
持位置ラベルとの画像 (1280 × 960 [pixel]) 上のユー
クリッド距離が 80 [pixel] 以下である把持位置の割合を表す正解率，全ての正解把持位置に対して把持位置が検出できなかった割合を表す未検出率，全ての正解した把持位置のユークリッド距離の平均を表す平均距離を用いる．
4.2 実験結果
物体検出の評価結果を表 1 に，検出結果例を図 3 左側に示す．提案手法は SSD と比べて識別率が 6.06 ポ
イント向上した．また，提案手法は Single-task DSSDと比べて重なり率が 2.17 ポイント向上した．次に，セグメンテーションの評価結果を表 2 に，セグメンテー
ション例を図 3 中央に示す．提案手法は従来手法に比表 4 ロボット実機での把持実験結果
Scene1
Scene2
Scene3
ピッキング
試行回数
把持
成功率 [%]

重心
提案手法
重心
提案手法

7
4
57
100

9
5
44
100

19
4
11
75

べ，各評価指標において約 5.2 から 22.3 ポイント向上
した．把持位置検出の評価結果を表 3 に，把持位置検出例を図 3 右側に示す．青色の印が正解把持位置，赤色の印が検出結果である．セグメンテーション結果の重心を用いた場合と比較すると，検出率は 24.46 ポイ
ント向上し，平均距離は 10.11pixel 向上し，最適な把持位置を検出できた．

4.3 ロボット実機での把持実験
ロボット実機での把持実験により，提案手法が推定する把持位置を評価する．本実験に用いるロボットシ
ステムを図 4(a) に示す．ロボットは，picking area にある物体の把持位置を検出し，得られた把持位置の法線方向にアプローチする．物体を把持し，placement areaに移動できたとき成功と判定する．提案手法は，セグ
メンテーション結果の重心を把持位置として用いる場
合と比較する．把持シーンは図 4(b) に示すように，3つのシーンで実験を行った．
各シーンのピッキング試行回数と把持成功率を表 4に示す．重心を用いる場合，いくつかのアイテムはうまく把持できない．提案手法は，吸着の難しい領域を避けて把持できることを確認した．

5.

おわりに

本研究では，Multi-task DSSD を用いた物体領域と
物体把持位置の同時推定を行った．物体や把持位置を高速に検出することで，リアルタイム動作計画への活用が期待できる．

謝辞
この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務の結果得られたものである．

参

考

文

献

[1] W. Liu et al., “SSD: Single Shot Multibox Detector”,
ECCV, 2016.
[2] C. Fu et al., “DSSD: Deconvolutional Single Shot Detector”, arXiv preprint arXiv:1701.06659, 2017.