多品種ばら積みピッキングにおける物体間の上下関係推定に関する研究
指導教授：藤吉 弘亘

TR18003 稲垣 雄介
1. はじめに多品種ばら積みのピッキングにおいて，オクルージョンが生じている物体を把持する場合，他物体が上に存在するため，把持に失敗するという問題がある．この問題を解決するには，上に存在する物体から把持していく必要があり，多品種ばら積みのピッキングでは物体間の上下関係を把握して把持戦略を決定する必要がある．この把持戦略を行うためには，物体の検出及び認識，物体の可視領域のセグメンテーション，物体のオクルージョン領域のセグメンテー
ションの 3 つのタスクを行わなければならない．
本研究では，これらを 1 つのモデルで実現する Occluded
Mask R-CNN(OM R-CNN) および Interpolated Mask RCNN(IM R-CNN) を提案する．また，推定結果をもとに物体間の上下関係を記述するツリー表現法を提案する．提案
するネットワークモデルはインスタンスセグメンテーション手法である Mask R-CNN[1] をベースとし，物体のオクルージョン領域のセグメンテーションを行うブランチを導入して実現する．また，提案手法の推定結果をもとに物体の上下関係をツリー構造で構築することでシーンに対する最適な把持順序の構築ができる．

図 2 : 上下関係のツリー表現の例
ン領域のセグメンテーションタスクを可能とする．提案手法では，物体検出，クラス分類，可視領域のセグメンテーション，オクルージョン領域のセグメンテーションのすべてを同時に学習する．

Interpolated Mask R-CNN

2. 提案手法
物体間の上下関係を把握して把持戦略を決定するには，物体の重なりを把握する必要がある．そのため，本研究では，シーン中全物体のオクルージョン領域推定手法および推定結果をもとに構築する物体間上下関係のツリー表現を提案する．

2.1 オクルージョン領域推定
物体間の重なりを把握するには，物体のオクルージョン領域を推定する必要がある．また，様々な大きさや形状のオクルージョンが生じている物体が存在するため，インスタンスごとにピクセルレベルでオクルージョン領域のセグメンテーションを行う Occluded Mask R-CNN(OM R-CNN)
および Interpolated Mask R-CNN(IM R-CNN) を提案する．提案手法のネットワーク構成を図 1 に示す．

2'05'&
2'05'&

295

295

2*$ ?+=>%

4*%A

4*%A

<=0="+'.('>=*%06(=>=%,+.0B,)'.('>=*%02*$ ?+=>%

4*%A

4*%A

<=0="+'.('>=*%0677+8-'-.('>=*%0@4:"*;'04*%A4+,00'0!,#677+8-'-./,01.23455

677+8-'-.('>=*%0@4:"*;'04+,00'0!"#$%&'()*+,&'-./,01.23455

図 1 : 提案手法のネットワーク構成

Occluded Mask R-CNN
OM R-CNN は，インスタンスセグメンテーション手法
である Mask R-CNN をベースとすることで，物体検出および認識，各インスタンスに対する可視領域のセグメンテーションを同時に行うことが可能である．図 1(a) に示
すように，Mask R-CNN に物体のオクルージョン領域のセグメンテーションタスクを追加することでオクルージョオクルージョン領域は隠れ領域であるため正確な推定が困難である．そこで，オクルージョン領域を推定するために物体の可視領域とオクルージョンが生じていない状態の物体領域を推定する IM R-CNN を提案する．図 1(b) に示
すように，OM R-CNN のオクルージョン領域推定部分をオクルージョンが発生していない状態の物体領域を推定するネットワークに置き換える．そして，推定結果を用いてオクルージョン領域を推定する．提案手法では，OM R-CNNで学習していたタスクに加え，物体の形状の推定を同時に学習する．

2.2 物体間の上下関係のツリー表現
多品種ばら積みのピッキングにおいて，オクルージョンが生じている物体は他物体が上に存在するため，物体の上下関係を把握して把持戦略を決定する必要がある．そのため，提案手法の推定結果をもとに物体間の上下関係をツリー構造で表現することでシーンに対する最適な把持順序を決定する．上下関係ツリーの例を図 2 に示す．図 2 に示
すように，物体間の上下関係は，最も上に位置する物体をLayer1，その下の物体を Layer2 と階層的に表現し，各物体間でどの物体で隠れているかを特定する．これにより，どの物体がどの物体によってオクルージョンが生じているか，またどの物体が容易に把持可能かを把握でき，把持順序の決定が可能となる．上下関係ツリーの構築アルゴリズ
ムを Algorithm1 に示す．各物体に対するオクルージョン領域の推定の結果を xi ，画像中の全物体に対するオクルージョン領域の推定の結果を X = {x1 , . . . , xn } とし，構築した上下関係ツリーを L とする．

3. 評価実験
OM R-CNN および IM R-CNN の有効性を調査するために，推定した可視領域およびオクルージョン領域を評価する．オクルージョン推定手法の学習に用いるデータセットとして，Amazon Robotics Challenge(ARC) Multi-task
Dataset[2] を用いる．データセットのうち，880 枚を訓練データ，220 枚を検証データとする．また，推定結果をもとに構築した上下関係ツリーの評価を行う．

3.1 可視領域の推定提案手法である OM R-CNN および IM R-CNN と従来手法の Mask R-CNN による可視領域推定精度を比較する．可視領域の推定における評価指標として，セグメン
テーションタスクの一般的な評価指標である Global Accuracy(GA)，Class Accuracy(CA)，Mean IoU を用いる．
可視領域の推定の評価結果を表 1 に示す．表 1 より，提案

visible

occludedLayer 1

Layer 2

Layer 3

visibleoccludedLayer 1

Layer 2

ID : 24

ID : 38
ID : 38
Tennis Balls

Input ImageInput Image

ID : 6Crayons

ID : 6ID : 25

ID : 18

ID : 12Green Book

ID : 12

ID : 25Reynolds Wrap

ID : 18

ID : 32
Table Cover

ID : 26

Laugh Out
Loud Jokes

ID : 24Reynolds Pie

ID: 32

ID : 26
RobotsEverywhere

図 3 : 上下関係ツリーの構築結果例

表 1 : 可視領域およびオクルージョン領域推定の評価結果
Mask R-CNN
OM R-CNN
IM R-CNN

GA
76.7
80.2
79.4

Object Area
CAMean IoU
61.8
54.0
65.3
56.9
68.1
56.1

GA
80.6

Algorithm 1 Creating a vertical relationship layer
Input: list of occlusion segmentations of each object: X ={x1 , . . . , xn }Initialize result layers: L ← {}Initialize a list for depth 1: l1 ← {}for xi ∈ X do
if xi does not contain occluded areas thenAdd xi into l1 : l1 ← l1 ∪ {(xi , None)}
Remove xi from X: X ← X\{xi }end ifend forAdd l1 into L: L ← l1
Set depth d as 2: d ← 2
while X ̸= ∅ do
Initialize a list for depth d: ld ← {}for xi ∈ X do
if The occluded area is covered by objects in L thenFind upper object xj on xi
Add xi into ld : ld ← ld ∪ {(xi , xj )}Remove xi from X: X ← X\{xi }end ifend forAdd ld into L: L ← ldd←d+1
end while

手法は，すべての評価指標において Mask R-CNN を上回る精度であった．このことから，可視領域のセグメンテー
ションとオクルージョン領域のセグメンテーションには相関関係があり，同一ネットワーク内にオクルージョン領域推定を導入することで可視領域推定の精度を向上させることができる．

3.2 オクルージョン領域の推定
オクルージョン領域の推定における評価指標には CA と
Mean IoU を用いる．また，オクルージョン領域推定タス
クでは，小さな領域であっても物体のオクルージョン領域を正しく推定した場合，上下関係を正しく構築することが可能である．そのため，物体に対して推定したオクルージョン領域が正しいかを評価する False negative rate(FN) と
False positive rate(FP) を用いる．FN を式 (1) に，FP を式 (2) に示す．

#of undetected objects
FN =#of occlusion occur objects

FP =#of erroneously detected occlusion#of total objects(1)

InterpolationCA
Mean IoU
63.7
51.8

FN
16.4
27.5

Occluded Area
FP
CA
Mean IoU
16.1
45.9
36.6
25.7
28.0
17.9

オクルージョンの発生していない状態の物体領域推定の精度に依存してしまうため，低精度であったと考える．提案
手法によるオクルージョン領域の推定において，CA および Mean IoU は低精度である．しかし，物体間の上下関係の構築において，小領域でもオクルージョン領域を正確に推定できれば上下関係を構築可能であるため，問題ないと考える．

3.3 上下関係ツリーの評価
提案手法の推定結果をもとに構築した上下関係ツリーの評価を行う．上下関係ツリーの評価には，構築した物体の上下関係の正答率を用いる．構築した物体の上下関係の正答率である Correct answer rate を式 (3) に示す．式 (3)における構築した上下関係が正しい物体数を T とする．

CR =T#of total objects(3)

OM R-CNN の推定結果を用いて構築した上下関係ツリー
は 68.8% ，IM R-CNN の推定結果を用いて構築した上下関係ツリーは 41.9% の精度であった．OM R-CNN が可視領域及びオクルージョン領域を最も高い精度で推定可能であるため，最も高い精度で上下関係ツリーが構築できたと考えられる．OM R-CNN の推定結果をもとに構築した上下関係ツリーを図 3 に示す．図 3 より，OM R-CNN を用いて推定した可視領域とオクルージョン領域を用いることで全ての物体で正しい上下関係を構築できることが分かる．

4. おわりに本研究では，物体検出，可視領域のセグメンテーション，オクルージョン領域のセグメンテーションのタスクを 1 つのモデルで実現する OM R-CNN および IM R-CNN，推定結果をもとに構築する物体間上下関係のツリー表現を提案した．今後の課題として，物体の可視領域およびオクルージョン領域推定の高精度化による上下関係ツリーの高精度化が考えられる．

参考文献[1] K. He, et al., “Mask R-CNN”, ICCV, 2017.
[2] MPRG，“Amazon Robotics Challenge(ARC) Multitask Dataset”, [Online] http://mprg.jp/research/arc_dataset_2017_j

研究業績
(2)

オクルージョン領域の推定の評価結果を表 1 に示す．表 1
より，OM R-CNN はすべての評価指標において，IM RCNN を上回る精度であった．このことから，IM R-CNN
は，オクルージョン領域推定の精度が可視領域推定および[1] 稲垣雄介 等, “多品種ばら積みピッキングにおける物体間の上下関係の予測とデータセットの提案”, 日本ロボット学会学術講演会, 2019.
[2] Y. Inagaki, et al., “Detecting layered structures of partially occluded objects for bin picking”, IROS, 2019.