あいちロボット産業クラスター推進協議会
第8回製造・物流等分野ロボット導⼊実証WG

本⽇の話題

2017年9⽉25⽇

アマゾン・ロボティクス・チャレンジ 取組報告〜

ロボットビジョン技術の課題と展望

中京⼤学

〜

⼯学部 機械システム⼯学科
橋本 学

1.

ロボットビジョン技術の概要

2.

Amazonチャレンジの課題・技術・結果
 第1回

シアトル⼤会

 第2回

ライプツィヒ⼤会

 第3回

名古屋⼤会

補⾜

ロボットビジョンの新展開〜物体認識から機能認識へ〜

mana@isl.sist.chukyo-u.ac.jp
http://isl.sist.chukyo-u.ac.jp/

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

特定物体認識ロボットビジョンの主な利⽤分野
②物流

①⽣産

商品の認識

製造物の認識と2

⼀般物体認識モデル（ランプ）「（その）Lamp はここにある」

注⽂

③家庭
配送

「ランプが（そこに）ある」

⽇⽤品の認識ランプ

⼊⼒シーン

ワイングラス

ハンマー

製造・物流等分野ロボット導⼊実証WG Sep. 25, 20173

製造・物流等分野ロボット導⼊実証WG Sep. 25, 20174

ロボットビジョンの構成

⽣産・物流分野におけるロボットビジョン

ロボットビジョン物流（配送センター）

⽣産（⼯場）＝3次元カメラ＋ 物体認識（AI）

3次元データを取得

3次元カメラ

物体認識（AI）

特定物体認識⼊⼒データ

⼀般物体認識“コップA”“コップC”

対象物同定，
位置姿勢計測“コップB”

ピッキング

“コップ”

“コップD”

認識結果

製造・物流等分野ロボット導⼊実証WG Sep. 25, 20175

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

特定物体認識の⼀例（モデルベース物体認識）

キーポイントベース特定物体認識の研究マップ
1980

2000

1990

2005

物体認識（粗認識）

2or3点間の位置・法線間の関係
ISS
PPF
Multimodal PPF
Efficient Ransac
注⽬点周りの特徴記述[Zhong2009] [Drost2010] [Papazov2010][Drost2012]
点群の位置関係の記述
Scale-Dependent
PPF B2B, S2B, L2L
Depth Aspect Image 3D Shape Contexts DAI+M-ICP Local Shape Descriptor
VC-PPF[Choi2012] VPM[Frome2004][Kitaaki2007] [Novatnack2008]
USC[Takeguchi2001]
RoPS[Kim2011][Tombari2010b][Akizuki2012, Takei2014]
Spin Image
3D Point‘s Fingerprint[Guo2013][Johnson1997, [Sun2001]
TriSI
CSHOT
HONV
Point Feature Histogram
Johnson1999][Guo2015]
Spherical Spin Image[Tombari2011][Tang2012][Rusu2008]
DoN
SHOT[Ruiz-Correa2001]
B-SHOT[Ioannou2012][Tombari2010a]
Fast PFH[Prakhya2015]
CCDoN[Rusu2009]
その他の特徴量
SHORT[Nagase2014]
Local Surface Patches Mesh HOG[Takei2015][Zaharescu2009] NARF
[Chen2007]
法線⽅向分布[Steder2010]

⾮キーポイントベース

シーン解釈
COSMOS
3DPO
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]

3-Dモデル

多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

精密位置決めLRF

ばら積みシーン

個別算出型

Local Feature Histogram[Hetzel2001]

point-to-plane[Chen1991]

APO

Point Signatures 3D Point‘s Fingerprint[Chua1997][Sun2001]

Exponential Map[Novatnack2008]

VFH[Rusu2010]

OUR-CVFH[Aldoma2012]

多段解像度探索
DGI
GRSD[Ulrich2009][Adán2011][Marton2010]

ISSEigen Vector[Zhong2009] [Mian2010]
Mesh Hog[Zaharescu2009]

DosSantos
SHOTRoPS[Tombari2010a][Santos2011] [Guo2013]
BOARD[Petrelli2011]

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
ICP(point-to-point) [Granger2002] Picky-ICP
ICP+Cached K-d tree search
LM-ICP[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]
パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

シリコンレンジファインダ[阪⼤/ソニー1994]

PetrelliLRF
GRF[Petrelli2012] [Akizuki2014]

TriSI[Guo2015]
DPN[Akizuki2015]

距離・濃淡の最尤統合[Tateno2011]

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

TDS-A[パルステック1997] Swiss Ranger SR1
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

7

Elevation Descriptor[Shih2007]

Alignment（代表的なもの）

空間コード化法

モデル上のキーポイントを利⽤して照合する

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

⼀括算出型

Topics

製造・物流等分野ロボット導⼊実証WG Sep. 25, 20172010

キーポイントベース

3次元カメラ距離画像

6

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]
Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[Point Grey2006] [Point Grey2007] [オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]

製造・物流等分野ロボット導⼊実証WG Sep. 25, 20178

APC2015 ルール概要
⽬標第１回

Amazon Picking Challenge

配送センターを想定した⾃動ピッキング装置の開発

1m×1mの範囲の 計12ビンからピッキング

Pickタスク

Seattle, USA
2015年5⽉



時間内にどれだけアイテムをピッキングできたかを競う


商品の誤選択，落下による破損は減点

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

ビンの構成と得点

 全25アイテム（アイテムの種類によって加点あり）

最低でも2つのビンに１種類のアイテム

Double-item Bins:(15points)

ピッキング対象

Single-item Bins:(10points)10

最低でも2つのビンに2種類のアイテム

Multi-item Bins:(20points)

最低でも2つのビンに3種類以上のアイテム

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201711

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

12

VPMアルゴリズム 認識結果例

VPMアルゴリズム• 特徴量（ベクトルペア）

箱状物体

3点の3次元点で構成された，視点を共有する2ベクトル• ベクトルペア選択
High

物体モデルのまわりに設置した仮想的な視点群から，安定的に観測可能（⾼可観測率）なベクトルペアのみを照合に利⽤

対象物

Low
仮想的な視点群• マッチング可観測率マップ（⾚いほど，観測されやすい）

投票型マッチングによって，物体の重⼼位置を推定

⼊⼒距離画像形が変形しやすい袋状物体

投票結果（重⼼位置の確率マップ）

⼊⼒シーン外観

⼊⼒シーン外観

認識結果

認識結果

対象物の切り出し結果[1]秋⽉秀⼀，橋本学，特徴的3-Dベクトルペアを⽤いたばら積み部品の⾼速位置姿勢認識，電気学会論⽂誌C，Vol.133，No.9，pp.1853-1854，2013．
[2]Shuichi Akizuki，Manabu Hashimoto，Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs，Proceedings of the 40th Annual Conference of the IEEE Industrial Electronics Society（IECON），pp.5266-5271，Dallas, U.S.A.，2014/10/30．

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201713

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

APC2015︓28 Finalists

Team AR
Netherlands

第２回
Team CVAP
SwedenMPII
Germany

Isaac@Polito
Italy

RBO
Germany
Research Center Piaggio
Italy

ROBINLAB UJI
Spain

C^2M
Japan

ZUN
China
Amibot
India
SFIT
India

NUS Smart Hand
Singapore

Team Ali Bada
China

Team KJapan

Team Nanyang
Singapore

Team Blaster
USA
Team IntBot
UAIberta Team
USA
CanadaTeam Grizzly
UW
USA
PickNik
USAUSATeam MITUSA
Berkeley-Picker
USA
Team WPIUSA
Robomakery,Inc.
USA
Team Ali Bada
UT Austin
USAUSATeam Duke
USA
Plocka Packa
USA
Team Georgia Tech
USAZUN
Australia
Team RobologicalAustralia

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201715

Amazon Picking Challenge

Leipzig, Germany
2016年6⽉

14

APC2015と⽐べて難しくなった課題

APC2016における対象アイテム（39種類）

1. タスクの増⼤
Pickタスクのみ →Pickタスク＋Stowタスク

2. アイテム（対象物）の個数が増⼤
24種

→39種

3. アイテムのバリエーションが劇的に増⼤→→→センシング（ペットボトル飲料⽔，⿊い布，⾦属の灰⽫‥‥）
認識（スポンジボール，メッシュ素材のペン⽴て‥‥）把持（Ｔシャツ，2kgのダンベル，薄い封筒‥‥）

4. 置かれ⽅の複雑化
最⼤3個

→無制限

5. 制限時間の短縮
20分

→15分
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201717

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201718

配点APC2016における対象アイテム（39種類）

Picking または Stowing した Bin の中のアイテム数により得点を決定
アイテム数 1〜2 個の Bin+10 point

アイテム数 3〜4 個の Bin+15 point

アイテム数 5 個以上の Bin+20 point

ペナルティ



形状や重量，表⾯の硬さが異なる多様なアイテム
認識や把持が困難なアイテムには加点あり
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201719

誤った JSON ファイルの記述(アイテムの誤認識)-10 point

30cm 以上の⾼さから落下-5 point

アイテムまたは shelf を傷つける- 5 point

アイテムまたは shelf を破損-20 point

0.5cm 以上 shelf からはみ出す- 5 point

アイテムが床に落下-10 point
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201720

複数物体の同時位置姿勢認識（中京⼤学）

複数物体の同時位置姿勢認識（中京⼤学）

Hypothesis generation
Modelmatching ⾼速な⼲渉判定が可能なモデルを提案

 物体の外形を単純な形状によって近似表現

Model library→⾼速な⼲渉判定が可能

 外接球（⾚）と内接球群（グレー）の 2 段構成

Input scene

Verification

球体が最も単純な基本形状



外接球の⼲渉判定によって，⼲渉の疎精探索が可能

Object candidates

⾊付きモデル → ⼲渉あり
⽩⾊モデル → ⼲渉なし

Scene hypothesis generator

物体モデル

Calculation ofConsistency
Scene hypotheses

Combinatorial Optimization

⼲渉モデル○ シーン全体（⼤局的）の整合性を計算するため，誤認識が発⽣しにくい
× 過検出が発⽣しやすい．
製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

⼲渉モデルとして表現されたシーン仮説

Shuichi Akizuki, Manabu Hashimoto, Multiple 3D Object Recognition using RGB-D Data and Physical Consistency forAutomated Warehousing Robots, In Proceedings of the 11th Joint Conference on Computer Vision, Imaging andComputer Graphics Theory and Applications (VISAPP), pp. 605-609, Rome, Italy, 2016.

21

複数物体の同時位置姿勢認識（中京⼤学）

22

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

APC2016︓16 Finalists

RoboCup 2016, Leipzig, Germany

Delft
Netherlands

KTH
SwedenNimbRo Picking
Applied Robotics Germany
Netherlands

Dataspeed-Grizzly
USA
MIT
USAC^2MJapan
IITK-TCS
India

PFN
Japan
Team KJapan
AA-TeamJapan

CMU-HARP
USA
Rutgers ARM
USADukeUSA

ACRVAustralia
microRecycler
Australia

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201723

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201724

APC2016︓Pick task における認識結果
第３回

Amazon Robotics Challenge
Amazon Picking Challenge 2016Nagoya, Japan2017年7⽉

Pick task 認識率︓92.5% (= 50/54)

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201725

ARC2017 新ルール‥‥ システムとストレージ

ARC2017 新ルール‥‥アイテム（商品） ロボット吸引ハンドなどのノイズ源は，周りの作業者が効率的に作業できるように静かにすること Storage

構造は⾃由に設計してよいが，以下の条件を満たすこと
 各ビンには，1〜3 個のアイテムが区別可能に設置できること
 2〜10 のビンがあること
 Storage の体積の合計は，95,000cm^3 未満であること
 床⾯積の合計は，5,000 cm^2 未満であること
 縦・横・⾼さは，125cm 以内であること
 モーター・アクチュエータは使⽤不可
 トータル価格 ＄50 以下の安価なセンサを仕込むことが可能 すべての競技タスクで同じストレージを使⽤すること
製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

事前配布（既知）アイテム

当⽇配布（未知）アイテム

既知アイテム︓40 個
未知アイテム︓約 100 個（推定）

アイテム


27＋

未知アイテムは競技開始 45 分前に配布される．
ストレージには⾃分で詰めてよい（ただし，順序はAmazonが決める）

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201728

アイテムリスト（事前配布）
Reynolds_Wrap

Bath_SpongeBalloons

2

1

アイテムリスト（事前配布）
Avery_Binder

Marbles3

Robots_Everywhere

5

4

6
Measuring_Spoons

Burts_Bees

7

Colgate_Toothbrush8

Mesh_Cup

Speed_Stick

Crayons

Fiskars_Scissors

Pie_Plates

Epsom_Salts

Robots_DVD

14

Expo_Eraser

17Hand_Weight

Measuring_Spoons

25

Mouse_Traps

26

Hinged_ruled_Index_Ca
rds

Ice_Cube_Tray

21

20

22

Laugh_Out_Loud_Jok
es23

Poland_Spring

Composition

2728

34

Scotch_Sponges

35

Table_Cloth

36

18

Tennis_Ball

Glue_Sticks

Hanes_Socks

Irish_Spring

33

32

37

19

Ticonderoga_Pencils

30Black_Fashion_Gloves

Flashlight

Windex1615

Band_Aid_Tape

29

28

1231

13

Poland_Spring

Composition27

Duct_Tape

11109

Mouse_Traps

26

25

Band_Aid_Tape

29

Tilet_Brush

Plastic_Wine_Glass3839

white_Facecloth

40

Tissue_Box

24

Ticonderoga_Pencil
s30

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201729

アイテムリスト（認識・把持が難しい事例）

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201730

アイテムリスト（当⽇配布物の例）

認識が難しいアイテム
3D センサで撮影できない特徴（テクスチャ）が少ない

⽩い⼿袋
⾮剛体のため多様な⾒え⽅が⽣じる

⼩さい，3D センサで撮影できない

⼦供⽤ストロー
全体的に細く吸着が困難

ケーキ⽫
⾦属のためサチりやすく
3D センサでも撮影が困難

ラチェット式荷締めベルト
重く，隙間も多いため吸着が困難

吸着が困難，3D センサで撮影できない把持が難しい
アイテム
吸着が困難

⽔槽⽤砂利
中⾝が動くため多様な⾒え⽅が⽣じる

⼩さい
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201731

プラスチック製グラス3Dデータ取得が困難

ブラシ
隙間が多く吸着が困難

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201732

把持パラメータ推定（中京⼤学）

把持パラメータ推定（中京⼤学）

アルゴリズムの概要(1) 領域セグメンテーションに基づく⼿法(1) 領域セグメン
テーション⽅法

D(2) プリミティブ
形状近似⽅法
⼊⼒データ（D）

RGB
⾯積情報

⼊⼒データ

⾼さ情報
x 0.3

把持位置

x 0.2

xy座標情報x 0.5

把持位置
最も把持しやすい領域

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201733

把持パラメータ推定（中京⼤学）

把持位置推定結果

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201734

把持パラメータ推定（中京⼤学）(2) プリミティブ形状近似に基づく⼿法
プリミティブ形状

Plane

Hexahedron

推定された
把持位置

SphereCylinder

⼊⼒データ（D）

把持位置
推定

プリミティブ形状のあてはめ領域セグメン
テーション

把持位
置

プリミティブ形状であてはめた結果
緑: 球 ⾚: 平⾯

把持位置の推定結果

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201735

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

36

結果

ARC2017︓16 Finalists

 Stowタスク種⽬で世界第３位（Pickタスク種⽬は振るわず）（すべての種⽬において，３位以内の⽇本勢は当チームのみ）
Applied Robotics
Netherland, Australia
NimbRo Picking
Germany

UJI RobInLabSpain

MC^2（Mitsubishi, Chukyo, Chubu）
Japan
CMU PLAID

MIT-Princeton
USA

USA

IFL PiRo
Germany
IITK-TCSIndia
TKU M-Bot
TaiwanNanyang
Singapore

GMU-Negev
USA, Israel

NAIST-Panasonic
Japan
Team KJapan
Team T2
Japan

Team DukeUSA

ACRVAustralia

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201737

⽣活⽀援ロボットに必要な機能認識
⽣産

物流

ディープラーニングによる物体認識結果

⼀般物体認識＋ 機能認識⽔を蓄える部分（ここに）注ぐ“コップA”

38

⼀般物体認識の現状と課題
家庭

特定物体認識製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

つまむ部分

“コップB”“コップC” “コップD”“コップ”（ここを）つまむ（ここを）つかむ 対象物の名前がわかっただけでは，ロボットは動けない．
 作⽤箇所や動作⽅向などの情報を知ることが不可⽋（しかもモデル無しで）

１．特定物体認識 から ⼀般物体認識 へ

２．物体認識 から 機能認識 へ
製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

対象物が持っている機能属性
39

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201740

⽇⽤品が “形” として持っている機能属性の例

機械学習を⽤いた機能属性の⾃動推定
Step1︓局所的な凹凸から，その点が持つ機能属性を仮推定

⽔を蓄える
つまむ

つまむ

つまむ

すくう

Step2︓さらに⼤域的な解釈により，パーツごとの機能属性を決定

⽀える

局所的に
仮推定

⼤域的な解釈

つかむ
つまむ

つまむ

挿す

たたく

つまむ

学習⽤の正解データベース

切る【主な発表論⽂】秋⽉秀⼀，飯塚正樹，橋本学，”3D局所特徴量の統合に基づく物体の機能属性推定⼿法の提案”，ビジョン技術の実利⽤ワークショップ（ViEW2016），pp.282-285（2016）
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201741

機能属性推定に基づく⼀般物体認識（カテゴリ名の認識）
多くの⽇⽤品は‥‥
１）なんらかの使⽤⽬的がある．
２）その⽬的のための機能がある．
３）その機能は，形状などに作り込まれていることが多い．

飲み物を⼊れて運ぶ

機能

蓄える

把持される

形状

くぼみ

取っ⼿

さまざまな機能属性の含有⽐率を利⽤してカテゴリ名を推定「コップ」カテゴリ「スプーン」カテゴリ「ハンマー」カテゴリ

1.

ロボットビジョン技術の概要

2.

Amazonチャレンジの課題・技術・結果
 第1回

シアトル⼤会

 第2回

ライプツィヒ⼤会

 第3回

名古屋⼤会

補⾜
⽔を蓄える

つかむ

つまむ

すくう

たたく

42

まとめ

例︓コップ
⽬的

製造・物流等分野ロボット導⼊実証WG Sep. 25, 2017

ロボットビジョンの新展開〜物体認識から機能認識へ〜

該当無し【主な発表論⽂】秋⽉秀⼀，飯塚正樹，橋本学，“アフォーダンス”に着⽬した⼀般物体認識のための特徴量，
第21回知能メカトロニクスワークショップ，pp.94-96（2016）【受賞】第21回知能メカトロニクスワークショップ優秀講演賞
製造・物流等分野ロボット導⼊実証WG Sep. 25, 201743

製造・物流等分野ロボット導⼊実証WG Sep. 25, 201744

Thank you for your attention!