⽇本ロボット学会 第125回 ロボット⼯学セミナー
2020年4⽉24⽇

関連資料

→

http://isl.sist.chukyo-u.ac.jp/archives3/

物体ハンドリングのためのロボットビジョン技術

中京⼤学 ⼯学部
橋本 学

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 20202

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 2020

3

AIロボットの利⽤分野
②物流

①⽣産

商品の認識

製造物の認識注⽂③家庭
配送

⽇⽤品の認識RSJ ロボット⼯学セミナー Apr. 24, 20204

主要３分野におけるAIロボットの課題整理
⽣産

物流

家庭

Pick and Operation

Pick and Place
動作パターン種類 少（事前に⽣成）

動作パターン種類 多（その場で⽣成）物体モデル利⽤ 可物体モデル利⽤ 難品種 複数だがほぼ既知
特定物体認識zy

品種 多量かつ未知モデルを利⽤して，対象物の位置と姿勢を認識する

⼀般物体認識モデルを使わず，
クラス名（モノの名前）を認識する

x“コップ” というクラス

RSJ ロボット⼯学セミナー Apr. 24, 2020

5

ロボットビジョンの基本課題

どこに，なにがある︖

どう掴む︖

RSJ ロボット⼯学セミナー Apr. 24, 20206

ロボットビジョンの基本構成（ピッキングロボットへの適⽤例）
ロボットビジョン＝

3次元センサ＋

物体認識アルゴリズム

3次元データを取得

物体認識

3次元センサ
⼊⼒データ

対象物同定，
位置姿勢計測ピッキング
認識結果

RSJ ロボット⼯学セミナー Apr. 24, 2020

7

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 20208

３次元センサ
普通のカメラ3次元センサiBuffalo 200万画素カメラ

Intel RealSense SR300

Color

Depth

9

RSJ ロボット⼯学セミナー Apr. 24, 2020

３次元センサの分類（光学センサ）
⻘︓⽂献例 緑︓商品例

パッシブ

アクティブ
光切断法（スポット光）

ステレオ視（ 2 眼，3 眼，多眼 ）TDS-A（パルステック 1997）

光切断法（スリット光）

Bumblebee 2 / XB3（Point Grey 2006 / 2007）
TVS（三次元メディア 2011）
SV-M-S1（リコー）

三⾓測量

TVS

Bumblebee2
SV-M-S1

マルチベースラインステレオ法[Okutomi1993]

視体積交差法 [Matsuyama2002]

MELFA-3D

VIVID9i（KONICA MINOLTA 2004）

空間コード化法[Posdamer1982], [Sato1985]
Cartesia（SPACEVISION 2004）
MELFA-3D Vision（三菱電機 2013） Cartesia
RV1100（キヤノン）

ランダムドットパターン投光法[Hashimoto1999]
Xtion PRO LIVE（ASUS 2011）
Leap Motion（Leap Motion 2012）
ASTORA（Orbbec 2016）
SR300（Intel 2016）

ステレオ＋パターン投光法

ENSENSO N35

位相シフト法[Halioua1989], [Zhao1994]

同軸測量[Hiura1999]

Shape from Motion

Xtion PRO LIVE

R200

R200（Intel 2015）
D415（Intel 2018）
D435（Intel 2018）
ENSENSO N35 （iDS 2015）

Shape(depth) from (De) Focus

RV1100

ASTRA
SR300
D415

D435

TOF: Time Of Flight

Swiss Ranger SR3000 / SR4000（MESA 2005 / 2008）
D-Imager（パナソニック2010）
DepthSense325（SoftKinetic2012）
Kinect v2（Microsoft 2014）
SR4000

照度差ステレオ[Woodham1980]

Kinect v2
RSJ ロボット⼯学セミナー Apr. 24, 2020

DepthSense325

10３次元センサの⽐較
販売開始年度順

Kinect V2m

ENSENSO

R200

Astra

SR300

D415

D435

メーカ名

Microsoft

iDS

Intel

Orbbec

Intel

Intel

Intel

型番

GT3-00005

N35-804-16-IR

82634DSB2P

Orbbec Astra

82535IVCQSPL04N

82635ASRCDVKHV

82635AWGDVKPRQ

販売時期

2014

2015

2015

2016

2016

2018

2018

概略価格

2万1578円

約80万円

約1万9000円（開発ツール
セット料⾦）

約1万7000円

約1万8000円

約2万2677円

約2万4400円

デプス解像度

512x424

1280x1024

628x468

640x480

640x480

1280x720

1280x720

⽔平69.4°x
垂直425.°x
斜め77°

⽔平91.2°x
垂直65.5°x
斜め100.6°

⽔平70°×垂直60°

撮影範囲

⽔平60°x垂直49.5°（⾓度・距離）0.6〜8.0m(最適0.6〜5.0m)

0.2m〜1.5m

0.3m〜10m

0.2m〜10m

Stereo +Light Coding

ランダムドット
パターン（Light Coding）

ランダムドット
パターン（Light Coding）

Stereo +Light Coding

Stereo +Light Coding

Ethernet

USB 3.0

USB 2.0

USB 3.0

USB 3.0

USB 3.0

〇

×

×

×

×

×

0.5〜4.5m

0.3〜3.0m

0.5〜3.5m

計測形式

Time of Flight

Stereo +Light Coding

インター
フェイス

USB 3.0

電源○

11

RSJ ロボット⼯学セミナー Apr. 24, 2020

３次元センサの⽐較
 計測データの⽐較
対象物

① コップ（鏡⾯加⼯ステンレス）② 蝶番（SPCC）③ 像（⽯膏）④ 像（⽯膏・つや消し⿊⾊塗装）⑤ ビン（透明ガラス）⑥ ギア（プラスチック）①

対象物を斜め上部から撮影（右図参照）
 画像中⼼を⽯膏像の頭部に統⼀
 照明は対象物の上部に設置


⑦

⑥

撮影シーン
⽩⾊照明（LED）

センサ

画像中⼼
25.5 ㎝

撮影条件⑤②⑦ ボルト・ナット（ステンレス）



④

③

50.0 ㎝

撮影条件

12.0 ㎝

RSJ ロボット⼯学セミナー Apr. 24, 202012

３次元センサの⽐較

【所感】






拡散表⾯物体については ENSENSO による計測が⾼品質
全体的に情報⽋落が少ないのは D415・D435，逆に多いのはSR300（鏡⾯・⿊⾊部分）である．
平⾯安定性が⾼い（平⾯が平⾯として計測される）のは ENSENSO・ASTRA である．逆に低いのは D415・D435 である．
⿊い物体に対する計測制度は D415・D435 が⾼い．
死⾓が少ないのは Kinect v2・ENSENSO・SR300 である．

13

RSJ ロボット⼯学セミナー Apr. 24, 2020

ポイントクラウドデータ（3次元点群）


xyz 3 次元座標系におけるデータ点の集合
代表的な点群のデータ構造（ .pcd ）// pcd ファイルのバージョン// 次元（x y z）// 点群のサイズ（4 バイト）// 点群の型（float）// 要素数// データの幅// データの⾼さ// 視点⽅向// 点群数（WIDTH × HEIGHT）// データタイプ

ヘッダー情報

点群情報



・
・
・

・
・
・

距離画像と点群データ

距離画像

PCL で定義されたフォーマット

3 次元点群・・・

307200 ⾏

Kinect v2，RealSense は ，PCL を⽤いることによって .pcd ファイル形式で保存可．
距離画像

3 次元点群

隣接点へのアクセス⽅法

データが整列されているので隣接データへの連続アクセスが容易．

データが整列されていな
いので最近傍探索が必要．

デプス解像度値が濃度値分解能に
よって離散化される．

⼀般には離散化されない．
実空間データが利⽤可能.

主な表⽰ツール

画像 Viewer （Irfan
View, Windows フォト
ビューアーなど）

OpenGL, Mesh Lab,
CloudCompare, PCL のViewer など

OpenCV, OpenGL

Point Cloud Library（PCL）, OpenGL,
Open3D

利⽤可能なオープン
ソースライブラリ

RSJ ロボット⼯学セミナー Apr. 24, 202014

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 2020

15

特定物体認識のための主要な２タイプ
アピアランスベース物体認識（2D-2Dマッチング）

…
…

マッチング
（２D)

…
…

…

…
…

マッチング
（３D)

…

モデル
（多視点の2D画像群）
カメラ

⼊⼒データ(2D)
対象物(3D)

アピアランスベース
⼿法

モデルベース物体認識（3D-3Dマッチング）

モデル(3D)

⼊⼒データ(3D)
レンジ
ファインダ

モデルベース

⼊⼒データを多視点画像群と照合

⼊⼒データを3次元モデルと照合

メリット

単眼カメラ利⽤できる

3次元モデルが⼊⼿容易に課題

多量の辞書データが必要

3次元センサはまだ⾼価・⼤型
RSJ ロボット⼯学セミナー Apr. 24, 202016

位置・姿勢認識（キーポイントマッチング）
３次元点群
同⼠の
マッチング

b
a

c

d

1
4

2
3
7

8

9

13

5 6

10 11
12
14
15

e
f

コンピュータに格納された3次元モデル
a
b
：
d
：
g
j
：
：

センサから得られた⼊⼒シーン

座標（x,y,z）

点を特徴づける数値（特徴量）

43.5,50.2,73.6
37.0,25.3,43.1

5,2,6,‥‥9,20‥‥
45,2,4,‥‥1,3‥‥：
3,52,3,‥‥11,4‥‥：
50,32,4,‥‥3,13‥‥
1,95,34,‥‥13,5‥‥：：

81.6,25.2,33.8
11.5,9.5,234.1
8.9,794.4,212.3

→

1
2
：
10
：
21
24
：
27
30
：

座標（x,y,z）

点を特徴づける数値（特徴量）

53.5,55.1,71.4
64.2,60.0,71.4

74,36,35,‥‥19,76‥‥
103,2,45,‥‥1,34‥‥：
5,2,6,‥‥9,20‥‥：
99,49,3,‥‥20,4‥‥
8,34,24,‥‥92,44‥‥：
3,52,3,‥‥11,4‥‥
58,29,99,‥‥45,320‥‥：101.6,35.3,71.8
25.1,220.9,5.1
734.7,5.4,20.1
21.2,7.5,265.6
95.0,26.1,578.8

マッチングを成功させるためには よい3次元特徴量 の設計が重要
RSJ ロボット⼯学セミナー Apr. 24, 2020

17

特定物体認識（モデルベース⼿法）の研究マップ
1980

2000

1990

2005

物体認識（粗認識）

キーポイントベース

2or3点間の位置・法線間の関係
ISS
Multimodal PPF
Efficient Ransac
PPF[Zhong2009] [Drost2010] [Papazov2010][Drost2012]
点群の位置関係の記述
Scale-Dependent
PPF B2B, S2B, L2L
Depth Aspect Image 3D Shape Contexts DAI+M-ICP Local Shape Descriptor
VC-PPF[Choi2012] VPM[Frome2004][Kitaaki2007] [Novatnack2008]
USC[Takeguchi2001]
RoPS[Kim2011][Tombari2010b][Akizuki2012, Takei2014]
Spin Image
3D Point‘s Fingerprint[Guo2013][Johnson1997, [Sun2001]
TriSI
CSHOT
HONV
Point Feature Histogram
Johnson1999][Guo2015]
Spherical Spin Image[Tombari2011] [Tang2012] DoN[Rusu2008]
SHOT[Ruiz-Correa2001]
B-SHOT[Ioannou2012][Tombari2010a]
Fast PFH[Prakhya2015]
CCDoN[Rusu2009]
その他の特徴量
SHORT[Nagase2014]
Local Surface Patches Mesh HOG[Takei2015][Zaharescu2009] NARF
[Chen2007]
法線⽅向分布[Steder2010]
注⽬点周りの特徴記述

⾮キーポイントベース

シーン解釈
3DPO
COSMOS
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]

LRF

多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

精密位置決め2010

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

Local Feature Histogram[Hetzel2001]

Elevation Descriptor[Shih2007]

個別算出型

Point Signatures 3D Point‘s Fingerprint[Sun2001][Chua1997]

Exponential Map[Novatnack2008]

OUR-CVFH[Aldoma2012]

多段解像度探索
DGI
GRSD[Ulrich2009][Adán2011][Marton2010]

ISS
Eigen Vector[Zhong2009] [Mian2010]

⼀括算出型

VFH
[Rusu2010]

Mesh Hog[Zaharescu2009]

DosSantos
SHOT
RoPS[Tombari2010a][Santos2011] [Guo2013]
BOARD[Petrelli2011]

PetrelliLRF
GRF[Petrelli2012] [Akizuki2014]

TriSI[Guo2015]
DPN[Akizuki2015]

Alignment（代表的なもの）
point-to-plane[Chen1991]

Topics
空間コード化法

APO

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
Picky-ICP[Granger2002]
LM-ICP
ICP(point-to-point)
ICP+Cached K-d tree search[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]
パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

シリコンレンジファインダ[阪⼤/ソニー1994]

TDS-A[パルステック1997] Swiss Ranger SR1
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

距離・濃淡の最尤統合[Tateno2011]

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]

Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[PointGrey2007][Point Grey2006][オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]

RSJ ロボット⼯学セミナー Apr. 24, 202018

SHOT 特徴量（Signature of Histograms of OrienTations）
特徴記述
1.

2.

キーポイント周辺（サポート球内）を分割する（局所座標系を利⽤）．
xy 平⾯で 2 分割，球内を中⼼部と周辺部に 2 分割，さらに，z 軸まわり 8 分割．（→ 2 x 2 x 8 ＝ 32 分割）
基準点の法線 r と，分割された32個のスペース内の法線ベクトル群 niとの内積値を計算し， m ビンのヒストグラムを作成（cosθ値）．（m=11）
z
r ni

x

y

m ビン

サポート球

利点


cos   r・n i

頻度

3次元点群

・・・

θ

32個のヒストグラム × 11ビン＝

352 次元 特徴量（HOGと似た勾配ベースの特徴量なので姿勢変化に不変）次元数が⾼いので，特徴量のアイデンティティは⽐較的⾼い．
（→誤照合は少なめ）

参考⽂献︓F.Tombari, S.Salti, L.D.Stefano ,” Unique Signatures of Histograms for Local Surface Description ”, ECCV, pp.356-369, 2010.
RSJ ロボット⼯学セミナー Apr. 24, 2020

19

PPF 特徴量（Point Pair Feature）
特徴記述



2 点対から算出された 4次元特徴量（F1~F4 の4つの値）
物体上の 全ての点から 構成される２点対を利⽤する．
n1
m1
m2
m6
m3
m5
m4

Hash table

F4
m1

n2

F2

F3
F1

n2
F
m2

A=
{(m1,m2),(m3,m4),(m5,m6)}

Model Description

マッチング



利点


4次元特徴量が類似する PPF を探索．
（ハッシュテーブルを活⽤して効率化）
それらの幾何変換パラメータを計算する．
部分的なマッチング結果を集積し，多数決処理を適⽤するので，部分的な隠れに頑健．

参考⽂献︓B. Drost，el al., ”Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”, CVPR, pp.998-1005, 2010.
RSJ ロボット⼯学セミナー Apr. 24, 2020

20

PPF 特徴量の改良 B2B, S2B, L2L


PPF においてペアリングする点を限定することによって⾼速化

B2B︓Boundary 上の点同⼠の組合せ
S2B︓Surface と Boundary 上の点の組合せ
L2L︓Line Segment 同⼠の組合せ※論⽂においては B2B が最も⾼性能
nr

f4
f2

mr

nr

ni

f4

ni
f2

f3
d

mr
mi

f1  || m i  m r ||2  || d ||2

nr

f4

f3
d

mi

mr

B2B

⻘点︓Surfacemi

⾚点︓Boundary

l1i

f2

Cr

f1  || m i  m r ||2  || d ||2

S2B

li
l 2r

f3
d

l i2

lr

ni
f2

f1  || m i  m r ||2  || d ||2S2S [Drost2010]

f3

l1r

d

Ci

f1  || c i  c r ||2  || d ||2

L2L

緑線︓Line Segment

出典︓C. Choi, el al., ”Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor”, IEEE Proc. ICRA, pp.1724-1731, 2012.
RSJ ロボット⼯学セミナー Apr. 24, 202021

SHOT と PPF の⽐較
タイプ（A）
SHOT

タイプ（B）
PPF（キーポイント周辺の情報記述）（複数キーポイント間の関係）

特徴量の次元数

352

4

特徴量の
アイデンティティ

特徴ベクトルの次数が⾼い（アイデンティティが⾼い）ので，誤照合は少ない．

単体ではSHOTよりもアイデンティティが低いが，投票処理（統計処理）によって解決している例が多い．

外乱への耐性＝再現性

ヒストグラムベースの特徴量なのでノイズには強い．

物体全⾯にばらまかれた多数の点対（全点からの2点組み合わせ）を⽤いるので，オクルージョンには強い傾向あり．

照合に使⽤する
特徴点数

特徴量の次元数が⾼いので，⼀般には少数で⾜りる．
→少数しか使わないので，オクルージョンには弱い．

多数のPPFを使う必要あるので，⾼速化のためには，マッチング時の⼯夫が重要（ハッシュテーブル
利⽤等）．

処理時間

特徴量次数と特徴点数の両⽅が関連しているので，⼀概に⾔えない．
ばら積み物体認識の場合は，特徴量単体の ID が低い PPF は多数のマッチング候補が発⽣するので，時間がかかることがある．

（Repeatability）

RSJ ロボット⼯学セミナー Apr. 24, 202022

（参考）橋本研究室における３次元特徴量関連研究
多品種物体識別位置姿勢認識機能認識＆
⼀般物体認識[2015][2017]

可観測性の考慮[2015]

識別性能予測による特徴選択[2013]

超⾼速 2次元画像照[2009〜2012][2017]

⼤規模3D
モデル検索[2016]

平⾯のためのRF[2014]

ユニーク特徴量[2013]

感性指標との融合[2015]

ベクトルペア特徴量

低次元数特徴量（CCDoN）

LRF計算の⾼信頼化（DPN-LRF）[2015][2014]

点群密度変化への対応（RPD）[2015]

なだらか表⾯への対応
特徴記述の⾼速化（SHORT）[2015]

RSJ ロボット⼯学セミナー Apr. 24, 2020

23

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 202024

Amazon Robotics Challenge

物流ロボット国際⼤会

Amazon チャレンジへの挑戦履歴（三菱電機，中部⼤とコラボ）

2015年 第１回⼤会（シアトル）
2016年 第２回⼤会（ライプツィヒ）
2017年 第３回⼤会（名古屋）2017年度 Stowタスク部⾨世界3位

制限時間内にどれだけ正確にアイテムをピッキングできたかを競う

課題は年々難しく，トータル設計が要求されるようになった．
⼈⼯知能，とりわけディープラーニングは，期待から必須の技術に，さらに現在では，
ロボット技術との融合で差別化という時代に．
RSJ ロボット⼯学セミナー Apr. 24, 202026

第３回 Amazon Robotics Challenge

Nagoya, Japan2017年7⽉

ARC2017 主要ルール‥‥ システムとストレージストレージ
 構造は⾃由に設計してよいが，以下の条件を満たすこと






Storage の体積の合計は，95,000cm^3 未満であること
床⾯積の合計は，5,000 cm^2 未満であること
トータル価格 ＄50 以下の安価なセンサを仕込むことが可能

アイテム（把持対象物）
 事前配布（既知）アイテム




＋

当⽇配布（未知）アイテム

既知アイテム︓40 個
未知アイテム︓約 100 個
未知アイテムは競技開始 45 分前に配布される．

RSJ ロボット⼯学セミナー Apr. 24, 202028

アイテムリスト（事前配布）
Reynolds_Wrap

1

Burts_Bees

73

Epsom_Salts

14

Hand_Weight

19

21

20

Measuring_Spoons

Mouse_Traps

26

25

Ice_Cube_Tray

16

17

Hinged_ruled_Index_Cards

Laugh_Out_Loud_Jok
es

Band_Aid_Tape

Tissue_Box

24

Ticonderoga_Pencil
s

30

29

28

Black_Fashion_Glove
s

18

23

Poland_Spring

Composition

Duct_Tape

12

Flashlight

Windex

22

27

6

11

Expo_Eraser

Robots_EverywhereMesh_Cup

Speed_Stick10

15

Glue_Sticks

5

Crayons

9

Robots_DVD

Avery_Binder

Marbles4

Colgate_Toothbrush

813

Bath_Sponge

Balloons

2

RSJ ロボット⼯学セミナー Apr. 24, 202029

アイテムリスト（事前配布）
Measuring_Spoons

Mouse_Traps

26

25

Fiskars_Scissors

Pie_Plates

31

32

Tennis_Ball37

Hanes_Socks

Irish_Spring

34

Tilet_Brush

39

Band_Aid_Tape

Ticonderoga_Pencils

30

29

28

33

Plastic_Wine_Glass

38

Poland_Spring

Composition

27

Scotch_Sponges

35

Table_Cloth

36

white_Facecloth

40

RSJ ロボット⼯学セミナー Apr. 24, 202030

システム構成

撮影はご遠慮ください

2 台の産業ロボットによる協調動作・開閉機構を搭載した Storage
3D ビジョンセンサ
⼒覚センサ

RV-13FL(可搬重量: 13 kg)

MELFA-3D Vision

20cm

RV-13FL(可搬重量: 13 kg)

7cm

13cm

計測装置

- 体積 88,800cm^3- 底⾯ 4,440cm^3 (閉じた状態)

Storage

RSJ ロボット⼯学セミナー Apr. 24, 2020

プリミティブ形状近似による
モデルレス把持位置決定

31

アイデア
プリミティブ形状

（平板）

球

直⽅体

円柱

⼊⼒データ（D）

把持位置
推定

プリミティブ形状のあてはめ領域セグメン
テーション

把
持
位
置

プリミティブ形状であてはめた結果
把持位置の推定結果

緑: 球 ⾚: 平⾯

RSJ ロボット⼯学セミナー Apr. 24, 202033

プリミティブ形状近似に基づく把持位置推定
近似・把持位置推定モジュール

⼊⼒データ

点群のセグメンテーション
セグメントの抽出

学習モジュール

学習データ群

点群のセグメンテーション
点群を分割した学習データ

セグメントの統合

3D-DNNの学習

点群を分割した⼊⼒データ

学習済みネットワーク

把持位置推定ルール

⾯プリミティブの尤度推定
尤度

尤度統合による⽴体プリミティブ近似

把持位置推定⽴体プリミティブで近似した結果

把持位置推定の結果
RSJ ロボット⼯学セミナー Apr. 24, 202034

⾯プリミティブと⽴体プリミティブ
 ⽴体プリミティブ︓物体を近似する基本⽴体
 ⾯プリミティブ︓表⾯形状を近似する３次元⾯
⽴体プリミティブ“直⽅体”“Rectangle”

“球”

“円柱”

“Disk”“Cylindrical Surface”“Spherical Cup”

⾯プリミティブ
検出された⾯プリミティブの組み合わせから，⽴体プリミティブの種類と位置を推定35

RSJ ロボット⼯学セミナー Apr. 24, 2020

２段階近似
２段階で近似①3D-DNN を⽤いて，⾯ごとに⾯プリミティブの尤度推定②尤度を統合することによって⽴体プリミティブで近似

⼊⼒データ
（単視点）

3D-DNN尤度*

3D-DNN尤度*

3D-DNN

尤度*

統合

”直⽅体”

* 尤度の例“Rectangle”
︓0.32“Disk”
︓0.21“Cylindrical Surface”︓0.27“Spherical Cap”
︓0.20

⼊⼒データの表⾯２段階処理の利点

いったん⾯プリミティブを求めることにより，その位置関係から⽴体の姿勢を推定することができる．
RSJ ロボット⼯学セミナー Apr. 24, 202036

ピッキングリスク最⼩化によるロボット動作パラメータ決定

基本アイデア
環境内の各物体の相対的な余裕度をもとに動作⽣成する
把持環境内の物体間の相互関係

対象物(T)②掴みやすさ③静的
クリアランス①動的
クリアランス

ピッキング対象と周辺物体
ロボットハンド(H)

障害物(O)

RSJ ロボット⼯学セミナー Apr. 24, 202038

把持余裕度推定モデルによる把持パラメータ推定
把持のしやすさを定量的に算出するために，３つの指標を統合した確率モデルを構築する．
把持余裕度推定モデル
把持余裕度①ハンドと障害物の動的クリアランス

-

-

②対象物の
掴みやすさ

③対象物と障害物の静的クリアランス※ 𝐩︓把持パラメータ（把持位置，姿勢，開⼝幅）

把持余裕度推定モデルを⽤いた𝑃 𝐩 の最⼤化による最適な把持パラメータ 𝐩 の推定

𝐩argmax 𝑃 𝐩
𝐩∈𝕊

𝕊 : 𝐩 の候補集合
39

RSJ ロボット⼯学セミナー Apr. 24, 2020

予備実験 －各相互関係の指標の可視化－

対象物① 掴みやすさ② 静的クリアランス
⼊⼒データ（点群）

低

把持余裕度

⾼

③ 動的クリアランス
低⾼RSJ ロボット⼯学セミナー Apr. 24, 202040

本⽇の話題
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

RSJ ロボット⼯学セミナー Apr. 24, 2020

“機能” 認識とその応⽤

41

お茶をたてる動作（ロボットの場合）お茶を⼊れる

お湯を⼊れる

かきまぜる

茶さじを探す

柄杓を探す

茶筅を探す

持ち⽅を決定持ち⽅を決定持ち⽅を決定茶さじを持つ

柄杓を持つ

茶筅を持つ

ナツメを探すすくい⽅を決定

茶碗を探す

すくい⽅を決定

お湯をすくうまぜ⽅を決定お茶をすくう

茶碗を探す

まぜる

茶碗を探す

⼊れ⽅を決定⼊れ⽅を決定茶碗に⼊れる

茶碗に⼊れる

⼈間なら，道具の使⽤⽬的を想定して持つことができる．
⇒ 道具の使い⽅がわかるロボット
43

RSJ ロボット⼯学セミナー Apr. 24, 2020

⽇⽤品は “形” に “機能” を持っている
⽔を蓄える
つまむ

つまむ

すくう

つまむ

たたく

つまむ

⽀える

つかむ
つまむ

挿す

RSJ ロボット⼯学セミナー Apr. 24, 2020

44

機能の発現に影響を与える主な要因
形状
⽔を蓄える

つまむ

動き（強さ・⽅向）

つかむ
持つ

⽀える

持つ

すくう

刺す

叩く

材質

切る

本研究で取り扱う “機能”45

RSJ ロボット⼯学セミナー Apr. 24, 2020

モノの “機能” を認識するロボットビジョン
蓄える

Deep Learning

つまむ

…

つかむ

模範解答は，⼈間が教える

RSJ ロボット⼯学セミナー Apr. 24, 202046

“機能” がわかると何がうれしいか︖①
初めて⾒るスプーンでも，適切なすくい動作（パラメータ）を決定できる．
ロボットハンド

ハンドの動作軌跡 𝒑𝟐

𝒙

𝑑
スプーン

𝒙

𝒙

アプローチ位置（Grasp 点群の重⼼）

スプーン先端の移動軌跡 𝒑𝟏

なつめ

RSJ ロボット⼯学セミナー Apr. 24, 2020

47“機能” がわかると何がうれしいか︖②

⽇⽤品には機能が発現する姿勢（表向き︔ON）と，発現しない姿勢（裏向き︔OFF）がある．
機能がわかると，ON/OFFにかかわらず，動作できるようになる．

Scoop

Scoop が発現する
姿勢のスプーン（表向き︔ON）

Contain

機能なし

Contain が発現する
姿勢のカップ（表向き︔ON）

Contain が発現しない
姿勢のカップ（裏向き︔OFF）

機能なし

Scoop が発現しない
姿勢のスプーン（裏向き︔OFF）

機能情報をもとに，
機能＝ON ならば そのまま動作
機能＝OFF ならば ONにしてから動作
RSJ ロボット⼯学セミナー Apr. 24, 202048

“機能” がわかると何がうれしいか︖②

表向き
Grasp
Scoop

表向きの状態のスプーンを把持

抹茶をすくう裏向きの状態のスプーンを把持逆⽅向から抹茶をすくう

裏向き
Grasp
機能なし

RSJ ロボット⼯学セミナー Apr. 24, 2020

お茶会ロボットシステムの試作

49（2020年1⽉16⽇完成）

RSJ ロボット⼯学セミナー Apr. 24, 202050

ロボットはなぜお茶を持ってきてくれないのか「お茶を持ってきて」‥‥この実現に，まだ多くの難題が残っている︕
そもそも，この⾔葉を，細かいタスクに分解できない
・必要ならお湯を沸かす
・ナツメに蓋があったら開ける
・⾜らない道具があったら取ってくる︓
︓

現在のお茶会ロボットにできないこと
茶さじが裏向きだ
ったら掴めない
お湯を沸かす⽅法を知らない

⼩さな茶さじは掴めない

余ったお湯を茶釜に戻すことができないお茶の量の調節ができない泡⽴ち具合は運次第
RSJ ロボット⼯学セミナー Apr. 24, 2020

⼈の動作のロボットへの転移51

ロボットによる組み⽴て作業の動作⽣成
⼈から学ぶロボット

ロボットが部品の機能を理解して，⾃ら動作を⽣成

⼈が部品ごとに動作教⽰

モノの「機能」概念に基づく⼈からロボットへの動作転移
基準部品

類似A
類似B

RSJ ロボット⼯学セミナー Apr. 24, 2020

53

背景と課題
組⽴て作業で扱われている部品の例(a) リンク(d)ボルト(b) コネクティングロッド(e) ナット(c) コネクタ(f) ギア
出典︓ミスミの総合カタログ，https://jp.misumi-ec.com/
株式会社ゴーシュー，http://www.gohsyu.com/product/

 課題

組⽴てロボットでは，個々の部品ごとにロボットパラメータ設定が必要
RSJ ロボット⼯学セミナー Apr. 24, 202054

基本アイデアある部品に対してヒトが教⽰したロボットパラメータを別の部品に転移O

把持位置転移作⽤位置転移OOqq

把持領域 G
作⽤領域 O

p

p

G

G

G

教⽰した
把持位置 p
教⽰した
作⽤位置 q

教⽰部品 A

未知部品 B

未知部品 Cqp

転移した
把持位置 p
転移した
作⽤位置 q

RSJ ロボット⼯学セミナー Apr. 24, 202055

ロボット知能化技術の導⼊の進め⽅と留意点
1. ⽣産，物流現場へのロボット知能化技術の導⼊は，センサ＋アルゴリズム＋ロボット動作の総合技である．
2. センサ＝選択肢は増えたが万能ではない．
・⾒えない対象が少なくとも4つ

・保守容易性も考慮（⾼級センサ v.s. 安価センサ）

3. アルゴリズム＝特定/⼀般物体認識ともにベースはある．
・特定物体認識はPCLに含まれているSHOT法等を推奨
・凹凸が少ない対象物には課題が残る
・⼀般物体認識はDeep LearningでOK

4. ロボット動作＝現時点ではまだ苦労が予想される．
・ROS環境が便利だが，逆運動学，動作計画ソフトは⼀品⼀様
・Pick＆Placeから開始，Pick＆Operationは難度が⾼い

RSJ ロボット⼯学セミナー Apr. 24, 2020

56

まとめ
1．ロボットビジョンの基本課題
2．3Dセンサ
3．モデルベース物体認識の基礎
4．Amazonチャレンジのために開発した技術
5．ロボットビジョン研究事例

関連資料 → http://isl.sist.chukyo-u.ac.jp/archives3/

Special Thanks To:

秋⽉助教

城亮輔

橋本研究室・知能ロボット研究メンバー

村井俊哉

鈴⽊貴⼤

永野史也

寺沢拓真

⽯原義経

RSJ ロボット⼯学セミナー Apr. 24, 2020

⽯⼭祐希

江場さくら

57