画像処理セミナー
2017年2⽉

3次元物体認識の現状技術と将来技術

本⽇の話題
1．3次元物体認識の基礎(1)3次元計測⼿法の概要(2)センサ主要技術と実センサ事例(3)物体認識アルゴリズムの概要(4)アピアランスベースとモデルベース(5)物体認識の周辺技術
２．3次元局所特徴量を⽤いた物体認識技術(1)キーポイントベース物体認識の概要(2)3次元特徴量の主要技術(3)局所参照座標系の主要技術(4)3次元特徴量に関する最新技術

中京⼤学

⼯学部

橋本 学

mana@isl.sist.chukyo-u.ac.jp
http://isl.sist.chukyo-u.ac.jp/

３．アマゾンピッキングチャレンジ2016に関連するロボットビジョン技術(1)背景(2)課題分析(3)アプローチ 物体識別と姿勢認識(4)⼤会のようすと世界的な技術トレンド
４．物体認識技術の将来展望(1)⼯場から家庭へ(2)⼈間の内⾯を探る

Feb. 2017

１．3次元物体認識の基礎

3次元計測⼿法の概要

2

三⾓測量

3次元計測⼿法の分類
2眼視
3眼視・多眼視マルチベースラインステレオ法

パッシブセンサ

三⾓測量

アクティブセンサ

アクティブ
ステレオ法
モアレ法

焦点利⽤
同軸測量

パッシブ型

⾶⾏時間法

Q

Q

スリット光投影法
構造化パターン法d・空間コード化法
・ランダムドットステレオ
・位相シフト法

αDepth from Defocus

P

時間差計測

β

L

R

異なる視点 P, R をとり（ L が既知），
α，β を計算することによって，
距離 d を計測

位相差計測

P
光波の性質（時空間位相）や集光（合焦︔ぼけ）などを利⽤して，P と同じ軸上の Q までの距離 d を計測

5Feb. 2017

パッシブセンサ

同軸測量

Depth from Focus（TOF︓Time Of
Flight）
アクティブ型

三⾓測量

スポット光投影法

照度差ステレオ法

３次元計測

v.s. 同軸測量

Feb. 2017v.s. アクティブセンサ

パッシブセンサ

アクティブセンサ

パッシブ法の概要と主要技術
環境光

受光素⼦

光学中⼼

受光素⼦

光学中⼼

それぞれの受光部が「光を受けた位置」
をもとに，距離を算出

投光素⼦

受光素⼦

 ステレオ視覚の考え⽅
 3次元座標と観測座標の関係
 画像マッチングを⽤いた対応点探索
 対応点探索の⾼速化と⾼信頼化
 実際のステレオカメラの例

光学中⼼

光学中⼼

「光が出発した位置」と「光が返ってきた位置」をもとに，距離を算出

Feb. 2017

パターン光

7

6

ステレオ視覚の考え⽅

3次元座標と観測座標の関係

 L が既知の条件下で，α，β を計測することによって，対象物の3次元位置を知る．

1.
2.

空間中の P から発した光が，左右2つのカメラ画像上に映る．
, ,それぞれの画像上の点 Q(u,v) と R(u ,v ) の位置を，画像処理（マッチング技術）によって特定する（＝対応点探索）．
これらの位置から P の3次元位置を算出する．

3.
P(x, y, z)

ZW

YW

3次元座標

XW

α
左カメラ

β

v
右カメラ

L

u

P (XW,Yw,Zw)

Q(u,v)vʼ

R(uʼ,vʼ)uʼ
右カメラ中⼼ R

左カメラ中⼼ L
観測座標（左右画像）
Feb. 20179

画像マッチングを⽤いた対応点探索


対応点探索の⾼速化と⾼信頼化

領域ベースマッチング（area-based matching）(u, v) 周辺の領域内の画素をテンプレートとし，テンプレートマッチ
ングを利⽤して(u, v) の対応点 (u’, v’) を探索

エピポーラ線（epipolar line）
左画像上のある位置 A(u, v) に対する視線 l を，右画像に投影したときにできる画像中の直線のこと．
エピポーラ拘束の利⽤
右画像において，Aの対応点は必ずエピポーラ線上に存在するという制約を利⽤すれば，対応点を，⾼速かつ効率よく探索できる．

(u’,v’)

(u,v)

p3

探索

左カメラ画像10

Feb. 2017

左カメラ画像右カメラから⾒える
エピポーラ線

右カメラ画像A(u,v)

右カメラ画像C
Feb. 2017

p2

p1

左カメラの
視線 l

11

エピポーラ線Cʼ

(u,v)
左カメラ画像Feb. 2017(u,v) の位置

探索
右カメラ画像12

スポット光投影法


アクティブ法の概要と主要技術

ステレオ視覚において，⽚⽅のカメラをスポット光源に置き換えた⽅法
対象物上に特徴点（テクスチャ）がなくても計測可能
１回につき，１点だけしか計測できない．

β

α

スポット光

カメラ

L

（例）レーザ光14

Feb. 2017

スリット光投影法


空間コード化法

対象物に，スポット光ではなく，スリット光を投影する．
スポット光と⽐べて，スリット上の多数点を同時計測可能．
１回につき，１ラインだけしか計測できない．

2進コードに対応した光パターン（ストライプ）を投光して対象空間を分割
三⾓測量の原理を⽤いて距離計測
マスクパターン①

0 0 0 0 1 1 1 1

βα

カメラ画像①

L
プロジェクタカメラ

マスクパターン②

0 0 1 1 0 0 1 1

βα

カメラ画像②L
カメラ

プロジェクタβα
レーザ光源

マスクパターン③
カメラ

L

0 1 0 1 0 1 0 1α
プロジェクタFeb. 201715

β

カメラ画像③

L
カメラ
Feb. 201716

ランダムドットステレオ


照度差ステレオ法

対象物にランダムドットパターンを投影．
対象物に模様をつけ，ステレオ対応付けの信頼性を向上．
図柄のない物体でも，距離計測が可能

３つ以上の光源を⼀つずつ点灯し，同⼀視点から画像を撮影する．
これらの画像の陰影の違いから３次元形状を復元する．
１つの固定したカメラを⽤いるので，対応点探索が不要

P (x, y, z)

ランダムドットパターン

α
左カメラ

⼊⼒画像

β
L

n
右カメラ

v

l1
l3

l2
ρ

プロジェクタFeb. 2017（TOF︓Time Of Flight）

投影光

φ

dL

反射光


2

φ︓位相差
L︓測定最⼤距離

位相差 φ の算出⽅法の例（ Four step 法）

カメラ

推定された形状

17

光源から出た光が対象物で反射し，センサに帰還するまでの⾶⾏
時間（位相）と光の速度から被写体までの距離を計測
 実際には，投影光と反射光の位相差から時間差を推定する．
 死⾓が⽣じないなどの利点があり，近年注⽬されている．

光源I 2   l t2 n
I 3   l t3 n

Feb. 2017

⾶⾏時間法

輝度

I 1   l 1t n

各画素で反射光（輝度）In(x, y) を θ(t) = 0, π/2, π, 3π/2 のタイミングで観測（それぞれ I1, I2, I3, I4 ）すればφ を算出可能I n  x, y   I 0  A cos  x, y    t  I  x. y   I 2  x, y   I1  x , y   I 3  x , y    x, y   tan 1  4
Feb. 201719

センサ主要技術と実センサ事例

18

3D センサの分類（光学センサ）

代表的な 3D センサによるデータ取得例と⽐較

パッシブ
光切断法（スポット光）

ステレオ視（ 2 眼，3 眼，多眼 ）TDS-A（パルステック 1997）

三⾓測量

TVS
SV-M-S1

マルチベースラインステレオ法[Okutomi1993]

視体積交差法 [Matsuyama2002]

本
ペン⽴て

ペット
ボトル

OREO

R200

VIVID9i（KONICA MINOLTA 2004）

空間コード化法

VIVID9i[Posdamer1982], [Sato1985]
Cartesia（SPACEVISION 2004）
MELFA-3D Vision（三菱電機 2013）
RV1100（キヤノン）
Cartesia
VF0810（Intel 2016）

MELFA-3D

ランダムドットパターン投光法[Hashimoto1999]
Kinect v1（Microsoft 2010）
Xtion PRO LIVE（ASUS 2011）
Leap Motion（2013）

位相シフト法RV1100

同軸測量

Shape(depth) from (De) Focus[Hiura1999]

Shape from Motion

Kinect v1

カラー画像

TOF

Xtion

640 x 480（307200 points）
2 fps

640 x 480（307200
points）30 fps

良好に形状取得が可能
透明部分については帰還光が乱れる（あるいは帰還しない）ため，形状取得が困難
⿊⾊部分は帰還光の強度が不⾜し，形状取得が困難

形状取得が可能

光沢⾯では帰還光が乱れるため，形状取得が困難

鏡⾯反射が⼤きい部分は，形状取得が困難

ぬいぐるみ（布）形状取得が可能箇所によっては帰還光の強度が⼩さくなり，
形状取得が困難まとめ

5 つのセンサの中で精度が最もよいが，画⾓が狭く，⿊⾊部分や透明部分の形状取得が困難．
三⾓測量なので，対象物の境界⾯等でデータ⽋落がある．

⻘︓⽂献例
緑︓商品例

透明部分やメッシュ部分の形状取得ができず，精度は⼀番悪かった．三⾓測量なので対象物の境界⾯等でデータ⽋落がある．



Kinect v2（TOF）

点群情報

Kinect v2（TOF）



⼈物

左側に計測⽋落領域があるが，距離が遠いのであまり⽬⽴たない．
Feb. 201722

xyz 3 次元座標系におけるデータ点の集合

・
・
・

・
・
・

・
・
・

307200 ⾏

Kinect v1，Kinect v2，Xtion は ，PCL を⽤いることによって .pcd ファイル形式で保存可．

距離画像と点群データ

距離画像
23

PCL で定義されたフォーマット

// pcd ファイルのバージョン// 次元（x y z）// 点群のサイズ（4 バイト）// 点群の型（float）// 要素数// データの幅// データの⾼さ// 視点⽅向// 点群数（WIDTH × HEIGHT）// データタイプ

計測⽋落は少ない．

Kinect v1（三⾓測量）

Xtion，Kinect v1よりも精度がよく，Kinect v2よりも精度が悪い．透明部分，メッシュ部分の形状取得が困難．
同軸測量なのでデータ⽋落が少ない．

ポイントクラウドデータ（3次元点群）

ヘッダー情報Xtion（三⾓測量）

形状取得が可能Xtion，Kinect v1，SR4000 よりも精度がよい．透明部分，
メッシュ部分の形状取得が困難．
同軸測量なのでデータ⽋落が少ない．

Feb. 2017

代表的な点群のデータ構造（ .pcd ）物体の左側に計測⽋落領域がある．

形状取得が可能21

代表的な 3D センサによるデータ取得例

SR4000176 x 144（25344 points）
50 fps

メッシュ部分は，帰還光が乱れるため，形状取得が困難

OREO（光沢プラスチック）

DepthSense325

Kinect v2

512 x 424（217088 points）
30 fps

紙箱（紙）ペン⽴て（⾦属メッシュ）

SR4000Kinect v1

640 x 480（307200
points）30 fps

ペットボトル（透明）本（光沢紙）

Feb. 2017

SR4000（反射強度画像）

Xtion PRO LIVE

Kinect v2

Kinect v1（三⾓測量）

Kinect v2

三⾓測量[Woodham1980]︓R. J. Woodham, “Photometric method for determining surface orientation”, Optical Engineering, Vol.19, No.1, pp.139-144, 1980.
[Posdamer1982]︓J. L. Posdamer, et al., “Surface measurement by space-encoded projected beam systems”, Computer Graphics and Image Processing, Vol.18, No.1, pp.1-17, 1982.
[Sato1985]︓佐藤ら, “空間コード化による距離画像⼊⼒”, 電⼦情報通信学会論⽂誌, Vol.J68-D, No.3, pp.369-375, 1985.
[Halioua1989]︓M. Halioua, et al., “Optical Three-dimensional Sensing By Phase measuring Profilometry”, Optics and Lasers in Engineering, Vol.11, No.3, PP.185-215, 1989.
[Okutomi1993]︓M. Okutomi, et al., “A multiple-baseline stereo”, Trans. IEEE Pattern Analysis and Machine Intelligence, Vol.15, No.4, 1993.
[Zhao1994]︓H. Zhao, et al., “Phase-unwrapping algorithm for the measurement of three-dimensional object shapes”, Applied Optics, Vol.33, No.20, pp.4497-4500, 1994.
[Hashimoto1999]︓橋本ら, “ランダムドットパターン投光ステレオを⽤いた物流ロボット視覚システムの開発”, ⽇本ロボット学会誌, Vol.17, No.1, pp.48-49, 1999.
[Hiura1999]︓⽇浦ら, “構造化瞳をもつ多重フォーカス距離画像センサ”, 電⼦情報通信学会論⽂誌, Vol.J82-D-II, No.11, pp.1912-1929, 1999.
[Matsuyama2002]︓松⼭ら, “3次元ビデオ映像の撮影・編集・表⽰”, ⽇本バーチャルリアリティ学会論⽂誌, Vol.7, No.4, pp.521-532, 2002.

Xtion（三⾓測量）

Kinect v1

VF0810

TOF: Time Of Flight[Woodham1980]

ぬいぐるみ

Cartesia

Swiss Ranger SR3000 / SR4000（MESA 2005 / 2008）
D-Imager（パナソニック2010）
DepthSense325（SoftKinetic2012）（Kinect v2（Microsoft 2014））

照度差ステレオ

Xtion

ポイントクラウド
表⽰（各点を
⽩ドット表⽰）シーン画像[Halioua1989], [Zhao1994]

物体

紙箱

光切断法（スリット光）

Bumblebee 2 / XB3（Point Grey 2006 / 2007）
TVS（三次元メディア 2011）
SV-M-S1（リコー）
R200（Intel 2016）

Bumblebee2

Cartesia

アクティブ

3 次元点群

距離画像

3 次元点群

隣接点へのアクセス⽅法

データが整列されているので隣接データへの連続アクセスが容易．

データが整列されていな
いので最近傍探索が必要．

デプス解像度値が濃度値分解能に
よって離散化される．

⼀般には離散化されない．
実空間データが利⽤可能.

主な表⽰ツール

画像 Viewer （Irfan
View, Windows フォト
ビューアーなど）

OpenGL, Mesh Lab, PCLの Viewer など

OpenCV, OpenGL

Point Cloud Library（PCL）, OpenGL

利⽤可能なオープン
ソースライブラリ

Feb. 201724

ロボットピッキング

物体認識アルゴリズムの概要

Feb. 2017

ピッキングロボットにおける 3次元物体認識の課題

26

FA分野における物体認識
投⼊⼯程（Pick and Place）

組⽴⼯程（Pick and Insert）①3次元カメラ
⼊⼒データ

②物体認識

位置＋姿勢

Feb. 201727

Feb. 201728

アピアランスベースとモデルベース

アピアランスベース物体認識の基礎

アピアランスベース物体認識の原理

パラメトリック固有空間法（PES法）
…

カメラ

θ

対象物体

φ

…

θ=0,φ=45

θ=45,φ=45…

…
θ=135,φ=45PC
θ=225,φ=45

1. 姿勢既知の画像を，それぞれPCAにより次元圧縮
2. 元の次元数より⼩さい空間に投影
3. 姿勢の連続性をもとに画像群を（空間内で）つなげて表現→多様体（Manifold）
4. 未知画像を同様に圧縮，投影して，最近傍既知画像を同定

θ=90,φ=45…
θ=180,φ=45…

…

回転ステージθ=270,φ=45

…

姿勢既知の
学習画像群

姿勢未知の
⼊⼒画像

31

PCA

PCA

θ=315,φ=45

照合

Feb. 2017[村瀬;信学論1995]

※PCA︓
主成分分析

姿勢未知の⼊⼒画像

k 次元の固有空間（上位3次元のみ表⽰）

Feb. 201732

モデルベース物体認識
モデル︓
⼊⼒データ︓

3次元CADモデルなど
センサで取得されたポイントクラウドデータなど

モデルベース物体認識の基礎
レンジファインダ

3-Dモデル

距離画像

ばら積みシーン

Feb. 2017

モデルベース物体認識の分類
1. キーポイント利⽤
Spin Image法
DAI法
Local Surface Patches
Point Feature Histogram
Point Pair Feature
SHOT[Johnson1997][Takeguchi2001][Chen2007][Rusu2008][Drost2010][Tombari2010]

EGI（拡張ガウス像）
3DPO
3Dエッジ
VVV
DGI

[Horn1983][Bolls1986][Lowe1991][Sumi1997][Adan2011]

まとめ
アピアランスベース

モデル上のキーポイント単位で照合

2. ⾮キーポイント利⽤

全点，あるいはエッジなど単位で照合 かつては距離画像そのものを使う⼿法が主流．
 最近は⾼速化のためにキーポイントベースが増えている．
 特徴記述法が重要．
Feb. 201735

v.s. モデルベース

34

アピアランスベース
…
…
…

…
…

モデルベース
マッチング
（３D)

マッチング
（２D)

…
…

V.S.

物体認識の周辺技術…

モデル（多視点の2D画像群）

モデル(3D)

⼊⼒データ(2D)

⼊⼒データ(3D)
レンジ
ファインダ

対象物(3D)カメラ

アピアランスベース物体認識（2D-2Dマッチング）
アピアランスベース⼿法

⾼精度位置合わせ ICP アルゴリズム

モデルベース物体認識（3D-3Dマッチング）
モデルベース

⼊⼒データを多視点画像群と照合

⼊⼒データを3次元モデルと照合

メリット

単眼カメラ利⽤できる

3次元モデルが⼊⼿容易に課題

多量の辞書データが必要

3次元センサはまだ⾼価・⼤型
37

Feb. 2017

Iterative Closest Point（ICP）
[Besl1992][Kaneko2003]

データ点群とモデル点群の誤差最⼩化⼿法


⽅法




最近傍点の対応付け
対応点からの幾何変換の推定
上記2ステップの繰り返しによって，位置合わせ誤差が最⼩となる
剛体変換パラメータを出⼒

２．3次元局所特徴量を⽤いた物体認識技術   Tq  qR | qT データP  { pi }

誤差
モデル

X  { xi }N   21 p f (q )  xi  R(qR ) pi  qT
N p i 1

派⽣⼿法として，M推定により外れ値にロバストなM-ICP等がある．
参考⽂献︓P. J. Besl and N. D. Mckay, ”A Method for Registration of 3-D Shapes”, IEEE Trans. PAMI, vol.14, no.2, 1992.
S.Kaneko, T.Kondo, A.Miyamoto, Robust matching of 3D contours using iterative closest point algorithm improvedby M-estimation, PR, vol.36, pp.2041-2047, 2003.
Feb. 201739

キーポイントマッチング（特徴量マッチング）
2次元パターン（画像）の場合

1 2 4

abcd

キーポイントベース物体認識の概要

e

13

f

a
b
：
d
：
g
j
：

⾓度
（始・終）

⾊
（RGB）

32,25
37,25

0,90
90,180255,0,0
255,0,080,25135,180

255,0,0

32,85
80,85

270,0
180,225

255,0,0
255,0,0

1
2
：
4
：
21
24
：
27
30
：

画素を特徴付ける数値＝特徴量（ベクトル）

10

27

30

37

40

24

21

ghij

座標
i, j

7

座標
i, j

⾓度
（始・終）

⾊
（RGB）

55,71
60,71

0,90
90,180255,0,0
255,0,0103,71

90,180255,0,0125,220
173,220

255,0,00,90
135,180 255,0,0

251,265
299,265

0,0,255
0,90
135,180 0,0,255

42

Feb. 2017

キーポイントマッチングの基本（特徴量マッチング）
3次元データ同⼠のマッチング

1
4

2
3
8

b
a

c

13

d

7
9

実験①

【実験⽅法】
実験データ︓Stanford models の ”Dragon” で構成
キーポイント︓SHORT 法によって検出された点からランダムに選択

5 6

S.Takei, S.Akizuki，M.Hashimoto，”SHORT: A Fast 3D Feature Description basedon Estimating Occupancy in Spherical Shell Regions”，IVCNZ, 2015.

10 11
12
14
15

【実験結果】
認識成功率 Pr [%]

f

a
b
：
d
：
g
j
：
：

座標（x,y,z）

特徴量（ベクトル）

43.5,50.2,73.6
37.0,25.3,43.1

5,2,6,‥‥9,20‥‥
45,2,4,‥‥1,3‥‥：
3,52,3,‥‥11,4‥‥：
50,32,4,‥‥3,13‥‥
1,95,34,‥‥13,5‥‥：：

81.6,25.2,33.8
11.5,9.5,234.1
8.9,794.4,212.3

⼊⼒シーン
1
2
：
10
：
21
24
：
27
30
：

座標（x,y,z）

特徴量（ベクトル）

53.5,55.1,71.4
64.2,60.0,71.4

74,36,35,‥‥19,76‥‥
103,2,45,‥‥1,34‥‥：
5,2,6,‥‥9,20‥‥：
99,49,3,‥‥20,4‥‥
8,34,24,‥‥92,44‥‥：
3,52,3,‥‥11,4‥‥
58,29,99,‥‥45,320‥‥：101.6,35.3,71.8
25.1,220.9,5.1
734.7,5.4,20.1
21.2,7.5,265.6
95.0,26.1,578.8

220
200

認識時間

180
160
140
120
100

0

100

200

300

400

⼊⼒データ例

500

モデルのキーポイント数

マッチングを成功させるためには よい3次元特徴量 の設計が重要
Feb. 2017

認識成功率

100
90
80
70
60
50
40
30
20
10
0

認識時間 T [msec]e

3次元モデル

キーポイント数と認識性能の関係

キーポイント数が性能を左右する．
43

Feb. 2017

44

実験②

特徴量の次元数と認識性能

実験③【実験⽅法】【実験⽅法】

実験データ︓Stanford models の ”Dragon” で構成
特徴量︓SHORT 特徴量 54 次元（ 6 シェル x 9 ビンのヒストグラム）からランダムに要素を抽出（特徴量の次元数＝ランダム抽出数）

SHORT 法︓ 凸形状の点だけをキーポイントとして検出
ランダム法︓ランダムにキーポイントを検出【実験結果】【実験結果】
220
200

80

180

60

160

認識時間

40

140

20

120

80

9

18

27

36

45

40
20
0
0

54

50

100

150

200

250

300

350

400

450

500

モデルのキーポイント数

特徴次元数

特徴量の次元数が性能を左右する．
Feb. 2017

ランダムキーポイントを⽤いたとき

60

100
0

凸部キーポイントを⽤いたとき

100

認識成功率 Pr [%]認識成功率

認識時間 T [msec]

認識成功率 Pr [%]100

0

キーポイント検出⽅法と認識成功率の関係

キーポイントの選び⽅が性能を左右する．
45

Feb. 201746

2 つのタイプの 3次元特徴量
キーポイントにどのような情報（特徴量）を付加するか︖
タイプ

3次元特徴量の主要技術

各キーポイント周りの
情報を記述

(A)
物体モデル

⼊⼒データ

タイプ

2〜3個の
キーポイント間の関係を記述

(B)
物体モデル

⼊⼒データ
Feb. 201748

3次元特徴量の分類と特徴
特徴量の記述⽅法(A) キーポイント周りの情報記述(B) 複数点間の関係記述

法線ベ
クトル
利⽤

その他の情報を利⽤

2点間 or 3点間

LSP, CCDoN, NARF,
MHOG,
RoPS

PPF, ER, VC-PPF, MPPF,
PPF B2B or S2B or L2L,
VPM

座標データ利⽤

SHOT, PFH, CSHOT,
B-SHOT, HONVSI, SSI, DAI,
3DSC, SDLSD, USC

FPFH,
DoN

PFH
: Point Feature Histogram
SHOT : Signature of Histogramsof OrienTations
CSHOT : Color SHOT
B-SHOT: Binary SHOT
HONV : Histogram ofOriented Normal Vector
SI: Spin Image
SSI: Spherical Spin Image
DAI: Depth Aspect Image
3DSC : 3D Shape Contexts
USC : Unique Shape Context

SDLSD : Scale-Dependent Local
Shape Descriptor
FPFH : Fast PFH
DoN: Difference of Normals
LSP: Local Surface Patches
CCDoN : Combination of Curvatures
and Difference of Normals
NARF : Normal Aligned Radial Feature
MHOG : Mesh HOG
RoPS : Rotational Projection Statistics

タイプ（A）
キーポイント周りの情報記述

PPF: Point Pair FeatureER: Efficient Ransac
VC-PPF : Visibility Context PPF
MPPF : Multimodal PPF
PPF B2B or S2B or L2L :PPF Boundary-to-Boundary or
Surface to Boundary or Line to Line
VPM
: Vector Pair Matching※下線は PCL に登録されている⼿法

49

Feb. 2017

SHOT 特徴量（Signature of Histograms of OrienTations）

PFH 特徴量（Point Feature Histograms）

特徴記述

特徴記述

1.

2.

キーポイント周辺（サポート球内）を分割する（局所座標系を利⽤）．
xy 平⾯で 2 分割，球内を中⼼部と周辺部に 2 分割，さらに，z 軸まわり 8 分割．（→ 2 x 2 x 8 ＝ 32 分割）
基準点の法線 r と，分割された32個のスペース内の法線ベクトル群 niとの内積値を計算し， m ビンのヒストグラムを作成（cosθ値）．（m=11）
z
r ni
y

サポート球

利点


キーポイント周りの球領域内の k 近傍点から多数の 2 点組を選択．
2 点から α，θ，φ，pt-ps を計算し，ヒストグラム化（＝特徴量）
各パラメータを離散化し，125 次元で表現（PCL）
p11
p10

cos   r・n i

頻度

pk5

pk1

pq

pk2

p9 pk4

x
m ビン

3次元点群




・・・

θ

ps

pk3 p6
p8

p7

w=u×v

法線 nt

v

法線 ns=u
φ
pt-ps

α

u

pt θ
w

キーポイントの選択⽅法

32個のヒストグラム × 11ビン ＝ 352 次元 特徴量（HOGと似た勾配ベースの特徴量なので姿勢変化に不変）

利点

次元数が⾼いので，特徴量のアイデンティティは⽐較的⾼い．
（→誤照合は少なめ）

参考⽂献︓F.Tombari, S.Salti, L.D.Stefano ,” Unique Signatures of Histograms for Local Surface Description ”, ECCV, pp.356-369, 2010.
Feb. 2017v=(pt-ps)×u

ある特徴量が，モデル内の平均特徴量より⼤きければ候補として保存．
球の半径を変えながら同様の計算をおこない，多くの半径から⽀持された候補点を，最終的な キーポイント として選択する．

ヒストグラム特徴なので，多少の外乱には頑健．
次元数がある程度⾼いので，モデルの表現⼒も⾼い．

参考⽂献︓R. B. Rusu, et al., ”Aligning Point Cloud Views using Persistent Feature Histograms”, IEEE Proc. IROS, pp.3384-3391, 2008.

51

Feb. 201752

FPFH 特徴量（Fast Point Feature Histograms）
 PFH の改良版（特徴記述の組み合わせ数を削減）
 2 点組の選択を キーポイント と 近傍点群 の組み合わせに変更
1.

タイプ（B）
複数点間の関係記述

キーポイントと，球領域内の近傍点から PFH を作成
各点が PFH を保持

2.

キーポイントと近傍点が持つ PFH をマージ（ヒストグラムの同⼀ビンを合成）することによって，最終的なヒストグラム（FPFH）を作成
図では， pq と灰⾊の領域内の近傍点 pki の PFH をマージ
33 次元で表現（PCL）

利点

2 点群の組み合わせ数を削減したことによって⾼速化を実現
次元数が低めだが，キーポイント周辺の
ヒストグラムをマージするので局所形状の表現⼒が⾼い

p11

pk1

pk5
pq

p10
pk4

p9

pk2

pk3

p8

p6
p7

参考⽂献︓R. B. Rusu, et al., ”Fast Point Feature Histograms(FPFH) for 3D Registration”, IEEE Proc. ICRA, pp.3212-3217, 2009.

53

Feb. 2017

PPF 特徴量（Point Pair Feature）

PPF 特徴量の改良

特徴記述






m1
m2
m6
m3
m
m4 5

Hash table

F4
m1

n2

F2

F3
F1

n2
F
m2

nr

A=
{(m1,m2),(m3,m4),(m5,m6)}



利点


f4

ni
f2

mr

Model Description

部分的なマッチング結果を集積し，多数決処理を適⽤するので，部分的な隠れに頑健．

mrmi⻘点︓Surface

参考⽂献︓B. Drost，el al., ”Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”, CVPR, pp.998-1005, 2010.
Feb. 2017ni
f2

S2S [Drost2010]

4次元特徴量が類似する PPF を探索．
（ハッシュテーブルを活⽤して効率化）
それらの幾何変換パラメータを計算する．

f4

f3
d

f3

l1r

nr

f1  || m i  m r ||2  || d ||2

マッチング


PPF においてペアリングする点を限定することによって⾼速化

B2B︓Boundary 上の点同⼠の組合せ
S2B︓Surface と Boundary 上の点の組合せ
L2L︓Line Segment 同⼠の組合せ※論⽂においては B2B が最も⾼性能

2 点対から算出された 4次元特徴量（F1~F4 の4つの値）
物体上の 全ての点から 構成される２点対を利⽤する．
n1

B2B, S2B, L2L

nr

f4

f3
d

mi

f1  || m i  m r ||2  || d ||2

B2B

mr

l 2r

f3
d

mi

⾚点︓Boundary

l1i

f2

Cr

f1  || m i  m r ||2  || d ||2

S2B

li

lr

ni
f2

l i2

d

Ci

f1  || c i  c r ||2  || d ||2

L2L

緑線︓Line Segment

出典︓C. Choi, el al., ”Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor”, IEEE Proc. ICRA, pp.1724-1731, 2012.

55

Feb. 201756

SHOT と PPF の⽐較（A）キーポイント周りの情報記述（B）複数点間の関係記述‥‥どちらのタイプがよいか︖

タイプ（A）
SHOT

タイプ（B）
PPF（キーポイント周辺の情報記述）（複数キーポイント間の関係）

特徴量の次元数

352

4

特徴量の
アイデンティティ

特徴ベクトルの次数が⾼い（アイデンティティが⾼い）ので，誤照合は少ない．

単体ではSHOTよりもアイデンティティが低いが，投票処理（統計処理）によって解決している例が多い．

外乱への耐性＝再現性

ヒストグラムベースの特徴量なのでノイズには強い．

物体全⾯にばらまかれた多数の点対（全点からの2点組み合わせ）を⽤いるので，オクルージョンには強い傾向あり．

照合に使⽤する
特徴点数

特徴量の次元数が⾼いので，⼀般には少数で⾜りる．
→少数しか使わないので，オクルージョンには弱い．

多数のPPFを使う必要あるので，⾼速化のためには，マッチング時の⼯夫が重要（ハッシュテーブル
利⽤等）．

処理時間

特徴量次数と特徴点数の両⽅が関連しているので，⼀概に⾔えない．
ばら積み物体認識の場合は，特徴量単体の ID が低い PPF は多数のマッチング候補が発⽣するので，時間がかかることがある．

（Repeatability）

58

Feb. 2017

局所参照座標系（LRF︓Local Reference Frame）
LRF とは︖

特徴点ごとに設定される 3 次元（直交）座標系
LRFの決め⽅（例）
第1軸︓ キーポイントを代表する法線ベクトル
第2軸︓ 第1軸と直交するベクトル
第3軸︓ 第1軸，第2軸の外積ベクトル

局所参照座標系の主要技術


Local Reference Frame

物体認識における LRF の必要性
LRFを⽤いて
特徴量記述

LRFを⽤いて
特徴量記述

対応点探索

特徴点検出

特徴点検出
LRFを⽤いて
姿勢算出
認識結果

物体モデル

⼊⼒データ
Feb. 201760

LRF が認識性能に与える影響（実験例）

同⼀の特徴量に，さまざまな LRF を組み合わせて性能を評価．
使⽤特徴量︓
マッチング対象︓
ノイズ付加⽅式︓
揺らぎの⼤きさ︓

SHOT
ガウシアンノイズを付加した点群
元の点の xyz 座標位置に揺らぎを与える（点数は不変）
0.1 [mr]（揺らぎ⼩） ，0.3 [mr] （揺らぎ⼤） の2種

mr = mesh resolution（最近傍点までの距離の平均値）
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

SHOT LRF
BOARD LRF
Mian LRF

0.1 [mr] 0.3 [mr]Mian，SHOT
RoPS，EM，TriSI（⼤きな揺らぎ）

0.6
0.4
0.2

Mian : Mian の LRF
SHOT : Signature of Histograms of OrienTations
RoPS : Rotational Projection Statistics
EM : Exponential Map
TriSI : Tri-Spin-Image

0
0

0.2
0.4
1-Precision

0.6

個別算出型

キーポイント周りの点群の座標 3軸をそれぞれ独⽴に算出する．
から共分散⾏列を計算し，そのz 軸＝キーポイント周りの法線ベクトル
固有ベクトル群を LRF とする．
x 軸＝さまざまな⼯夫

0.3 [mr]

0.8（⼩さな揺らぎ）

⼀括算出型

y 軸の決定⽅法

10.1 [mr]RecallRecall代表的な LRF

0

0.2
0.4
1-Precision

0.6

実験に⽤いたデータ

最⼤値選択

⽅向分布分析

BOARD，PS
Petrelli-LRF

MH
DPN，GRFBOARD : BOrder Aware Repeatable Directions
PS: Point Signature
Petrelli-LRF : Petrelli らによる LRF (2012年)
MH: Mesh HoG
DPN: Dominant Projected Normal
GRF: Global Reference Frame

使⽤する特徴量が同じでも，LRF によって性能が左右される．
Feb. 2017※下線は PCL に実装されている⼿法

61

62

Feb. 2017

Mian LRF[Mian2010]

半径 r の球領域内の点群の共分散⾏列の固有ベクトル群（3次元）

⼀括算出型 LRF

共分散⾏列

平均ベクトルr
サポート範囲
点群データ

参考⽂献︓ A.Mian, et al., “On the Repeatability and Quality of Keypoints for Local Feature-based 3D Object Retrieval from Cluttered Scenes”,
International Journal of Computer Vision (IJCV), Vol.89, Issue 2-3, pp.348-361, 2010.
Feb. 201764

SHOT LRF

[Tombari2010]

Mian LRFの改良版．
注⽬点からの距離に応じた重みつき共分散⾏列の固有ベクトル1. 周辺部外乱の影響を抑制
pi

p
di

個別算出型 LRF

共分散⾏列

R
重み（特徴点から遠くなるほど⼩さい）

点群データ

2. 固有ベクトルの向きの曖昧性を解決
z+
z-

z-

固有ベクトルの向き(＋/－)には曖昧性があった．

領域内の点を＋/－に分割し，優勢な⽅向を決定する．

参考⽂献︓ F.Tombari, S.Salti, L.D.Stefano, Unique Signatures of Histograms for Local Surface Description, ECCV, pp.356-369, 2010.

65

Feb. 2017

SHOT-LRF と BOARD-LRF の⽐較（実験例）

BOARD（BOrder Aware Repeatable Directions）LRF
サポート範囲内の点群を平⾯フィッティングしたときの法線が z 軸．

 カラーマップの⾒かた

サポート球内の各点の法線ベクトル群の中から，z 軸との内積（cosθ）
が最も⼩さい（＝⼤きく傾いた＝直交に近い）もの（nmax）を決定し，これを x 軸とする．
このとき，⽋損領域の有無を判定し，cosθの最⼩値がその領域内に存在する場合は，両脇のデータをもとに，最⼩位置を推定する．
この区間内に最も傾いた
投票範囲
法線が存在すると推定

nmax
cos 値

z軸

平面
φ





縦軸︓対応点間の LRF の⾓度誤差 [deg]横軸︓対応点間の LRF 算出に⽤いた点群の⽋損率
⾊は頻度を表す

φ

⽋損率が⾼いと誤差も⼤きい．
（⽋損に弱い）0

情報⽋損率 [％]

Feb. 2017

67

100

0

データが下部に集中している．
（誤差が⼩さい傾向）0

情報⽋損率 [％](a) SHOT LRF(b) BOARD LRF

⼀括算出型

個別算出型

[Tombari2010]

参考⽂献︓ A. Petrelli, L. D. Stefano, On the Repeatability of the Local Reference Frame for Partial Shape Matching, ICCV, pp.2244-2251, 2011.

,

180

180

0

サポート範囲

⽋損率︓

 ⼀括算出型は，⽋損による点群分布の影響を受けやすい.
LRF の⾓度
推定誤差 [deg] x 軸の決め⽅

LRF の⾓度
推定誤差 [deg] 点群データに⽋損を混⼊（オクルージョンを模擬）
 ⽋損率とLRF の⾓度推定誤差との関係を調査[Petrelli2011]

 z 軸の決め⽅

100[Petrelli2011]
Feb. 2017683次元特徴量とその周辺技術に関する研究マップ
1980

2000

1990

2005

研究室HPにて公開中

2010

物体認識（粗認識）

キーポイントベース

2or3点間の位置・法線間の関係

ISS
Efficient Ransac
PPF
Multimodal PPF
注⽬点周りの特徴記述[Zhong2009] [Drost2010] [Papazov2010][Drost2012]
点群の位置関係の記述
Scale-Dependent
PPF B2B, S2B, L2L
Depth Aspect Image 3D Shape Contexts DAI+M-ICP Local Shape Descriptor
VC-PPF[Choi2012] VPM[Frome2004][
Kitaaki
2007]
USC[Takeguchi2001][Novatnack2008]
RoPS[Kim2011][Tombari2010b][Akizuki2012, Takei2014]
Spin Image
3D Point‘s Fingerprint[Guo2013][Johnson1997, [Sun2001]
TriSI
CSHOT
HONV
Point
FeatureHistogramJohnson1999][Guo2015]
Spherical Spin Image[Rusu2008]
SHOT [Tombari2011] [Tang2012] DoN[Ruiz-Correa2001]
B-SHOT[Ioannou2012][Tombari2010a]
Fast PFH[Prakhya2015]
CCDoN[Rusu2009]
その他の特徴量
SHORT[Nagase2014]
Local Surface Patches Mesh HOG[Takei2015][Zaharescu2009] NARF
[Chen2007]
法線⽅向分布[Steder2010]

⾮キーポイントベース

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

シーン解釈
COSMOS
3DPO
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]

精密位置決めLRF

多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

Local Feature Histogram[Hetzel2001]

Elevation Descriptor[Shih2007]

個別算出型

Point Signatures 3D Point‘s Fingerprint[Chua1997][Sun2001]

Exponential Map[Novatnack2008]

OUR-CVFH[Aldoma2012]

VFH[Rusu2010]

多段解像度探索
DGI
GRSD[Ulrich2009][Adán2011][Marton2010]

ISS
Eigen Vector[Zhong2009] [Mian2010]

⼀括算出型

3次元特徴量に関する最新技術

Mesh Hog[Zaharescu2009]

DosSantos
SHOT
RoPS[Tombari2010a][Santos2011] [Guo2013]
PetrelliLRF
GRF[Petrelli2012] [Akizuki2014]

BOARD[Petrelli2011]

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
ICP(point-to-point) [Granger2002] Picky-ICP
ICP+Cached K-d tree search
LM-ICP[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]

TriSI[Guo2015]
DPN[Akizuki2015]

Alignment（代表的なもの）
point-to-plane[Chen1991]

Topics
空間コード化法

APO

パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

シリコンレンジファインダ[阪⼤/ソニー1994]

距離・濃淡の最尤統合[Tateno2011]

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

TDS-A[パルステック1997] Swiss Ranger SR1
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]
Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[Point Grey2006] [Point Grey2007] [オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120

Feb. 2017

MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]69

従来⼿法の問題点
Johnson, et al., “Using Spin Images for Efficient Object
Recognition in Cluttered 3D Scenes”, PAMI, 1999.


ベクトルペア特徴量

モデル全点から作成した視点変化に不変な照合データを利⽤

問題点

照合に⽤いるデータ量が多いので，処理時間が膨⼤ααββChen, et al., “3D Free-form Object Recognition in Range
Images using Local Surface Patches”, PRL, 2007.

 曲率の⼤きな微⼩形状をもとに，視点変化に不変な特徴データを作成
問題点

曲率の⼤きな点が照合に有効とは限らず，類似した曲率値をもつ点と誤照合

Feb. 201772基本アイデア

3次元ベクトルペア
1.

物体モデル(3-D （メッシュ表現）
point representation)

少数の特徴点を⽤いる．（例︓全点の１％）
⾼速化に寄与する．

3つの3次元点

3次元姿勢パラメータを決定するためには，3つの3次元点があればよい．

v1

重要なこと…
どのような3次元特徴点が選択されるべきか︖

Q1

l1

θ

ごく少数の
特徴点



l2

v2
Q2

特徴点

2. 本研究では，共起発⽣確率が低い点を選択す
る．周囲には，これと似た形状が存在しないので，誤認識のリスクが低い．

幾何学的パラメータ
l1 = |v1| = |PQ1|,
l2 = |v2| = |PQ2|,
θP

視点を共有する2本のベクトル

Shape description
value
sp, sq1, sq2＝

3次元ベクトルペア

この表現により，幾何学的な表現がシンプルになる．


マッチングデータ
73

Feb. 2017

ベクトルペアマッチング法︓処理の流れ

特徴的3-Dベクトルペアの抽出



オフライン
ベクトルペア
検出・特徴記述ベクトルペアの発⽣確率計算物体モデルにおいて「発⽣確率が低いベクトルペア」→特徴的
ベクトルペアの特徴量v=(sp, sq1, sq2)の発⽣確率を計算
1.

特徴的ベクトル
ペアの決定

法線分布を⽤いた特徴量の計算

三⾓パッチの法線と，各端点の内積値



物体モデル

nq2 n

特徴的ベクトルペア

離散
点群化
サーフェスモデル

オンライン
⼀般化ハフ変換
ベースの投票処理

モデル照合による
最尤姿勢仮説の決定

⼊⼒距離データ

PCデータ

np
nq1

ベクトルペアsp  n n p
s q 1  n  n q1
sq 2  n  n q 2

2. 特徴量の発⽣確率分布としての物体モデル表現

ICPによる
姿勢修正



物体内全てのベクトルペアをvの各値を軸とする頻度分布化

frequency

物体の3次元位置姿勢

Feb. 201774

Feb. 2017

低頻度部分＝発⽣確率が低いベクトルペアv
75Feb. 201776

選択された特徴的ベクトルペア


特徴抽出結果の例︓

曲率法 v.s. 提案⼿法

曲率法

4種類の物体からベクトルペアを選択

提案⼿法

⾯取りした
コーナー部

明確な
稜線
凹凸の多い物体
物体モデル外観

浅いくぼみ

フラットな物体
3次元ベクトルペアは独⾃性の⾼い形状から抽出される．
この3次元ベクトルペアを照合に⽤いる．

選択された特徴的ベクトルペア
Feb. 201777

マッチングモジュール


3次元ベクトルペアマッチング

⼀般化Hough変換ベースの投票型⼿法

累積される

物体モデル外観⊿d︓始点からモデル重⼼への変位ベクトル

空間座標へ（R,t）の投票

物体モデル

ベクトルペアが⼊⼒画像と照合され，モデル重⼼が投票される．
多数のベクトルペアに⽀持されている位置（累積された重⼼位置）が，認識結果として出⼒される．

⼊⼒距離データ

照合に使⽤される Accumulated value of centroid
Low
High
ベクトルペア（50 ペア）物体モデル重⼼の候補位置

1. モデル・シーン間のベクトルペアの類似度を算出
78

Feb. 2017

形状評価値(sp, sq1, sq2)のノルム計算

2. 姿勢仮説(R,t)を算出
3. ⼊⼒距離データ空間へ投票

Feb. 201779

Feb. 2017

認識結果

80

姿勢仮説の検証


実シーンに対する認識性能
N: 抽出されたベクトルペア数
Pr: 認識成功率
T: 処理時間

投票数が上位の姿勢仮説について，モデル照合によって検証
1.

投票数に関する頻度分布を作成，上位 m% の得票数の姿勢仮説と⼊⼒
距離データの整合性をチェックモデル・シーン間の誤差の絶対値和を最⼩化する (R,t) を算出

⼿法
4500
4000

頻度値

3500
3000

信頼性の⾼い
姿勢仮説

2500
2000
1500
1000


1 M
C  arg min   Rp m  t  q ( R ,t )  M m  0


特徴量

N

Pr

T(sec)

Spin Image法

Spin maps

-

93.7%

20.68

ランダム法

Vector pairs

10

47.6%

8.66

曲率法

Vector pairs

10

77.0%

0.74

Vector
pairs

10

81.7%

0.21

40

92.9%

1.19

提案⼿法

Spin Image法による結果（失敗）500
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 182.

得票数
提案⼿法による結果（成功）最も整合性の⾼い姿勢仮説にICPアルゴリズムを適⽤

成功※ICPアルゴリズム・・・3次元データ点群同⼠を⾼精度に位置合わせする⼿法

Feb. 2017

Alignment error
±0mm
+8mm
-8mm
81

多様な形状の物体に対する認識結果

多様な形状の物体に対する認識結果

実験に⽤いた画像
物体A


物体B

82

Feb. 2017

認識結果例と位置合わせ誤差

物体C

物体A

Spin Image
CorrespondenceGrouping法
提案⼿法

Feb. 2017

83

物体B

Pr(%)

物体C

A

B

C

D

70.6

50.8

35.2

49.6

T(sec) 20.68 55.34 31.21 24.95
Pr(%)

84.9

96.2

65.6

74.4

T(sec) 26.10 52.85 29.26 45.41
Pr(%) 95.2 100.0 100.0 95.3

物体D

Pr:認識率，T︓処理時間
⼊⼒距離データは各物体約140例
CPU:Intel® CORE ™ i7, RAM:4GB
提案⼿法は他⼿法と⽐べて，認識率，処理時間の両⾯において優位

T(sec) 0.95 3.17 5.12 2.64
Feb. 201784位置合わせ精度の評価

各ベクトルの⻑さと認識精度の関係
l1,l2を変化させながら位置合わせ誤差を計測(R,t)を適⽤した
認識結果
1.5

ICPを適⽤した
認識結果

Alignment error[mm/point]



ICP後

ICP前
1
0.8
0.6
0.4
0.2
0

l1

l2

位置合わせ誤差[mm/point]

⼊⼒距離データ

1.45

1.3

1.25
1.2 6
12
18

Before ICPAfter ICP

A

B
C
Dataset24

l1=24[mm], l2=15[mm]のとき，誤差が最⼩で1.22[mm/point]
27 30
30
12
6 9

15 18

21 24

認識結果例

D
値が⼤きすぎる場合は姿勢変化に弱い→3点同時観測が難しい

レンジファインダの空間分解能＝0.4[mm]


1.4

1.35

精度の⾼い位置合わせが実現

l1 = 24[mm], l2 = 15[mm] l1 = 30[mm], l2 = 30[mm]Feb. 201785

Feb. 2017

VPMを⽤いたビンピッキングシステム

CCDoN特徴量〜 低次元・⾼アイデンティティ特徴量 〜Feb. 20178786

特徴量計算⼿法の⻑所・短所
1990

2000

2005

本研究の⽬的と基本アイデア
 ⽬的

2010

領域ベース⼿法

点対ベース⼿法

PPF 2010 [12]

 ⾼速性と⾼信頼性を両⽴する新たな特徴量を提案

PPF B2B, S2B, L2L
点群の位置関係を利⽤
2012 [13][10]
SI 1997 [1]VPM 2013 [14]3DSC 2004
法線⽅向分布を利⽤[2]
DAI 2001
PFH 2008 [4] CSHOT 2011 [9]SHOT 2010 [8]
HONV 2012 [6] 基本アイデア

 特徴点周りの領域内に含まれるデータを利⽤して低次元の特徴量を記述

FPFH 2009 [5]DoN 2012 [11][3]
DHM 2013 [7]LSP 2007

その他の特徴量

領域ベース⼿法

点対ベース⼿法

SI[1], DAI[2], LSP[3], PFH[4], FPFH[5],⼿法

HONV[6], DHM[7], SHOT[8], CSHOT[9],3DSC[10], DoN[11]

PPF[12], PPF 派⽣[13]（B2B, S2B, L2L）
VPM[14]

処理速度

遅い

速い

信頼性

⾼い

低い



低次元特徴の利⽤
特徴点周りのデータを利⽤-> 処理の⾼速化-> 認識の⾼信頼化

 Difference of Normals (DoN) 特徴量 スカラー値-> ⾼速な処理が可能-> 誤照合の増加
 相対的な値

DoN 特徴量に少数の特徴量を組み合わせることによって，特徴量の信頼性を⾼め，誤照合の低減を図る[1] Johnson et al. 1999. [2] 武口 et al. 2004. [3] Chen et al. 2007. [4] Rusu et al. 2008. [5] Rusu et al. 2009. [6] Tang et al. 2012. [7] 永瀬 et al. [8] Tombari et al. 2010.
[9] Tombari et al. 2011. [10] Frome et al. 2004. [11] Ioannou et al. 2012. [12] Drost et al. 2010. [13] Choi et al. 2012. [14] Akizuki et al. 2013.

89

Feb. 2017

Feb. 2017

基本アイデア

実験に⽤いたシミュレーションデータ

Combination of Curvatures and Difference of Normals

 各物体それぞれ約 115 シーンのデータを⽤いた
 点群データは 1 点あたり 0.40 mm ピッチの離散化点群nˆ (p, rs )⼩領域の曲率値  s

90p
キーポイントp

モデル

rsnˆ (p, rs )⼩領域
法線ベクトル算出nˆ (p, rl )
p

rl
⼤領域

p

差ベクトルの⻑さnˆ (p, rl )

 nˆ (p, rs , rl )||  n̂ ||Differenceof Normals

物体 A

物体 B

物体 A のシミュレーション
シーンデータ

物体 B のシミュレーション
シーンデータ

⼤領域の曲率値  l

法線ベクトル算出

F  (||  nˆ ||,  s ,  l )次元数＝３

 Y. Ioannou, B. Taati, R. Harrap, and M. Greenspan, ``Difference of Normals
as a Multi-Scale Operator in Unorganized Point Clouds," International
Conference on 3D Imaging, Modeling, Processing, Visualizayion andTransmission, pp.501-508, 2012.
 永瀬誠信, 秋⽉秀⼀, 橋本学, “CCDoN: ばら積み部品の⾼速・⾼信頼な6⾃由度
位置姿勢推定のための局所特徴量", 精密⼯学会誌, Vol.80, No.12, pp.11381143, 2014.

Feb. 201791

Feb. 201792

シミュレーションデータに対する認識成功率 [%]物体 A

シミュレーションデータに対する処理速度 [fps]

物体 B

物体 A
処理速度 F [fps] （対数）

認識成功率 Pr [%]

100
80
60
40
20
0
SHOT

物体
物体AA

VPM
物体
物体BB

提案⼿法

物体 B

10

1

0.1

0.01
SHOT

各物体それぞれ約 115 シーンのデータを⽤いた

VPM
物体
物体AA

CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB
Feb. 2017

物体
物体BB

93

提案⼿法
CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB

94

Feb. 2017

3 次元物体認識の流れ キーポイントマッチングの処理

⾼性能 LRF の提案（DPN）

Step 1. キーポイント検出
Step 2. 特徴量記述，対応点探索
Step 3. 対応点群を利⽤した姿勢推定

LRF

Compute R, t

LRF

Object model

Input data
特徴記述，姿勢推定では LRF が必須
LRF︓Local Reference Frame
Feb. 201796

従来の LRF の問題点

提案⼿法

1. ⼀括算出型 LRF [1~3] アイデア︓x 軸の算出⽅法に⼯夫（ z 軸は注⽬点の法線）

 ３つの軸を同時に算出する⼿法
 ３次元点群の分布そのものの共分散⾏列から得られる
固有ベクトルを LRF とする

 ⽅向ヒストグラムのピーク位置を利⽤ 近傍点が作る三⾓パッチの⾯積で正規化

点群データ「粗」であるように誤解する．

 三⾓が⼤きい場合は，⼤きな重みでヒストグラムに投票する．
 これにより，「密」と同じ効果が得られる．

npθ [deg]

情報⽋損への耐性

情報⽋損率 [％]

100

0

[Akizuki,ViEW2014]

⾼頻度

0

100

情報⽋損率 [％]

0

Recall下部への集中度合いが増加．
（誤差がさらに減少）

特徴量の記述性能の評価

Proposed

0.6

BOARD LRF [ICCV2011]

0.5
0.4

SHOT LRF [ECCV2010]

0.3
0.2

得られた対応点（点密度 1/3 の例）

0.1
0

情報⽋損率 [％](a) SHOT LRF(b) BOARD LRF(c) DPN LRF[Tombari2010][Petrelli2011][Akizuki2014]

⼀括算出型

0.8
0.7

LRF の⾓度
推定誤差 [deg]データが下部に集中している．
（誤差が⼩さい傾向）98

 SHOT 特徴量を⽤いたキーポイントマッチングの性能

180

LRF の⾓度
推定誤差 [deg]

LRF の⾓度
推定誤差 [deg]0Feb. 2017

DPN LRF の性能

 オクルージョンを模擬した情報⽋損を発⽣．
⽋損率と LRF ⾓度推定誤差との関係を調査． 低頻度

036 bins
97

Feb. 2017

⽋損率が⾼いと誤差も⼤きい．
（⽋損に弱い）yサポート範囲

[1] A.Mian, et al., “On the Repeatability and Quality of Keypoints for Local Feature-based 3D Object Retrieval from Cluttered Scenes”, IJCV, Vol.89, Issue 2-3, pp348-361, 2010.
[2] F. Tombari, et al., “Unique Signatures of Histograms for Local Surface Description”, Proc. ECCV, pp.356-369, 2010.
[3] Y.Guo, et al., Rotational Projection Statistics for 3D Local Surface Description and Object Recognition, IJCV Vol.105, Issue 1, pp.63-86, 2013.
[4] A.Petrelli, et al., On the Repeatability of the Local Reference Frame for Partial Shape Matching, ICCV, pp.2244-2251, 2011.
[5] A.Zaharescu, et al., Surface Feature Detection and Description with Applications to Mesh Matching, CVPR, pp.373-380, 2009.

180x

θをヒストグラム化
頻度

点群の密度が異なる場合には再現性が低下 [3]→ 密度変化を扱える⼿法が無い

180

DPN LRFθ LRF を構成する各軸をそれぞれ独⽴に算出
 z 軸に⾯法線を割り当てることが特徴
 x 軸の算出⽅法に特⾊がある

DPN LRF の性能zn

この範囲内の点群を⽤いて共分散⾏列を作成

2. 個別算出型 [4, 5]→情報⽋落の影響を改善→点群密度の違いを許容

 WDが短い（センサに近い）場合でも，⾯が横を向いていると点数が少なくなり

p キーポイントr

点群が部分的に⽋落した場合には，分布の広がり⽅そのものが変化→ LRF の⽅向ベクトルが不安定になる．

DPN（Dominant Projected Normals）LRF

100

0

0

0.2

0.4

0.6

1－Precision

0.8

個別算出型
他の認識結果例（実距離データ）

DPN LRF は，情報⽋損の影響を受けにくい．

LRF を提案⼿法に差し替えるだけで認識性能が向上

参考⽂献︓秋⽉秀⼀，橋本学︓“安定的な3D特徴量記述のための点群の密度変化にロバストな Local Reference Frame"，ViEW，2014．
Feb. 201799

Feb. 2017100

DPN LRF の性能

点群密度変化への耐性[Akizuki,ViEW2014]



ノイズ＋点群密度 1〜1/5 の外乱付きデータに対してDPN LRF を算出.



⾓度誤差 10 deg 以内のデータ数の割合をプロット.

Correct rate [%]

100

その他

SHOT LRF
BOARD LRF
Proposed

80
60
40
20
0
1

1/1.5

⾼密度
mr:0.66[mm]

1/2

1/2.5

1/3

1/3.5

1/4

Downsampling rate d

1/4.5

1/5

低密度
mr:3.3[mm]

DPN LRF は，点群密度の違いによる影響を受けにくい．
参考⽂献︓秋⽉秀⼀，橋本学︓“安定的な3D特徴量記述のための点群の密度変化にロバストな Local Reference Frame"，ViEW，2014．

101

Feb. 2017

OUR-CVFH（Oriented, Unique and Repeatable CVFH）[Aldoma2012]

CVFH: Clustered Viewpoint Feature Histogram

領域ベース特徴量（領域ごとに特徴量を設定）
step1︓RFの⽣成

３．アマゾンピッキングチャレンジ2016に関連するロボットビジョン技術

点群から滑らかな連結領域（クラスタ）を抽出し，共分散⾏列によってRFを⽣成・・・ SGURF（Semi-Global Unique Reference Frames）

step2︓特徴量の記述
領域内の点群から次の 3 つの成分からなる計303次元の特徴ベクトルを記述
・・・OUR-CVFH（Oriented, Unique and Repeatable CVFH）
1. 法線を利⽤した（FPFH的な）⾓度分布ヒストグラム（135ビン）
2. 3次元 LRFの 8つの象限ごとに注⽬点と他点群の距離を 13ビンで表現（104ビン）
3. センサ視点からみたクラスタ内の法線ベクトル群の分布（64ビン）
クラスタ

SGURF

135次元

104次元

64次元

法線を利⽤した
⾓度分布

8 空間の
距離分布

センサ視点
依存成分

OUR-CVFH

モデルに対しては複数の視点ごとに
OUR-CVFH を記述（視点の仮定）出典︓A. Aldoma, F. Tombari, R. B. Rusu, M. Vincze,”OUR-CVFH－Oriented, Unique and Repeatable Clustered Viewpoint Feature
Histogram for Object Recognition and 6DOF Pose Estimation”, DAGM-OAGMPRS, pp.113-122, 2012.
Feb. 2017

103

課題分析

APC2015@Seattle

APC2015 ルール概要


Binの構成と得点

⽬標
 ⾮構造的環境における⾃動ピッキング装置の開発
 商⽤可能な物品
1m×1mの範囲の計12Binからピッキング
 ⾝⻑170cmの⼈による作業を想定

 Single-item Bins:(10points) 最低でも2つのBinに１種類のアイテムが存在

 Double-item Bins:(15points) 最低でも2つのBinに2種類のアイテムが存在しその中から指定されたアイテムをピッキング

 Multi-item Bins:(20points) 最低でも2つのBinに3種類以上のアイテムが存在しその中から指定されたアイテムをピッキング

 Bin内のアイテムの置かれ⽅

時間内にどれだけアイテムをピッキングできたかを競う
 商品の誤選択や落下による破損は減点
Feb. 2017

 アイテムの姿勢はランダムに決定
 Binを正⾯から⾒たときオクルージョンは発⽣しない
107

Feb. 2017108

ピッキング対象

参加チーム（世界中から28チーム）

 全25アイテム（アイテムの種類によっては加点あり）
Team AR
Netherlands

Team CVAP
SwedenUAIberta Team
CanadaMPII
Germany
Isaac@Polito
Italy

RBO
Germany
Research Center Piaggio
Italy

ROBINLAB UJI
Spain

C^2M
Japan

ZUN
China
AmibotIndia
Team Ali Bada
China

SFIT
India

Team KJapan

Team Nanyang
Singapore

NUS Smart Hand
Singapore

UW
USATeam Blaster
USA
Team IntBot
USA

PickNik
USA

Berkeley-Picker
USA
Robomakery,Inc.
USA
UT Austin
USA
Plocka Packa
USA

Team Grizzly
USA
Team MITUSA
Team WPIUSATeam Ali Bada
USATeam Duke
USA

Team Georgia TechUSA
ZUN
Australia

Team RobologicalAustralia

109

Feb. 2017

VPMアルゴリズム（中京⼤学）

110

Feb. 2017

VPMアルゴリズム（中京⼤学）認識結果例• 特徴量（ベクトルペア）


3点の3次元点で構成された，視点を共有する2ベクトル• ベクトルペア選択


物体モデルのまわりに設置した仮想的な視点群から，安定的に観測可能（⾼可観測率）な
ベクトルペアのみを照合に利⽤• マッチング


High

Low
可観測率マップ（⾚いほど，観測されやすい）

仮想的な視点群

⼊⼒距離画像対象物の切り出し結果

投票型マッチングによって，物体の重⼼位置を推定

⼊⼒距離画像投票結果（重⼼位置の確率マップ）

対象物の切り出し結果

Feb. 2017

投票結果（重⼼位置の確率マップ）111

重⼼位置とスコア

物体モデルのフィッティング結果
Feb. 2017112

チャレンジ本番のようす

VPMアルゴリズム（中京⼤学）認識結果例
箱状物体

形が変形しやすい袋状物体
対象物

⼊⼒シーン外観

⼊⼒シーン外観

ダイジェスト動画は→こちら
認識結果

認識結果
Feb. 2017113

Feb. 2017114

APC2016における対象アイテム（39種類）

APC2016@Leipzig

Feb. 2017

116

配点

APC2016における対象アイテム（39種類）

Picking または Stowing した Bin の中のアイテム数により得点を決定
アイテム数 1〜2 個の Bin+10 point

アイテム数 3〜4 個の Bin+15 point

アイテム数 5 個以上の Bin+20 pointペナルティ 形状や重量，表⾯の硬さが異なる多様なアイテム
 認識や把持が困難なアイテムには加点あり
Feb. 2017

誤った JSON ファイルの記述(アイテムの誤認識)-10 point

30cm 以上の⾼さから落下-5 point

アイテムまたは shelf を傷つける- 5 point

アイテムまたは shelf を破損-20 point

0.5cm 以上 shelf からはみ出す- 5 point

アイテムが床に落下-10 point

117

118

Feb. 2017

仮説検証型アルゴリズム
Hypothesis generation
Modelmatchingアプローチ

物体識別と姿勢認識

Model library

Input scene

Verification

Object candidates
Scene hypothesis generator

Calculation ofConsistency
Scene hypotheses

Combinatorial Optimization○ シーン全体（⼤局的）の整合性を計算するため，誤認識が発⽣しにくい
× 過検出が発⽣しやすい．
Feb. 2017

120従来の仮説検証⼿法と提案アプローチ

⼲渉モデル

画像類似度 [Hashimoto1999]
点群間距離・法線間類似度 [Aldoma2012]
RGB 利⽤ [Aldoma2013]

従来の仮説検証 ⾼速な⼲渉判定が可能なモデルを提案

 物体の外形を単純な形状によって近似表現


球体が最も単純な基本形状→

⾼速な⼲渉判定が可能

 外接球（⾚）と内接球群（グレー）の 2 段構成


実シーン・シーン仮説
間類似度
⼊⼒シーン

外接球の⼲渉判定によって，⼲渉の疎精探索が可能
⾊付きモデル → ⼲渉あり
⽩⾊モデル → ⼲渉なし

シーン仮説

物体配置の実現可能性の導⼊

物体モデル

仮説シーンの物理的整合性を検証（物体候補同⼠に空間的な重なりを確認）
⼲渉モデル

⼲渉モデルとして表現されたシーン仮説

シーン仮説の実現可能性も考慮することによって，過検出を積極的に抑制する
Feb. 2017121

Feb. 2017

122

123

Feb. 2017124

コスト関数の設計
 配置の実現性と形状的整合性を利⽤したコスト関数を定義

1

0

0

0

0

1

0

1

0

0

1

0

0

0

0

1

1

0

0

⻑さ n (=物体候補数) のビットストリング
1 に対応する物体候補がシーン仮説を構成~
X  arg max{F ( X )  wf p ( X )  (1  w) f s ( X )}配置実現性
形状的整合性（物体仮説間の⼲渉の少なさ）（画像類似度）

スコアを最⼤にするビットストリングを遺伝的アルゴリズムによって探索
Feb. 2017

APC2016︓Pick task における認識結果

Amazon Picking Challenge 2016
Pick task 認識率︓92.5% (= 50/54)

Feb. 2017

４．物体認識技術の将来展望

125Feb. 2017

⼯場から家庭へ

126家庭内ロボットのための認識システム
誰もが簡単に利⽤できる⽣活⽀援ロボット〜⾃然な命令を理解する〜

Robot-Centric な認識システム（従来）

⽣活⽀援ロボットのための認識技術

登録ナンバー#2296か#2297のコップ持ってきて〜

不⾃然な指令コップA(#2296)は〜い

コップB(#2297)“アフォーダンス”概念を利⽤した⼀般物体認識
コップ（名称のみ）

コップを持ってきて〜

Human-Centric な認識システム
NEDO ⼈⼯知能プロジェクト（2015〜2019）

産総研 ⼈⼯知能研究センターからの再委託研究として遂⾏中
130

Feb. 2017

研究の背景と必要なタスク

⼀般物体認識に必要となるクラス内共通の特徴量 背景

⽣活⽀援ロボットには，多品種の⽇⽤品を扱うことが求められる．

“Cup”
クラス

“Hammer”
クラス

クラス名

Cup に共通

Hammer に共通

中間表現
特徴量

アプローチ⽅向

3D局所
特徴量（例:SHOT）

アプローチ位置

Deep Learning[1] を⽤いた識別結果

物体モデル[1] J. Redmon, et al., “You Only Look Once: Unfied”, Real-Time Object Detection”, CVPR, (2016).

（例:点群データ）

 ビジョンに求められるタスク‥‥⽣活⽀援ロボットのための物体認識である点を考慮‥‥

ロボットビジョンのための中間表現特徴量に求められる条件①モデルレスでの品種識別（クラス識別）1. クラス内で共通していること，なおかつ，
2. アプローチパラメータ推定に利⽤できること．

②マニピュレーションのためのアプローチパラメータ推定
Feb. 2017131

Feb. 2017

132

アイデア

アフォーダンス特徴量

⽇⽤品の特性1. なんらかの⽬的のために製造されている．
2. その⽬的を達成するために，クラス内共通の機能がある．
3. 機能は物体の形や⼤きさに作り込まれている．

アフォーダンス特徴量 ＝ アフォーダンスラベルの含有率分布

“Cup”
1. ⽬的

飲み物を⼊れて運ぶ

2. 機能

⽔を蓄える つかまれる

3. 形状

くぼみ形状

取っ⼿

AF
ラベル

Contain

Grasp

ContainWrap-Grasp∴共通形状を利⽤してクラス内の物体群を同⼀視する．
アフォーダンスラベル

同⼀クラス内なら異なるクラス間なら“Contain” ラベル→アフォーダンス特徴は類似→アフォーダンス特徴は似ていない．

Grasp

Grasp
Scoop
類似

“Cup”
クラス

“Spoon”クラス

相違
AF ラベルと⾊の対応・・・“Grasp” ラベルFeb. 2017

︓Contain: Wrap-Grasp

133

実験に使⽤したシーン: Scoop134

Feb. 2017

アフォーダンスラベル抽出結果
SpatulaCup

4クラスに属する⽇⽤品のうち，3つが並べられたテーブルトップ
シーンを使⽤．
 シーンの数︓12 種類
 使⽤したクラス︓Cup, Hummer, Spatula, Spoon

⼊⼒

ラベル抽出結果 Ground Truth

⼊⼒

Hammer

Cup

Spoon

⼊⼒

ラベル抽出結果 Ground Truth

Spoon
Hammer

⼊⼒

Spatula

実験に使⽤した⽇⽤品の例: Grasp

Feb. 2017

ラベル抽出結果 Ground Truth:Contain

実験に使⽤したシーンの例
135:Wrap-Grasp

ラベル抽出結果 Ground Truth

AF ラベル

ラベル抽出率[%]Contain

83.6

Wrap-Grasp

57.5

Grap

69.7

Pound

82.8

Scoop
Support45.8
46.0

AF 特徴量の利⽤のために必要な⼀定の抽出率が得られていることを確認:Grasp:PoundFeb. 2017:Scoop:Support136

認識結果
1 物体あたりの認識処理時間と認識成功率
⼿法

処理時間 [s]認識成功率 [%]

⽐較⼿法︓CNN (GoogLeNet)

0.28

81

提案⼿法

0.47

92

⼈間の内⾯を探る(CPU:Intel®CORE™i7-4790，メモリ:8GB)

テーブルトップシーンの例

複数の⽇⽤品が並べられたテーブルトップシーンでの物体認識結果の例
Feb. 2017137

⼈間の「感性」と3次元形状とのマッピング
パーソナルファブリケーション（個⼈によるものづくり）時代の到来

⼈間の「感性」と3次元形状とのマッピング「こんなものを作りたい」という⾃然な感情を，ものづくりに反映させる．
→感性をカタチに結びつける
もう少しやわらかい
印象にしたいな

感性表現

変換

３次元特徴量を利⽤して感性指標と形状データを関連づける

３次元特徴量
カタチを修正

JST COI Stream（2014〜2022）「感性とデジタル製造を直結し、⽣活者の創造性を拡張するファブ地球社会創造拠点」
Feb. 2017140

⼈間の「感性」と3次元形状とのマッピング⽬的
3 次元特徴量を⽤いて，⼈の「感性（印象）」を⾃動推定すること



3次元形状から受ける印象に関する考察［⾶⾕ 2014］
⼈間が受ける印象は 3つの因⼦で表現できる．

⼈間の「感性」と3次元形状とのマッピング
ユーザによって付与された感性指標（硬そう〜柔らかそう）
硬そう

柔らかそう

－2.2

－1.9

1.0

1.9

0.91
「硬そう－柔らかそう」「弱い－強い」「鈍い－鋭い」活動性「派⼿－地味」「動的な－静的な」「陽気な－陰気な」

評価性「不安定－安定」

p

r1

r1

r2

r3

r4

「まとまった－ばらばらな」 「激しい－穏やかな」

Feb. 2017

曲率情報の分布
（特徴量）

点群の解析

「硬そう－柔らかそう」という印象について取り組む
141

Feb. 2017

⼈間の「感性」と3次元形状とのマッピング
真値（SD法による⼈間の感性）と提案⼿法による推定結果の⽐較
柔らかそう
（推定値）

相関係数 1.0 の線

可観測性を考慮した物体認識

相関係数 ︓ 0.95

推定結果の線
硬そう
（真値）

柔らかそう
（真値）

硬そう
（推定値）

⾒えない点は使えない

相関係数と相関の度合︓（放送⼤学「社会調査の基礎」）

Feb. 2017

143

High
curvature

⼒量性

Low
142

選択された特徴点

可観測性を考慮した 3D特徴点選択
[Akizuki2014]

⼊⼒シーンにおける観測可能性の⾼い点を⾃動選択

物体周りに複数の視点を設定し，各点の観測可能性をモニタリング
観測可能性の⾼い点を特徴点とする．
Top
view

仮想視点群

Bottomview

可観測率マップの⽣成
High

High

可観測性のみ

独⾃性のみ
Low

2指標統合

Low

可観測率マップ（視点２）

可観測率マップ（視点１）

S. Akizuki，M. Hashimoto︓“Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs”，
Proc. IECON，pp.5266-5271, Oct, 2014.

145

Feb. 2017

位置姿勢の推定精度

さまざまな形状の物体に対する認識結果
 4種類×約113シーンで実験

単⼀の物体モデルを姿勢変化（超⾳波センサ）








回転︓XYZそれぞれ±30[°]
平⾏移動︓±300[mm]データ数︓100例
データ密度︓3.0[mm/point][Tombari,PSIVT2011]

FPFH+RANSACベース照合[Buch,ICRA2013]

VPM(独⾃性のみ)

Translation X

60
頻度

頻度

Rotation Z

VPM(可観測性のみ)

Translation Y

40

Translation Z

20

VPM(独⾃性＋可観測性)

0
1




80

Rotation X
Rotation Y

2

3

4

5

6

7

8

認識率Pr[%]と処理時間T[sec]の関係

SHOT+Correspondence Grouping

認識結果例（⽩︓⼊⼒点群，⾊付き︓認識結果）

60
50
40
30
20
10
0

146

Feb. 20179 10 [°]

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 [mm]

Pr
T
Pr
T
Pr
T
Pr
T
Pr
T

A

51.3
27.78
54.9
0.67
40.7
0.27
97.3
0.47
99.1
0.44

B

77.9
19.46
11.5
3.97
31.0
1.41
100.0
1.76
95.6
1.76

シミュレーションデータ

シミュレーションデータ

シミュレーションデータ

Aの認識結果（平⾯形状で構成）

Bの認識結果（細かい凹凸が多い）

Cの認識結果（円筒形状）

C

33.6
33.69
73.5
1.07
47.8
0.39
94.7
1.76
92.0
1.42

D

20.3
22.48
31.0
0.91
33.6
0.72
85.0
1.99
85.8
1.81
実データ

回転成分︓物体の端で約2.9mmずれる（1point cloud以内）
平⾏移動成分︓元データの解像度以内に収束
ピッキングに⼗分な精度で認識可能
Feb. 2017147

Feb. 2017

Dの認識結果（実距離データ）148

背景
 ⼯業部品には平⾯的な⾒え⽅のものが多い（約32%）
⼯業部品における平⾯らしさ Sp の分布

3次元的な起伏が少ない物体への対応（GRF）

600

1200

500

1000

400

800

300

600

200

400
200

100

0

0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
0.55
0.6
0.65
0.7
0.75
0.8
0.85
0.9
0.95
1

⼯業部品は平⾯部が多い

1400

Sp に対応する平均特徴点数

Sp の頻度

平面上の点数距離データ全点数

Sp

⼯業部品の例 [1]

⾒え⽅が平⾯的→

特徴点数が少なく認識困難．

認識困難な理由︓ ①特徴点が少ない．②LRFが不安定．
[1] S. Jayanti, et al., “Developing an Engineering Shape Benchmark for CAD Models”, Computer-Aided Design, Vol. 38, Issue 9,
pp.939-953, 2006.
Feb. 2017

従来の LRF の問題点

基本アイデア 平⾯的な形状の場合に，軸⽅向が不安定



150

物体の外形を構成する輪郭には特定⽅向の偏りが存在 シルエットの偏りを使えば安定的な⽅向ベクトルの算出が可能

第１軸︓安定（平⾯上の法線）
例１

第２軸︓不安定
第３軸︓不安定

偏り⽅向

例２

例３

外形 ＝ ⼤域的 な情報を使った新たな Reference Frame を提案
Feb. 2017151

Feb. 2017152提案する Reference Frame

従来の LRF と GRF の⽐較

 Global Reference Frame (GRF)

物体モデル

 主法線⽅向と外輪郭の偏り⽅向によって構成
第１軸の算出

推定された主法線

Pose ARANSAC による
平⾯フィッティング
⼊⼒点群

平⾯の法線 ＝ 第１軸

Pose B

Pose C

Pose D

LRF[Tombari2010]

第２軸の算出

しきい値以上の⽅向が第２軸

freq.
0.2

GRF

0.1

第１軸の接平⾯
線素のへの点群投影⽅向分布⽣成シルエット輪郭の線素近似

00 32 64 96 128160(提案⼿法)[deg]orientation θ

線素⽅向分布
ヒストグラムFeb. 2017

GRFの⽅向ベクトルは姿勢変化・形状の⽋けに対して頑健
153

GRF を⽤いた平⾯的な物体の認識

154

Feb. 2017

照合戦略切替による位置姿勢認識
 処理対象を事前に領域分割し，「平⾯」と「⾮平⾯」に分類
平⾯的な領域物体モデル

セグメント内の法線⽅向が⼀定

認識対象物
セグメンテーション結果

⼊⼒距離データ

 平⾯領域→ ⾮平⾯領域
物体モデル



認識対象物

GRFを⽤いれば，平⾯的形状に対しても頑健に認識可能
Feb. 2017→

GRF 照合特徴点ベース照合

ベクトルペアマッチング（VPM） [秋⽉2012] 2つの性質を持つ特徴点を認識に利⽤
1.

⾼独⾃性の特徴ベクトルを記述可能

2.

観測可能性が⾼い

ベクトルペア選択

物体モデル
155

Feb. 2017

ベクトルペア156

照合戦略の相補性能評価


認識性能の⽐較

ランダムな1000視点から⽣成した形状データに対して照合 平⾯︓389視点， 凹凸︓611視点

物体モデル

⽣成した距離データの例

照合戦略

平面

凹凸

GRF照合

94.6[%]

2.8[%]

VPM

68.9[%]

94.8[%]

CPU︓Intel®Core™ i7 860 2.80GHz，RAM︓12GB

⻘︓GRF 照合にて認識成功した視点
⾚︓VPM にて認識成功した視点

GRF 照合と VPM を組み合わせることによって位置姿勢認識の信頼性を向上可能

FeaturePr [%]T [sec]

SHOT [Tombari2010]

75.2

5.39

FPFH [Rusu2009]

31.0

0.91

Vector pair [Akizuki2012]

80.5

2.05

GRF

70.8

0.23

GRF+Vector pair (提案手法)

93.8

2.31

提案⼿法は処理領域の形状特徴に合わせて，⽤いる特徴量を⾃動選択する

平⾯的な領域︓ GRF

⾮平⾯的な領域︓ Vector pair

認識結果例

2⼿法は相補性が⾼いFeb. 2017157

Feb. 2017158

移動ロボットでの 3 次元物体認識に必要なこと
 計測点群の密度が異なる場合における認識の頑健性
 点群の密度の変化を引き起こす原因

点群密度変化への対応（RPD特徴量）

1.
2.

センサと対象物間の距離の変化
使⽤するセンサの種類の違い

センサからの距離に依存しない特徴量

1．距離の変化
3Dセンサ

ProCam（三⾓測量）

TOF

ステレオカメラ

2．使⽤するセンサ

計測シーン

Feb. 2017160

点群密度の差に起因する特徴点の再現性の低下

基本アイデア 予備実験

計測距離に起因する点群の密度変化 v.s. 特徴量の再現性

2.80

0.95

2.50

0.90

2.20

0.85

1.90
0.80

1.60

Mesh Resolution

1.30

0.75

特徴量の再現性1.00

 複数の局所領域内に存在する点数の相対関係を利⽤′′
特徴量の再現性

点群の粗さ Mr [mm]※再現性︓2つの特徴ベクトル間の内積値※Wd=700mm時をモデル（基準）として，遠⽅から撮影したデータと照合（使⽤特徴量︓SHOT）

 センサからの距離等によって点群の密度は変化するが・・・
局所領域間の相対点数⽐は不変

20個

100個

′

′

0.70
700

（基準）

800

900

1000

1100

1200

1300

1400

計測距離の変化により，特徴量の再現性が低下する．

密な点群

このほか，ノイズの影響もある（∴Wd=700mmでも1.0にならない）

162

Feb. 2017

RPD 特徴量の性能①（再現性）

RPD（Relative Point Density）特徴量

⽐較特徴量︓①オリジナルの Vector Pair 特徴量 [Akizuki2014]②SHOT 特徴量 [Tombari2010]

局所領域間の点数⽐から構成される特徴量

 3 つの 3 次元点は位置姿勢変換パラメータを算出するための最⼩単位
Vector Pair [Akizuki2014]

l1
q1

C(x)︓点 x 周辺に存在する点の個数

再現性（特徴ベクトル間の内積値）

 3 つの 3 次元点を基準として特徴量を記述

 C  p  C q1  C q2  
f 
,
,

S
S 
 S
S  C  p   C q1   C q2 

疎な点群

161

Feb. 2017

 特徴量の記述⽅法

10個

50個

センサと対象物との距離 Wd [mm]

p
θ

l2
q2

ベクトルペア幾何パラメータ
l1︓p-q1 間の距離
l2︓p-q2 間の距離
θ ︓p-q1 と p-q2 の間の⾓
Feb. 2017

RPD 特徴量

1.0
0.9

Vector Pair（Original）

0.8
SHOT（r=6.0）

0.7
0.6

SHOT（r=12.0）

0.5

SHOT（r=18.0）

0.4

RPD（Proposed）

0.3
0.2
1.0

1.5

密←

2.0

2.5

3.0

3.5

4.0

4.5

点群の粗さ [mm/point]

5.0

5.5

6.0

→疎

RPD 特徴量は粗い点群に対しても再現性が⾼い
163

Feb. 2017164

RPD 特徴量の性能②（認識率）


実験に⽤いたデータ
11 種類の粗さのデータセット

×

RPD 特徴量の性能②（認識率）

100シーン
シーン1

シーン2

シーン3

1.0 [mm/point]

1.5 [mm/point]

2.0 [mm/point]

5.5 [mm/point]

認識率 [％]

・・・
6.0 [mm/point]

実験に⽤いたパラメータベクトルペア幾何パラメータ
特徴量の記述半径

SHOT+3DHV

Vector Pair+VPM

RPD+VPMl1-

48.0 [mm]48.0 [mm]l2-36.0 [mm]36.0 [mm]θ-

90.0 [deg]90.0 [deg]r

6.0 [mm]-

6.0 [mm]

3DHV : 3D Hough Voting [Tombari2010]

VPM（Original Vector Pair）
3DHV（SHOT）
RPD（Proposed）
1.0

1.5

密←

2.0

2.5
3.0
3.5
4.0
4.5
点群の粗さ [mm/point]

5.0

5.5

6.0
→疎

RPD 特徴量は点群が粗くても認識率が⾼い

VPM : Vector Pair Matching [Akizuki2014]
Feb. 2017

100
90
80
70
60
50
40
30
20
10
0

165

166

Feb. 2017

モデルベース 3 次元物体認識の性能を決める要因
SHORT: 点群の空間占有率とマルチスケール
シェルを⽤いた⾼速 3D 物体認識

1. キーポイント検出
2. 特徴量記述

1. キーポイント検出
2. 特徴量記述照合と対応点の獲得

Shell Histograms and Occupancy from Radial Transform
位置姿勢の推定

キーポイント検出と特徴量記述の⾼速化

物体モデル（点群データ）

⼊⼒データ(点群データ)

認識結果

⾼速なキーポイント検出・特徴量記述が重要
Feb. 2017168従来研究の問題点と本研究の⽬的・基本アイデア

占有率に基づくキーポイント検出

 キーポイント検出の従来研究

1. 占有率の算出

局所領域内の点群から共分散⾏列などの統計量を算出し，形状を評価（ ISS 法 [Zhong2009]，LSP 法 [Chen2007] ）局所領域内に対する点数の割合（占有率）を⽤いて形状を評価
 領域内の点数をカウントするだけ

問題︓形状評価のための処理コストが⾼い 設定した領域を球の最外殻（シェル）のみに限定

 特徴量記述の従来研究

局所領域内の点群から，法線ベクトルの⽅向分布などを記述
z（ SHOT 法 [Salti2014]，FPFH 法 [Rusu2009] ）n ni
アイデンティティを強化
記述領域を分割y

問題︓領域内の全点を⽤いるため，処理コストが⾼い
法線ベクトルの算出コストも⾼い
⽅位⾓と仰⾓の分割は基準座標系に影響されやすい

p2

p1

凸形状に属する点 p2（占有率が低い）平⾯形状に属する点 p1（占有率が⾼い）

x

SHOT

点群データ

キーポイントとして検出

2. 占有率マップから極⼩値を検出

 本研究の⽬的

⾼注⽬点とその周辺点の占有率を⽐較して，占有率が低い点をキーポイントとして検出

従来法の認識性能を維持しつつ，特徴算出を⾼速化すること 基本アイデア

占
有率

キーポイント検出︓統計量の算出を必要としない形状評価
特徴量記述︓半径⽅向の限定領域のみを使⽤（法線は不使⽤）

低占有率マップ
169

Feb. 2017170

Feb. 2017

マルチスケールシェルを⽤いた特徴量の記述

点群の空間占有率と形状の関係

マルチスケールのシェル領域に存在する点群の分布を記述

σ が異なるガウス分布の点群を⽣成し， pgk に対して占有率を計測

キーポイント pk を原点とした
重⼼ベクトルを主⽅向とする

dk

pi : 領域内の点

oi : 占有率f

⾼f

dk と，領域内の点への⽅向ベクトル x riとの内積ヒストグラムを算出
点群の分布を⾼速に記述

pg3

ガウス分布（σ = 0.3） ガウス分布（σ = 0.5） ガウス分布（σ = 0.7）

点群とマルチスケール領域

L : 領域内の点数

2. 特徴量（ヒストグラム）の算出

pg2

pk

・・・

dk・xridk・xdrik・xri

SHORT 特徴量
内積ヒストグラム
Feb. 2017

占有率

1 L
 oi pi  pk 
L i 1g
dk  k
gk
gk 

pg1

姿勢不変な特徴量記述

低1. 主⽅向ベクトル dk の算出

球の内部すべてを使⽤

0.02
0.015
0.01

シェル領域のみを使⽤

0.005
0
0.3

⼩（凸）
171

凸は占有率が低く，平⾯は占有率が⾼いことを確認

0.5

0.7

ガウス分布の σ⼤（平⾯）占有率を形状評価値として，
キーポイント検出と特徴量記述に利⽤
Feb. 2017172

認識性能の評価実験
公開データセット [1] に対して物体認識

処理時間 T [msec] と認識率 Pr [%] の関係

キーポイント検出+ 特徴量記述

認識
アルゴリズムISS 法 [Zhong2009] +SHOT 法 [Salti2014]

データセット

処理時間
T [msec]

認識率
Pr [%]

A

840.2

98.9

3D Hough Voting 法[Tombari2010]

SHORT法（提案⼿法）

データセット B に対する処理時間の⽐較

B

4146.9

85.7

A

211.7

100.0

B

460.2

91.8

3D-CG技術の物体認識への応⽤

コンピュータグラフィクスを⽤いた
3次元視覚の⾼度化（CPU︓Intel®CORE™i7-3770，メモリ︓16GB）

キーポイント検出

ISS 法
299.0[msec]

約 1/15

提案⼿法
20.0[msec]

特徴量記述SHOT 法約 1/8
1571.7[msec]

提案⼿法
182.6[msec]

データセット A（模擬データ）の認識結果

データセット B（実データ）の認識結果[1] http://vision.deis.unibo.it/research/78-cvlab/80-shotFeb. 2017173

従来研究の問題点と本研究の⽬的

基本アイデア
1. 3点を⽤いた認識

従来研究の共通の問題

膨⼤な3次元データから，3点のみを選択して認識に使⽤

複数物体の接触に起因した認識エラー

原因︓認識には物体モデル単体のデータから得られる情報のみ利⽤

処理の⾼速化

3点の選び⽅が重要
3D-CADデータ（3D点の集合）

2. 3点の選択⽅法

認識性能が⾼い3点を選択
1.

物体モデル（凹凸をカラー表⽰）2.

ばら積みシーン

3.

3D-CGを⽤いて⼊⼒シーンを精密にシミュレート
3点をポジティブとネガティブに分類
3点の性能を数値化
確実性の⾼い認識

研究の⽬的
ばら積み状況下においても，⾼速かつ確実に物体の位置姿勢を認識する新しい⼿法の提案

ポジティブ
ネガティブ
物体モデル

Feb. 2017175

シミュレートした⼊⼒シーン
Feb. 2017176

アイデア︓⼊⼒シーンを予測して特徴点の良否判定

認識性能の評価実験② （本実験）シミュレータを⽤いてリアリティの⾼いばら積みシーンを⾃動⽣成
物理エンジンには Sketchy Physics を使⽤

実際のばら積みシーン140枚に対する認識実験
ライバル⼿法との性能⽐較
認識成功率

処理時間

71.4%

57.99秒

Correspondence Grouping法 [Tombari2010]

62.1%

16.66秒曲率法 [Takeguchi2004]+VPM法 [Akizuki2013]

91.4%

5.28秒

Vector Pair Matching(VPM)法 [Akizuki2013]

75.7%

0.61秒

提案⼿法

94.3%

0.36秒

Spin Image法 [Johnson1999]

CPU︓Intel®CORE™i7-3770

システムメモリ︓16GB

ばら積みシーン（センサ⼊⼒を模擬した3次元データ）
さまざまなパターンのばら積み状態をシミュレート
Feb. 2017

提案⼿法はロボットの動作サイクル時間以内に⾼信頼な認識を実現
177

Feb. 2017

178