ビジョン技術の実利⽤ワークショップ ViEW2014
2014年12⽉4⽇

物体認識のための 3 次元特徴量の基礎と動向
中京⼤学⼤学院 情報科学研究科
橋本 学

Contents

1. Introduction 3次元物体認識の概要
2. 3次元特徴量の基礎
 キーポイント周りの情報記述
 複数点間の関係記述

3. 局所参照座標系（LRF）
 固有ベクトル利⽤型
 法線ベクトル利⽤型

4. 実⽤化のための重要課題と研究事例

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

23次元物体認識の基本課題と⼿順

⼊⼒シーンデータ（ex. ポイントクラウド，
距離画像）

3次元センサ

3次元
物体認識

R

t
対象物体

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

アピアランスベース

モデルベース

V.S.

アピアランスベース

モデルベース

多視点画像群と⼊⼒シーン（ex. 単眼カメラ画像）を照合

3次元CADモデルと⼊⼒シーン（ex. 距離画像）を照合

メリット

単眼カメラを利⽤可能

CADモデルのみの準備で⼗分

デメリット

多量の辞書データ（画像群）が必要

⼀般に3次元センサが必要

⼿法

…
…

…
…

…

…
…

マッチング
（２D)

マッチング
（３D)

…

多視点画像群（２D)
カメラ

3

⼊⼒シーンデータ（カメラ画像）3-D モデル
⼊⼒シーンデータ（距離画像）

対象物（３D）

アピアランスベース物体認識

モデルベース物体認識
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

4

モデルベース⼿法におけるモデルの表現法
２．⾮キーポイント利⽤
マッチング
3-D モデル

モデル上の全点
あるいはエッジなど

⼊⼒シーンデータ（距離画像）

EGI（拡張ガウス像），
距離画像（3DPO），
3Dエッジ（VVV）・・・

１．キーポイント利⽤
マッチング
キーポイント（位置＋特徴量）

Spin Image，DAI，Local Surface Patches，Point Feature Histogram，Point Pair Feature，
SHOT・・・

 かつては画像そのものを使う⼿法が主流．
 最近では，⾼速化のためにキーポイントベースが増加．

キーポイントを的確に特徴づける 3次元特徴量 が重要
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

5Contents

1. Introduction 3次元物体認識の概要
2. 3次元特徴量の基礎
 キーポイント周りの情報記述
 複数点間の関係記述

3. 局所参照座標系（LRF）
 固有ベクトル利⽤型
 法線ベクトル利⽤型

4. 実⽤化のための重要課題と研究事例

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama6

2 つのタイプの 3次元特徴量
キーポイントにどのような情報（特徴量）を付加するか︖(a) キーポイント周りの
情報を記述

⼊⼒データ

(b) 2〜3個の特徴点間の
関係を記述

⼊⼒データ

物体モデル

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

7

3次元特徴量の分類と特徴
キーポイントベース⼿法(a) キーポイント周りの情報記述(b) 複数点間の関係記述

法線ベク
トル利⽤

その他の情報を利⽤

2点間 or 3点間

SHOT, PFH, CSHOT, HONV

LSP, CCDoN,
NARF, MHOG,
RoPS

PPF, ER, VC-PPF, MPPF,
PPF B2B or S2B or L2L,
VPM

座標データ利⽤

SI, SSI, DAI,
3DSC, SDLSD
PFH: Point Feature Histogram
SHOT : Signature of Histogramsof OrienTations
CSHOT : Color SHOT
HONV : Histogram ofOriented Normal Vector
SI: Spin Image
SSI: Spherical Spin Image
DAI: Depth Aspect Image
3DSC : 3D Shape Contexts

FPFH,
DoN

SDLSD : Scale-Dependent Local
Shape Descriptor
FPFH : Fast PFH
DoN: Difference of Normals
LSP: Local Surface Patches
CCDoN : Combination of Curvatures
and Difference of Normals
NARF : Normal Aligned Radial Feature
MHOG : Mesh HOG
RoPS : Rotational Projection Statistics

PPF: Point Pair FeatureER: Efficient Ransac
VC-PPF : Visibility Context PPF
MPPF : Multimodal PPF
PPF B2B or S2B or L2L :PPF Boundary-to-Boundary or
Surface to Boundary or Line to Line
VPM
: Vector Pair Matching

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

8

SHOT 特徴量（Signature of Histograms of OrienTations）
特徴記述
1.

2.

キーポイント周辺（サポート球内）を分割する（LRFを利⽤）．
xy 平⾯で 2 分割，球内を中⼼部と周辺部に 2 分割，さらに，z 軸まわり 8 分割．（→ 2 x 2 x 8 ＝ 32 分割）
基準点の法線 r と，分割された各スペース（32 個）の法線ベクトル niとの内積を計算し， m ビンのヒストグラムを作成．（m=11）
z
r ni

x

y
サポート球

利点


cos   r・n i

頻度

m ビン

3次元点群

・・・

θ

32個のヒストグラム × 11ビン

＝ 352 次元 特徴量（HOGと似た勾配ベースの特徴量なので姿勢変化に不変）次元数が⾼いので，特徴表現⼒が⾼い（キーポイントとしての誤照合が少ない）．

参考⽂献︓F.Tombari, S.Salti, L.D.Stefano ,” Unique Signatures of Histograms for Local Surface Description ”, ECCV, pp.356-369, 2010.

9

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

PFH 特徴量（Point Feature Histograms）
特徴記述



注⽬点周りの球領域内の k 近傍点から多数の 2 点組を選択．
2 点から α，θ，φ，pt-ps を計算し，ヒストグラム化（＝特徴量）
ex. 125次元（PCL）
p11
p10

pk5
pq

p9 pk4pk1
pk2

v=(pt-ps)×u
ps

pk3 p6
p8

p7

w=u×v

法線 nt

v

法線 ns=u
φ
pt-ps

α

u

pt θ
w

ユニーク特徴点の選択



利点



ある特徴量が，モデル内の平均特徴量より⼤きければ候補として保存．
球の半径を変えながら同様の計算をおこない，多くの半径から⽀持された候補点を，最終的な ユニーク特徴点 として選択する．

ヒストグラム特徴なので，多少の外乱には頑健．
次元数がある程度⾼いので，モデルの表現⼒も⾼い．

参考⽂献︓R. B. Rusu, et al., ”Aligning Point Cloud Views using Persistent Feature Histograms”, IEEE Proc. IROS, pp.3384-3391, 2008.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

10

PPF 特徴量（Point Pair Feature）
特徴記述




2 点対から算出された 4次元特徴量（F1~F4）・・・（PPF）．
物体上の 全ての点から できる２点対ごとに，この特徴量を算出．
これをハッシュテーブルに登録．
n1
m1
m2
m6
m3
m5
m4

Hash table

F4
m1

n2

F2

F3

n2
F
m2

F1

A=
{(m1,m2),(m3,m4),(m5,m6)}

Model Description

マッチング



利点


特徴量が類似する PPF を探索．（ハッシュテーブルを活⽤）
それらの幾何変換パラメータを計算する．
モデル全体のキーポイントを使うので，オクルージョンには⽐較的頑健．

参考⽂献︓B. Drost，el al., ”Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”, CVPR, pp.998-1005, 2010.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

11

SHOT と PPF の⽐較
SHOT

PPF

（キーポイント周辺情報記述）（複数点間の関係記述）

特徴量の次数352

4

特徴量の強さ（Identity）

特徴ベクトルの次数が⾼い（アイデンティティが⾼い）ので，誤照合は少ない．

単体ではSHOTよりもアイデンティティが低いが，投票処理（統計処理）によって解決している例が多い．

外乱への耐性＝再現性

ヒストグラム化した法線を利⽤しているのでノイズには強い．
LRF設定は統計量ベースなのでオクルージョンにはやや弱い．

物体全⾯にばらまかれた多数の点対（全点からの2点組み合わせ）を⽤いるので，オクルージョンには強い傾向あり．

特徴点数

特徴量の次元数が⾼いので，⼀般には少数で⾜りる．

多くのPPFを使う必要あるので，マッチング時の⼯夫が重要（ハッシュテーブル利⽤等）．

処理時間

特徴量次数と特徴点数の両⽅が関連しているので，⼀概に⾔えない．
ばら積み物体認識の場合は，特徴量単体の ID が低い PPF は多数のマッチング候補が発⽣するので，時間がかかることがある．

（Repeatability）

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

12

Contents

1. Introduction 3次元物体認識の概要
2. 3次元特徴量の基礎
 キーポイント周りの情報記述
 複数点間の関係記述

3. 局所参照座標系（LRF）
 固有ベクトル利⽤型
 法線ベクトル利⽤型

4. 実⽤化のための重要課題と研究事例

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama13

局所参照座標系（LRF︓Local Reference Frame）
 LRF とは︖ 特徴点におけるごとに設定される 3 次元直交座標系
Local Reference Frame

第1軸︓ キーポイントを代表する法線ベクトル
第2軸︓ 第1軸と直交するベクトル
第3軸︓ 第1軸，第2軸の外積ベクトル

A’

A
B

C’

C

物体モデル




B’

E’

誤対応
LRF

D’
LRF
⼊⼒データ

特徴量は LRF を基準にして記述されるため，再現性に⼤きな影響を与える．
すなわち，特徴量の安定化のためには，LRF の安定化 がきわめて重要．
マッチング後には，位置姿勢の推定にも利⽤される．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

14

LRF が認識性能に与える影響

同⼀特徴量にさまざまな LRF を組み合わせて性能を評価．
特徴量︓
SHOT
マッチング対象︓
ガウシアンノイズを付加した点群
ノイズレベル︓
mr 0.1 [mm] ＜ 0.3 [mm]mr = mesh resolution

0.1 [mm] 0.3 [mm]

0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

1

0.1 [mm]

SHOT LRF
BOARD LRF

0.6
0.4
0.2

Mian LRF

0

0.2
0.4
1-Precision

0.3 [mm]

0.8
RecallRecall

最近傍点までの距離の平均値（数値が⼤きいほど「粗い」）

0
0.6

0

0.2
0.4
1-Precision

0.6

実験に⽤いたデータ

3次元特徴量が同⼀でも，LRF によって性能が影響される．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

Mian LRF

15[Mian2010]

半径 r の球領域内の点群の共分散⾏列の固有ベクトル群（3次元）
共分散⾏列

平均ベクトルr
サポート範囲࢖࢏
点群データ

参考⽂献︓ A.Mian, et al., “On the Repeatability and Quality of Keypoints for Local Feature-based 3D Object Retrieval from Cluttered Scenes”,
International Journal of Computer Vision (IJCV), Vol.89, Issue 2-3, pp.348-361, 2010.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

16

SHOT LRF

[Tombari2010]

Mian LRFの改良版．
注⽬点からの距離に応じた重みつき共分散⾏列の固有ベクトル1. 周辺部外乱の影響を抑制
pi

共分散⾏列

p
di

R
重み（特徴点から遠くなるほど⼩さい）

点群データ

2. 固有ベクトルの向きの曖昧性を解決
z+
z-

z-

固有ベクトルの向き(＋/－)には曖昧性があった．

領域内の点を＋/－に分割し，優勢な⽅向を決定する．

参考⽂献︓ F.Tombari, S.Salti, L.D.Stefano, Unique Signatures of Histograms for Local Surface Description, ECCV, pp.356-369, 2010.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

17

BOARD（BOrder Aware Repeatable Directions）LRF[Petrelli2011]

 z軸


サポート範囲内の点群を平⾯フィッティングしたときの法線．

 x軸



周辺の法線ベクトル群の中から，z 軸との内積（cosθ）が最も⼩さい（＝⼤きく傾いた）ものを決定し，これを x 軸とする．
このとき，⽋損領域の有無を判定し，cosθの最⼩値がその領域内に存在する場合は，両脇のデータをもとに，最⼩位置推定する．
この区間に最も傾いた法線が存在する

投票範囲

cos 値

z軸

平面
φ
サポート範囲φ

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

18

LRF の分類
A．固有ベクトル利⽤型

B．法線ベクトル利⽤型

キーポイント周りの点群の座標から共分散⾏列を計算し，その固有ベクトル群を LRF とする．

3軸をそれぞれ独⽴に算出する．
z 軸＝キーポイント周りの法線ベクトルx 軸＝さまざまな⼯夫

x 軸の決定⽅法

Mian, SHOT,
RoPS, EM

Mian : Mian の LRF
SHOT : Signature of Histogramsof OrienTations
RoPS : Rotational Projection Statistics
EM : Exponential Map

最⼤値選択

⽅向分布分析

BOARD
PS

MH
DPN，GRFBOARD: BOrder Aware Repeatable
Directions: Point Signature: Dominant Projected Normals: Global Reference Frame: Mesh HoG

PS
DPN
GRF
MH

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

19

3 次元特徴量と周辺技術に関する技術マップ
1980

2000

1990

2005

キーポイントベース

2or3点間の位置・法線間の関係
注⽬点周りの特徴記述

物体検出

Multimodal PPF[Drost2012]
点群の位置関係の記述
Scale-Dependent
3D Shape Contexts DAI+M-ICP Local Shape Descriptor
Depth Aspect Image [Frome2004]
VC-PPFPPF B2B, S2B, L2L[Kitaaki2007] [Novatnack2008][Takeguchi2001]
RoPS[Kim2011] [Choi2012]
Spin Image[Guo2013]
Spherical Spin Image
VPM[Johnson1997,[Ruiz-Correa2001] Point Feature Histogram[Akizuki2012, Takei2014]
SHOT
CSHOT
HONV
Johnson1999][Rusu2008][Tombari2010] [Tombari2011] [Tang2012] DoN[Ioannou2012]
Fast PFH
CCDoN[Rusu2009]
その他の特徴量[Nagase2014]
法線⽅向分布
NARF
Local Surface Patches Mesh HOG[Zaharescu2009] [Steder2010][Chen2007]

⾮キーポイントベース

シーン解釈
COSMOS
3DPO
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]

LRF

多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

精密位置決め

研究室HPにて公開予定

2010

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

Local Feature Histogram[Hetzel2001]

Elevation Descriptor[Shih2007]

Exponential Map[Novatnack2008]

固有ベクトル利⽤型
法線基準型

Efficient Ransac
PPF[Drost2010] [Papazov2010]

Point Signatures[Chua1997]

VFH[Rusu2010]

多段解像度探索 GRSD
DGI[Ulrich2009][Marton2010] [Adán2011]

Eigen Vector[Mian2010]

Mesh Hog[Zaharescu2009]

SHOT
RoPS
[Tombari2010] [Guo2013]
BOARD
Global Reference Frame Dominant Projected Normals[Petrelli2011] [Akizuki2014a][Akizuki2014b]

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
Picky-ICP[Granger2002]
ICP(point-to-point)
ICP+Cached K-d tree search
LM-ICP[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]

Alignment（代表的なもの）
point-to-plane[Chen1991]

Topics
空間コード化法

APO

パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

TDS-A

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

シリコンレンジファインダ[阪⼤/ソニー1994]

Swiss Ranger SR1[パルステック1997]
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

距離・濃淡の最尤統合[Tateno2011]

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]

Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[Point Grey2006] [Point Grey2007] [オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama20

3次元特徴量の物体認識以外への応⽤[Tobitani, ViEW2014]

モノに対する⼈間の感性を指標化する試み

安定な

活動性→

3.0

不安定な

2.0
1.0

派⼿な

地味な

柔らかい

硬い

.0
-3.0 -2.0 -1.0

.0

1.0

2.0

3.0

-1.0

⽴体物に関する⼈間の印象（形容表現）

-2.0
-3.0
評価性→
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

21

Contents

1. Introduction 3次元物体認識の概要
2. 3次元特徴量の基礎
 キーポイント周りの情報記述
 複数点間の関係記述

3. 局所参照座標系（LRF）
 固有ベクトル利⽤型
 法線ベクトル利⽤型

4. 実⽤化のための重要課題と研究事例

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama22実⽤化のための重要課題と研究事例
1. ばら積み物体認識への対応
 3次元特徴量がオクルージョンによって⾒えない．

2. 3次元的な起伏が少ない物体への対応
 平⾯が多い物体，⼯業部品ではよくある．

3. 局所的な情報⽋損への対応
 表⾯材質・状態，⾯の⽅向などに起因．

4. 点群密度の変化への対応
 CADモデル使⽤，センサの種類，距離に起因．

5. シンプルで実⽤的な 3 次元計測デバイス
 疑似 3 次元情報の獲得
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

１．ばら積み物体認識への対応

3次元特徴量がオクルージョンによって⾒えない．

23

可観測性を考慮した 3D特徴点選択
[Akizuki2014]

⼊⼒シーンにおける観測可能性の⾼い点を⾃動選択

物体周りに複数の視点を設定し，各点の観測可能性をモニタリング
観測可能性の⾼い点を特徴点とする．
仮想視点群

可観測率マップの⽣成
High

High

Low

Low

可観測率マップ（視点１）

可観測率マップ（視点２）

S. Akizuki，M. Hashimoto︓“Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs”，
Proc. IECON，pp.5266-5271, Oct, 2014.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

25

可観測性考慮の効果
 4 x 113 シーンに対する認識性能の⽐較結果

Recognition rate Pr [%], Processing time T [sec]SHOT [Tombari,PSIVT2011]
FPFH [Buch,ICRA2013]
VPM （独⾃性のみ）[Akizuki,ISOT2013]

VPM
可観測性利⽤

可観測性のみ可観測性＋独⾃性

Pr
T
Pr
T
Pr
T
Pr
T
Pr
T

A

B

C

D

51.3
27.78
54.9
0.67
40.7
0.27
97.3
0.47
99.1
0.44

77.9
19.46
11.5
3.97
31.0
1.41
100.0
1.76
95.6
1.76

33.6
33.69
73.5
1.07
47.8
0.39
94.7
1.76
92.0
1.42

20.3
22.48
31.0
0.91
33.6
0.72
85.0
1.99
85.8
1.81

Synthetic data

Synthetic data

Synthetic data

A の認識結果例

B の認識結果例

C の認識結果例

Real data

D の認識結果例

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

26

２．3次元的な起伏が少ない物体への対応

⼈⼯構造物や⼯業部品では，平⾯部が多い物体が多い．

GRF（Global Reference Frame）[Akizuki2014]

 従来 LRF の問題点

 平⾯的な形状の場合に，軸⽅向が不安定

偏り⽅向

第１軸︓安定（平⾯上の法線）
例１

例２

例３

第２軸︓不安定
第３軸︓不安定
法線ではなく，外形の偏り（⼤域的情報）を⽤いた RF を提案→ ⼯業物体に対する実⽤解

Demo

Demo movie: http://isl.sist.chukyo-u.ac.jp/MovieTheater/MovieTheater.html
秋⽉秀⼀, 橋本学, Global Reference Frame︓平⾯的な形状のための3Dオリエンテーションを⽤いた表⾯凹凸密度に依存しない位置姿勢
推定, 第19回知能メカトロニクスワークショップ（iMec2014）, A2-4, pp.82-86, 2014/7/12．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama28

３．局所的な情報⽋損への対応

表⾯材質・状態，⾯の⽅向などに起因

DPN（Dominant Projected Normals）LRF
 従来⼿法の問題点

 固有ベクトル利⽤型︓
 法線ベクトル利⽤型︓[Akizuki,ViEW2014]

部分的情報⽋損に弱い（統計量を利⽤するから）．
点群密度の違いに弱い アイデア︓x 軸の算出⽅法に⼯夫（ z 軸は注⽬点の法線）

 ⽅向ヒストグラムのピーク位置を利⽤ →情報⽋損を改善
 近傍点が作る三⾓パッチの⾯積で正規化 →点群密度の違いを許容

z

n
n
θ
p

頻度

DPN LRF

θをヒスト
グラム化

サポート範囲xyθ [deg]36 bins

参考⽂献︓秋⽉秀⼀，橋本学︓“安定的な3D特徴量記述のための点群の密度変化にロバストな Local Reference Frame"，ViEW，2014．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

30

DPN LRF の性能１

情報⽋損への耐性

 オクルージョンを模擬した情報⽋損を発⽣．
⽋損率と LRF ⾓度推定誤差との関係を調査． 低頻度

0

情報⽋損率 [％]

1000

データが下部に集中している．
（誤差が⼩さい傾向）

0

LRF の⾓度
推定誤差 [deg]

LRF の⾓度
推定誤差 [deg]

LRF の⾓度
推定誤差 [deg]0⽋損率が⾼いと誤差も⼤きい．
（⽋損に弱い）

⾼頻度

180

180

180

[Akizuki,ViEW2014]

0100

情報⽋損率 [％]

下部への集中度合いが増加．
（誤差がさらに減少）

0

情報⽋損率 [％](a) SHOT LRF(b) BOARD LRF(c) DPN LRF[Tombari2010][Petrelli2011][Akizuki2014]

固有ベクトル利⽤

100

法線ベクトル利⽤

DPN LRF は，情報⽋損の影響を受けにくい．
参考⽂献︓秋⽉秀⼀，橋本学︓“安定的な3D特徴量記述のための点群の密度変化にロバストな Local Reference Frame"，ViEW，2014．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

DPN LRF の性能２31

点群密度変化への耐性[Akizuki,ViEW2014]



ノイズ＋点群密度 1〜1/5 の外乱付きデータに対してDPN LRF を算出.



⾓度誤差 10 deg 以内のデータ数の割合をプロット.

Correct rate [%]100

SHOT LRF
BOARD LRF
Proposed

80
60
40
20
0
1

1/1.5

⾼密度
mr:0.66[mm]

1/2

1/2.5

1/3

1/3.5

1/4

Downsampling rate d

1/4.5

1/5

低密度
mr:3.3[mm]

DPN LRF は，点群密度の違いによる影響を受けにくい．
参考⽂献︓秋⽉秀⼀，橋本学︓“安定的な3D特徴量記述のための点群の密度変化にロバストな Local Reference Frame"，ViEW，2014．
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama32

４．点群密度の変化への対応

CADモデル使⽤，センサの種類，距離に起因

点群密度の変化と特徴量の再現性
 100 mm ごとに遠ざかっていく物体に対して，同⼀の点から算出される特徴ベクトル間の類似度を計測．
 特徴量︓ベクトルペア（vp），SHOT

特徴量間の類似度

15043点 11934点 9538点
1.0
0.9
0.8
0.7
0.6

8055点

6872点

5942点

5215点

4505点

従来法

vp
SHOT(r=20)
SHOT(r=40)
SHOT(r=60)（r = サポート範囲）
0.5
700.0 800.0 900.0 1000.0 1100.0 1200.0 1300.0 1400.0
mr: 1.37[mm] 対象物とセンサまでの距離 [mm]mr: 2.70[mm]点群密度が変化すると特徴ベクトルの再現性が劣化する
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

34

最新事例︓点群密度の変化にロバストな 3次元特徴量
 点群密度の変化にロバストな3次元特徴量を提案した．
予備検討完了し，以下の結果を得た．（詳細はSSII2015で発表予定）
提案特徴量の結果
特徴量間の類似度

1.0
0.9

vp
SHOT(r=20)
SHOT(r=40)
SHOT(r=60)
proposed

0.8
0.7
0.6
0.5
700.0

800.0

mr: 1.37[mm]900.01000.01100.01200.01300.0

対象物とセンサまでの距離 [mm]1400.0mr: 2.70[mm]

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

５．シンプルで実⽤的な 3 次元計測デバイス

疑似 3 次元情報の獲得

35

Coded Multi Flash Imaging の提案


８⽅向からの 能動照明 を利⽤
８枚の画像情報を 1 枚に圧縮 コード化

[櫻本，ViEW2014]

イメージングと特徴量の緊密な融合

Coded Multi Flash Imaging
（参考）
通常の
カメラ画像

Multi Flash Camera

提供︓三菱電機(株)殿

8⽅向能動照明
画像群

バイナリ勾配特徴量画像

バイナリ勾配特徴量画像
3D情報（起伏の位置，⼤きさ，⽅向）を 1 枚の画像に集約⇒シンプルな装置で，疑似３次元情報の取得が可能
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

市販センサ（Kinect）との性能⽐較

37[櫻本，ViEW2014]

表⾯の凹凸形状のみが異なる 4 種類の図柄無し物体を使⽤

Microsoft 65cm
Kinect

実験環境

丸型

三⾓型
距離画像（Kinect）

四⾓型
星型
実験対象物
（表⾯凹凸の⾼さ︓2 ㎜）
バイナリ勾配特徴量画像⼿法

認識率 Pr [%]処理時間 T [msec]

Kinect ＋
画像マッチング

38（19枚/50枚）

3120

提案⼿法

98（49枚/50枚）

510

CPU：Intel®CORE™i5（2.50GHz），RAM：4GB
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

38

まとめ
1. 3次元物体認識の概要


モデルベース物体認識における3次元特徴量

2. 3次元特徴量の基礎

キーポイント周りの情報記述 v.s.
主要な 3次元特徴量と性能複数点間の関係記述

3. 局所参照座標系（LRF）


固有ベクトル利⽤型 v.s.

 主要な LRF と性能

法線ベクトル利⽤型

4. 実⽤化へのステップと最新研究紹介
Special Thanks To:

中京⼤学橋本研究室 3次元認識研究ユニットの学⽣たち（本資料の作成協⼒）

秋⽉秀⼀（D1）

櫻本泰憲（M2）

永瀬誠信（M2）

武井翔⼀（M1）

兼松裕⼀（B4）

髙橋祥平（B4）

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

Thank you for your attention!

39

参考⽂献 1[Adan2011] A.Adan，P.Merchan，S.Salamanca, 3D scene retrieval and recognition with Depth Gradient Images, Pattern
Recognition Letters, Vol.32, pp.1337-1353, 2011.
[Akizuki2012] S.Akizuki,M.Hashimoto, High-speed and Reliable Object Recognition using Distinctive 3-D Vector Pairs in a
Range Image, International Symposium on Optmechatronic Technologies (ISOT), pp1-6, 2012.
[Akizuki2013a] 秋⽉秀⼀，橋本学，特徴的3-Dベクトルペアを⽤いたばら積み部品の⾼速位置姿勢認識，電気学会論⽂誌C
研究開発レター，Vol.133，No.9, pp.1853-1854, 2013.
[Akizuki2013b] 秋⽉秀⼀，橋本学，可観測性を考慮した3Dベクトルペア選択によるばら積み部品の位置姿勢認識，ビジョ
ン技術の実利⽤ワークショップ（ViEW）, OS5-O2, Dec. 2013.
[Akizuki2014a]秋⽉秀⼀，橋本学, Global Reference Frameを⽤いた対象物の⾒えに依存しない3次元位置姿勢認識, Vol.80,
No.12, 精密⼯学会誌, 2014.
[Akizuki2014b] 秋⽉秀⼀，橋本学, 安定的な3D特徴量記述のための点群の密度変化にロバストなLocal Reference Frame, ビ
ジョン技術の実利⽤ワークショップ (ViEW), 2014.
[Besl1992] P.J.Besl, N.D.McKay, A Method For Registration Of 3-D Shapes, IEEE Transactions on Pattern Analysis andMachine Intelligence (PAMI), Vol.14, No.2, pp.239-256, 1992.
[Bolles1986] R.Bolles, R.Horaud, 3DPO: A three-dimensional part orientation system, International Journal of Robotics
Research, Vol.5, Issue 3, pp.3-26, 1986.
[Chen2007] H.Chen, B.Bhanu, 3D Free-Form Object Recognition in Range Images Using Local Surface Patches, Pattern
Recognition Letters, Vol.28, Issue 10, pp.1252-1262, 2007.
[Chetverikov2002] D.Chetverikov,D.Svirko, D.Stepanov, P.Krsek, The Trimmed Iterative Closest Point Algorithm,
Proceedings. International Conference on Pattern Recognition (ICIP), Vol.3, pp.545-548, 2002.
[Choi2012] C.Choi, Y.Taguchi, O.Tuzel, M.Liu, S.Ramalingam, Voting-Based Pose Estimation for Robotic Assembly Using a
3D Sensor, IEEE International Conference on Robotics and Automation (ICRA), pp.1724-1731, 2012.
[Chua1997] C.S.Chua, R.Jarvis, Point Signatures: A New Representation for 3D Object Recognition, International Journalof Computer Vision (IJCV), Vol.25, Issue 1, pp.63-85, 1997.
[Dorai1995] C.Dorai，A.K.Jain, COSMOS-A Representation Scheme for Free-Form Surfaces, Proceedings. Fifth
International Conference on Computer Vision (ICCV), pp.1024-1029, 1995.
[Drost2010] B.Drost, M.Ulrich, N.Navab, S.Ilic, Model Globally, Match Locally: Efficient and Robust 3D Object Recognition,2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.998-1005, 2010.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

41

参考⽂献 2[Fitzgibbon2003] A.W.Fitzgibbon, Robust Registration of 2D and 3D points sets, Image Vision Computing, Vol.21, pp.11451153, 2003.
[Frome2004] A.Frome, D.Huber, R.Kolluri, T.Bulow, J.Malik, Recognizing Object in Range Data Using Regional Point
Descriptors, 8th European Conference on Computer Vision, Prague, Czech Republic, pp.224-237, 2004.
[Germann2007] M.Germann，M.D.Breitenstein, I.K.Park, H.Pfister, Automatic Pose Estimation for Range Images on theGPU, International Conference on 3-D Digital Imaging and Modeling(3DIM), pp.81-90, 2007.
[Granger2002] S.Granger, X.Pennec, Multi-scale EM-ICP:A Fast and Robust Approach for Surface Registration, European
Conference on Computer Vision(ECCV), Vol.2353, pp.418-432, 2002.
[Guo2013] Y.Guo, F.Sohei, M.Bennamoun, M.Lu, J.Wan, Rotational Projection Statistics for 3D Local Surface Description
and Object Recognition, International Journal of Computer Vision (IJCV), Vol.105, Issue 1, pp.63-86, 2013.
[Hashimoto1999] 橋本学，⿊⽥伸⼀，鷲⾒和彦，宇佐美照夫，仲⽥周⼆, シーン仮説と⼊⼒画像の⼤局的画像整合性評価に基づく複数物体の認識, 電学論D-II, Vol.J82-D-II(12), pp.2288-2297, 1999.
[Hetzel2001] G.Hetzel，B.Leibe，P.Levi，B.Schiele, 3D Object Recognition from Range Images using Local Feature
Histograms, Computer Vision and Pattern Recognition, Proceedings of the IEEE Computer Society Conference on
Computer Vision and Pattern Recognition (CVPR), pp.II-394-II-399, 2001.
[Horn1984] B.K.P.Horn, Extended Gaussian Images, Proceedings of the IEEE, Vol.72, No.12, pp.1671-1686, 1984.
[Ikeuchi1993] K.Ikeuchi, S.B.Kang, Assembly Plan from Observation, AAAI Technical Report FS-93-04, pp.115-119, 1993.
[Ioannou2012] Y.Ioannou, B.Taati, R.Harrap, M.Greenspan, Difference of Normals as a Multi-scale Operator in
Unorganized Point Clouds, International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission(3DIMPVT), pp.501-508, 2012.
[Johnson1997] A.E.Johnson，M.Hebert, Surface Registration by Matching Oriented Points, Proceedings. International
Conference on Recent Advances in 3-D Digital Imaging and Modeling, pp.121-128, 1997.
[Johnson1999] A.E.Johnson，M.Hebert, Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, IEEE
Transactions on Pattern Analysis and Machine Intelligence (PAMI), pp.433-449, 1999.
[Kaneko2003] S.Kaneko, T.Kondo, A.Miyamoto, Robust matching of 3D contours using iterative closest point algorithm
improved by M-estimation, Pattern Recognition, vol.36, pp.2041-2047, 2003.
[Liu2010] M.Liu, O.Tuzel, A.Veeraraghavan, R.Chellappa, A.Agrawal, H.Okuda, Pose Estimation in Heavy Clutter using a
Multi-Flash Camera, IEEE International Conference on Robotics and Automation (ICRA), pp.2028-2035, 2010.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama42参考⽂献 3
[Marton2010] Z.Marton，D.Pangeric，R.B.Rusu，A.Holzbach，M.Beetz, Hierarchical Object Geometric Categorization andAppearance Classification For Mobile Manipulation, IEEE-RAS Proc. International Conference on Humanoid Robots (ICHR),
pp.365-370, 2010.
[Mian2010] A.Mian, M.Bennamoun, R.Owens, On the Repeatability and Quality of Keypoints for Local Feature-based 3D
Object Retrieval from Cluttered Scenes, International Journal of Computer Vision (IJCV), Vol.89, Issue 2-3, pp.348-361,
2010.
[Murase1994] 村瀬洋，シュリーナイヤー，2次元照合による3 次元物体認識-パラメトリック固有空間法-，電学論D-II，Vol.J77-D-II, No.11, pp.2179-2187, 1994.
[Nagase2014]永瀬誠信，秋⽉秀⼀，橋本学, CCDoN︓ばら積み部品の⾼速・⾼信頼な6⾃由度位置姿勢推定のための局所特徴量, Vol.80, No.12, 精密⼯学会誌, 2014.
[Nuchter2007] A.Nuchter, K.Lingemann, J.Hertzberg, Cached K-d Tree Search For ICP Algorithms, International
Conference on 3-D Digital Imaging and Modeling (3DIM), pp.419-426, 2007.
[Park2010] I.K.Park, M.Germann, M.D.Breitenstein, H.Pfister, Fast and Automatic Object Pose Estimation for Range
Images on the GPU, Machine Vision and Applications, Vol.21, No,5, pp.749-766, 2010.
[Petrelli2011] A.Petrelli, L.D.Stefano, On the Repeatability of the Local Reference Frame for Partial Shape Matching, IEEE
International Conference on Computer Vision (ICCV), pp.2244-2251, 2011.
[Phillps2007] J.M.Phillps, R.Liu, C.Tomasi, Outlier Robust ICP for Minimaizing Fractional RMSD, Sixth International
Conference on 3-D Digital Imaging and Modeling (3DIM), pp.427-434, 2007.
[Rusu2008] R.B.Rusu, N.Blodow, Z.C.Marton, M.Beetz, Aligening Pointb Cloud Views using Persistent Feature Histgrams,
IEEE/RSJ International Conference on Intelligent Robots and System (IROS), pp.22-26, 2008.
[Rusu2010] R.B.Rusu, G.Bradski, R.Thibaux, J.Hsu, Fast 3D Recognition and Pose Using the Viewpoint Feature Histogram,
IEEE/RSJ International Conference on Intelligent Robots and System (IROS), pp.2155-2162, 2010.
[Sakuramoto2014] 櫻本泰憲, 兼松裕⼀, 秋⽉秀⼀, 橋本学, 渡邊清⾼, 関真規⼈, Coded Multi Flash Imagingによる3次元凹凸
構造特徴マッチング，ビジョン技術の実利⽤ワークショップ（ViEW），2014.
[Shibata2013] Yutaro Shibata, Manabu Hashimoto, An Extended Method of the Parametric Eigenspace Method byAutomatic Background Elimination, Proceeding of 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV),
pp.246-249, 2013.
[Shin2007] J.Shih，C.Lee，J.T.Wang, A New 3D Model Retrieval Approach Based on the Elevation Descriptor, Pattern
Recognition, Vol.40, pp.283-295, 2007.
ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

43

参考⽂献 4[Sumi1997] ⾓保志，富⽥⽂明, ステレオビジョンによる3次元物体の認識，信学論D-II, Vol.J80-D-II, No.5, pp.1105-1112,
1997.
[Tateno2011] ⽴野圭祐，⼩⽵⼤輔，内⼭晋⼆, ビンピッキングのための距離・濃淡画像を最ゆうに統合する⾼精度⾼安定なモデルフィッティング⼿法, 信学論D, vol.J94-D, No.8, pp.1410-1422, 2011.
[Takeguchi2001] 武⼝智⾏，⾦⼦俊⼀，近藤司，五⼗嵐悟, 距離アスペクト画像の2次元照合によるロバスト物体認識, 電学
論D-II, Vol.J84-D-II,No.8, pp.1710-1721, 2001.
[Takei2014] 武井翔⼀，秋⽉秀⼀，橋本学, 識別性能の予測評価に基づく選択的特徴量を⽤いた物体認識, 第20回画像セン
シングシンポジウム（SSII）, pp.IS2-06-1-6, 2014．
[Tombari2010] F.Tombari, S.Salti, L.D.Stefano, Unique Signatures of Histograms for Local Surface Description, European
Conference on Computer Vision(ECCV), pp.356-369, 2010.
[Ulrich2009] M.Ulrich，C.Wiedemann，C.Steger, CAD-Based Recognition of 3D Objects In Monocular Images, Proceedings.
IEEE International Conference on Robotics and Automation (ICRA), pp.2090-2097, 2009.
[Zaharescu2009] A.Zaharescu, E.Boyer, K.Varanasi, R.Horaud, Surface Feature Detection and Description with
Applications to Mesh Matching, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.373-380, 2009.
[ZinBer2003] T.ZinBer, J.Schmidt, H.Niemann, A Refind ICP Algorithm for Robust 3-D Correspondence Estimation,
Proceedings. International Confrence on Image Processing (ICIP), Vol.3, pp.II-695-8, 2003.

ビジョン技術の実利⽤ワークショップ ViEW2014 in Yokohama

44