第35回名古屋CV・PRML勉強会
2015年3⽉21⽇

物体認識のための3次元特徴量とその周辺

中京⼤学⼤学院 情報科学研究科
橋本 学

本⽇の話題

1. 基礎︓3次元データの獲得とデータ構造
2. 系譜︓3次元特徴量と局所参照座標系
3. 事例︓実利⽤のための研究例

名古屋CV・PRML勉強会 March 21, 2015

2

本⽇の話題

1. 基礎︓3次元データの獲得とデータ構造
2. 系譜︓3次元特徴量と局所参照座標系
3. 事例︓実利⽤のための最新研究例

名古屋CV・PRML勉強会 March 21, 2015

3

3次元物体認識の基本課題と⼿順

⼊⼒シーンデータ（ex. ポイントクラウド，
距離画像）

3次元センサ

3次元
物体認識

R

t
対象物体

名古屋CV・PRML勉強会 March 21, 20154

光学的 3D センサの分類
パッシブ

アクティブ
光切断法（スポット光）

ステレオ視（ 2 眼，3 眼，多眼 ）TDS-A（パルステック 1997）

光切断法（スリット光）

VIVID9i（KONICA MINOLTA 2004）

三⾓測量

Bumblebee 2 / XB3（Point Grey 2006 / 2007）
TVS（三次元メディア 2011）
SV-M-S1（リコー）

空間コード化法

TVS

Bumblebee2

VIVID9i[Posdamer1982], [Sato1985]
Cartesia（SPACEVISION 2004）
MELFA-3D Vision（三菱電機 2013）
RV1100（キヤノン）

RV1100Cartesia

ランダムドットパターン投光法

SV-M-S1[Hashimoto1999]
Kinect v1（Microsoft 2010）
Xtion PRO LIVE（ASUS 2011）
Leap Motion（2013）

マルチベースラインステレオ法[Okutomi1993]

位相シフト法

視体積交差法 [Matsuyama2002]

MELFA-3D

Kinect v1

Xtion PRO LIVE[Halioua1989], [Zhao1994]

同軸測量

Shape(depth) from (De) Focus

TOF: Time Of Flight

Swiss Ranger SR3000 / SR4000（MESA 2005 / 2008）
D-Imager（パナソニック2010）
DepthSense325（SoftKinetic2012）（Kinect v2（Microsoft 2014））[Hiura1999]

Shape from Motion

照度差ステレオ

SR4000Kinect v2[Woodham1980]

DepthSense325
⻘︓⽂献例
緑︓商品例

[Woodham1980]︓R. J. Woodham, “Photometric method for determining surface orientation”, Optical Engineering, Vol.19, No.1, pp.139-144, 1980.
[Posdamer1982]︓J. L. Posdamer, et al., “Surface measurement by space-encoded projected beam systems”, Computer Graphics and Image Processing, Vol.18, No.1, pp.1-17, 1982.
[Sato1985]︓佐藤ら, “空間コード化による距離画像⼊⼒”, 電⼦情報通信学会論⽂誌, Vol.J68-D, No.3, pp.369-375, 1985.
[Halioua1989]︓M. Halioua, et al., “Optical Three-dimensional Sensing By Phase measuring Profilometry”, Optics and Lasers in Engineering, Vol.11, No.3, PP.185-215, 1989.
[Okutomi1993]︓M. Okutomi, et al., “A multiple-baseline stereo”, Trans. IEEE Pattern Analysis and Machine Intelligence, Vol.15, No.4, 1993.
[Zhao1994]︓H. Zhao, et al., “Phase-unwrapping algorithm for the measurement of three-dimensional object shapes”, Applied Optics, Vol.33, No.20, pp.4497-4500, 1994.
[Hashimoto1999]︓橋本ら, “ランダムドットパターン投光ステレオを⽤いた物流ロボット視覚システムの開発”, ⽇本ロボット学会誌, Vol.17, No.1, pp.48-49, 1999.
[Hiura1999]︓⽇浦ら, “構造化瞳をもつ多重フォーカス距離画像センサ”, 電⼦情報通信学会論⽂誌, Vol.J82-D-II, No.11, pp.1912-1929, 1999.
[Matsuyama2002]︓松⼭ら, “3次元ビデオ映像の撮影・編集・表⽰”, ⽇本バーチャルリアリティ学会論⽂誌, Vol.7, No.4, pp.521-532, 2002.

5

名古屋CV・PRML勉強会 March 21, 2015

代表的な 3D センサによるデータ取得例と⽐較
Cartesia
紙箱

本
ペン⽴て

ペット
ボトル

OREO
ぬいぐるみ

シーン画像

Xtion

Kinect v1

Kinect v2

SR4000

ポイントクラウド
表⽰（各点を
⽩ドット表⽰）カラー画像（反射強度画像）
三⾓測量
Cartesia

640 x 480（307200 points）
2 fps

Xtion

TOF

640 x 480（307200
points）30 fps

Kinect v1

Kinect v2

640 x 480（307200
points）30 fps

紙箱（紙）良好に形状取得が可能

ペットボトル（透明）透明部分については帰還光が乱れる（あるいは帰還しない）ため，形状取得が困難

本（光沢紙）

⿊⾊部分は帰還光の強度が不⾜し，形状取得が困難

ペン⽴て（⾦属メッシュ）

SR4000512 x 424（217088 points）
30 fps176 x 144（25344 points）
50 fps形状取得が可能メッシュ部分は，帰還光が乱れるため，形状取得が困難

OREO（光沢プラスチック）

光沢⾯では帰還光が乱れるため，形状取得が困難

鏡⾯反射が⼤きい部分は，形状取得が困難

形状取得が可能ぬいぐるみ（布）形状取得が可能箇所によっては帰還光の強度が⼩さくなり，
形状取得が困難

形状取得が可能まとめ

5 つのセンサの中で精度が最もよいが，画⾓が狭く，⿊⾊部分や透明部分の形状取得が困難．
三⾓測量なので，対象物の境界⾯等でデータ⽋落がある．

透明部分やメッシュ部分の形状取得ができず，精度は⼀番悪かった．三⾓測量なので対象物の境界⾯等でデータ⽋落がある．

Xtion，Kinect v1，SR4000 よりも精度がよい．透明部分，
メッシュ部分の形状取得が困難．
同軸測量なのでデータ⽋落が少ない．

Xtion，Kinect v1よりも精度がよく，Kinect v2よりも精度が悪い．透明部分，メッシュ部分の形状取得が困難．
同軸測量なのでデータ⽋落が少ない．

名古屋CV・PRML勉強会 March 21, 20156

代表的な 3D センサによるデータ取得例（動画）

物体
Xtion
（三⾓測量）

Kinect v1（三⾓測量）

物体の左側に
計測⽋落領域がある．

Kinect v2（TOF）

計測⽋落は少ない．

名古屋CV・PRML勉強会 March 21, 20157

代表的な 3D センサによるデータ取得例（動画）

⼈物
Xtion
（三⾓測量）

Kinect v1（三⾓測量）

Kinect v2（TOF）

左側に計測⽋落領域があるが，距離が遠いのであまり⽬⽴たない．

名古屋CV・PRML勉強会 March 21, 20158

ポイントクラウド（3次元点群）データ

xyz 3 次元座標系におけるデータ点の集合
代表的な点群のデータ構造（ .pcd ）// pcd ファイルのバージョン// 次元（x y z）// 点群のサイズ（4 バイト）// 点群の型（float）// 要素数// データの幅// データの⾼さ// 視点⽅向// 点群数（WIDTH × HEIGHT）// データタイプ

ヘッダー情報点群情報

PCL で定義されたフォーマット

・
・
・

・
・
・

・
・
・

307200 ⾏

Kinect v1，Kinect v2，Xtion は ，PCL を⽤いることによって .pcd ファイル形式で保存可．

距離画像と点群データ

距離画像

3 次元点群

距離画像

3 次元点群

隣接点へのアクセス⽅法

データが整列されているので隣接データへの連続アクセスが容易．

データが整列されていな
いので最近傍探索が必要．

デプス解像度値が濃度値分解能に
よって離散化される．

⼀般には離散化されない．
実空間データが利⽤可能.

主な表⽰ツール

画像 Viewer （Irfan
View, Windows フォト
ビューアーなど）

OpenGL, Mesh Lab, PCLの Viewer など

OpenCV, OpenGL

Point Cloud Library（PCL）, OpenGL

利⽤可能なオープン
ソースライブラリ

名古屋CV・PRML勉強会 March 21, 2015

9

本⽇の話題

1. 基礎︓3次元データの獲得とデータ構造
2. 系譜︓3次元特徴量と局所参照座標系
3. 事例︓実利⽤のための最新研究例

名古屋CV・PRML勉強会 March 21, 201510

アピアランスベース V.S. モデルベース
アピアランスベース

モデルベース

多視点画像群と⼊⼒シーン（ex. 単眼カメラ画像）を照合

3次元CADモデルと⼊⼒シーン（ex. 距離画像）を照合

メリット

単眼カメラを利⽤可能

CADモデルのみの準備で⼗分

デメリット

多量の辞書データ（画像群）が必要

⼀般に3次元センサが必要

⼿法

…
…

…
…

…

…
…

マッチング
（２D)

マッチング
（３D)

…

多視点画像群（２D)
カメラ

⼊⼒シーンデータ（カメラ画像）3-D モデル
⼊⼒シーンデータ（距離画像）

対象物（３D）

モデルベース物体認識

アピアランスベース物体認識

名古屋CV・PRML勉強会 March 21, 201511

モデルベース物体認識における 3 次元特徴量の意義
⾮キーポイント利⽤
マッチング
3-D モデル

モデル上の全点
あるいはエッジなど

⼊⼒シーンデータ（距離画像）（例）EGI（拡張ガウス像），
距離画像（3DPO），
3Dエッジ（VVV）・・・

キーポイント利⽤マッチング
キーポイント（位置＋特徴量）（例）Spin Image，DAI，Local Surface Patches，Point Feature Histogram，Point Pair Feature，
SHOT・・・

最近では，⾼速化の観点から，キーポイントベースが主流．

∴ キーポイントを特徴づける 3次元特徴量 が重要
名古屋CV・PRML勉強会 March 21, 201512

例︓3次元特徴量によるマッチング性能⽐較

3DSC（対応点︓少，信頼性︓⾼）

緑線
⾚線

正しい対応点誤対応

PFH（対応点︓多，信頼性︓低）
3DSC

PFH

SHOT

得られた対応点数

7

113

90

正しい対応点数7

99

89

誤った対応点数0

14

1

SHOT（対応点︓多，信頼性︓⾼）

特徴量によって性能が左右される．
名古屋CV・PRML勉強会 March 21, 201513

2 つのタイプの 3次元特徴量
キーポイントにどのような情報（特徴量）を付加するか︖(a) 各キーポイント周りの
情報を記述

⼊⼒データ

(b) 2〜3個のキーポイント間の関係を記述

⼊⼒データ

物体モデル

名古屋CV・PRML勉強会 March 21, 201514

3次元特徴量の分類と特徴
キーポイントベース物体認識(a) キーポイント周りの情報記述(b) 複数点間の関係記述

法線ベク
トル利⽤

その他の情報を利⽤

2点間 or 3点間

SHOT, PFH, CSHOT, HONV

LSP, CCDoN,
NARF, MHOG,
RoPS

PPF, ER, VC-PPF, MPPF,
PPF B2B or S2B or L2L,
VPM

座標データ利⽤

SI, SSI, DAI,
3DSC, SDLSD
PFH: Point Feature Histogram
SHOT : Signature of Histogramsof OrienTations
CSHOT : Color SHOT
HONV : Histogram ofOriented Normal Vector
SI: Spin Image
SSI: Spherical Spin Image
DAI: Depth Aspect Image
3DSC : 3D Shape Contexts

FPFH,
DoN

SDLSD : Scale-Dependent Local
Shape Descriptor
FPFH : Fast PFH
DoN: Difference of Normals
LSP: Local Surface Patches
CCDoN : Combination of Curvatures
and Difference of Normals
NARF : Normal Aligned Radial Feature
MHOG : Mesh HOG
RoPS : Rotational Projection Statistics

PPF: Point Pair FeatureER: Efficient Ransac
VC-PPF : Visibility Context PPF
MPPF : Multimodal PPF
PPF B2B or S2B or L2L :PPF Boundary-to-Boundary or
Surface to Boundary or Line to Line
VPM
: Vector Pair Matching

名古屋CV・PRML勉強会 March 21, 2015(a) キーポイント周りの情報記述

15

SHOT 特徴量（Signature of Histograms of OrienTations）
特徴記述
1.

2.

キーポイント周辺（サポート球内）を分割する（局所座標系を利⽤）．
xy 平⾯で 2 分割，球内を中⼼部と周辺部に 2 分割，さらに，z 軸まわり 8 分割．（→ 2 x 2 x 8 ＝ 32 分割）
基準点の法線 r と，分割された32個のスペース内の法線ベクトル群 niとの内積値を計算し， m ビンのヒストグラムを作成（cosθ値）．（m=11）
z
r ni

x

y
サポート球

利点


cos   r・n i

頻度

m ビン

3次元点群

・・・

θ

32個のヒストグラム × 11ビン＝

352 次元 特徴量（HOGと似た勾配ベースの特徴量なので姿勢変化に不変）次元数が⾼いので，特徴量のアイデンティティは⽐較的⾼い．
（→誤照合は少なめ）

参考⽂献︓F.Tombari, S.Salti, L.D.Stefano ,” Unique Signatures of Histograms for Local Surface Description ”, ECCV, pp.356-369, 2010.
名古屋CV・PRML勉強会 March 21, 201517

SHOT 特徴量（Signature of Histograms of OrienTations）
モデルとシーンのマッチング例
緑線 正しい対応点
⾚線 誤対応出典︓F.Tombari, S.Salti, L.D.Stefano ,” Unique Signatures of Histograms for Local Surface Description ”, ECCV, pp.356-369, 2010.
名古屋CV・PRML勉強会 March 21, 201518

PFH 特徴量（Point Feature Histograms）
特徴記述



注⽬点周りの球領域内の k 近傍点から多数の 2 点組を選択．
2 点から α，θ，φ，pt-ps を計算し，ヒストグラム化（＝特徴量）
ex. 125次元（PCL）
p11

pk5

p10

pq

p9 pk4pk1
pk2

v=(pt-ps)×u
法線 ns=u
φ
pt-ps

ps

pk3 p6
p8

p7

w=u×v

法線 nt

v
α

u

pt θ
w

ユニーク特徴点の選択



利点



ある特徴量が，モデル内の平均特徴量より⼤きければ候補として保存．
球の半径を変えながら同様の計算をおこない，多くの半径から⽀持された候補点を，最終的な ユニーク特徴点 として選択する．

ヒストグラム特徴なので，多少の外乱には頑健．
次元数がある程度⾼いので，モデルの表現⼒も⾼い．

参考⽂献︓R. B. Rusu, et al., ”Aligning Point Cloud Views using Persistent Feature Histograms”, IEEE Proc. IROS, pp.3384-3391, 2008.
名古屋CV・PRML勉強会 March 21, 2015

19

PFH 特徴量（Point Feature Histograms）


対応点と PFH 特徴量

⼆つの点群データの対応点と各対応点の PFH 特徴量

PFH 特徴量による位置合わせ

位置合わせ前のデータセット（キッチンのシーン）

位置合わせ結果

出典︓R. B. Rusu, et al., ”Aligning Point Cloud Views using Persistent Feature Histograms”, IEEE Proc. IROS, pp.3384-3391, 2008.
名古屋CV・PRML勉強会 March 21, 201520

FPFH 特徴量（Fast Point Feature Histograms）
 PFH の改良版（特徴記述の組み合わせ数を削減して⾼速化）
 2点組の作り⽅を，注⽬点 と 近傍点群 の組み合わせに変更．


注⽬点と球領域内の近傍点を⽤いて PFH を作成（→SPFH）
この処理を物体モデル全点に対しておこない，最終的なヒストグラムを作成（FPFH）
p17
p12

p11

pk1

pk5

p13

pq

p14

p10

p15

p9
p16

pk4
p8

pk2

pk3

p6
p7

参考⽂献︓R. B. Rusu, et al., ”Fast Point Feature Histograms(FPFH) for 3D Registration”, IEEE Proc. ICRA, pp.3212-3217, 2009.
名古屋CV・PRML勉強会 March 21, 2015

21

FPFH 特徴量（Fast Point Feature Histograms）
 位置合わせ結果の例

 ⾚，緑︓位置合わせ前のデータセット ⻘︓FPFH の特徴点

位置合わせ前のデータセット

位置合わせ結果

出典︓R. B. Rusu, et al., ”Fast Point Feature Histograms(FPFH) for 3D Registration”, IEEE Proc. ICRA, pp.3212-3217, 2009.
名古屋CV・PRML勉強会 March 21, 201522

(b) 複数点間の関係記述

PPF 特徴量（Point Pair Feature）
特徴記述



2 点対から算出された 4次元特徴量（F1~F4 の4つの値）
物体上の 全ての点から 構成される２点対を利⽤する．
n1
m1
m2
m6
m3
m5
m4

Hash table

F4
m1

n2

F2

F3
F1

n2
F
m2

A=
{(m1,m2),(m3,m4),(m5,m6)}

Model Description

マッチング



利点


4次元特徴量が類似する PPF を探索．
（ハッシュテーブルを活⽤して効率化）
それらの幾何変換パラメータを計算する．
モデル全体に分布したキーポイントを使うので，オクルージョンには頑健．

参考⽂献︓B. Drost，el al., ”Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”, CVPR, pp.998-1005, 2010.
名古屋CV・PRML勉強会 March 21, 201524

PPF 特徴量（Point Pair Feature）
性能︓オクルージョンに対する頑健性

シーン

認識結果

出典︓B. Drost，el al., ”Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”, CVPR, pp.998-1005, 2010.

25

名古屋CV・PRML勉強会 March 21, 2015

PPF 特徴量の改良 B2B, S2B, L2L


PPF においてペアリングする点を限定することによって⾼速化
B2B︓Boundary 上の点同⼠の組合せ
S2B︓Surface と Boundary 上の点の組合せ
L2L︓Line Segment 同⼠の組合せ
nr

f4

ni
f2

mr

nr

f4
f2

f3
d

ni

mr
mi

f1  || m i  m r ||2  || d ||2S2S [Drost2010]

⻘点︓Surface

nr

f4

f3
d

f1  || m i  m r ||2  || d ||2

B2B

ni
f2

mi

mr

mi

f1  || m i  m r ||2  || d ||2

S2B

l i2
li

lr
l 2r

f3
d

⾚点︓Boundary

f3

l1r

l1i

f2

Cr

d

Ci

f1  || c i  c r ||2  || d ||2

L2L

緑線︓Line Segment

出典︓C. Choi, el al., ”Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor”, IEEE Proc. ICRA, pp.1724-1731, 2012.
名古屋CV・PRML勉強会 March 21, 201526

キーポイント周りの情報記述
複数点間の関係記述
・・・どちらのタイプがよいか︖

SHOT と PPF の⽐較
SHOT

PPF

（キーポイント周辺の情報記述）（複数キーポイント間の関係）

特徴量の次元数

352

4

特徴量の
アイデンティティ

特徴ベクトルの次数が⾼い（アイデンティティが⾼い）ので，誤照合は少ない．

単体ではSHOTよりもアイデンティティが低いが，投票処理（統計処理）によって解決している例が多い．

外乱への耐性＝再現性

ヒストグラムベースの特徴量なのでノイズには強い．

物体全⾯にばらまかれた多数の点対（全点からの2点組み合わせ）を⽤いるので，オクルージョンには強い傾向あり．

照合に使⽤する
特徴点数

特徴量の次元数が⾼いので，⼀般には少数で⾜りる．
→少数しか使わないので，オクルージョンには弱い．

多数のPPFを使う必要あるので，⾼速化のためには，マッチング時の⼯夫が重要（ハッシュテーブル
利⽤等）．

処理時間

特徴量次数と特徴点数の両⽅が関連しているので，⼀概に⾔えない．
ばら積み物体認識の場合は，特徴量単体の ID が低い PPF は多数のマッチング候補が発⽣するので，時間がかかることがある．

（Repeatability）

名古屋CV・PRML勉強会 March 21, 201528

局所参照座標系

局所参照座標系（LRF︓Local Reference Frame）
LRF とは︖

特徴点ごとに設定される 3 次元（直交）座標系
LRFの決め⽅（例）
第1軸︓ キーポイントを代表する法線ベクトル
第2軸︓ 第1軸と直交するベクトル
第3軸︓ 第1軸，第2軸の外積ベクトル



物体認識における LRF の必要性
LRFを⽤いて
特徴量記述

対応点探索

特徴点検出

LRFを⽤いて
特徴量記述
特徴点検出

LRFを⽤いて
姿勢算出
認識結果

物体モデル

⼊⼒データ
名古屋CV・PRML勉強会 March 21, 201530

LRF が認識性能に与える影響（実験例）
同⼀の特徴量に，さまざまな LRF を組み合わせて性能を評価．



使⽤特徴量︓
マッチング対象︓
ノイズ付加⽅式︓
揺らぎの⼤きさ︓

SHOT
ガウシアンノイズを付加した点群
元の点の xyz 座標位置に揺らぎを与える（点数は不変）
0.1 [mr]（揺らぎ⼩） ，0.3 [mr] （揺らぎ⼤） の2種

0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

1

0.1 [mr]

SHOT LRF
BOARD LRF
Mian LRF

0.1 [mr] 0.3 [mr]0.3 [mr]（⼤きな揺らぎ）

0.8（⼩さな揺らぎ）

RecallRecallmr = mesh resolution（最近傍点までの距離の平均値）

0.6
0.4
0.2
0

0

0.2
0.4
1-Precision

0.6

0

0.2
0.4
1-Precision

0.6

実験に⽤いたデータ使⽤する特徴量が同じでも，LRF によって性能が左右される．
名古屋CV・PRML勉強会 March 21, 201531

代表的な LRF
固有ベクトル利⽤型

法線ベクトル利⽤型

キーポイント周りの点群の座標から共分散⾏列を計算し，その固有ベクトル群を LRFとする．

3軸をそれぞれ独⽴に算出する．
z 軸＝キーポイント周りの法線ベクトルx 軸＝さまざまな⼯夫

x 軸の決定⽅法

Mian, SHOT,
RoPS, EM

Mian : Mian-LRF
SHOT : Signature of Histograms of OrienTations
RoPS : Rotational Projection Statistics
EM : Exponential Map

最⼤値選択

⽅向分布分析

BOARD
PS

MH
DPN，GRF

BOARD
PS
DPN
GRF
MH

: BOrder Aware Repeatable Directions: Point Signature: Dominant Projected Normals: Global Reference Frame: Mesh HoG

名古屋CV・PRML勉強会 March 21, 201532

Mian LRF

[Mian2010]

半径 r の球領域内の点群の共分散⾏列の固有ベクトル群（3次元）
共分散⾏列

平均ベクトルr
サポート範囲
点群データ

参考⽂献︓ A.Mian, et al., “On the Repeatability and Quality of Keypoints for Local Feature-based 3D Object Retrieval from Cluttered Scenes”,
International Journal of Computer Vision (IJCV), Vol.89, Issue 2-3, pp.348-361, 2010.

33

名古屋CV・PRML勉強会 March 21, 2015

SHOT LRF[Tombari2010]

Mian LRFの改良版．
注⽬点からの距離に応じた重みつき共分散⾏列の固有ベクトル1. 周辺部外乱の影響を抑制
pi

共分散⾏列

p
di

R
点群データ

重み（特徴点から遠くなるほど⼩さい）

2. 固有ベクトルの向きの曖昧性を解決
z+
z固有ベクトルの向き(＋/－)には曖昧性があった．

z領域内の点を＋/－に分割し，優勢な⽅向を決定する．

参考⽂献︓ F.Tombari, S.Salti, L.D.Stefano, Unique Signatures of Histograms for Local Surface Description, ECCV, pp.356-369, 2010.
名古屋CV・PRML勉強会 March 21, 201534

BOARD（BOrder Aware Repeatable Directions）LRF[Petrelli2011]

 z 軸の決め⽅

サポート範囲内の点群を平⾯フィッティングしたときの法線が z 軸．



 x 軸の決め⽅

周辺の法線ベクトル群の中から，z 軸との内積（cosθ）が最も⼩さい（＝⼤きく傾いた＝直交する）ものを決定し，これを x 軸とする．
このとき，⽋損領域の有無を判定し，cosθの最⼩値がその領域内に存在する場合は，両脇のデータをもとに，最⼩位置を推定する．



この区間に最も傾いた法線が存在する

投票範囲

cos 値

z軸

平面
φ
サポート範囲φ35

名古屋CV・PRML勉強会 March 21, 2015

SHOT-LRF と BOARD-LRF の⽐較（実験例） 点群データに⽋損を混⼊（オクルージョンを模擬）
 ⽋損率とLRF の⾓度推定誤差との関係を調査
 カラーマップの⾒かた

縦軸︓対応点間の LRF の⾓度誤差 [deg]横軸︓対応点間の LRF 算出に⽤いた点群の⽋損率
⾊は頻度を表す

⽋損率︓,

 固有ベクトル利⽤型は，⽋損による点群分布の影響を受けやすい
0

1

0

0

LRF 間の誤差⾓度 [deg]点群⽋損率

LRF 間の誤差⾓度 [deg]

0

180

180

(a) SHOT LRF

点群⽋損率

1

(b) BOARD LRF[Tombari2010][Petrelli2011]

固有ベクトル利⽤型

法線ベクトル利⽤型
名古屋CV・PRML勉強会 March 21, 201536

3 次元特徴量と LRF に関する研究マップ 研究室HPにて公開中
1980

2000

1990

2005

物体検出（粗い位置決め）

キーポイントベース

LRF

2or3点間の位置・法線間の関係

注⽬点周りの特徴記述

Multimodal PPF[Drost2012]
点群の位置関係の記述
Scale-Dependent
3D Shape Contexts DAI+M-ICP Local Shape Descriptor
Depth Aspect Image [Frome2004]
VC-PPFPPF B2B, S2B, L2L[Kitaaki2007] [Novatnack2008][Takeguchi2001]
RoPS[Kim2011] [Choi2012]
Spin Image[Guo2013]
Spherical Spin Image
VPM[Johnson1997,[Ruiz-Correa2001] Point Feature Histogram[Akizuki2012, Takei2014]
SHOT
CSHOT
HONV
Johnson1999][Rusu2008][Tombari2010] [Tombari2011] [Tang2012] DoN[Ioannou2012]
Fast PFH
CCDoN[Rusu2009]
その他の特徴量[Nagase2014]
法線⽅向分布
Local Surface Patches Mesh HOG
NARF[Chen2007][Zaharescu2009] [Steder2010]

⾮キーポイントベース

シーン解釈
COSMOS
3DPO
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]
多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

精密位置決め2010

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

Local Feature Histogram[Hetzel2001]

Elevation Descriptor[Shih2007]

Exponential Map[Novatnack2008]

固有ベクトル利⽤型
法線基準型

Efficient Ransac
PPF[Drost2010] [Papazov2010]

Point Signatures[Chua1997]

VFH[Rusu2010]

多段解像度探索 GRSD
DGI[Ulrich2009][Marton2010] [Adán2011]

Eigen Vector[Mian2010]

Mesh Hog[Zaharescu2009]

SHOT
RoPS
[Tombari2010] [Guo2013]
BOARD
Global Reference Frame Dominant Projected Normals[Petrelli2011] [Akizuki2014a][Akizuki2014b]

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
Picky-ICP[Granger2002]
ICP(point-to-point)
ICP+Cached K-d tree search
LM-ICP[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]

Alignment（代表的なもの）
point-to-plane[Chen1991]

Topics
空間コード化法

APO

パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

シリコンレンジファインダ[阪⼤/ソニー1994]

TDS-A[パルステック1997] Swiss Ranger SR1
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

距離・濃淡の最尤統合[Tateno2011]

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]

Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[Point Grey2006] [Point Grey2007] [オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]

名古屋CV・PRML勉強会 March 21, 2015

37

本⽇の話題

1. 基礎︓3次元データの獲得とデータ構造
2. 系譜︓3次元特徴量と局所参照座標系
3. 事例︓実利⽤のための最新研究例

名古屋CV・PRML勉強会 March 21, 201538

低次元・⾼アイデンティティ特徴量

CCDoN「キーポイント周りの情報記述」型

特徴量計算⼿法の⻑所・短所
1990

2000

2005

2010

領域ベース⼿法

点対ベース⼿法

PPF 2010 [12]PPF B2B, S2B, L2L
点群の位置関係を利⽤
2012 [13]SI 1997 [1]VPM 2013 [14]3DSC 2004 [10] 法線⽅向分布を利⽤[2]
DAI 2001
PFH 2008 [4] CSHOT 2011 [9]SHOT 2010 [8]
HONV 2012 [6]FPFH 2009 [5]DoN 2012 [11]DHM 2013 [7]LSP 2007 [3]
その他の特徴量

領域ベース⼿法

点対ベース⼿法

⼿法

SI[1], DAI[2], LSP[3], PFH[4], FPFH[5],HONV[6], DHM[7], SHOT[8], CSHOT[9],3DSC[10], DoN[11]

PPF[12], PPF 派⽣[13]（B2B, S2B, L2L）
VPM[14]

処理速度

遅い

速い

信頼性

⾼い

低い

[1] Johnson et al. 1999. [2] 武口 et al. 2004. [3] Chen et al. 2007. [4] Rusu et al. 2008. [5] Rusu et al. 2009. [6] Tang et al. 2012. [7] 永瀬 et al. [8] Tombari et al. 2010.
[9] Tombari et al. 2011. [10] Frome et al. 2004. [11] Ioannou et al. 2012. [12] Drost et al. 2010. [13] Choi et al. 2012. [14] Akizuki et al. 2013.

名古屋CV・PRML勉強会 March 21, 201540

本研究の⽬的と基本アイデア
 ⽬的

 ⾼速性と⾼信頼性を両⽴する新たな特徴量を提案

 基本アイデア

 特徴点周りの領域内に含まれるデータを利⽤して低次元の特徴量を記述


低次元特徴の利⽤
特徴点周りのデータを利⽤-> 処理の⾼速化-> 認識の⾼信頼化

 Difference of Normals (DoN) 特徴量 スカラー値-> ⾼速な処理が可能-> 誤照合の増加
 相対的な値

DoN 特徴量に少数の特徴量を組み合わせることによって，特徴量の信頼性を⾼め，誤照合の低減を図る
名古屋CV・PRML勉強会 March 21, 201541

基本アイデアCombination of Curvatures and Difference of Normalsnˆ (p, rs )⼩領域の曲率値  sp
キーポイントp

モデル

rsnˆ (p, rs )⼩領域
法線ベクトル算出nˆ (p, rl )
p

rl
⼤領域

p

nˆ (p, rl )

 nˆ (p, rs , rl )差ベクトルの⻑さ||  n̂ ||Differenceof Normals

⼤領域の曲率値  l

法線ベクトル算出

F  (||  nˆ ||,  s ,  l )次元数＝３

 Y. Ioannou, B. Taati, R. Harrap, and M. Greenspan, ``Difference of Normals
as a Multi-Scale Operator in Unorganized Point Clouds," International
Conference on 3D Imaging, Modeling, Processing, Visualizayion andTransmission, pp.501-508, 2012.
 永瀬誠信, 秋⽉秀⼀, 橋本学, “CCDoN: ばら積み部品の⾼速・⾼信頼な6⾃由度
位置姿勢推定のための局所特徴量", 精密⼯学会誌, Vol.80, No.12, pp.11381143, 2014.

名古屋CV・PRML勉強会 March 21, 201542

実験に⽤いたシミュレーションデータ
 各物体それぞれ約 115 シーンのデータを⽤いた
 点群データは 1 点あたり 0.40 mm ピッチの離散化点群

物体 A

物体 B

物体 A のシミュレーション
シーンデータ

物体 B のシミュレーション
シーンデータ名古屋CV・PRML勉強会 March 21, 201543

シミュレーションデータに対する認識成功率 [%]

物体 A

物体 B

認識成功率 Pr [%]

100
80
60
40
20
0
SHOT

物体
物体AA

VPM
物体
物体BB

提案⼿法

各物体それぞれ約 115 シーンのデータを⽤いた
CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB
名古屋CV・PRML勉強会 March 21, 201544

シミュレーションデータに対する処理速度 [fps]処理速度 F [fps] （対数）

物体 A

物体 B

10

1

0.1

0.01
SHOT

VPM
物体
物体AA

提案⼿法

物体
物体BB

CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB

名古屋CV・PRML勉強会 March 21, 201545

実験に⽤いた実データ
 各物体それぞれ約 130 シーンのデータを⽤いた
 点群データは 1 点あたり 0.40 mm ピッチの離散化点群

物体 C（コンセントプラグ）

物体 D（ギア）

物体 E（⽊棒）

物体 F（ジョイント）名古屋CV・PRML勉強会 March 21, 201546

実データに対する認識成功率 [%]認識成功率 Pr [%]

物体 C

物体 D

物体 E

物体 F

90
70
50
30
SI
Object
物体 CA

SHOT

DHM

Object
物体 DB

VPM

Object
物体 EC

DoN

Object
物体 FD: 領域ベース

CCDoN

提案⼿法

: 点対ベース

各物体それぞれ約 115 シーンのデータを⽤いた
CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB

47

名古屋CV・PRML勉強会 March 21, 2015

実データに対する処理速度 [fps]

物体 C

物体 D

物体 E

物体 F

処理速度 F [fps]

10
1
0.1
0.01
SI
Object
物体 CA

SHOT

DHM

Object
物体 DB

Object
物体 EC: 領域ベース

VPM

DoN

Object
物体 FD

CCDoN

提案⼿法

: 点対ベース
CPU: Intel®CORETM i7‐3.4GHz, System memory: 8GB
名古屋CV・PRML勉強会 March 21, 201548

ベクトルペアマッチング

VPM「複数点間の情報記述」型

従来⼿法の問題点
Johnson, et al., “Using Spin Images for Efficient Object
Recognition in Cluttered 3D Scenes”, PAMI, 1999.


モデル全点から作成した視点変化に不変な照合データを利⽤

問題点

照合に⽤いるデータ量が多いので，処理時間が膨⼤ααββChen, et al., “3D Free-form Object Recognition in Range
Images using Local Surface Patches”, PRL, 2007.

 曲率の⼤きな微⼩形状をもとに，視点変化に不変な特徴データを作成
問題点

曲率の⼤きな点が照合に有効とは限らず，類似した曲率値をもつ点と誤照合

名古屋CV・PRML勉強会 March 21, 201550

基本アイデア
1.

少数の特徴点を⽤いる．（例︓全点の１％）
⾼速化に寄与する．

物体モデル(3-D （メッシュ表現）
point representation)

重要なこと…
どのような3次元特徴点が選択されるべきか︖

特徴点

2. 本研究では，共起発⽣確率が低い点を選択す
る．周囲には，これと似た形状が存在しないので，誤認識のリスクが低い．

ごく少数の
特徴点

マッチングデータ
名古屋CV・PRML勉強会 March 21, 201551

3次元ベクトルペア

3つの3次元点


3次元姿勢パラメータを決定するためには，3つの3次元点があればよい．

v1
Q1



l1

θ

l2

v2
Q2

視点を共有する2本のベクトル

幾何学的パラメータ
l1 = |v1| = |PQ1|,
l2 = |v2| = |PQ2|,
θP

Shape description
value
sp, sq1, sq2＝

3次元ベクトルペア

この表現により，幾何学的な表現がシンプルになる．

名古屋CV・PRML勉強会 March 21, 201552

選択された特徴的ベクトルペア


4種類の物体からベクトルペアを選択

物体モデル外観選択された特徴的ベクトルペア

名古屋CV・PRML勉強会 March 21, 2015

53

特徴抽出結果の例︓ 曲率法 v.s. 提案⼿法
曲率法

提案⼿法

明確な
稜線

⾯取りした
コーナー部

凹凸の多い物体
浅いくぼみ

フラットな物体
3次元ベクトルペアは独⾃性の⾼い形状から抽出される．
この3次元ベクトルペアを照合に使う．
名古屋CV・PRML勉強会 March 21, 201554

3次元ベクトルペアマッチング
累積される
ベクトルペアが⼊⼒画像と照合され，モデル重⼼が投票される．

物体モデル外観

多数のベクトルペアに⽀持されている位置（累積された重⼼位置）が，認識結果として出⼒される．

照合に使⽤される Accumulated value of centroid
Low
High
ベクトルペア（50 ペア）物体モデル重⼼の候補位置

認識結果

名古屋CV・PRML勉強会 March 21, 201555

実シーンに対する認識性能
N: 抽出されたベクトルペア数
Pr: 認識成功率
T: 処理時間
⼿法

特徴量

N

Pr

T(sec)

Spin Image
法

Spin maps

-

93.7%

20.68

ランダム法

Vector pairs

10

47.6%

8.66

曲率法

Vector pairs

10

77.0%

0.74

提案⼿法

Vector pairs

10

81.7%

0.21

40

92.9%

1.19

Spin Image法による結果（失敗）

提案⼿法による結果（成功）成功
Alignment error
±0mm
+8mm
-8mm
名古屋CV・PRML勉強会 March 21, 2015

56

VPMを⽤いたビンピッキングシステム

名古屋CV・PRML勉強会 March 21, 2015

特徴点の可観測性の考慮

57

可観測性を考慮した 3D特徴点選択
[Akizuki2014]

⼊⼒シーンにおける観測可能性の⾼い点を⾃動選択

物体周りに複数の視点を設定し，各点の観測可能性をモニタリング
観測可能性の⾼い点を特徴点とする．
仮想視点群

可観測率マップの⽣成
High

High

Low

Low

可観測率マップ（視点１）

可観測率マップ（視点２）

S. Akizuki，M. Hashimoto︓“Position and Pose Recognition of Randomly Stacked Objects using Highly Observable 3D Vector Pairs”，
Proc. IECON，pp.5266-5271, Oct, 2014.
名古屋CV・PRML勉強会 March 21, 2015

59

選択された特徴点

Top
view

Bottomview

独⾃性のみ

可観測性のみ

2指標統合

名古屋CV・PRML勉強会 March 21, 201560

さまざまな形状の物体に対する認識結果
 4種類×約113シーンで実験

認識率Pr[%]と処理時間T[sec]の関係

SHOT+Correspondence Grouping[Tombari,PSIVT2011]

FPFH+RANSACベース照合[Buch,ICRA2013]

VPM(独⾃性のみ)
VPM(可観測性のみ)
VPM(独⾃性＋可観測性)

Pr
T
Pr
T
Pr
T
Pr
T
Pr
T

A

51.3
27.78
54.9
0.67
40.7
0.27
97.3
0.47
99.1
0.44

B

77.9
19.46
11.5
3.97
31.0
1.41
100.0
1.76
95.6
1.76

シミュレーションデータ

シミュレーションデータ

シミュレーションデータ

Aの認識結果（平⾯形状で構成）

Bの認識結果（細かい凹凸が多い）

Cの認識結果（円筒形状）

C

33.6
33.69
73.5
1.07
47.8
0.39
94.7
1.76
92.0
1.42

3次元CGの活⽤

20.3
22.48
31.0
0.91
33.6
0.72
85.0
1.99
85.8
1.81
実データ

Dの認識結果（実距離データ）

名古屋CV・PRML勉強会 March 21, 2015

よい特徴量とわるい特徴量の区別

D61

従来研究の問題，研究の⽬的


従来研究の共通の問題

複数物体の接触領域に起因した認識エラー

原因︓物体モデル単体から得られた特徴量が「よい」とは限らない

物体モデル（凹凸をカラー表⽰）

ばら積みシーン

研究の⽬的
ばら積み状況下においても，⾼速かつ確実に物体の位置姿勢を認識する新しい⼿法の提案
名古屋CV・PRML勉強会 March 21, 2015

63

アイデア
1. 3点を⽤いた認識

膨⼤な3次元データから，3点のみを選択して認識に使⽤処理の⾼速化

3点の選び⽅が重要
3D-CADデータ（3D点の集合）

2. 3点の選択⽅法

認識性能が⾼い3点を選択
1.
2.
3.

3D-CGを⽤いて⼊⼒シーンを精密にシミュレート
3点をポジティブとネガティブに分類
3点の性能を数値化
確実性の⾼い認識
ポジティブ
ネガティブ
物体モデル

シミュレートした⼊⼒シーン

名古屋CV・PRML勉強会 March 21, 201564

3次元CGを⽤いた⼊⼒シーンのシミュレート
シミュレータを⽤いてリアリティの⾼いばら積みシーンを⾃動⽣成
物理エンジンには Sketchy Physics を使⽤

ばら積みシーン（センサ⼊⼒を模擬した3次元データ）
さまざまなパターンのばら積み状態をシミュレート
名古屋CV・PRML勉強会 March 21, 201565

認識性能評価
認識性能が最⼤となる3点を選択
特徴空間
ポジティブ
（正しい対応）P+x

2. ポジティブ群の集中性 P +





P－



P x   1   1  P y , x y i y 

i

安定した3点の検出

P +が⼤きいほど集中

1. ネガティブ群との分離性 P －P －が⼤きいほど分離

評価式

sp

sq 2

ネガティブ
（間違った対応）

x︓ポジティブ代表点
x を⽤いて分離性と集中性を評価 P  x   min 1  P y i , x Phi
y i y 

sq1

誤認識の低減R = P+ P －R 値の⾼い3点を選択
名古屋CV・PRML勉強会 March 21, 201566

認識性能の評価実験①（予備実験）
コンピュータで⽣成したシミュレーション画像を30枚使⽤

Recognition rate : 100.0%
名古屋CV・PRML勉強会 March 21, 201567

認識性能の評価実験② （実験⽤データ）

3-D CADモデル

物体モデル
3次元データ

提案⼿法による
認識実験

3-Dプリンタ

実物体

⼊⼒シーン外観

⼊⼒3次元データ

名古屋CV・PRML勉強会 March 21, 201568

認識性能の評価実験② （本実験）ばら積みシーン140枚に対する認識実験
ライバル⼿法との性能⽐較
認識成功率

処理時間

Spin Image法 [Johnson1999]

71.4%

57.99秒

Correspondence Grouping法 [Tombari2010]

62.1%

16.66秒曲率法 [Takeguchi2004]+VPM法 [Akizuki2013]

91.4%

5.28秒

Vector Pair Matching(VPM)法 [Akizuki2013]

75.7%

0.61秒

提案⼿法

94.3%

0.36秒

CPU︓Intel®CORE™i7-3770

システムメモリ︓16GB

提案⼿法はロボットの動作サイクル時間以内に⾼信頼な認識を実現
名古屋CV・PRML勉強会 March 21, 2015

起伏が少ない物体に対する LRF

⼈⼯構造物や⼯業部品では，平⾯部が多い物体が多い．

69

GRF（Global Reference Frame）[Akizuki2014]

 従来 LRF の問題点

 平⾯的な形状の場合に，軸⽅向が不安定

偏り⽅向

第１軸︓安定（平⾯上の法線）
例１

例２

例３

第２軸︓不安定
第３軸︓不安定
法線ではなく，外形の偏り（⼤域的情報）を⽤いた RF を提案→ ⼯業物体に対する実⽤解

Demo

Demo movie: http://isl.sist.chukyo-u.ac.jp/MovieTheater/MovieTheater.html
秋⽉秀⼀, 橋本学, Global Reference Frame︓平⾯的な形状のための3Dオリエンテーションを⽤いた表⾯凹凸密度に依存しない位置姿勢
推定, 第19回知能メカトロニクスワークショップ（iMec2014）, A2-4, pp.82-86, 2014/7/12．
名古屋CV・PRML勉強会 March 21, 2015

点群密度に対するロバスト化

RPD特徴量71

点群密度の差に起因する特徴点の再現性の低下
 予備実験

計測距離に起因する点群の密度変化 v.s. 特徴量の再現性

2.80

0.95

2.50

0.90

2.20

0.85

1.90
0.80

1.60

Mesh Resolution

1.30

0.75

特徴量の再現性

1.00

特徴量の再現性

点群の粗さ Mr [mm]※再現性︓2つの特徴ベクトル間の内積値※Wd=700mm時をモデル（基準）として，遠⽅から撮影したデータと照合（使⽤特徴量︓SHOT）

0.70
700

800

900

（基準）

1000

1100

1200

1300

1400

センサと対象物との距離 Wd [mm]計測距離の変化によって，特徴量の再現性が低下する．
このほか，ノイズの影響もある（∴Wd=700mmでも1.0にならない）

名古屋CV・PRML勉強会 March 21, 201573

RPD（Relative Point Density）特徴量
基本アイデア︓
複数の局所領域に含まれる点数の相対⽐率を特徴量とする
 予め設定された 3 領域における相対点数⽐を計算
 点群の密度変化に対して不変
C(x)︓点 x 周りの球領域内の点の個数
l1
q1

p
θ

l2
q2

 C  p  C q1  C q2  
f 
,
,

S
S
S 

S  C  p   C q1   C q2 
3点セット（ベクトルペア）の幾何パラメータ
l1︓p-q1 間の距離
l2︓p-q2 間の距離
θ ︓p-q1 と p-q2 の間の⾓
名古屋CV・PRML勉強会 March 21, 201574

RPD 特徴量の再現性および物体認識性能
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2

認識率 [％]

再現性（特徴ベクトル間の内積値）

⽐較対象︓SHOT 特徴量 [Tombari2010]，オリジナルの Vector Pair 特徴量 [Akizuki2014]

Vector Pair（Original）
SHOT（r=6.0）
SHOT（r=12.0）
SHOT（r=18.0）
RPD（Proposed）
1.0
1.5
密←

2.0

2.5

3.0
3.5
4.0
4.5
点群の粗さ [mm/point]

5.0

5.5

6.0
→粗

100
90
80
70
60
50
40
30
20
10
0
1.0
密←

VPM（Original Vector Pair）

3DHV（SHOT）
RPD（Proposed）
1.5

2.0

2.5 3.0 3.5 4.0 4.5
点群の粗さ [mm/point]

5.0

5.5

6.0
→粗

RPD 特徴量は，粗い点群に対しても再現性が⾼く，認識率も⾼い
名古屋CV・PRML勉強会 March 21, 2015

撮像系と認識アルゴリズムの密な融合

75

Coded Multi Flash Imaging の提案


８⽅向からの 能動照明 を利⽤
８枚の画像情報を 1 枚に圧縮 コード化

イメージングと特徴量の緊密な融合

Coded Multi Flash Imaging
（参考）
通常の
カメラ画像

Multi Flash Camera

8⽅向能動照明
画像群

提供︓三菱電機(株)殿

バイナリ勾配特徴量画像

バイナリ勾配特徴量画像
3D情報（起伏の位置，⼤きさ，⽅向）を 1 枚の画像に集約⇒シンプルな装置で，疑似３次元情報の取得が可能
 R.Raskar et al., “Non-photorealistic camera:Depth edge detection and stylized rendering using multi-flash imaging”, 2004.
 櫻本泰憲，兼松裕⼀，秋⽉秀⼀，橋本学，渡邊清⾼，関真規⼈，Coded Multi Flash Imagingによる3次元凹凸構造特徴マッチング，ビジョン技術の実利⽤ワークショップ（ViEW2014），IS2-5（OS4-H1），2014．

77

名古屋CV・PRML勉強会 March 21, 2015

8⽅向照明画像群からのバイナリ勾配特徴量画像の⽣成

k : Lighting direction

Images Tk obtained from the MFC

Images Gk of gradient value
94

76

53

40

28

48

57

84

G1 ( i, j )G2 ( i, j )G3 ( i, j )G4 ( i, j )G5 ( i, j )G6 ( i, j )G7 ( i, j )G8 ( i, j )Gradient values at the coordinate (i, j)
1st

3rd

5th

7th

8th

6th

4th

2nd

Ranked gradient values at the coordinate (i, j)
1Image FT ofbinarized gradient features

1

0

0

0

0

1

1

Binarized gradient feature at the coordinate (i, j)
名古屋CV・PRML勉強会 March 21, 201578

従来⼿法との性能⽐較結果
参照画素数[pixel]

認識率
[%]

処理時間
[msec](1) テンプレートマッチング

10000

66

2570

(2) Chamfer Matching [Barrow1977]

230

30

76

(3) SURF [Bay2008]

7 [point]

0126(4) OCPTM [秋⽉2013]

500

74

230

(5) 提案⼿法（ 2 値）

500

98

530

⼿法

CPU：Intel®CORE™i5（2.50GHz），RAM：4GB

名古屋CV・PRML勉強会 March 21, 2015

79

汎⽤性の評価
プリント基板（凹凸部が多い例）

プラスチック部品（凹凸部が少ない例）

⾦属部品（照明の影響を受けやすい例）

⼊⼒画像サイズ（704x480） ⼊⼒画像サイズ（704x480） ⼊⼒画像サイズ（704x480）
テンプレート画像サイズ(101x89)

テンプレート画像サイズ（50x80）

テンプレート画像サイズ（136x125）

名古屋CV・PRML勉強会 March 21, 201580

汎⽤性の評価結果
⼿法

プリント基板
認識率 [%]

プラスチック部品
認識率 [%]

⾦属部品
認識率 [%](1) テンプレートマッチング

100(50枚/50枚)

58(29枚/50枚)(28枚/50枚)(2) Chamfer Matching54(27枚/50枚)

0(0枚/50枚)

76(38枚/50枚)(3) SURF

94(47枚/50枚)

6(3枚/50枚)

22(11枚/50枚)(4) OCPTM

100(50枚/50枚)

86(43枚/50枚)

98(49枚/50枚)(5) 提案⼿法 ( 2 値)

100
(50枚/50枚)

96(48枚/50枚)

98(49枚/50枚)

56※CPU：Intel®CORE™i5（2.50GHz），RAM：4GB

名古屋CV・PRML勉強会 March 21, 201581

表⾯凹凸の⼤きさと認識率の関係

表⾯の凹凸の⼤きさ 1 mm

表⾯の凹凸の⼤きさ 2 mm

表⾯の凹凸の⼤きさ 5 mm

表⾯の凹凸を 5R ⾯取り

⼤きさ 1mm
認識率 [%]

⼤きさ 2mm
認識率 [%]

⼤きさ 5mm
認識率 [%]

⾯取り
認識率 [%]

提案⼿法 ( 2 値)

96

98

100

98

提案⼿法 ( 3 値)

98

98

98

98

⼿法

名古屋CV・PRML勉強会 March 21, 201582

市販センサ（Kinect）との性能⽐較
表⾯の凹凸形状のみが異なる 4 種類の図柄無し物体を使⽤

Microsoft 65cm
Kinect

実験環境

丸型

三⾓型
距離画像（Kinect）

四⾓型
星型
実験対象物
（表⾯凹凸の⾼さ︓2 ㎜）
バイナリ勾配特徴量画像⼿法

認識率 Pr [%]処理時間 T [msec]

Kinect ＋
画像マッチング

38（19枚/50枚）

3120

提案⼿法

98（49枚/50枚）

510

CPU：Intel®CORE™i5（2.50GHz），RAM：4GB
名古屋CV・PRML勉強会 March 21, 2015

3次元特徴量の新応⽤

83

3次元特徴量の感性指標計測への応⽤[Tobitani, ViEW2014]

モノに対する⼈間の感性を指標化する試み

安定な

不安定な

活動性→

3.0
2.0
1.0
派⼿な

地味な

柔らかい

硬い

.0
-3.0 -2.0 -1.0

.0

1.0

2.0

3.0

-1.0

⽴体物に関する⼈間の印象（形容表現）

-2.0
-3.0
評価性→
85

名古屋CV・PRML勉強会 March 21, 2015

認識性能評価に利⽤できる公開データベース
Database 名

URL

Stanford Bunny などのモデル

http://graphics.stanford.edu/data/3Dscanrep/

⼈，動物，楽器，⾞などさまざまな分野のモデル

http://shape.cs.princeton.e
du/benchmark/

ギアやベアリングなどの⼯業部品

https://engineering.purdue.
edu/cdesign/wp/?page_id=1
386

UWA Dataset

Chef や T-rex などのフィギアから構成されるデータセット

http://www.csse.uwa.edu.au/~ajmal/recognition.html

Queen’s Range Image and 3-D
Model Database

Angel や Big bird などのフィギアから構成されるデータセット

http://rcvlab.ece.queensu.ca/~qridb/QR3D/DatabasePag
exyz.html

3D Object Recognition andSegmentation

Bunny, chef, chicken などのモデルから構成されるデータセット

http://www.dsi.unive.it/~rodola/data.html

RGB-D Object Dataset

コップやハサミなどの⽇常品から構成されるデータセット

http://rgbddataset.cs.washington.edu/i
ndex.html

CVLAB 3D Object Recognition andReconstruction Dataset

Stanford 3D Scanning Repository の
3D モデルから作成したシミュレーショ
ンデータとレンジセンサで取得した
実データ

http://vision.deis.unibo.it/r
esearch/80-shot

3 Stanford 3D Scanning RepositoryDモ Princeton Shape Benchmark
デル Engineering Shape Benchmark

3
D
モ
デ
ル
＆
シ
ー
ン

データ内容

名古屋CV・PRML勉強会 March 21, 201586

まとめと展望1. 基礎︓3次元データの獲得とデータ構造★汎⽤センサや開発環境が整ってきた．
★精度＆速度＆低価格＆現場使⽤可能なセンサの出現が待たれる．

2. 系譜︓3次元特徴量と局所参照座標系★再現性と速度の両⽴がまだ⼗分とはいえず，さらなる発展に期待．
★実⽤上は，LRFの設計にも関⼼を払いたい．⼯夫の余地あり．

3. 事例︓実利⽤のための研究例
低次元・⾼アイデンティティ特徴量
b. 点群密度に対するロバスト化
c. 撮像系とアルゴリズムの融合
・ ・ ・★⼯業ロボットビジョン分野への適⽤がさらに加速する．
★実利⽤化を阻む課題（例︓密度変化問題）も残っている（新テーマ）．
★新⽤途（例︓3次元物体検索，感性指標など）にも期待したい．
a.

名古屋CV・PRML勉強会 March 21, 2015

Thank you for your attention!

87参考⽂献 1[Adan2011] A.Adan，P.Merchan，S.Salamanca, 3D scene retrieval and recognition with Depth Gradient Images, Pattern
Recognition Letters, Vol.32, pp.1337-1353, 2011.
[Akizuki2012] S.Akizuki,M.Hashimoto, High-speed and Reliable Object Recognition using Distinctive 3-D Vector Pairs in a
Range Image, International Symposium on Optmechatronic Technologies (ISOT), pp1-6, 2012.
[Akizuki2013a] 秋⽉秀⼀，橋本学，特徴的3-Dベクトルペアを⽤いたばら積み部品の⾼速位置姿勢認識，電気学会論⽂誌C
研究開発レター，Vol.133，No.9, pp.1853-1854, 2013.
[Akizuki2013b] 秋⽉秀⼀，橋本学，可観測性を考慮した3Dベクトルペア選択によるばら積み部品の位置姿勢認識，ビジョ
ン技術の実利⽤ワークショップ（ViEW）, OS5-O2, Dec. 2013.
[Akizuki2014a]秋⽉秀⼀，橋本学, Global Reference Frameを⽤いた対象物の⾒えに依存しない3次元位置姿勢認識, Vol.80,
No.12, 精密⼯学会誌, 2014.
[Akizuki2014b] 秋⽉秀⼀，橋本学, 安定的な3D特徴量記述のための点群の密度変化にロバストなLocal Reference Frame, ビ
ジョン技術の実利⽤ワークショップ (ViEW), 2014.
[Besl1992] P.J.Besl, N.D.McKay, A Method For Registration Of 3-D Shapes, IEEE Transactions on Pattern Analysis andMachine Intelligence (PAMI), Vol.14, No.2, pp.239-256, 1992.
[Bolles1986] R.Bolles, R.Horaud, 3DPO: A three-dimensional part orientation system, International Journal of Robotics
Research, Vol.5, Issue 3, pp.3-26, 1986.
[Chen2007] H.Chen, B.Bhanu, 3D Free-Form Object Recognition in Range Images Using Local Surface Patches, Pattern
Recognition Letters, Vol.28, Issue 10, pp.1252-1262, 2007.
[Chetverikov2002] D.Chetverikov,D.Svirko, D.Stepanov, P.Krsek, The Trimmed Iterative Closest Point Algorithm,
Proceedings. International Conference on Pattern Recognition (ICIP), Vol.3, pp.545-548, 2002.
[Choi2012] C.Choi, Y.Taguchi, O.Tuzel, M.Liu, S.Ramalingam, Voting-Based Pose Estimation for Robotic Assembly Using a
3D Sensor, IEEE International Conference on Robotics and Automation (ICRA), pp.1724-1731, 2012.
[Chua1997] C.S.Chua, R.Jarvis, Point Signatures: A New Representation for 3D Object Recognition, International Journalof Computer Vision (IJCV), Vol.25, Issue 1, pp.63-85, 1997.
[Dorai1995] C.Dorai，A.K.Jain, COSMOS-A Representation Scheme for Free-Form Surfaces, Proceedings. Fifth
International Conference on Computer Vision (ICCV), pp.1024-1029, 1995.
[Drost2010] B.Drost, M.Ulrich, N.Navab, S.Ilic, Model Globally, Match Locally: Efficient and Robust 3D Object
Recognition, 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.998-1005, 2010.
名古屋CV・PRML勉強会 March 21, 2015

89

参考⽂献 2[Fitzgibbon2003] A.W.Fitzgibbon, Robust Registration of 2D and 3D points sets, Image Vision Computing, Vol.21, pp.11451153, 2003.
[Frome2004] A.Frome, D.Huber, R.Kolluri, T.Bulow, J.Malik, Recognizing Object in Range Data Using Regional Point
Descriptors, 8th European Conference on Computer Vision, Prague, Czech Republic, pp.224-237, 2004.
[Germann2007] M.Germann，M.D.Breitenstein, I.K.Park, H.Pfister, Automatic Pose Estimation for Range Images on theGPU, International Conference on 3-D Digital Imaging and Modeling(3DIM), pp.81-90, 2007.
[Granger2002] S.Granger, X.Pennec, Multi-scale EM-ICP:A Fast and Robust Approach for Surface Registration, European
Conference on Computer Vision(ECCV), Vol.2353, pp.418-432, 2002.
[Guo2013] Y.Guo, F.Sohei, M.Bennamoun, M.Lu, J.Wan, Rotational Projection Statistics for 3D Local Surface Description
and Object Recognition, International Journal of Computer Vision (IJCV), Vol.105, Issue 1, pp.63-86, 2013.
[Hashimoto1999] 橋本学，⿊⽥伸⼀，鷲⾒和彦，宇佐美照夫，仲⽥周⼆, シーン仮説と⼊⼒画像の⼤局的画像整合性評価に基づく複数物体の認識, 電学論D-II, Vol.J82-D-II(12), pp.2288-2297, 1999.
[Hetzel2001] G.Hetzel，B.Leibe，P.Levi，B.Schiele, 3D Object Recognition from Range Images using Local Feature
Histograms, Computer Vision and Pattern Recognition, Proceedings of the IEEE Computer Society Conference on
Computer Vision and Pattern Recognition (CVPR), pp.II-394-II-399, 2001.
[Horn1984] B.K.P.Horn, Extended Gaussian Images, Proceedings of the IEEE, Vol.72, No.12, pp.1671-1686, 1984.
[Ikeuchi1993] K.Ikeuchi, S.B.Kang, Assembly Plan from Observation, AAAI Technical Report FS-93-04, pp.115-119, 1993.
[Ioannou2012] Y.Ioannou, B.Taati, R.Harrap, M.Greenspan, Difference of Normals as a Multi-scale Operator in
Unorganized Point Clouds, International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission(3DIMPVT), pp.501-508, 2012.
[Johnson1997] A.E.Johnson，M.Hebert, Surface Registration by Matching Oriented Points, Proceedings. International
Conference on Recent Advances in 3-D Digital Imaging and Modeling, pp.121-128, 1997.
[Johnson1999] A.E.Johnson，M.Hebert, Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, IEEE
Transactions on Pattern Analysis and Machine Intelligence (PAMI), pp.433-449, 1999.
[Kaneko2003] S.Kaneko, T.Kondo, A.Miyamoto, Robust matching of 3D contours using iterative closest point algorithm
improved by M-estimation, Pattern Recognition, vol.36, pp.2041-2047, 2003.
[Liu2010] M.Liu, O.Tuzel, A.Veeraraghavan, R.Chellappa, A.Agrawal, H.Okuda, Pose Estimation in Heavy Clutter using a
Multi-Flash Camera, IEEE International Conference on Robotics and Automation (ICRA), pp.2028-2035, 2010.
名古屋CV・PRML勉強会 March 21, 201590

参考⽂献 3
[Marton2010] Z.Marton，D.Pangeric，R.B.Rusu，A.Holzbach，M.Beetz, Hierarchical Object Geometric Categorization andAppearance Classification For Mobile Manipulation, IEEE-RAS Proc. International Conference on Humanoid Robots (ICHR),
pp.365-370, 2010.
[Mian2010] A.Mian, M.Bennamoun, R.Owens, On the Repeatability and Quality of Keypoints for Local Feature-based 3D
Object Retrieval from Cluttered Scenes, International Journal of Computer Vision (IJCV), Vol.89, Issue 2-3, pp.348-361,
2010.
[Murase1994] 村瀬洋，シュリーナイヤー，2次元照合による3 次元物体認識-パラメトリック固有空間法-，電学論D-II，Vol.J77-D-II, No.11, pp.2179-2187, 1994.
[Nagase2014]永瀬誠信，秋⽉秀⼀，橋本学, CCDoN︓ばら積み部品の⾼速・⾼信頼な6⾃由度位置姿勢推定のための局所特徴量, Vol.80, No.12, 精密⼯学会誌, 2014.
[Nuchter2007] A.Nuchter, K.Lingemann, J.Hertzberg, Cached K-d Tree Search For ICP Algorithms, International
Conference on 3-D Digital Imaging and Modeling (3DIM), pp.419-426, 2007.
[Park2010] I.K.Park, M.Germann, M.D.Breitenstein, H.Pfister, Fast and Automatic Object Pose Estimation for Range
Images on the GPU, Machine Vision and Applications, Vol.21, No,5, pp.749-766, 2010.
[Petrelli2011] A.Petrelli, L.D.Stefano, On the Repeatability of the Local Reference Frame for Partial Shape Matching, IEEE
International Conference on Computer Vision (ICCV), pp.2244-2251, 2011.
[Phillps2007] J.M.Phillps, R.Liu, C.Tomasi, Outlier Robust ICP for Minimaizing Fractional RMSD, Sixth International
Conference on 3-D Digital Imaging and Modeling (3DIM), pp.427-434, 2007.
[Rusu2008] R.B.Rusu, N.Blodow, Z.C.Marton, M.Beetz, Aligening Pointb Cloud Views using Persistent Feature Histgrams,
IEEE/RSJ International Conference on Intelligent Robots and System (IROS), pp.22-26, 2008.
[Rusu2010] R.B.Rusu, G.Bradski, R.Thibaux, J.Hsu, Fast 3D Recognition and Pose Using the Viewpoint Feature Histogram,
IEEE/RSJ International Conference on Intelligent Robots and System (IROS), pp.2155-2162, 2010.
[Sakuramoto2014] 櫻本泰憲, 兼松裕⼀, 秋⽉秀⼀, 橋本学, 渡邊清⾼, 関真規⼈, Coded Multi Flash Imagingによる3次元凹凸
構造特徴マッチング，ビジョン技術の実利⽤ワークショップ（ViEW），2014.
[Shibata2013] Yutaro Shibata, Manabu Hashimoto, An Extended Method of the Parametric Eigenspace Method byAutomatic Background Elimination, Proceeding of 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV),
pp.246-249, 2013.
[Shin2007] J.Shih，C.Lee，J.T.Wang, A New 3D Model Retrieval Approach Based on the Elevation Descriptor, Pattern
Recognition, Vol.40, pp.283-295, 2007.
名古屋CV・PRML勉強会 March 21, 2015

91

参考⽂献 4[Sumi1997] ⾓保志，富⽥⽂明, ステレオビジョンによる3次元物体の認識，信学論D-II, Vol.J80-D-II, No.5, pp.1105-1112,
1997.
[Tateno2011] ⽴野圭祐，⼩⽵⼤輔，内⼭晋⼆, ビンピッキングのための距離・濃淡画像を最ゆうに統合する⾼精度⾼安定なモデルフィッティング⼿法, 信学論D, vol.J94-D, No.8, pp.1410-1422, 2011.
[Takeguchi2001] 武⼝智⾏，⾦⼦俊⼀，近藤司，五⼗嵐悟, 距離アスペクト画像の2次元照合によるロバスト物体認識, 電学
論D-II, Vol.J84-D-II,No.8, pp.1710-1721, 2001.
[Takei2014] 武井翔⼀，秋⽉秀⼀，橋本学, 識別性能の予測評価に基づく選択的特徴量を⽤いた物体認識, 第20回画像セン
シングシンポジウム（SSII）, pp.IS2-06-1-6, 2014．
[Tombari2010] F.Tombari, S.Salti, L.D.Stefano, Unique Signatures of Histograms for Local Surface Description, European
Conference on Computer Vision(ECCV), pp.356-369, 2010.
[Ulrich2009] M.Ulrich，C.Wiedemann，C.Steger, CAD-Based Recognition of 3D Objects In Monocular Images, Proceedings.
IEEE International Conference on Robotics and Automation (ICRA), pp.2090-2097, 2009.
[Zaharescu2009] A.Zaharescu, E.Boyer, K.Varanasi, R.Horaud, Surface Feature Detection and Description with
Applications to Mesh Matching, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.373-380, 2009.
[ZinBer2003] T.ZinBer, J.Schmidt, H.Niemann, A Refind ICP Algorithm for Robust 3-D Correspondence Estimation,
Proceedings. International Confrence on Image Processing (ICIP), Vol.3, pp.II-695-8, 2003.

名古屋CV・PRML勉強会 March 21, 201592