2018/11/30 13:45-14:45

確率場と深層学習に関する第2回CRESTシンポジウム
http://randomfield.cs.waseda.ac.jp/index.php/symposium2

深層学習を用いた三次元物体認識
産業技術総合研究所 人工知能研究センター

金崎 朝子

3D物体認識とは• 3Dデータを入力し、物体のカテゴリ推定結果を出力すること（物体識別）システム

スターゲイジーパイ

Cf.) 物体検出、物体検索、パーツセグメンテーション

3D物体認識の分類
RGBDベース

Point Cloudベース

K. Lai et al., Sparse Distance Learningfor Object Recognition Combining RGB
and Depth Information. ICRA, 2011.

C. Qi et al., PointNet: Deep Learning on
Point Sets for 3D Classification andSegmentation. CVPR, 2017.

Voxelベース

Multi-viewベース

Z. Wu et al., 3D ShapeNets: A Deep
Representation for Volumetric Shape
Modeling. CVPR, 2015.

H. Su et al., Multi-view Convolutional
Neural Networks for 3D Shape
Recognition. ICCV, 2015.

3D物体認識の分類
RGBDベース

Point Cloudベース

K. Lai et al., Sparse Distance Learningfor Object Recognition Combining RGB
and Depth Information. ICRA, 2011.

C. Qi et al., PointNet: Deep Learning on
Point Sets for 3D Classification andSegmentation. CVPR, 2017.

Voxelベース

Multi-viewベース

Z. Wu et al., 3D ShapeNets: A Deep
Representation for Volumetric Shape
Modeling. CVPR, 2015.

H. Su et al., Multi-view Convolutional
Neural Networks for 3D Shape
Recognition. ICCV, 2015.

RGBDベース

RGB画像

CNN
認識結果

D画像

CNN

RGBDベースの3D物体認識（1/4）
MMSS: Multi-modal Sharable and Specific Feature Learning for
RGB-D Object Recognition
Anran Wang, Jianfei Cai, Jiwen Lu, and Tat-Jen Cham. IEEE ICCV, 2015.

pre-training

R
G
B

D

multi-modal
feature learning

R
G
B

D

最後のfully-connected層でRGBとDepthが共通部分を持つよう
Deep CNNを学習する

RGBDベースの3D物体認識（2/4）
Learning Rich Features from RGB-D Images for Object Detectionand Segmentation
Saurabh Gupta, Ross Girshick, Pablo Arbelaez, and Jitendra Malik. ECCV, 2014.

HHA: horizontal disparity, height above ground, and angle with gravityの3チャンネル

RGBDベースの3D物体認識（3/4）
Depth CNNs for RGB-D scene recognition: learning from scratch
better than transferring from RGB-CNNs
Xinhang Song, Luis Herranz, Shuqiang Jiang. AAAI, 2017.

• Depth画像はHHAコーディング、
RGB画像のCNNをFine-tuning
するのが常套手段。
• Depth CNNをスクラッチから学習する手法の提案。

Figure 5: Two-step learning of depth CNNs combining
weakly supervised pretraining and fine tuning.

RGBDベースの3D物体認識（4/4）
Implicit 3D Orientation Learning for 6D Object Detection fromRGB Images
M. Sundermeyer, Z. Marton, M. Durner, M. Brucker, and R. Triebel. ECCV, 2018.
BEST PAPER AWARD

RGBDベースの3D物体認識（4/4）
Implicit 3D Orientation Learning for 6D Object Detection fromRGB Images
M. Sundermeyer, Z. Marton, M. Durner, M. Brucker, and R. Triebel. ECCV, 2018.
BEST PAPER AWARD
Augmented Autoencoder

128次元のコード
Cosine類似度でリファレンスと比較

RGBDベースの3D物体認識（4/4）
Implicit 3D Orientation Learning for 6D Object Detection fromRGB Images
M. Sundermeyer, Z. Marton, M. Durner, M. Brucker, and R. Triebel. ECCV, 2018.
BEST PAPER AWARD
綺麗なの❌綺麗⇒綺麗❌不揃い⇒不揃い✔不揃い⇒綺麗
純粋に回転成分を表す潜在変数を獲得できる！！

不揃い

RGBDベースの3D物体認識（まとめ）• 基本は2.5次元（１フレームから適用可能）。
• Depth画像はHHAコーディングして、RGB CNNに似た
Depth CNNを（Fine-tuning等で）学習するのが一般的。
• 姿勢推定込みの認識によく使われる※ただしRGB画像だけでも上手く行っている印象…

3D物体認識の分類
RGBDベース

Point Cloudベース

K. Lai et al., Sparse Distance Learningfor Object Recognition Combining RGB
and Depth Information. ICRA, 2011.

C. Qi et al., PointNet: Deep Learning on
Point Sets for 3D Classification andSegmentation. CVPR, 2017.

Voxelベース

Multi-viewベース

Z. Wu et al., 3D ShapeNets: A Deep
Representation for Volumetric Shape
Modeling. CVPR, 2015.

H. Su et al., Multi-view Convolutional
Neural Networks for 3D Shape
Recognition. ICCV, 2015.

点群ベース

点群

・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・

Conv.
or
FC

ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー
ー

RGB, 法線 etc.

Pool.

FC

認識結果

ー
Classification

Point Cloudベースの3D物体認識（1/5）
PointNet: Deep Learning on Point Sets for 3D Classification andSegmentation
Charles R. Qi*, Hao Su*, Kaichun Mo, and Leonidas J. Guibas. IEEE CVPR, 2017.
ローカル特徴抽出

グローバル特徴抽出

幾何変換•

回転不変性を確保するため、Sortした点群に直接Multi-layer perceptron（mlp）を適用
すると精度が悪い。かわりに、Max Poolingするのが良かった。

Point Cloudベースの3D物体認識（2/5）
SO-Net: Self-Organizing Network for Point Cloud Analysis
Jiaxin Li, Ben M. Chen, and Gim Hee Lee. IEEE CVPR, 2018.

••

順序不変な自己組織化マップ（SOM）を作り、k近傍探索で点群をSOMノードに割り当てる。点群特徴量はノード毎にMax Pooling→FC層へと渡される。
局所特徴量抽出部の雰囲気が従来の点群特徴量に近い。Cf.) FPFH [Rusu et al., 2009]

Point Cloudベースの3D物体認識（2/5）
SO-Net: Self-Organizing Network for Point Cloud Analysis
Jiaxin Li, Ben M. Chen, and Gim Hee Lee. IEEE CVPR, 2018.

••

順序不変な自己組織化マップ（SOM）を作り、k近傍探索で点群をSOMノードに割り当てる。点群特徴量はノード毎にMax Pooling→FC層へと渡される。
局所特徴量抽出部の雰囲気が従来の点群特徴量に近い。Cf.) FPFH [Rusu et al., 2009]

従来手法(1)： Shape Context
S. Belongie, J. Malik, and J. Puzicha. "Shape context: A
new descriptor for shape matching and object
recognition." NIPS, 2001.
N個の全点につき
他のN-1個の点の相対座標をビン毎に投票ℎ𝑖 𝑘 =#{𝑞 ≠ 𝑝𝑖 : (𝑞 − 𝑝𝑖 ) ∈ bin(𝑘)}Point Cloudベースの3D物体認識（3/5）
Attentional ShapeContextNet for Point Cloud Recognition
Saining Xie, Sainan Liu, Zeyu Chen, and Zhuowen Tu. CVPR, 2018.

Conv.のかわりに
ShapeContextブロック
NxD⇒NxLxD⇒NxDout

1. selection
2. aggregation
3. transformation

従来手法(2)： Spin Image
A. E. Johnson, and M. Hebert. "Using spin images for efficient
object recognition in cluttered 3D scenes." Pattern Analysis andMachine Intelligence, IEEE Transactions on 21.5 (1999): 433-449.

各点のTangent Plane（接平面）に近傍点を射影し、
射影角𝛼と𝛽の2Dヒストグラムを作る

Point Cloudベースの3D物体認識（4/5）
Tangent Convolutions for Dense Prediction in 3D
M. Tatarchenko, J. Park, V. Koltun, Q.-Yi Zhou. CVPR, 2018.

𝒒𝒗

Tangent Convolution:

𝑋 𝒑 = න 𝑐(𝒖)𝑆(𝒖)𝑑𝒖𝜋𝒑= න 𝑐(𝒖) ∙ ෍ 𝑤(𝒖, 𝒗) ∙ 𝐹(𝒒) 𝑑𝒖
𝜋𝒑

Convolutionカーネル𝒗

全近傍点𝒒の持つ値から補完した値

Point Cloudベースの3D物体認識（4/5）
Tangent Convolutions for Dense Prediction in 3D
M. Tatarchenko, J. Park, V. Koltun, Q.-Yi Zhou. CVPR, 2018.

アプリケーションはセマンティックセグメンテーション

従来手法(3)： Point Pair Features (PPF)
Model Globally, Match Locally: Efficient and Robust 3D Object
Recognition
B. Drost, M. Ulrich, N. Navab, S. Ilic. CVPR, 2010.

二点間の距離と法線の相対角度で記述される４次元の特徴量Point Cloudベースの3D物体認識（5/5）
PPFNet: Global Context Aware Local Features for Robust 3D Point
Matching H. Deng, T. Birdal, S. Ilic. CVPR, 2018.
ローカルパッチ毎に点の座標、法線、PPFを並べたセットを特徴量としてPointNetに入力する

Point Cloudベースの3D物体認識（5/5）
PPFNet: Global Context Aware Local Features for Robust 3D Point
Matching H. Deng, T. Birdal, S. Ilic. CVPR, 2018.
アプリケーションは
点群レジストレーション
フラグメントのペアを入力すると（ローカルパッチの）対応を出力する

Correspondence Matrix

フラグメント１
フラグメント２

参考資料＠SlideShare• “CVPR2018のPointCloudのCNN論文とSPLATNet” – by Takuya Minagawa
https://www.slideshare.net/takmin/cvpr2018p
ointcloudcnnsplatnet• “三次元点群を取り扱うニューラルネットワー
クのサーベイ” – by Naoya Chiba
https://www.slideshare.net/naoyachiba18/ss120302579

Point Cloudベースの3D物体認識（まとめ）• 回転不変な局所（ローカル）特徴量をどうとるか。
• 局所（ローカル）特徴量をどう大域（グローバル）特徴量に統合するか。
• 物体の回転に強い。
• パーツセグメンテーションに応用しやすい。

3D物体認識の分類
RGBDベース

Point Cloudベース

K. Lai et al., Sparse Distance Learningfor Object Recognition Combining RGB
and Depth Information. ICRA, 2011.

C. Qi et al., PointNet: Deep Learning on
Point Sets for 3D Classification andSegmentation. CVPR, 2017.

Voxelベース

Multi-viewベース

Z. Wu et al., 3D ShapeNets: A Deep
Representation for Volumetric Shape
Modeling. CVPR, 2015.

H. Su et al., Multi-view Convolutional
Neural Networks for 3D Shape
Recognition. ICCV, 2015.

Voxelベース

CNN

認識結果

Voxelベースの3D物体認識（1/4）
3D ShapeNets: A Deep Representation for Volumetric Shapes
Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, and J. Xiao. IEEE CVPR, 2015.

•••

151,128 3D CAD models belonging to 660 unique object categories を
30 x 30 x 30のボクセルデータに変換して、Deep Learningで学習。
Light Field descriptor [Chen et al. 2003], Spherical Harmonic descriptor [Kazhdan et al. 2003]と比較して高性能。

Voxelベースの3D物体認識（2/4）
Orientation-boosted Voxel Nets for 3D Object Recognition
N. Sedaghat, M. Zolfaghari, E. Amiri, and T. Brox. BMVC, 2017.

= 𝑁次元= 𝑁 ∙ 𝑀次元
マルチタスク ロス：
•
•
•
•
•

垂直軸は固定で、そのまわり（azimuth）の回転を考える。
物体カテゴリ識別と姿勢（オリエンテーション）識別のマルチタスク学習。
テスト時は複数の回転姿勢のボクセルを入力し、カテゴリスコアを平均する。
テスト時にOrientation推定は使わない。（！）
マルチタスク学習によってカテゴリ識別精度が向上することを示した。

Voxelベースの3D物体認識（3/4）
PointGrid: A Deep Network for 3D Shape Understanding
Truc Le and Ye Duan, CVPR, 2018.

• 各ボクセルが0個、あるいはK個（一定数）の点を持つようなリサンプリングを行う• 各ボクセルはK個の点の(𝑥, 𝑦, 𝑧)座標を連結した3𝐾次元の特徴量を持つ
ボクセル解像度が粗い問題を解決！

Classification Network

Voxelベースの3D物体認識（4/4）
CubeNet: Equivariance to 3D Rotation and Translation
Daniel Worrall and Gabriel Brostow, ECCV, 2018.
CNN

普通の
Conv.

回転群

回転にequivalentな
Conv.

Cube GroupVoxelベースの3D物体認識（まとめ）• 低解像度（にせざるを得ない）のため認識精度は高くない。
– VoxelGridのような工夫が必要– （アーキテクチャを改良すれば精度は上がるような気がする。）• 回転にどう対応するか？という問題がある。
– CubeNetのようなのがあるがサンプリングが回転依存な問題は解消されていない

3D物体認識の分類
RGBDベース

Point Cloudベース

K. Lai et al., Sparse Distance Learningfor Object Recognition Combining RGB
and Depth Information. ICRA, 2011.

C. Qi et al., PointNet: Deep Learning on
Point Sets for 3D Classification andSegmentation. CVPR, 2017.

Voxelベース

Multi-viewベース

Z. Wu et al., 3D ShapeNets: A Deep
Representation for Volumetric Shape
Modeling. CVPR, 2015.

H. Su et al., Multi-view Convolutional
Neural Networks for 3D Shape
Recognition. ICCV, 2015.

マルチビューベース
視点１

画像１

視点２

画像2

視点3

画像3

CNN

認識結果

…

…
視点N

画像N

どこかにview poolingを置く

Multi-viewベースの3D物体認識（1/3）
Multi-view Convolutional Neural Networks for 3D Shape Recognition
H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller. IEEE ICCV, 2015.

• VGG-MアーキテクチャのCNN• 中間層（Conv5）の後にView pooling層を入れて情報統合• ModelNet40にて、ボクセルベースのShapeNetsと比べて8%性能
向上 (77% → 85%)

Multi-viewベースの3D物体認識（2/3）
PVNet: A Joint Convolutional Network of Point Cloud and Multi-View
for 3D Shape Recognition
Haoxuan You, Yifan Feng, Rongrong Ji, Yue Gao. ACM Multimedia, 2018.

マルチビュー画像と点群からAttention Fusionして精度改善

Multi-viewベースの3D物体認識（2/3）
PVNet: A Joint Convolutional Network of Point Cloud and Multi-View
for 3D Shape Recognition
Haoxuan You, Yifan Feng, Rongrong Ji, Yue Gao. ACM Multimedia, 2018.

マルチビュー画像と点群からAttention Fusionして精度改善

ModelNet
http://modelnet.cs.princeton.edu/•••

40種類のModelNet40と10種類のModelNet10がある。
2018/11/20現在

1位： RotationNet
Multi-viewベース

2位： PANORAMA-ENN
パノラマベース

3位： VRN Ensemble
ボクセルベース ※精度は怪しいMulti-viewベースの3D物体認識（3/3）
RotationNet: Joint Object Categorization and Pose Estimation Using
Multiviews from Unsupervised Viewpoints
Asako Kanezaki, Yasuyuki Matsushita, and Yoshifumi Nishida. IEEE CVPR, 2018.

•
•
•
•
•

一連のマルチビュー画像を入力とするCNN。
物体のカテゴリと姿勢（各画像の対応する視点）を同時に推定する。
学習画像の視点情報は教示不要。（自動アラインメント機能）
テスト時に入力するマルチビュー画像は1枚～数枚でOK。
ModelNet10, 40でSOTA、SHREC’17のトラック1とトラック3で優勝。

RotationNet – 背景 –Multi-view Convolutional Neural Networks for 3D Shape Recognition
H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller. IEEE ICCV, 2015.

① テスト時も学習時と同じ数だけのマルチビュー画像を同時入力せねばならない② （回転不変性確保のため）
画像の順序情報を捨てているRotationNet – モチベーションと課題 –画像の順序を保持して、順序依存表現にすれば性能が上がる！
①

②

③

④

⑫

⑤

⑪

⑥
⑩

⑨

⑧

【課題１】 各画像がどの視点に対応するかを推定せねばならない⑦⇒⑧？

【課題2】 データベース内の物体の姿勢が揃っていない（ex. ModelNet）

自動的に向きを揃えなければならない【課題3】 テスト時に全ての画像が観測できない場合がある（ex. オクルージョン）
テスト時は１枚～任意枚数の入力画像で認識できなければならないRotationNet – 提案手法 –Forward:• 各画像に対して、各視点における物体カテゴリ尤度を出力する。
※物体カテゴリ尤度＝𝑁クラスのうちどれかあるいはどれでもない（別の視点から撮られた画像である； incorrect view）の𝑁 + 1クラスの識別スコア• 視点の個数を𝑀とすると、𝑀個の𝑀(𝑁 + 1)次元ベクトルを出力する。
• 掛け合わせたときの正解物体スコアが最大になるよう視点を割り当てる。
Backward:• 割り当てられた視点に対応する正解物体カテゴリ尤度が1になる勾配を求めてSGDする。

RotationNet – 学習時の自動姿勢調整の様子（動画） –RotationNet – 逐次的な画像入力が可能 –SHREC2017 - 3D Shape Retrieval Contest 2017
Eurographics 2017 Workshop on 3D Object Retrieval, http://liris.cnrs.fr/eg3dor2017/– RGBD物体データからCADモデルを検索– 3Dハンドジェスチャー認識– 大規模3D形状検索
７トラック中２トラックに– タンパク質形状識別参加し一位を獲得！
– 非剛体玩具の点群形状検索– 欠陥のある非剛体形状検索– レリーフパターン検索
両トラックでRotationNetを使用
ポイント:
検索タスクだけど物体識別が使えた！
• カテゴリラベル付きのTrain, Valデータが配られた。
• テストデータのカテゴリを識別して、クエリの（推定）カテゴリに対して
識別スコアの高い順に物体を提示するという戦法をとった。

トラック１： RGBD物体データからCADモデルを検索

クエリのRGBデータに対し検索結果に同じカテゴリの物体がどれだけ含まれるかを競う• CADモデルデータを学習した識別器を、RGBDデータで
Fine-tuningすることで性能が向上した。
• 優勝！

学習有
学習無

トラック３：大規模3D形状検索（1/2）

クエリのCADモデルに対し検索結果に同じカテゴリの物体がどれだけ含まれるかを競う• タスク１：姿勢が揃っている、タスク２：姿勢がバラバラ• タスク１の方で優勝！

トラック３：大規模3D形状検索（2/2）

クエリのCADモデルに対し検索結果に同じカテゴリの物体がどれだけ含まれるかを競う• タスク2はPoint Cloudベースが優勝（やはり回転に強い…）•

ただしView数を増やすとRotationNetが勝つ（コンペ後の追加実験の結果。）

Multi-viewベースの3D物体認識（まとめ）••••現状、性能が一番高い。
実装が簡単（複数画像をバッチに押し込むだけ）。
連続画像（動画像）にも適用可能。
見たことない視点からの認識に弱い。
（視点の数を増やすと性能が上がる。）

【その他の方法1】
Ensemble of PANORAMA-based Convolutional Neural Networks for
3D Model Classification and Retrieval
K. Sfikas, I. Pratikakis and T. Theoharis. Computers and Graphics, 2018.
•
•
•
•
•
•

主成分分析でx, y, z軸を決定する。
z軸方向を縦として物体を囲む円柱を立てる。
円柱に物体表面上の点を投影する。
左右対称性が最大の点を基準とする。
x, y, z各軸に対して勾配等3チャンネル画像を作成。
CNNに入力・スコアをlate fusionする。

PANORAMA-ENN

【その他の方法2】
Learning 3D Shapes as Multi-Layered Height-maps using 2D
Convolutional Networks
Sarkar, K., Hampiholi, B., Varanasi, K. and Stricker, D. ECCV, 2018.

k段階の高さを抽出したNxNxk次元のMLH記述子を提案
𝑃𝑝𝑞 : 点の高さのセット

3D物体認識の分類（本講演）
RGBDベース• MMSS [ICCV’15]• HHA [ECCV’14]• Depth CNNs for RGB-D scene
recognition [AAAI’17]• Augmented Autoencoder[ECCV’18]

Point Cloudベース
•
•
•
•
•

PointNet [CVPR’17]
SO-Net [CVPR’18]
Attentional ShapeContextNet [CVPR’18]
Tangent Convolutions [CVPR’18]
PPFNet [CVPR’18]

Multi-viewベース

Voxelベース••••

3D ShapeNets [CVPR’15]
ORION [BMVC’17]
PointGrid [CVPR’18]
CubeNet [ECCV’18]• MVCNN [ICCV’15]• PVNet [ACM MM’18]• RotationNet [CVPR’18]

その他のアプローチ： PANORAMA-ENN, MLH

3D物体認識の分類（所感）RGBDベース• 2.5次元。
• Depth画像はHHAコーディング。
• 姿勢推定によく使われる。

Point Cloudベース
•
•
•
•
•

Multi-viewベース

Voxelベース••

低解像度のため性能が高くない。
回転に弱い。

回転不変な局所特徴抽出が肝。
大域特徴への統合も肝。
物体の回転に強い。
性能は高くない。
パーツセグメンテーションに応用できる。

•
•
•
•

性能が高い。
実装が簡単。
連続画像（動画像）にも適用可能。
見たことない視点からの認識に弱い。

その他のアプローチ： パノラマベースも認識精度が高い。ただ、姿勢は揃える必要あり。