1

実空間の知識情報を利用した
物体推定手法の提案
大阪大学 大学院情報科学研究科
村田研究室 佐藤広章

研究背景

2

⚫ 画像や動画から、物体の位置やカテゴリーを識別⚫ 実世界情報に対して高い識別精度での取得が必要⚫ 自動車の自動運転⚫ 自動走行型ロボットの自律制御 など⚫ 現在：ディープラーニングなどの機械学習を使用⚫ 物体識別結果のプロセスを人間が理解するのは困難

深層学習⚫ 人間が持つ実空間の知識情報が考慮されていない⚫ 台所とソファが隣接する可能性は低いなど

カテゴリーによって色分け
茶色：ソファ、黄緑：床、など
A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser and M. Nießner, "ScanNet: Richly-Annotated 3D Reconstructions of Indoor Scenes," 2017
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 2432-2443

研究目的⚫ 実空間上の事前知識の取得⚫ 物体の隣接関係に着目し、実空間上での相関関係を取得⚫ 物体カテゴリーの存在確率分布⚫ 物体カテゴリー間の隣接確率分布⚫ 事前知識を利用した物体推定手法の提案と評価⚫ 物体の識別推定に事前知識を組み込み、物体の確からしさを修正⚫ 物体カテゴリー間の隣接確率分布を使用

3使用した実空間情報

4⚫ ScanNet データセット[1]⚫ 屋内 3 次元点群データのデータセット⚫ 1613 部屋分のシーンに対して、座標情報と色情報を持つデータの集合⚫ 21 種類のシーンタイプ、20 種類の物体カテゴリーから構成⚫ シーンタイプ：規模の小さいもの（浴室、押入、倉庫など) から大きなもの (アパート、教室、図書館など）まで⚫ 物体カテゴリー：右表の 20 種類

wall
floor
cabinet
bed
chair
sofa
table
door
windowbookshelf

picturecounterdeskcurtainrefrigerator
shower curtain
toiletsinkbathtubother furniture

屋内3次元点群データ[1] A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser and M. Nießner, "ScanNet: Richly-Annotated 3D Reconstructions of Indoor Scenes,"2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 2432-2443

実空間の事前知識情報の取得

5⚫ 実空間の知識情報を確率を用いて取得⚫ 物体の存在確率⚫ カテゴリー別の物体の数を取得⚫ 物体間の隣接確率⚫ カテゴリー間の隣接の相関関係を取得

点 ：物体 (カテゴリーを色分け)
直線：隣接を取得（1m）取得した確率場表現（全シーンを対象）⚫ 存在確率分布⚫ table, chair, door など、一般的な部屋に置かれる家具の存在確率が高い⚫ other furniture は、
piano, display, trash can などが分類され、様々な家具が含まれたため存在確率が高い⚫ 隣接確率分布⚫ 同一カテゴリーの隣接確率が総じて高い⚫ bookshelf は 92% → 本棚の隣に本棚が置かれる性質が反映⚫ 取得した隣接情報

6
Categorycabinetbedchair
sofa

Prob
7.54
4.98
19.61
3.44

table

22.52

door
windowbookshelf

8.56
5.55
3.55

picture2.35

showercurtaintoiletbathtub⚫ shower curtain, toilet, bathtub は相互的に隣接確率が高い⚫ chair の隣接は、table: 38%, desk: 8%（chair: 48%）⚫ toilet の隣に refrigerator は存在しない

chair
table
desk

Category
counterdeskcurtainrefrigerator
showercurtaintoiletsinkbathtubotherfurniture

Prob
2.11
6.26
1.27
1.28

showercurtain

toiletbathtub

23.0

19.0

25.0

8.3
17.6

25.1
17.8

11.0
45.9

chair
48.1
17.7
23.2

table
38.9
79.8
1.2

desk
8.0
0.2
64.6

0.41

0.81
1.45
0.57
7.76

取得した確率場表現⚫ シーンタイプ別（隣接確率分布）⚫ Bathroom⚫ 全データと同様に、同一カテゴリーの隣接確率が総じて高い⚫ shower curtain, toilet, sink, bathtub に関連する隣接関係が強く出現⚫ shower curtain, toilet, sink, bathtub の存在確率も他のシーンタイプに比べて高いため⚫ 物体と cabinet, door との隣接が多く検出⚫ 部屋の規模が小さい、物体数が多いため⚫ Bedroom / hotel⚫ 全データと同様に、同一カテゴリーの隣接確率が総じて高い⚫ chair と table, desk の隣接、shower curtain, toilet, bathtub の隣接が多く検出⚫ 全データと比べて、window と curtain の隣接、desk と bookshelf の隣接が多く検出

7

確率場表現を用いた物体推定手法

8

確率場表現を事前知識として利用したベイズ推定⚫ セグメンテーション予測 (SparseConvNet[2] 手法)⚫ 予測確率： 機械学習を用いて、物体が各カテゴリーであると予測した確率⚫ 予測ラベル：機械学習で取得した予測確率に対して、確率が最も高いカテゴリー⚫ 事前知識を用いた物体の確度修正⚫ セグメンテーション予測の予測確率 P(x) からベイズ推定により事前知識 g(zi|x) を含めた事後確率 P(x|z1:k) を算出
𝐺 𝑧𝑘 𝑥 × 𝑃 𝑥 𝑧1:𝑘−1
σ𝑥 ′ ∈𝑋 𝐺 𝑧𝑘 𝑥′ × 𝑃 𝑥′ 𝑧1:𝑘−1
𝐺(𝑧𝑘|𝑥) = 𝑝𝑧𝑘 (𝑧𝑘 ) × 𝑔(𝑧𝑘 |𝑥) + (1 − 𝑝𝑧𝑘 (𝑥𝑘 )) × (1 − 𝑔(𝑧𝑘|𝑥))
𝑃 𝑥 𝑧1:0 = 𝑝𝐴(𝑥)𝑃 𝑥 𝑧1:𝑘 =𝑃𝐴 (𝑥)： セグメンテーション予測による物体 A のカテゴリー x の予測確率

𝑃(𝑥|𝑧1:𝑘 )： 物体の k 個の隣接物体 Z1:k とその予測ラベルを z1:k とするとき、 Z1:k を観察下での物体の予測確率
𝑔(𝑧𝑖 |𝑥) ： カテゴリー x である物体の隣接物体 zi に対する隣接確率[2] B. Graham, M. Engelcke and L. v. d. Maaten, “3D Semantic Segmentation with Submanifold Sparse Convolutional Networks,” 2018 IEEE/CVF
Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, 2018, pp. 9224-9232

提案手法の評価結果

9⚫ 多クラス分類の性能指標数値による評価⚫ Accuracy (正解率) ：すべてのデータのうち正解であった割合⚫ Precision (適合率) ：クラス Li と予測したもののうちの正解の割合⚫ Recall(再現率) ：クラス Li データのうちの正しく予測された割合⚫ F1-Score (F-尺度) ：Precision と Recall の調和平均
Accuracy
Precision
Recall（正解率） （適合率） （再現率）

F1-score（F尺度）

ベイズ推定
適用前

65.3%

60.1%

59.9%

60.0%

ベイズ推定
適用後

67.5%

70.8%

62.4%

66.3%

適合率は 10% 上昇、再現率は 3% 上昇したが依然として低いクラスが多い⇒ ・ ベイズ推定を適用することで一定の物体予測の補正を達成
・ ベイズ推定では補正できなかった物体予測も多数存在

まとめと今後の課題⚫ まとめ⚫ 実空間情報を確率的な場として表現⚫ 取得した確率場を用いた事前知識にもとづく物体推定手法への応用例を提示⚫ 事前知識を用いた物体の確度修正として、予測確率の変化を確認⚫ 今後の展望⚫ 複数の実空間情報を合わせた確率場表現の獲得⚫ 時系列を含めた実空間情報の確率場表現の獲得

10