2024/3/31

研究背景

12

 Beyond 5G / 6G の通信技術の発達[1]脳の情報処理モデルに基づく3次元点群とRGB画像を用いたマルチモーダルな物体認識手法の実装および評価

 多様なセンサーの利活用[2,3,4]
 RGBカメラ，LiDARセンサ，赤外線センサ

 通信技術を活用した新たなユースケースへの注目 デジタルツインを活用したロボット制御
 人とロボットが協調作業を行う物流倉庫
 安全性や効率性のための確率的なロボット制御
 確率的な認識技術が必要

Osaka University

協調作業の例Haruhito Ando
NS 研究会 24/02/29[1] H. Viswanathan and P. E. Mogensen, “Communications in the 6g era,” IEEE Access, vol. 8, pp. 57 063–57 074, 2020.
[2] X. Ding, J. Guo, Z. Ren, and P. Deng, “State-of-the-art in perception technologies for collaborative robots,” IEEE Sensors Journal, vol. 22, no. 18, pp. 17 635–17 645, 2022.
[3] Wu, Hai, et al. "Virtual Sparse Convolution for Multimodal 3D Object Detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
[4]Jiao, Yang, et al. "MSMDfusion: Fusing lidar and camera at multiple scales with multi-depth seeds for 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

1

2

先行研究概要Feature Extraction

Siamese RPNを用いた特徴量抽出3

Object Recognition

先行研究のモデル図

Siamese RPN

 脳の情報処理モデルを活用したマルチモーダルな物体認識手法[5]

先行研究のモデル図

 追跡対象が含まれる領域を映像から検出するOne-shot の物体検出手法[6] 映像と深度画像による観測を繰り返し観測対象に関する事後確率密度（確信度）を算出

 映像特徴量:物体を検出した領域に対して CNN ベースの特徴量抽出を実施

 確信度を用いた不確実性を考慮した物体認識によりリスクを評価可能

 位置特徴量:深度画像と映像にて抜き出した領域を組み合わせてオブジェクトの特徴量を検出

 モダリティ間の依存関係

 先行研究における問題点

 特徴量抽出部分を共有しているため後段でのマルチモーダル統合の前に認識結果間に依存関係が発生

 後段の処理で統合される前にSiamese RPN の特徴量抽出の過程で依存関係が発生[5]R. Seki, D. Kominami, H. Shimonishi, M. Murata, and M. Fujiwaka, “Multi-object recognition method inspired by multimodal information processing in the human brain,” in 2022 IEEE Globecom Workshops (GC Wkshps). IEEE, 2022, pp. 569–574.

[6]B. Li, J. Yan, W. Wu, Z. Zhu, and X. Hu, “High Performance Visual Tracking With Siamese Region ProposalNetwork,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.8971–8980, June 201834

Bayesian Attractor Model (BAM) を用いた物体認識

先行研究のモデル図

Bayesian Causal Inference (BCI) を用いた物体認識

5

BAM

先行研究のモデル図

 不確実性のある情報からでも確かな推論を行える脳に倣ったモデル[7]6BCI

 異なるモダリティから得られるデータを統合し因果推論を行うモデル[8] 状態空間にアトラクタ―という各オブジェクトの特徴を記憶する定点を設置

 異なるモダリティを活用することによる認識力の強化
 同じ物体を見ているかどうかを判定し，重みづけを決定 観測した特徴量に応じて内部状態を変化させアトラクタ―との距離から確信度付きの認識結果を算出

 各モダリティから得られた確率分布を統合して確信度を算出

 物体の特徴がアトラクタ―間の境界領域に位置する場合に認識に確信が持てないという状態を表現可能

 不確実性を考慮した上での意思決定をサポート

 確信度を伴う認識によりリスクを考慮したシステムを構築可能[8] K.P. K¨ording, U. Beierholm, W.J. Ma, S. Quartz, J.B. Tenenbaum, and L. Shams, “Causal Inference in Multisensory Perception,” PLOS ONE, vol.2, no.9, pp.1–10, 09 2007. https://doi.org/10.1371/journal.pone.0000943[7] S. Bitzer, J. Bruineberg, and S.J. Kiebel, “A Bayesian Attractor Model for Perceptual Decision Making,” PLOS Computational Biology, vol.11, no.8, pp.1–35, august 2015. https://doi.org/10.1371/journal.pcbi.1004442

546

2024/3/31

先行研究における課題と本研究の目的

先行研究と本研究の違い

7

 先行研究における課題:マルチモーダル統合を行う前の依存関係

8 先行研究[5] BCI でマルチモーダル統合する前に Siamese RPN にて深度画像を扱うときにRGB画像の情報を利用 映像モダリティ

 深度画像単体では認識するのが難しいためRGB画像から切り出された領域を使用

 RGB 画像

 映像モダリティでの認識精度の低下による位置モダリティでも認識の低下

 Siamese RPN[6] 位置モダリティ

 信頼性の低下

Previous Work 深度画像 本研究の目的:特徴量抽出部分の依存関係を解決 Bounding Boxと統合

 映像とは異なり単独で解析に用いることができるモダリティとして点群を利用

 本研究

 PointNetをセマンティックセグメンテーションのために採用

 映像モダリティ

 映像と位置の情報が独立に認識された後に統合されるように設計

 RGB 画像 信頼性の向上 Siamese RPN[6] 位置モダリティ

Present Work 3次元点群
 PointNet[9]先行研究との比較[9] C.R. Qi, H. Su, K. Mo, and L.J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” Proceedings of the IEEE conference on computer vision and pattern recognition, pp.652–660, 2017.

78

点群を利用した物体認識手法

9評価手法概要

10

 RGB-D カメラとLiDARセンサを用いてデータセットを作成
 屋内での人とロボットが協調作業を行うシーンを想定して撮影
 RGB-D画像と3次元点群からなる時系列データで表現 マルチモーダルな認識を評価するためのタスク 対象: Worker / Robot タスク : 各オブジェクトの特徴が与えられたときにどちらのオブジェクトであるか判定
PointNet with BAM

Worker

Robot

WorkerRobot PointNet[9]とBAM[7]を組み合わせた物体認識手法
 点群を用いた認識にPointNet[9]を使用
 ラベルなし点群に対してセマンティックセグメンテーションを実行

WorkerRobot

 得られたラベル付き点群を集約し各オブジェクトの重心を計算

 各オブジェクトの重心をBAM[7]を通して認識
評価シーン

 最初のオブジェクトの位置をアトラクタ―として記憶し物体認識を行い確信度を計算

910

評価方法

11Worker 入力と出力 入力（映像）: 1フレームごとの各オブジェクトを表す画像特徴量

 入力（位置）: 1フレームごとの各オブジェクトを表す位置特徴量

 出力: 各オブジェクトに対する確信度

 Workerに関する特徴量が与えられたときの出力例
 横軸 : 時間 [フレーム], 縦軸 : 入力データに対する確信度

High

評価結果:確信度の推移
Robot

RobotLow

WorkerWorker

Robot
WorkerVideo グラフの上部に近いほど確信度が高く，下部にいくほど低い

フレーム
Workerを与えた場合の出力例

 各モダリティおよびマルチモーダル統合での確信度の推移を比較

WorkerVideo

Robot

RobotIntegrated

WorkerConfidence get downLocation
先行研究の結果

 定性的な評価および定量的な評価
 定性的な評価:確信度の推移を観測

Confidence keep highRobot

Robot確信度

 青:人の確信度，オレンジ:ロボットの確信度

Integrated
Worker

ロボットに対する確信度の変化

 統合した結果正しい選択肢の確信度を高く保持 映像モダリティで確信度が高く位置モダリティで確信度が高いとき認識対象であるロボットの確信度を高く認識 定量的な評価:適合率
 あるオブジェクトを認識したときに真に正解であるものを認識できている割合

 映像モダリティで確信度が低く位置モダリティで確信度が高いとき認識対象ではない人の確信度が高くてもロボットの確信度も高く認識 予測の確実性を示す指標

11

Confidence keep high1212

Confidence keep highLocation
本研究の結果2024/3/31

評価結果:適合率1314

 認識対象の拡張

適合率 ( Precision )Modality

今後の課題 1クラスにつき1オブジェクトしか同一フレームに存在しないとして仮定

WorkerRobot

Single modality (video)

0.875

0.979

Single modality (depth)

0.804

1.000

Single modality (location)

1.000

1.000 現状は両モダリティでの認識結果が同じ対象に関する入力であるとして仮定

Multi-modalities (video based with depth)

0.814

0.987

 実用には各モダリティでの認識結果を組み合わせる仕組みが必要

Multi-modalities (video based with location)

0.838

0.996

 実用には多クラス多オブジェクトの認識を行えるようにする必要

 同じオブジェクトに対する認識結果の組み合わせ

 マルチモーダル統合することによるロボットに対する適合率が向上
 ロボットに対しては映像モダリティのみを用いた場合より高い適合率を検出
 人に対しては映像モダリティで大きな確信度をもって間違えてしまっていたため適合率が減少

13

14

まとめ

15

 提案手法付録
 LiDAR ( Light Detection And Ranging ) の動作原理

 点群を入力とする確信度を用いた位置モダリティの認識手法の提案

 Bayesian Attractor Model[7] 脳の仕組みを活用したマルチモーダルな物体認識手法の検証

 Bayesian Causal Inference[8] 実験結果 実環境を想定したデータセットを用いた検証 PointNet[9] 映像モダリティでの認識結果を位置モダリティでの認識結果で補強することで適合率が向上

 ユニモーダルでの認識結果

 今後の課題

 マルチモーダルでの認識結果

 認識対象の拡大
 各モダリティでの認識結果の組み合わせ

1516LiDAR ( Light Detection And Ranging ) の動作原理

17 三次元点群を計測するセンサ( Time of Flight 方式 )Bayesian Attractor Model (BAM)[7] アトラクターモデルとベイズ推定を組み合わせたモデル

 レーザー光パルスの放出 感覚器官の情報から脳が意思決定を行うプロセスに倣ったモデル

 レーザー光を物体に当て反射光を測定

 アトラクターモデルの記憶モデルとベイズ推定の状態更新モデルを融合 距離の計算 連続的に観測を行い観測しているものは何かという認識結果を確信度とともに出力 放出から測定までに要した時間を用いて距離を計算

 アトラクターモデル

 点群マップ生成

 脳の記憶と認知モデルに基づいた認識モデル

 パルスの放出と距離計算を繰り返してマップを生成

 LiDARの代表的メーカー

 状態空間上に観測対象に一対一対応するアトラクター（安定点）を設置

図10 : 使用したLiDAR[10] 内部状態を入力に応じて変化 同じ対象に対する入力を受け続けるとその対象を表すアトラクターに収束

 Velodyne 様々な3Dデータセットの測定で利用

 Robosense ベイズ推定 事前確率と観測値を用いて事後確率を算出

 車載LiDARとして著名

 新しい入力があるたびに情報を蓄積し意思決定を更新

 Livox 安価で入手しやすいLiDARを提供[10]https://www.livoxtech.com/jp/avia

17161818

2024/3/31

Bayesian Causal Inference (BCI)[8]19

PointNet[9]20 ベイズ理論と因果推論を組み合わせた統計モデル
 マルチモーダルな情報から脳が意思決定を行うプロセスに倣ったモデル
 二つの異なるモーダルで認識している物体が同じものかどうか推論し統合

 利点の異なるモダリティを組み合わせてより正確な予測を提供
 異なるモダリティからの感覚入力が同じ外部事象によって引き起こされる確率を評価
 評価された因果関係に基づき感覚入力を統合するか別のものとして扱うかを決定 確信度の生成式

図5:PointNetのアーキテクチャ([9]より引用)

 𝑐 , 𝑐 :映像モダリティおよび位置モダリティにおける確信度

 𝑃 𝑐 ,𝑐 ∣ 𝐶 = 1 =0.5 + 𝜎𝜎

 𝑃 𝑐 ,𝑐 ∣ 𝐶 = 2 =10if 𝐿 = 𝐿 ,otherwise, 𝜎= 0.5𝜎 max 𝑐 𝜎= 1/ 1 + exp −𝑥 − 𝜆 各点に対し同じ Multilayer Perceptron (mlp) を適応，後に Max-Pooling を適応+ 0.5𝜎 max 𝑐

 入力される点群の順序によらず同じ結果を出力

 T-Net と呼ばれるサブネットワーク
 入力に対して，アフィン変換行列を出力，点群の回転や移動などに対応

 𝐿 = argmax 𝑐

if 𝐿 ≠ 𝐿otherwise 大局的な特徴量の利用

 𝐿 = argmax 𝑐 局所的な特徴量と大域的な特徴量を統合して MLP を適応，セマンティックセグメンテーションの実現

1920

実験結果（ユニモーダル認識）21

 ユニモーダル実験結果（マルチモーダル認識）

22

 マルチモーダル

 深度画像を用いた位置モダリティを区別のため深度モダリティと表記

 深度画像を用いた場合に相関がでていた部分は修正できていない 先行研究の課題である映像モダリティと深度モダリティでの相関を観測

 位置情報を用いることでこの問題を修正

映像モダリティ

深度モダリティ

映像モダリティ+深度モダリティ

位置モダリティ

WorkerWorker

Robot

Robot

図5 : ユニモーダルでの評価結果

21

3次元点群を扱う深層学習モデル

深度モダリティ+映像モダリティ

映像モダリティ＋位置モダリティ

図6 : マルチモーダルでの評価結果

22

位置モダリティ＋映像モダリティ