高精度VPSを利用した4次元時空間視線計測
産業技術総合研究所 情報・人間工学領域
デジタルアーキテクチャ研究センター
スマートモビリティ研究チーム 研究員
大石修士
https://staff.aist.go.jp/shuji.oishi/

2 / 33

実世界での「振舞い」を測る***

ロボットの動きを計測し自律化

モビリティの動きを計測し自動運転

人の動き(+視線)を計測し行動解析 ...

**** https://www.aist.go.jp/aist_e/list/highlights/2018/vol6/index.html** https://www.youtube.com/watch?v=vw_LiYuGm-8 (whill Inc.)*** https://www.tobiipro.com/news-events/image-gallery/3 / 33

本技術発表
II. 4次元視線計測

I. 単眼カメラ位置同定を利用した[C*: C-star][4D Attention]

4 / 33

従来技術と問題点 |カメラ位置推定
視線計測

主流なカメラ位置同定(VPS)では「カメラで作った地図(特徴量地図) 」が必要

人が見て分かるような写実的な3次元地図は直接利用できない、カメラ・環境が変化する毎に地図は作り直し

2次元画像上での視線計測 or 静的な3次元視線推定 or モーションキャプチャ必須な4次元視線推定
視認履歴の統計量算出の難しさ(人手での数え上げ)、限定的な計測環境、大規模なセットアップ...

5 / 33

新技術の特徴 |カメラ位置推定
視線計測
両者

所与の色付き3次元地図上での6自由度単眼カメラ位置推定

地図-カメラ間での変化 (照明条件、色味(センサ特性)、物の配置) にも頑健

3次元 / 4次元時空間での視線投影

独自の視線投影法による高速化・意味取得、物体認識モジュール(OSS)と連携し動的物体へも対応

VPSと視線投影を組み合わせた客観的・主観的デジタルツイン
所与の3次元地図における制約なし行動計測

6 / 33

本技術発表
II. 4次元視線計測

I. 単眼カメラ位置同定を利用した[C*: C-star][4D Attention]

7 / 33

I. 6自由度単眼カメラ位置同定：概要
背景/課題

提案手法

- 自己位置を求め自律移動等へ活用- 屋内外で動作，低廉で環境変化に頑健な手法- 正規化情報距離+連続的な局所トラッキング- センサ特性・モダリティに依らない実時間位置同定

GPSLiDARCamera

従来手法- カメラを用いる手法は低廉だが低頑健性の傾向(例: Photometric(色味), エッジ位置合わせ, etc...)- 相互情報量による見えの比較は頑健だが低実時間性- 既存手法が破綻するような状況でも安定して動作- 屋内定量評価: 数cmの誤差で6DoF姿勢が求まる

低廉で頑健な単眼カメラ位置同定!

8 / 33

I. 6自由度単眼カメラ位置同定：ポイント
1. 実時間性

2. 頑健な見えの比較

Simultaneous Tracking And Rendering(STAR)

Normalized Information Distance

Keyframe(Virtual frame)
H(X|Y)

I(X, Y)

H(Y|X)

Current frame
H(X)

H(Y)
H(X, Y)9 / 33

I. 6自由度単眼カメラ位置同定■ C* [Oishi+, RA-L/IROS2020]

推定対象

3D map𝑇𝑇𝑘𝑘𝑡𝑡𝑇𝑇𝑤𝑤𝑘𝑘Keyframe(=部分地図)W

Currentframe■ Normalized Information distance (NID)𝐻𝐻 𝑋𝑋, 𝑌𝑌 − 𝐼𝐼(𝑋𝑋, 𝑌𝑌)
𝑁𝑁𝑁𝑁𝑁𝑁 𝑋𝑋, 𝑌𝑌 =𝐻𝐻(𝑋𝑋, 𝑌𝑌) X: Keyframe

Y: Current frame

cf. [Ok+, ICRA2016: Photometric], [Qiu+, RA-L2017: Edge]- 部分地図に対する連続的な局所位置推定問題に分解- 部分地図点群のReprojectionと現在画像輝度のNID最小化

変化に頑健な実時間6自由度単眼カメラ位置同定

10 / 33

入力画像

3次元地図

推定位置画像入力画像

推定位置画像 で推定成功

11 / 33

I. 6自由度単眼カメラ位置同定■ 悪条件下(照明変化)での位置同定試験

Input images

C*■ 推定位置Photometric[Ok+, ICRA2016]- 類似手法では破綻する状況でも頑健に動作- 室内実環境では20~35[mm], 0.4~1.6[deg] の誤差- 見えの変化や動的障害物，異なるモダリティでも動作■ 真値 ■ Keyframe

Edge alignment[Qiu+, RA-L2017]12 / 33

13 / 33

14 / 33

本技術発表
II. 4次元視線計測

I. 単眼カメラ位置同定を利用した[C*: C-star][4D Attention]

15 / 33

II. 4次元視線計測：概要
背景/課題

提案手法

- 実世界での「人の振舞い」を測る- 時空間(4D)における移動軌跡・注視対象計測- ウェアラブルグラスによる実時間4次元視線推定- C* + 高速視線投影 + 動的物体の即時3次元復元*

従来手法- 2次元画像上での不完全な解析- 静的環境における低精度な3次元視線推定- 動的物体ではMotion Capture必須(限定環境)- 動的環境での人の動き+注視対象を計測可能- 定量評価: 数cmの誤差で注視点が求まる

視線グラスを介したデジタルツイン！
* https://www.tobiipro.com/news-events/image-gallery/16 / 33

II. 4次元視線計測：ポイント
1. 3次元視線投影

2. 即時物体復元(デジタルツイン)

ID Texture for 2D-3D association

Instant object reconstruction

2次元視線Color

3次元視線

主観映像

動体の認識・復元

ID
モデル上での主観映像シミュレート

実際の状況

17 / 33

II. 4次元視線計測
３次元地図

物体幾何モデル(メッシュモデル)

主観カメラ

ImageKeyframe

Scene rendering
Visuallocalization
知財I:
6自由度単眼カメラ位置同定(もしくはモーションキャプチャ使用)

視線センサ

2D gaze point

Sensor layerLocalization layer(メッシュモデル)

3D model parameterImage
ID Textureを用いた主観映像シミュレート

単眼カメラでの3次元物体復元

3次元視線投影

3D Gaze layer

4D gaze layer(static)(dynamic)

18 / 33

II. 4次元視線計測
３次元地図

物体幾何モデル(メッシュモデル)

主観カメラ

ImageKeyframe

Scene rendering
Visuallocalization
知財I:
6自由度単眼カメラ位置同定(もしくはモーションキャプチャ使用)

視線センサ

2D gaze point

Sensor layer

Localization layer(メッシュモデル)

3D model parameterImage
ID Textureを用いた主観映像シミュレート

単眼カメラでの3次元物体復元

3次元視線投影

3D Gaze layer

4D gaze layer(static)(dynamic)19 / 33

II. 4次元視線計測：3次元視線投影
主観映像のシミュレート

2D gaze3D gaze
Color

First-Person viewGazeprojection

6DoFlocalization

ID

FP viewの6自由度位置同定(例:モーションキャプチャ，単眼カメラ位置同定等)

推定位置姿勢から仮想レンダリング+ IDテクスチャによる2D-3D 関連付け

Camera trajectory20 / 33

II. 4次元視線計測：3次元視線投影
3D model2D gaze

Color texture

逆引き可能！

xyID texture

2D gazevalue = y * width + x

Semantics texture
天井領域・意味別の統計量取得が可能に

家具
床21 / 33

II. 4次元視線計測
３次元地図

物体幾何モデル(メッシュモデル)

主観カメラ

ImageKeyframe

Scene rendering
Visuallocalization
知財I:
6自由度単眼カメラ位置同定(もしくはモーションキャプチャ使用)

視線センサ

2D gaze point

Sensor layer

Localization layer(メッシュモデル)3D model parameterImage
ID Textureを用いた主観映像シミュレート

単眼カメラでの3次元物体復元

3次元視線投影

3D Gaze layer

4D gaze layer(static)(dynamic)22 / 33

II. 4次元視線計測：即時物体復元■ カメラ位置同定 + 3次元視線投影 + 単眼カメラ物体復元
剛体

非剛体[Pauwels+, 2016][Rong+, 2020]

物体形状復元 (Pose 推定)

物体形状復元 (モデルフィッティング)

動的物体- 認識モジュールによる対象のPose(+形状)推定- 前述のPipelineで処理

4次元時空間注視計測

w/semantics

23 / 33

II. 4次元視線計測
3D

4D

Evaluation 1 (walking x static)

Evaluation 2 (standing x dynamic)

Evaluation 3 (following x dynamic) Attention mappingを異なる3条件下で評価
 マーカ中心を見る指示を与え，得られた系列3D Gaze pointを真値(Total stationで計測)と比較
 Absolute Position Error (APE: inaccuracy) および Absolute Trajectory Error (ATE: imprecision)を算出

24 / 33

II. 4次元視線計測

3DEvaluation 1 (walking x static)

Evaluation

Object state

Subject state

Distance [m]Inaccuracy [m]Imprecision [m]1static

walking around

1.0 – 2.5

0.034

-0.115*-* L. Paletta+, “3D recovery of human gaze in natural environments,” in Intelligent Robots and Computer Vision XXX: Algorithms and Techniques. SPIE, 2013.

25 / 33

II. 4次元視線計測

4DEvaluation 2 (standing x dynamic)

Evaluation

Object state

Subject state

Distance [m]Inaccuracy [m]Imprecision [m]2dynamic

standing still

1.00.028

0.020

2.00.049

0.034

26 / 33

II. 4次元視線計測

4D

Evaluation 3 (following x dynamic)

Evaluation

Object state

Subject state

Distance [m]Inaccuracy [m]Imprecision [m]3dynamic

following

1.5

0.046

0.024

27 / 33

II. 4次元視線計測

4D

3D

Evaluation 1 (walking x static)

Evaluation 2 (standing x dynamic)

Evaluation 3 (following x dynamic)

Evaluation

Object state

Subject state

Distance [m]Inaccuracy [m]Imprecision [m]1static

walking around

1.0 – 2.50.034-0.115*-2

dynamic

standing still

2.0

0.049

0.034

3

dynamic

following

1.50.046

0.024

 既存手法よりも高精度でリアルタイムな3次元注視点計測が可能
 動的物体に対しても安定して動作* L. Paletta+, “3D recovery of human gaze in natural environments,” in Intelligent Robots and Computer Vision XXX: Algorithms and Techniques. SPIE, 2013.

28 / 33

II. 4次元視線計測
人対人インタラクション

動的物体に対する注視計測

3次元地図上での注視計測

 多様な状況でも対象への注視履歴を計測可能
 テクスチャ重畳により注視解析へ直結

29 / 33

実用化に向けた課題 |カメラ位置推定
視線計測
両者

センサ融合による自己位置同定の頑健性向上
自律機械への適用に向けたフェイルセーフなシステム設計
物体認識モジュールの拡充 (低計算コスト・高精度トラッキング・事前登録不要な形状復元)計算の更なる高速化

30 / 33

想定される用途 / 企業への期待 |カメラ位置推定
視線計測
両者

単眼カメラによる自律移動ロボットの開発
小型PCやスマートフォン上での実装・高速化とサービス展開
計測された移動・注視履歴からの因果解析
展示施設の配置最適化(マーケティング)、死角に基づく建物の危険個所検知や効果的な注意表示
頭部トラッキングや視線計測に基づくIoTや直感的インタフェース開発
プロジェクションマッピングとの組み合わせによるエンタメ方面への展開31 / 33

本技術に関する知的財産権
出願特許なし．プログラム実装(コアはC++・CUDA/GLSL，インタフェースはROS)の有償提供により社会実装を推進．

[知財プログラム1]
名称： 6自由度単眼カメラ位置同定システム[知財プログラム2]
名称： 4次元視線投影プログラム

32 / 33

本技術に関する情報“C*: Cross-modal Simultaneous Tracking And Rendering
for 6-DoF Monocular Camera Localization Beyond Modalities”

Oishi+, IEEE Robotics and Automation Letters, vol.5, no.4, pp.5229-5236, 2020

“4D Attention: Comprehensive Framework
for Spatio-Temporal Gaze Mapping”

Oishi+, IEEE Robotics and Automation Letters, vol.6, no.4, pp.7240-7247, 2021

論文等は https://staff.aist.go.jp/shuji.oishi ,https://www.digiarc.aist.go.jp/team/smrt より

33 / 33

お問い合わせ先国立研究開発法人 産業技術総合研究所
スタートアップ推進・技術移転部
技術移転室
TEL：029 – 862 - 6158
e-mail：aist-tlo-ml@aist.go.jp