被写体動作の躍動感を評価する観察者から計測された視線の3Dヒートマップ表現
岩崎芙由子，井上路子，米田駿介，西山正志
鳥取大学大学院
パターン認識工学研究室

1

研究背景
 HMD技術の発達により仮想空間でのスポーツ観戦が期待 仮想空間内でのスポーツ観戦において，ユーザは二次元の仮想ディスプレイ平面上の動画の中でスポーツの各種目で様々な動作を行う選手を目視し，選手の動作から躍動感を受ける
仮想空間

躍動感を二次元の仮想ディスプレイ平面

HMD

動画(刺激動画)

感じるかな…?

選手
(被写体)

ユーザの目
ユーザ
（観察者）

目視

(例. ボルダリング)

ユーザから計測される視線について躍動感を受ける際にその根拠となる視線が選手のどの身体に集まるかを分析するニーズが存在
2

本研究の位置づけ
視線分析の考慮点: 刺激動画中の被写体は時々刻々と姿勢が変化⇒ 時刻間の姿勢の違いを意識せずとも視線分布を分析できる可視化が必要
我々の従来手法 [Inoue+, ACPR’23]

二次元画像中の被写体を標準姿勢の三次元人体モデルに変換しその人体モデルの表面上に視線を可視化

刺激動画

時刻𝑡𝑡における3Dヒートマップ

全時刻で周辺化された3Dヒートマップ✓ 刺激動画にも適応可能 [岩崎+, MIRU’22]

時刻間の姿勢の違いを意識することなく視線分布を分析

被写体

表面領域

被写体から推定される人体モデルに対応する画素

周囲領域

表面領域近くの画素

標準人体モデル

表面領域の視線・・・✓可視化できる
周囲領域の視線・・・✗可視化できない

表面領域と周囲領域の両方で計測される視線を分析に考慮する必要がある
3

本研究の目的
被写体の表面領域とその周囲領域において計測された観察者の視線を3Dヒートマップで可視化する手法を提案

表面領域
周囲領域

提案手法のポイント

仮想空間における観察者の視線方向ベクトルと頂点位置ベクトルとの角度を用いる

評価実験: 観察者が刺激動画中の被写体から躍動感を受ける際の視線を計測し提案手法で可視化
 表面領域と周囲領域の両方の視線を3Dヒートマップで可視化できることを確認
 既存の2Dヒートマップと比較して時刻全体を通した視線分布が分析しやすいことを確認刺激動画

表面領域の視線周囲領域の視線提案手法(時刻𝑡𝑡)

２Dヒートマップ

提案手法(全時刻)

＋4

従来手法

[Inoue+, ACPR’23]

STEP 1

STEP 2

視線方向ベクトル𝒈𝒈 𝑡𝑡, 𝑜𝑜 と頂点位置ベクトル𝒗𝒗(𝑡𝑡)を取得

人体モデルの各頂点𝒗𝒗(𝑡𝑡)への注目度合を計算

時刻 𝑡𝑡

視線方向ベクトル 𝒈𝒈 𝑡𝑡, 𝑜𝑜

フレーム 𝑆𝑆(𝑡𝑡)

観察者𝑜𝑜の目(原点)

頂点位置ベクトル 𝒗𝒗(𝑡𝑡)STEP 3𝜀𝜀 2
𝑑𝑑 𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡) = exp(− 2 )2𝜎𝜎𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜𝒈𝒈 𝑡𝑡, 𝑜𝑜𝒗𝒗(𝑡𝑡)

頂点注目確率𝑝𝑝 𝒗𝒗(𝑡𝑡) 𝑆𝑆(𝑡𝑡)を表す3Dヒートマップを人体モデル表面上に表現
頂点注目確率高距離 𝜀𝜀低従来手法の制約条件: 視線方向ベクトルは人体モデルの表面上に必ず衝突するという強い仮定のもと注目度合を計算

5従来手法の課題点
従来手法の制約条件: 視線方向ベクトルは人体モデルの表面上に必ず衝突するという強い仮定のもと注目度合を計算

表面領域で視線が計測される場合

従来手法

𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜𝒈𝒈 𝑡𝑡, 𝑜𝑜

距離 𝜀𝜀𝒗𝒗(𝑡𝑡)

周囲領域で視線が計測される場合
𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜𝒈𝒈 𝑡𝑡, 𝑜𝑜

注目度合
𝑑𝑑(𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡))
計算可能

表面領域

距離 𝜀𝜀 ?
𝒗𝒗(𝑡𝑡)

注目度合
𝑑𝑑(𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡))
計算不可能

周囲領域

表面領域で計測される視線は3Dヒートマップで可視化できるが周囲領域で計測される視線は3Dヒートマップで可視化できない
6

提案手法のアイデア
アイデア: 視線方向ベクトル𝒈𝒈 𝑡𝑡, 𝑜𝑜 と頂点位置ベクトル𝒗𝒗(𝑡𝑡)とのなす角度𝜃𝜃から注目度合を計算

表面領域で視線が計測される場合

提案手法

表面領域

𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜

𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜

𝒈𝒈 𝑡𝑡, 𝑜𝑜

周囲領域で視線が計測される場合𝒗𝒗(𝑡𝑡)角度 𝜃𝜃𝒈𝒈 𝑡𝑡, 𝑜𝑜

注目度合𝑎𝑎(𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡))
計算可能※ 角度𝜃𝜃が小さい → 注目度合が大きい𝒗𝒗(𝑡𝑡)

角度 𝜃𝜃

注目度合
𝑎𝑎(𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡))
計算可能

角度𝜃𝜃が大きい → 注目度合が小さい

周囲領域

視線方向ベクトルと頂点位置ベクトルとのなす角度𝜃𝜃 を用いることで表面領域と周囲領域で計測される両方の視線を3Dヒートマップで可視化可能※ 観察者から見て裏面に位置する頂点は陰面処理をおこなう 7

提案手法による可視化の全体の流れ
時刻 𝑡𝑡 における処理

S5

S1

視線方向ベクトルの取得

観察者𝑜𝑜の目(原点)

頂点位置ベクトルの取得
頂点位置ベクトル 𝒗𝒗(𝑡𝑡)
人体モデルの頂点𝒗𝒗(𝑡𝑡) ∈ 𝒱𝒱(𝑡𝑡)𝛼𝛼𝒈𝒈 𝑡𝑡, 𝑜𝑜

注目度合
𝑎𝑎(𝒈𝒈 𝑡𝑡, 𝑜𝑜 , 𝒗𝒗(𝑡𝑡)) 𝒈𝒈 𝑡𝑡, 𝑜𝑜∑

頂点注目確率𝑝𝑝(𝒗𝒗(𝑡𝑡)|𝑆𝑆(𝑡𝑡))𝒗𝒗(𝑡𝑡)角度 𝜃𝜃

観察者の集合𝒪𝒪 = 𝑜𝑜1 , 𝑜𝑜2 , … , 𝑜𝑜𝑂𝑂

S4

三次元重畳による可視化
頂点注目確率𝑝𝑝 𝒗𝒗(𝑡𝑡) 𝑆𝑆(𝑡𝑡)を表す3Dヒートマップを時刻𝑡𝑡の人体モデル表面上に重ね合わせて可視化

高低フレーム𝑆𝑆(𝑡𝑡1 )変換� = 𝑚𝑚(𝒗𝒗(𝑡𝑡))𝒗𝒗

フレーム
𝑆𝑆(𝑡𝑡)
・・・

S2

頂点注目確率の算出

・・・

視線方向ベクトル 𝒈𝒈 𝑡𝑡, 𝑜𝑜

フレーム 𝑆𝑆(𝑡𝑡)

全時刻における視線の周辺化

S3

フレーム
𝑆𝑆(𝑡𝑡𝑇𝑇 )フレームの集合𝑆𝑆 = 𝑆𝑆 𝑡𝑡1 , 𝑆𝑆 𝑡𝑡 , … , 𝑆𝑆(𝑡𝑡𝑇𝑇 ) で頂点注目確率𝑝𝑝(𝒗𝒗(𝑡𝑡)|𝑆𝑆(𝑡𝑡))を周辺化し標準人体モデル表面上に重ね合わせて可視化

頂点注目確率𝑝𝑝(�
𝒗𝒗|𝑆𝑆(𝑡𝑡1 ))頂点注目確率𝑝𝑝(�𝒗𝒗|𝑆𝑆(𝑡𝑡))
頂点注目確率𝑝𝑝(�𝒗𝒗|𝑆𝑆(𝑡𝑡𝑇𝑇 ))𝑝𝑝(�𝒗𝒗|𝑆𝑆)
8

ベースステーション
120 cm目の高さ
110-120 cm

評価実験の条件
 実験協力者
HMD

24名(男性12名 女性12名)
年齢: 23.6±2.0 歳

 実験協力者に与えた設問

Q: 動画中の被写体の動作に躍動感があると感じるか 回答方法: 感じる・やや感じる・やや感じない・感じない

計測様子(※ 3倍速)

 刺激動画 視線計測装置


フレームレート: 30 fps

80 cm

机70 cm

計測環境

HMD(VIVE Pro Eye，SPR: 90Hz)

 HMD内の仮想空間

開発環境: unity 2020.1.17
仮想ディスプレイサイズ: 横:16 m，縦:9 m

 可視化結果の生成
被写体1
壁を上る動作，10.4秒
縦:900 × 横:506 [px]被写体2球を打つ動作，6.9秒
縦:900 × 横:570 [px]被写体3蹴り上げる動作，7.3秒
縦:900 × 横:730 [px]

人体モデル: SMPL(頂点数6890点)[Matthew+, ACM’15]
姿勢推定アルゴリズム: 4D-Humans[Goel+, ICCV’23]
レンダリングツール: blender 3.5
9評価実験の結果（1/2）
時刻𝑡𝑡における 従来手法(距離)
刺激動画の時刻𝑡𝑡における時刻𝑡𝑡における𝑡𝑡
フレーム 𝑆𝑆
表面領域
表面領域

72％

100％

表面領域

高周囲領域

被写体128％

提案手法(角度)
時刻𝑡𝑡における時刻𝑡𝑡における周囲領域
表面領域＋周囲領域

低31％

69％

100％

被写体2

(提案手法は時刻𝑡𝑡における各領域で計測される視線の比率[％]も記載)

29％

被写体3

※ 時刻𝑡𝑡における観察者24人分の視線

71％

100％

従来手法では表面領域の視線のみ可視化[Inoue+, ACPR’23]

提案手法では表面領域と周囲領域の両方の視線を可視化できることを確認
10

評価実験の結果（2/2）
被写体1(躍動感の評価の平均値: 2.0)

時刻𝑡𝑡の2Dヒートマップ

時刻𝑡𝑡の3Dヒートマップ(提案手法)

Q: 動画中の被写体の動作に躍動感があると感じるか
回答方法: 感じる(4)・やや感じる(3)・やや感じない(2)・感じない(1)

被写体2(2.7)

被写体3(2.1)

高低全時刻で周辺化された
3Dヒートマップ(提案手法)
視線が最も集まる身体・頭・両腕・右脇・頭・頭

既存の2Dヒートマップの課題点・・・時刻𝑡𝑡で視線が集まる身体を記憶しながら分析する手間がかかる

全時刻で周辺化された提案手法の3Dヒートマップは既存の2Dヒートマップと比較して観察者の時刻全体を通した視線分布が分析しやすい

11

まとめ
被写体の表面領域とその周囲領域において計測された観察者の視線を3Dヒートマップで可視化する手法を提案
評価実験により

 表面領域と周囲領域の両方の視線を3Dヒートマップで可視化できることを確認
 全時刻で周辺化された提案手法の3Dヒートマップは既存の2Dヒートマップと比較して観察者の時刻全体を通した視線分布が分析しやすいことを確認

表面領域

今後の課題

周囲領域

・ 躍動感を受ける観察者の視線が被写体の各身体にどの程度集まるかを定量的に分析・ 観察者の視線を躍動感を受ける姿勢で重みづけして人体モデル上へ可視化
12