映像中の動作の躍動感を評価する観察者から計測された視線分布の三次元ヒートマップ可視化
岩崎芙由子 ∗ 日置翔太 ∗ 米田駿介 ∗ 井上路子 ∗ 西山正志 ∗3D heatmap visualization of gaze distribution measured from observers predicting dynamism of subject’s movement
Fuyuko IWASAKI, Shouta HIOKI, Shunsuke YONEDA, Michiko INOUE, and Masashi NISHIYAMA
We propose a method to visualize the gaze distribution measured from an observer who perceives dynamism from thesubject’s movement in a movie using a three-dimensional (3D) heat map in a manner that is independent of time serieschanges in the subject’s posture. In the previous method, the gaze distribution measured from an observer is represented
using a heat map on a 3D human body model estimated from the subject in a still image. However, the previous method
cannot handle time-series changes in the subject’s posture in a movie. Furthermore, the previous method cannot visualize
the gaze distribution measured from the surrounding region of the subject’s body because it only considers the gaze
distribution measured on the surface region of the subject’s body. Our method introduces an angle between the gaze
direction vector and the vertex position vector to visualize the gaze distribution measured in the surface and surrounding
regions. From the experimental results, we conﬁrmed that our method can visualize not only the gaze distribution measured
in the surface region but also that measured in the surrounding region compared to the previous method. We also conﬁrmedthat it is possible to visualize the gaze distribution of a subject’s movements in a movie without depending on time serieschanges using a standard posture human body model.
Key words: Gaze distribution, 3D heat map, Body model, Visualization, Vertex attention probability

1. はじめに
近年，HMD (Head Mounted Display) 技術の発達により，仮Virtual space

Large display

I perceive
dynamism.

Movie

想空間でのスポーツ観戦が期待されている．本論文では，選手個人が行うスポーツの動画を，観客が HMD を用いて観戦する場面について考えていく．その場面の例を図 1 に示す．仮想(e.g. Bouldering)

空間内に配置された大型ディスプレイに表示されるスポーツ動
画を，観客は目視した上で躍動感を受けている．その時に観客は，動画中でスポーツを行う選手の動作に注目していると考Player(Subject)

Eye

Audience(Observer)

HMD

Gaze
Investigation of gaze distribution

えられる．本論文では，観客が選手の動作から躍動感を受ける
時，その手掛かりとなる身体部位に，観察者の視線が集まると考えていく．様々な動画の間で，どの身体部位に注目していたFig. 1

When an observer looks at a subject in a movie, the subject’s
movement gives the observer dynamism. We consider investigating where the observer focuses on the subject’s body.

かを比較するため，観察者から視線分布を計測し，分析者が調査する状況について考えていく．分析者は，例えばスポーツ選
手へ躍動感を高めるフィードバックを与えることを目的とし，写体を刺激とした場合，スポーツの動作を行う被写体の姿勢

選手の身体のどこへ観客の視線が集まるかを調査する．以下では，時々刻々と変化することに注意を払う必要がある．具体的

は，動画中に存在する選手を被写体と呼び，動画中の被写体のには，各時刻の二次元ヒートマップを用いて視線分布を調査す

動作を観戦する観客を観察者と呼ぶ．

る際，被写体の姿勢の違いを，動画の時刻間で考慮しなければ分析者が視線分布を調査する状況において，観察者の視線がならない．

被写体のどの身体部位に集まるかを，分かりやすく可視化する

被写体の姿勢が時間方向に変化したとしても，分析者はその手法が求められている．観察者から計測された視線分布を空間姿勢の違いを意識せずに，視線分布を容易に調査できる可視化

的に可視化するため，一般的には二次元ヒートマップを静止画手法が必要である．ここで，我々が開発してきた従来手法 4) をへ重ね合わせる手法が多く使用されている．例えば，既存の分活用することを考える．この可視化手法では，被写体間で姿勢析研究 1, 2, 3) において，静止画中の被写体を刺激とした場合にが共通化された三次元人体形状を表す標準人体モデルを，静止おける視線分布の調査で使用されている．ただし，動画中の被画中の被写体から推定し，その人体モデルの表面上で視線分布を三次元ヒートマップを用いて可視化している．これにより，∗∗∗∗原稿受付 令和*年*月*日
掲載決定 令和*年*月*日
鳥取大学大学院工学研究科 (鳥取市湖山町南 4 丁目 101)

静止画において被写体間の姿勢の違いを考慮せずとも視線分布を調査できる利点をもつ．ただし，従来手法は，静止画中の被写体のみを対象としているため，時々刻々と姿勢が変化する動Subject

Surrounding region
A set of pixels
in the vicinity of the bodyFig. 2

Surface region

Surface region
A set of pixels
on the subject’s body

Surrounding region

(a)

(b)

𝛼𝒈 𝑡, 𝑜𝒈 𝑡, 𝑜Previous
methodExamples of surface and surrounding regions of the subject’s
body.

Distance
𝜀

𝒗(𝑡)

Our
method(c)(d)

𝒈 𝑡, 𝑜

測された視線を可視化できなかった．ここで述べる表面領域と周囲領域とは，被写体の近傍に存在する画素の集合を指す．これらの領域の例を図 2 に示す．

𝒗(𝑡)Angle 𝜃Attention degree 𝑎 𝒈 𝑡, 𝑜 , 𝒗 𝑡
Computable

は，動画から推定された被写体に対応する画素の集合を指し，Fig. 3

本論文では，観察者が動画中の被写体の動作から躍動感を受𝒗(𝑡)Attention degree 𝑑 𝒈 𝑡, 𝑜 , 𝒗 𝑡
Uncomputable

画中の被写体については考慮していなかった．さらに従来手法
線のみを距離に基づき可視化していたため，その周囲領域で計

𝒈 𝑡, 𝑜Attention degree 𝑑 𝒈 𝑡, 𝑜 , 𝒗 𝑡
Computable
𝛼𝒈 𝑡, 𝑜には大きな課題が存在する．被写体の表面領域で計測される視Distance𝜀?

𝛼𝒈 𝑡, 𝑜𝛼𝒈 𝑡, 𝑜𝒈 𝑡, 𝑜𝒗(𝑡)Angle 𝜃Attention degree 𝑎 𝒈 𝑡, 𝑜 , 𝒗 𝑡
Computable

Comparison of the calculation of the attention degree inthe surface and surrounding regions between the previous
method and our method.

ける時，被写体の表面領域とその周囲領域において計測された
視線分布を，被写体の姿勢が時間方向に統一された三次元ヒー
トマップを用いて可視化する手法について述べる．提案手法の始点を目の位置とし仮想空間の原点とする．次にステップ 2

は，表面領域とその周囲領域との両方に対応するため，仮想空では，定数 α(> 0) 倍された視線方向ベクトル αg(t, o) を用い間における観察者の視線方向ベクトルと人体モデルの頂点位置て，静止画から推定された人体モデルの各頂点 v(t) へ，視線ベクトルとがなす角度を算出する．これらのベクトルの間の角がどれだけ集まるかを表す注目度合を求める．なお，人体モデ度を用いることで，各時刻の被写体の姿勢を表す人体モデルのルとして SMPL 5) を用いており，このモデルの内部は姿勢パラ各頂点において，観察者の視線が集まる割合を表す頂点注目確

メータと体型パラメータから表現されている．出力される人体率を求める．姿勢が時刻間で共通化された標準人体モデルを導モデルは，人体表面における三次元頂点位置ベクトル v(t) の入し，頂点注目確率を全時刻で周辺化することで，三次元ヒー

集合 V(t) と，頂点同士の隣接関係とから構成されている．定トマップとして視線分布を可視化する．評価実験において，動数 α は，αg(t, o) が人体モデル表面に衝突することで定まる．

画中の被写体の動作から受ける躍動感の度合いを評価する設問

従来手法では，αg(t, o) から v(t) までの距離 ϵ に基づき，人体を観察者に与え，その評価の最中に観察者から視線分布を計測

モデルの頂点へ視線が集まる注目度合 d(v(t), g(t, o)) を式 (1)し可視化した．実験結果において，従来手法では，表面領域でで計算している．

計測された視線分布のみしか可視化できなかったが，提案手法

d(v(t), g(t, o)) = exp(−

では，表面領域と周囲領域との両方で計測された視線分布を三次元ヒートマップで可視化できることを確認した．更に，従来手法では，動画中で時系列に変化する被写体の姿勢へ対応できていなかったが，提案手法では，動画の全時刻を通して計測された視線分布を可視化できることを確認した．以下，2. で表面領域と周囲領域の扱いについて述べ，3. で姿勢の時系列変化への対応について述べ，4. で評価実験の条件について述べ，5. で評価実験の結果について述べ，6. でまとめる．

2. 表面領域と周囲領域とで計測される視線分布の扱い

ϵ2
)
2σ 2

(1)

ここで，距離は ϵ = ∥v(t) − αg(t, o)∥2 で計算される．距離 ϵが小さいほど v(t) への注目度合は大きくなり，距離 ϵ が大きいほど注目度合は小さくなる．従来手法が距離に基づいている
理由としては，一般的な二次元ヒートマップで視線分布を可視化する場合，画像平面上で視線が計測された位置からの距離に基づいていることが挙げられる．

2.2

周囲領域における従来手法の課題

従来手法の課題の一つである周囲領域で計測された視線分布

2.1 従来手法の概要を取り扱えない原因について述べる．従来手法において，定数

従来手法 4) には，1. で述べたように，動画に対応できない課

倍された視線方向ベクトル αg(t, o) は，静止画から推定された

題と，人体の周囲領域で計測された視線分布に対応できない課

人体モデルの表面に必ず衝突するという強い制約条件の下で注題の二つが存在する．本論文では，各時刻において発生する後目度合を計算している．この制約条件を満たす例を図 3(a) に者の課題をまず解決し，その上で前者の時間方向の課題につい示す．人体モデルに衝突する場合，視線方向ベクトル αg(t, o)て対応していくアプローチをとる．以下では，従来手法の後者と人体モデルの頂点位置ベクトル v(t) との間で距離 ϵ が求めの課題である各時刻における周囲領域の取り扱いについて議論られるため，注目度合 d(g(t, o), v(t)) は計算可能である．一を進めていく．

方，制約条件を満たさない場合の例を図 3(b) に示す．人体モ

従来手法の課題を明確にするため，従来手法の流れについデルに衝突しない場合，αg(t, o) と v(t) との間で距離 ϵ が求て概要を述べる．従来手法は大きく分けて次の 2 つのステッ

められないため，注目度合 d(g(t, o), v(t)) は計算不可能であプで構成される．まずステップ 1 では，時刻 t において，観る．周囲領域で視線が計測される場合，従来手法の三次元ヒー

察者 o が静止画を見る際の視線方向ベクトル g(t, o) をアイト

トマップは視線分布を十分に可視化できているとは言えない．

ラッカーを用いて計測する．g(t, o) を単位ベクトルとし，そ

ここで，表面領域で計測される視線分布だけでなく，周囲領

域で計測される視線分布も考慮する必要がある状況について説

ここで，O 名からなる観察者の集合を O とする．なお，係明する．観察者の視線方向ベクトル αg(t, o) が周囲領域に向

数 W は式 (5) で表される．

く状況として，次の二つが考えられる．一つ目の状況は，観察W =者が，被写体の輪郭の近傍に存在する背景などの領域を見ているときである．二つ目の状況は，観察者が，既存の人体モデル
では表現できていない被写体の髪型や衣服などの領域を見て∑∑

a(v(t), g(t, o))(5)v(t)∈V(t) o∈O

また，p(v(t)|S(t)) は式 (6) を満たすものとする．

∑

いるときである．観察者は，上記で述べた二つの状況が発生した時，それらの周囲領域だけなく，その近くに存在する表面領

p(v(t)|S(t)) = 1(6)v(t)∈V(t)域の人体も同時に見ていると考えられる．具体的には，視線の以上より，提案手法は，各時刻で求めた注目度合を用いて頂点g(t, o) が指し示す方向に存在する中心点のみを見ている訳ではなく，その点の近傍に存在する人体モデルの頂点 v(t) も同注目確率を算出することで，人体の表面領域で計測された視線時に見ていると考えられる．このため，視線分布を三次元ヒーなることが期待される．

に加え，その周囲領域で計測された視線にも対応できるようにトマップを用いて可視化する際，表面領域だけでなく周囲領域

3. 動画中の被写体の姿勢の時系列変化への対応も同時に取り扱う必要があると言える．

3.1

2.3 提案手法における表面領域と周囲領域の扱い方
従来手法で扱うことができなかった周囲領域を，提案手法
で表面領域と同時に扱うための考え方について述べる．従来手法では，2.1 で述べたように，距離 ϵ に基づき注目度合d(v(t), g(t, o)) を求めていた．一方，提案手法では，視線方向ベクトル g(t, o) と頂点位置ベクトル v(t) とがなす角度 θ を用いて，視線がどれだけ集まるかを表す注目度合 a(v(t), g(t, o))
を求めることを考えていく．角度を用いる利点を例を用いて以下で説明する．まず，表面領域で視線分布が計測される場合の例を図 3(c) に示す．視線方向ベクトル g(t, o) と人体モデルの
頂点位置ベクトル v(t) との間で角度 θ が求められるため，注
目度合 a(g(t, o), v(t)) は計算可能である．また，周囲領域で視線分布が計測される場合の例を図 3(d) に示す．表面領域の場合と同様に，g(t, o) と v(t) との間の角度 θ が求められるた
め，注目度合 a(g(t, o), v(t)) は計算可能である．以上より，角度が導入された提案手法では，視線分布を三次元ヒートマップ
を用いて可視化する際，表面領域だけでなく周囲領域も同時に取り扱うことができる．
提案手法において，時刻 t の注目度合を算出する方法について詳細を述べる．人体モデルを構成する v(t) に，観察者 o の視線が集まることを表す注目度合 a(v(t), g(t, o)) を，視線方向ベクトル g(t, o) と頂点位置ベクトル v(t) とがなす角度 θ を用いて式 (2) で計算する．

a(v(t), g(t, o)) = exp(−

θ2
)
2σ 2

べたように，動画中で時間方向に連続して変化している．動画の全時刻を通して，観察者は被写体の身体のどこを見ていたかを調査することを考える．2.4 で述べた式 (4) の時刻 t の頂点
注目確率 p(v(t)|S(t)) を三次元ヒートマップで可視化し，各時刻の可視化結果をそのまま時間方向につなぎ合わせて三次元
ヒートマップの動画を生成することは簡単にできる．ただし，時系列に姿勢が変化する三次元ヒートマップ動画では，各時刻でどこに視線が集まっているかを，視線の分析者が記憶しながら調査する手間が発生する．本論文では，各時刻の姿勢が共通化された標準人体モデルを用いることで，時刻間で異なる姿勢を統一し，頂点注目確率を全時刻で周辺化することを考えていく．これにより，視線の分析者は，標準人体モデル上で可視化された単一の三次元ヒートマップを見るだけで，動画の全時刻を通した視線分布を調査できると考える．以下では，その具体的な計算方法について述べる．
頂点注目確率を全時刻で周辺化

提案手法は，頂点注目確率を全時刻で周辺化する際，各時刻で推定された人体モデルを標準人体モデルに変換する．以下
で，その具体的な方法について述べる．時刻 t のフレーム S(t)から推定された人体モデルでは，2.1 で述べたように，時刻に応じて姿勢が時間方向に変化するため，そのモデルは時刻 t の頂
点 v(t) の集合 V(t) で構成されている．一方，標準人体モデル(2)では，時刻に関係なく姿勢が一定であるとし，そのモデルは頂点 ṽ の集合 Ṽ で構成されているとする．なお，標準人体モデ

ここで，角度 θ は内積を用いて式 (3) で表される．

(v(t), g(t, o))cos θ =
∥v(t)∥2 ∥g(t, o)∥2

する方法について議論を進めていく．被写体の姿勢は，1. で述

3.2

2.4 動画の各時刻における注目度合の算出方法

概要

従来手法 4) では動画に対応できなかった残りの課題を解決

ルの ṽ と各時刻の人体モデルの v(t) との間で，三次元位置ベ(3)

クトルは異なるものの人体表面上での隣接関係は等しい．よって，各時刻の人体モデルの v(t) での頂点注目確率 p(v(t)|S(t))

なお，角度 θ が小さいほど v(t) への注目度合は大きくなり，は，標準人体モデルの ṽ での頂点注目確率 p(ṽ|S(t)) に式 (7)角度 θ が大きいほど注目度合は小さくなる．人体モデルにおいで変換できる．

て，観察者の目の位置から直接見ることができない裏面に存在する v(t) については，注目度合を 0 とする．

p(ṽ|S(t)) = p(v(t)|S(t))(7)

次に，動画の時刻 t におけるフレーム S(t) を見た時，人

なお，様々な人体モデル 5, 6, 7) が提案されているが，提案手

体 モ デ ル を 構 成 す る 頂 点 v(t) に 視 線 が 集 ま る 割 合 を 表 す

法では従来手法と同様に SMPL 5) を用いる．標準人体モデ

頂点注目確率 p(v(t)|S(t)) を，上記で算出された注目度合

ルとして，時刻間で共通化された特定の姿勢を設定し，時a(v(t), g(t, o)) を用いて求める．具体的には，各時刻の頂点注
目確率 p(v(t)|S(t)) を式 (4) で求める．
1 ∑p(v(t)|S(t)) =a(v(t), g(t, o))
(4)
W o∈O

刻間で SMPL の姿勢パラメータを一定値にする．具体的には，直立姿勢を保ちつつ両腕を横に水平に伸ばした姿勢に統一する．以下では動画の各フレームに対する時刻の集合を

T = {t1 , · · · , tT } と表記し，1 個の動画におけるフレームの集

S5

Step in a frame of time 𝑡

Marginalization

S1

S3

Gaze measurement

Attention degree calculation

Gaze direction vector
𝒈 𝑡, 𝑜𝛼𝒈 𝑡, 𝑜Frame 𝑆(𝑡)in time 𝑡𝒗(𝑡)𝑝(𝒗(𝑡! )|𝑆(𝑡! ))A set of observers
𝒪 = 𝑜! , … , 𝑜"∑𝑝(𝒗(𝑡)|𝑆(𝑡))Visualization in time 𝑡

・・・

S4

・・・

S2

Vertex attention
probability in 𝑡#
4|𝑆(𝑡# ))
𝑝(𝒗

Frame
𝑆(𝑡# )𝑝(𝒗(𝑡# )|𝑆(𝑡# ))Gaze attentionHigh

A set of the vertexes
composing humanbody model

Vertex attention
probability in 𝑡
4|𝑆(𝑡))
𝑝(𝒗

Frame
𝑆(𝑡)

Vertex attention probability in time 𝑡𝑝(𝒗(𝑡)|𝑆(𝑡))Vertex position vector𝒗(𝑡) ∈ 𝒱(𝑡)

・・・

・・・

Angle 𝜃Attention degree𝑎(𝒈 𝑡, 𝑜 , 𝒗(𝑡))Body model estimation

Vertex attention
probability in 𝑡!
4|𝑆(𝑡! ))
𝑝(𝒗

Frame
𝑆(𝑡! )

𝒈 𝑡, 𝑜Eye ofobserver 𝑜

Step in frames of
all time points in the movie

Marginalizing using a set of the frames
𝑆 = 𝑆 𝑡! , … , 𝑆(𝑡# ) in the movieLow

A 3D heat map
representing 𝑝(𝒗(𝑡)|𝑆(𝑡))is superimposedon the human model at 𝑡.

Fig. 4

4|𝑆)
𝑝(𝒗

S6
Visualization in all time points
4|𝑆)
A 3D heat map representing 𝑝(𝒗is superimposed on the human model.

Overview of our method.

合を S = {S(t1 ), · · · , S(tT )} と表記する．なお，T の要素数の頂点位置ベクトル v(t) を取得する．人体モデルは各時

は S の要素数と等しいとする．

刻の姿勢を表しており，これまでに述べたように SMPL 5)

各時刻の視線分布を全時刻での視線分布に統合するため，

で定義されている．動画の各時刻において SMPL の姿勢

式 (7) の頂点注目確率 p(ṽ|S(t)) を，動画を構成するフレーム

パラメータを推定するため，多くの手法 8, 9, 10, 11, 12) が提案の集合 S で周辺化する．具体的には，全時刻での頂点注目確されているが，提案手法では 4D Humans 8) を用いる．

率 p(ṽ|S) を式 (8) で計算する．

p(ṽ|S) =

1
n(S)

∑

p(ṽ|S(t))(8)

S(t)∈S

S3. 各時刻の頂点注目確率の算出
S1 で得た視線方向ベクトル g(t, o) と S2 で得た頂点位置
ベクトル v(t) とがなす角度 θ を用いて，各時刻の人体モ
デルを構成する頂点へ，観察者の視線がどの程度集まる

ここで，n( ) は集合の要素数を返す関数であり，具体的には動かを表す注目度合 a(v(t), g(t, o)) を求める．具体的には，画の総フレーム数を返す．なお，p(ṽ|S) は式 (9) を満たす．

2.4 で述べた式 (2) を計算する．次に，観察者の集合 O に∑p(ṽ|S) = 1

(9)

ṽ∈Ṽ

観察者は動画の全時刻を通して被写体の身体のどこを見ていたかを，視線の分析者が調査できるよう提案手法は可視化す
る．具体的には，全時刻で周辺化された頂点注目確率 p(ṽ|S)を三次元ヒートマップで表し，標準人体モデルに重ね合わせる．視線が集まる確率が高い頂点ほど赤色に近くなり，視線が集まる確率が低い頂点ほど青色に近くなるよう標準人体モデル
表面に色付ける．

3.3 提案手法の全体の流れ

属する全ての観察者から得られた注目度合を用いて，人体モデルの頂点に全観察者の視線が集まる割合を表す頂点注目確率 p(v(t)|S(t)) を各時刻で求める．具体的には，2.4 で述べた式 (4) を計算する．

S4. 各時刻の視線分布の可視化
各時刻において，観察者の視線は被写体の身体のどこに集まるかを調査するため，S3 で得た各時刻の頂点注目確率を表す三次元ヒートマップを，各時刻の人体モデルへ重ね合わせて可視化する．

S5. 頂点注目確率を全時刻で周辺化
動画の全時刻において，観察者の視線は被写体の身体の提案手法の流れを図 4 に示し，各ステップについて説明する．

どこに集まっていたかを調査するため，S3 で得た各時刻

S1. 各時刻の視線計測
動画の時刻 t のフレーム S(t) を，観察者 o が見ている時の視線方向ベクトル g(t, o) について，HMD に搭載されの頂点注目確率を周辺化する．具体的には，3.2 で述べた

たアイトラッカーで計測する．

S2. 各時刻の人体モデル推定
フレーム S(t) の被写体から人体モデルを推定し，各時刻

式 (8) を計算する．

S6. 全時刻での視線分布の可視化
動画の全時刻を通して観察者の視線は被写体の身体のどこに集まるかを表す視線分布を可視化するため，S5 で得た全時刻の頂点注目確率を表す三次元ヒートマップを，標2: やや感じない，1: 感じない) で観察者に回答させた．評価実験に参加する観察者の人数を 24 名 (男性 12 名，女性 12 名，
平均年齢 23.6 ± 2.0 歳) とした．観察者の平均瞳孔間距離は63.2 ± 1.9 mm であった．なお，設問 Q に対する 4 段階評価の平均スコアは，被写体 1 の動画で 2.0 ± 1.0，被写体 2 の動画
で 2.7 ± 0.8，被写体 3 の動画で 2.1 ± 0.7 であり，どの動画でSubject 1

Subject 2

Subject 3

も躍動感があるとはやや感じない傾向であった．

4.4
Fig. 5

Examples of stimulus movies for gaze measurement.

視線計測の手順

観察者の視線を計測する手順を以下で述べる．

P1 : 観察者の集合 O から 1 名の観察者 o をランダムに選出
準人体モデルへ重ね合わせる．
提案手法を用いることで，動画中で被写体の姿勢が時系列変化
する場合，その時刻間の姿勢の違いを考慮せずとも，動画の全時刻を通して，観察者が被写体の身体のどこを見ていたかを，視線の分析者は調査できるようになることが期待される．

4. 評価実験の条件
4.1 刺激として用いる動画
提案手法は，1. で述べた従来手法の二つの課題に対応できたかを確認するため，動画中の被写体から躍動感を受けている観察者の視線分布を計測し可視化する実験を行った．観察者 1 名につき刺激として 3 個の動画を準備した．各動画から抽出されたフレームの例を図 5 に示す．被写体 1 の動画では被写体が壁を登る動作を行い，被写体 2 の動画では被写体が球を打つ動作

した．

P2 : 計測手順，4.3 で述べた設問 Q，および，回答方法を観察者 o に説明した．
P3 : 開始画像を大型ディスプレイ上に 2 秒間表示した．
P4 : 観察者へ与える刺激として，4.1 で述べた 3 個の動画の中から重複無しでランダムに選択された 1 個の動画 Sを大型ディスプレイ上に表示した．この時に観察者の視線を計測した．

P5 : 終了画像を大型ディスプレイ上に 3 秒間表示した．また，設問 Q について，観察者に回答させた．
P6 : 全ての動画の計測が完了するまで，手順 P3 から P5 までを繰り返した．

P7 : 観察者の集合 O の全ての観察者の計測が完了するまで，手順 P1 から P6 までを繰り返した．

を行い，被写体 3 の動画では被写体が足を蹴り上げる動作を行

動画を表示する際，観察者の視線が，初期時刻にディスプレイ

うことにした．動画の時間長は，被写体 1 で 10.4 秒，被写体 2

中心に固定されるセンターバイアス 13) に気をつける必要があで 6.9 秒，被写体 3 で 7.3 秒とした．これらの動画を素材サイる．センターバイアスを避けるため，手順 P3 で準備した開始

ト*1 よりダウンロードした．動画のフレームレートは 30 fps と画像を表示する時，無地背景のランダムな位置に配置された白した．動画の縦幅を 900 画素となるようにアスペクト比を維い十字印の中心を観察者に注視させた．

持してリサイズした．動画の横幅は被写体 1 で 506 画素，被写4.5

体 2 で 570 画素，被写体 3 で 730 画素とした．リサイズした

計測された観察者の視線分布を三次元ヒートマップで可視

動画を灰色画像の上のラインダムな位置に配置した．灰色画像

化した時の条件を述べる．提案手法で用いる SMPL 5) の人体の解像度は 1920 × 1080 画素とした．

可視化のための三次元ヒートマップ生成

モデルを WEB サイト*2 からダウンロードした．この SMPL の

4.2 視線計測のセッティング

頂点数は 6890 点であり，三つの頂点を結んだ三角形メッシュ

観察者の視線を計測するため，アイトラッカーが内蔵されてで隣接関係が設定されていた．各時刻の人体モデルを得る際いる HMD (VIVE Pro Eye，HTC 社) を使用した．観察者は裸には，3.3 の S2 で述べた 4D Humans 8) を用いて，動画の各フ眼，もしくは，コンタクトの状態で HMD を装着した．仮想空

レームから姿勢パラメータ推定した．提案手法の S5 で用いる間内の大型ディスプレイ上に表示される動画を観察者へ見せ

標準人体モデルにおいて，姿勢パラメータを SMPL で設定さた．仮想空間において，観察者の視点から大型ディスプレイ

れているデフォルト値とした．なお，各頂点の位置ベクトルをまでの距離を 9 m とし，大型ディスプレイの大きさを 16 × 9

求める際に必要となる体型パラメータを，SMPL における中性= 144 m2 とした．アイトラッカーのサンプリングレートを 90
Hz とした．なお，HMD の仕様により，計測される視線の時刻の平均体型を表すデフォルト値とした．視線分布を三次元ヒー

間隔は一定でないため，等間隔になるよう線形補間を用いてリした．

サンプリングした．この際，観察者が瞬きした時刻や，視線が大型ディスプレイから外れた時刻については，視線を補間しなかった．

4.3 観察者が取り組む設問
視線計測の際に以下の設問を観察者に与えた．

トマップで可視化するため，blender 3.5 を用いてレンダリング

5. 評価実験の結果
5.1 各時刻において表面領域と周囲領域とから計測された
視線分布の可視化
視線を可視化する際，表面領域に加えて周囲領域も提案手法は取り扱えるかどうかを評価した．この評価実験では，図 6(a)，Q : 動画中の被写体の動作に躍動感があると感じるか．
この設問について，4 段階評価 (4: 感じる，3: やや感じる，*1 https://www.pexels.com/ja-jp/(f)，および，(k) のフレーム S(t) を対象とした．各フレームにおいて，従来手法 4) では，2.1 で述べた式 (1) の距離 ϵ に基づく

*2 https://smpl.is.tue.mpg.deFrame 𝑆(𝑡)of the movie
in time 𝑡Previous method(Distance)
SurfaceregionSubject 1

Our method(Angle)布について，提案手法を用いて可視化した結果を図 6(e)，(j)，SurfaceregionSurrounding
regionSurface andsurrounding
regions

28 [%]

72 [%]

100 [%]

および，(o) に示す．これらの可視化結果では，表面領域で計測された視線分布と周囲領域で計測された視線分布とが，前述の割合で重み付け平均された見え方であることが分かる．以上の結果より，提案手法は，各時刻において表面領域に加えて，従来手法が取り扱えなかった周囲領域から計測された視線分布を可視化できることを定性的に確認した．従来手法の表面領域のみから得た調査結果に加えて，異なる身体部位にも視線が集まる傾向も示していることから，観察者の視線が表面領域から

(a)

(b)

Subject 2

(c)

(d)

(e)

31 [%]

69 [%]

100 [%]

外れることが多い場合は，周囲領域も同時に取り扱える提案手
法は，視線分布の調査に重要であると考えられる．

5.2 動画の全時刻で周辺化された頂点注目確率による視線分布の可視化
動画の全時刻で頂点注目確率を周辺化することで，提案手法
は動画に対応できるかどうかを評価した．4.1 で述べた動画の
(f)

(g)

Subject 3

(h)

(i)

(j)

29 [%]

71 [%]

100 [%]

全フレームについて， 4.4 で述べた手順で計測された各時刻の視線分布を用いて，全時刻を通した視線分布を可視化した．動画から抽出された一部のフレーム S(t) を図 7(a)，(e)，および，(i) に示す．
まず，一般的な可視化手法である二次元ヒートマップを用いて，各時刻の視線分布を可視化した結果を図 7(b)，(f)，および，(j) に示す．また，3.3 で述べた図 4 のステップ S4 で生成され(k)Fig. 6

(l)

(m)

(n)

(o)

Visualization of the gaze distribution measured from surface
and surrounding regions in the frame S(t) of time t.

た三次元ヒートマップを用いて，各時刻の頂点注目確率を可視化した結果を (c)，(g)，および，(k) に示す．各時刻の二次元
ヒートマップ，および，各時刻の三次元ヒートマップは共に，観察者が被写体の身体のどこを各時刻で見ていたかを可視化している．ただし，動画の全時刻を通して観察者が被写体の身体

注目度合 d(v(t), g(t, o)) を利用した．また，提案手法では，2.4のどこを見ていたかを調査する際，それら各時刻のヒートマッで述べた式 (2) の角度 θ の基づく注目度合 a(g(t, o), v(t)) を使

プでは，視線が集まる身体をそれぞれの時刻で細やかに記憶す用した．まず，距離に基づく従来手法を用いて可視化した結果る手間が発生すると言える．

を図 6(b)，(g)，および，(l) に示す．比較のため，表面領域の次に，3.3 で述べた図 4 のステップ S6 で生成された三次元みにおいて，角度に基づく提案手法を用いて可視化した結果をヒートマップを用いて，頂点注目確率を全時刻で周辺化し，単(c)，(h)，および，(m) に示す．(b) と (c) とを比べた時，可視化された視線分布の見た目はほぼ同じであった．また，(g) と (h)とを比べた時，および，(l) と (m) とを比べた時も，可視化結果

一の標準人体モデル上で可視化した結果を図 7(d)，(h)，およ
マップを可視化する時，仮想カメラの視点位置を三つ設けてレはほぼ同じであった．表面領域から計測された視線分布の可視ンダリングした．これは，三次元ヒートマップを，複数の視点化において，距離に基づく従来手法と角度に基づく提案手法とから同時に確認するためである．提案手法を用いた三次元ヒーは同等の表現力があると考えられる．

トマップの可視化により姿勢が全体で統一されているため，動次に，従来手法では取り扱えなかった周囲領域において，提案手法を用いて可視化した結果を図 6(d)，(i)，および，(n) にび，(l) に示す．なお図中では，標準人体モデルの三次元ヒート

画の全時刻を通して観察者が被写体の身体のどこを見ていたかを，視線の分析者は一目で調査できると考えられる．

示す．被写体 1 について，表面領域の (c) では視線が頭や右腕

観察者が動画中の被写体の動作から躍動感を受ける時に計測に主に集まっていたが，周囲領域の (d) では視線が左肘に主にされた視線分布に関する具体的な調査結果として，以下が得ら集まっていた．被写体 2 について，表面領域の (h) では視線がれた．壁を登る動作を行う被写体 1 の (d) では，動画の全時刻

右腕に主に集まっていたが，周囲領域の (i) では視線が頭に主を通して，頭，両腕，かつ，右脇に観察者の視線が主に集まっに集まっていた．被写体 3 について，表面領域の (m) では視ていた．球を打つ動作を行う被写体 2 の (h) では，動画の全時

線が左肩に主に集まっていたが，周囲領域の (n) では視線が頭刻を通して，頭に観察者の視線が主に集まっていた．また，足に主に集まっていた．これらの結果から，表面領域において計を蹴り上げる動作を行う被写体 3 の (l) では，動画の全時刻を測された視線分布のみでは見落とされていた傾向が，周囲領域

通して，頭に観察者の視線が主に集まっていた．調査結果よにおいて計測された視線分布から発見できるようになると考えり，これらの動画において被写体の動作は異なるものの，観察られる．なお，図中において，可視化結果の上部に示した数字

者の視線は，全時刻を通して頭に共通して主に集まる傾向を示

は，フレーム S(t) において計測された観察者 24 名全員分の視すことが分かった．以上より，提案手法を用いて頂点注目確率

線のサンプリング総数を 100% とした時，表面領域，または，を全時刻で周辺化し標準人体モデル上で可視化することで，動周囲領域のそれぞれで計測された視線のサンプリング数の割合

画中で時系列に変化していく被写体の姿勢に対応できることをを表す．

定性的に確認した．

最後に，表面領域と周囲領域との両方から計測された視線分

Subject 1𝑡(a)Frame 𝑆(𝑡)of subject 1
in time 𝑡

Subject 2(b)
2D heat mapof subject 1
in time 𝑡(c)
3D heat mapof subject 1
in time 𝑡𝑡(e)Frame 𝑆(𝑡)of subject 2
in time 𝑡

Subject 3(f)
2D heat mapof subject 2
in time 𝑡(g)
3D heat mapof subject 2
in time 𝑡𝑡(i)Frame 𝑆(𝑡)of subject 3
in time 𝑡(j)
2D heat mapof subject 3
in time 𝑡

Subject 1

Subject 2

Subject 3(d)
3D heat map of subject 1
in all time points(h)
3D heat map of subject 2
in all time points(l)
3D heat map of subject 3
in all time points

Vertex attention probability:

Fig. 7Low(k)
3D heat mapof subject 3
in time 𝑡

High

Visualization of gaze distribution by marginalized vertex attention probability in all time points of the movie.

5.3 周囲領域を人体モデルで表現する動機と利点ていなかったことに起因すると考え，表面領域に加え周囲領域

提案手法を開発するに至った動機として，動画の各時刻で視に対応した提案手法を開発した．提案手法で可視化した結果を

線分布を可視化した結果が，一般的な二次元ヒートマップと距との間で異なっていたことが挙げられ(d) に示す．この結果 (d) は，二次元ヒートマップで可視化した
結果 (b) と近づいていると言える．提案手法で可視化した結果

る．その具体例を図 8 に示す．図中 (a) のフレームについて，は，二次元ヒートマップと三次元人体モデルとを関連付けて調二次元ヒートマップで可視化した結果を (b) に示し，従来手法査できる利点があり，さらにカメラ視点を仮想的に変えながらで可視化した結果を (c) に示す．被写体 1 では左肘，被写体 2

視線分布を調査できる利点があると考える．

離に基づく従来手法

4)

では頭と左肩，被写体 3 では頭において，二次元ヒートマッ

提案手法では，動画中のシーンを三次元的に意味のあるモデプと従来手法との間で可視化結果が大きく異なっていた．このルに再構成することで，動画の時間方向に同一の意味をもつ

差異は，人体の周囲領域で観測された視線に従来手法が対応し人体の頂点ごとに，視線分布を可視化することを狙った．ただ(a) Frame
Subject 1(b)
2D heatmap(c)(d)
Previous method Our method(a) Surface
region(b) Surrounding
region(c) Surface andsurrounding
regions

Subject 1

49 [%]

51 [%]

100 [%]

46 [%]

100 [%]

35 [%]

100 [%]

Enlargementof the left
elbow
Subject 2

Subject 2

54 [%]

Subject 3

Enlargementof the head
65 [%]

Subject 3

Visualization of gaze distribution measured from surface andsurrounding regions in all times of the movies.

Fig. 9割合は，被写体 1 と被写体 2 の動画で約 5 割，被写体 3 の動画
で約 4 割であった．このため周囲領域でサンプリングされる視Enlargementof the head線の影響も無視できないと考えられる．被写体 1 の周囲領域では，全時刻を通して頭や両腕や右脇や右太腿や左足首に観察者

Fig. 8Comparison of visualization results.

の視線がやや集まっていた．被写体 2 や被写体 3 の周囲領域では，全時刻を通して頭や左肩に観察者の視線がやや集まっていた．動画の全時刻を通して人体の表面領域から視線が外れて計し，提案手法はシーン中に存在する人体のみを再構成してお測されることが多い場合，周囲領域に対応する利点があると考り，他の物体の三次元形状を再構成していない．このため，人える．

体の周りにある物体との関係を調査できない限界がある．被写

5.5

被写体がその他の動作を行った場合の評価

体 2 が所持しているラケットやボールなど，動作に大きく関係

被写体の動作の種類を増やした時の評価を行った．被写体 4する道具は視線分布に影響を及ぼしていると想定される．道具の動画では左足を軸に回転を繰り返す動作を行い，被写体 5 のを手で持っている場合は周囲領域でカバーできる可能性がある

動画ではバットを振る動作を行い，被写体 6 の動画ではロープが，例えばボールを高く投げるなど，道具が人体から遠く離れの上下振りを繰り返す動作を行うことにした．各動画から抽出た場合，その道具に視線が集まったとしても提案手法では対応されたフレームの例を図 10(a) に示す．図中 (b) では表面領域できない．今後はシーン全体を三次元再構成できる手法を導入

のみ，(c) では周囲領域のみ，(d) では表面領域と周囲領域とかし，視線分布の可視化手法を改良していく必要がある．

ら，全時刻で周辺化された頂点注目確率を三次元ヒートマップ

5.4 周囲領域における全時刻を通した視線分布の可視化で可視化した．動画以外の評価条件は 4. と同じとした．なお，

表面領域に加えて周囲領域に対応することの利点を確認する

図中において，可視化結果の左下部に示した数字は，全時刻をため，全時刻を通した視線分布を可視化した．ここでは 5.2 で通して計測された視線のサンプリング数の割合を表す．周囲領扱った 3 個の動画を用いた．その結果を図 9 に示す．図中 (a)域における視線のサンプリング割合は，被写体 4 と被写体 6 にでは表面領域のみ，(b) では周囲領域のみ，(c) では表面領域とおいて約 2 割，被写体 5 において約 4 割であった．設問 Q に対周囲領域とから，全時刻で周辺化された頂点注目確率を三次する 4 段階評価の平均スコアは，被写体 4 の動画で 2.9 ± 0.6，

元ヒートマップで可視化した．図中において，可視化結果の左

被写体 5 の動画で 2.6 ± 0.6，被写体 6 の動画で 3.5 ± 0.5 で下部に示した数字は，全時刻を通して計測された観察者 24 名あった．

全員分の視線のサンプリング総数を 100% とした時，各領域で同じ回転動作を繰り返す被写体 4 において，視線が頭や首に計測された視線のサンプリング数の割合を表す．なお，図 9(c)主に集まっていた．バットを振る動作を 1 回行う被写体 5 におは，図 7(d) と (h) と (l) で示した三つの仮想視点の中で中央にいて，視線が頭に主に集まっていた．道具を用いながら同じ動あたる結果と同一のものである．

作を繰り返す被写体 6 において，視線が頭や胸元に主に集まっ動画の全時刻を通して周囲領域で視線がサンプリングされたていた．なお，被写体 6 において，周囲領域で計測された視線

(a) Frame(b) Surface
region(c) Surrounding
region(d) Surface andsurrounding
regions

Subject 4へ対応できていなかったが，提案手法では，動画の全時刻を通して姿勢が共通化された視線分布を可視化できることを確認した．
今後の課題として，提案手法の有効性を示すためにユーザス
タディを用いた定量的な評価を実施することが挙げられる．また，動画中に複数名の被写体が同時に存在する場合について，
視線分布をどのように可視化するかについて提案手法を発展さ

79 [%]

21 [%]

100 [%]せることが挙げられる．更に，被写体の動作に応じて観察者が受ける躍動感が変化するかどうかについて，視線分布に基づきSubject 5

調査を深めていくことが挙げられる．
謝辞
本研究の一部は，JSPS 科研費 JP23K11145 の助成を受けたものである．

59 [%]

41 [%]

参100 [%]

1)
Subject 6

77 [%]

Fig. 1023 [%]

100 [%]

Visualization of gaze distribution measured from the subjects performing other actions.

は，人体モデルの頂点注目確率にほぼ影響していなかった．人体から離れた位置に存在する道具であるロープの先端に視線が分散し，人体近くの周囲領域に集まる視線が少なかったためと考える．提案手法による可視化は，人体のみを考慮しており周囲に存在する道具を考慮していないため，5.3 で述べた限界があると言える．以上の結果より，表面領域に加えて周囲領域にも対応している提案手法は，道具を使用しない動作や道具を身
体付近のみで使用する動作における視線分布を可視化できる有効性があると考える．

6. まとめ
本論文では，観察者が動画中の被写体の動作から躍動感を受ける時，被写体の表面領域とその周囲領域において計測された
視線分布を，被写体の姿勢を時間方向に統一した上で可視化する手法について述べた．表面領域と周囲領域とを扱うため，仮
想空間における観察者の視線方向ベクトルと人体モデルの頂点
位置ベクトルとの間の角度を用いた．また，動画の視線分布に対応するため，姿勢が時刻間で共通化された標準人体モデルを導入し，頂点注目確率を全時刻で周辺化した．実験結果において，従来手法では，表面領域で計測された視線分布のみしか可視化できなかったが，提案手法では，表面領域と周囲領域との両方で計測された視線分布を可視化できることを確認した．
また，従来手法では，動画中で時系列に変化する被写体の姿勢

考

文

献

C. Piers, H. Peter, V. Kiviniemi, G. Hannah, and T. Martin. Patternsof eye movements when male and female observers judge female attractiveness, body fat and waist-to-hip ratio. Evolution and Human
Behavior, Vol. 30, No. 6, pp. 417–428, 2009.
2) L. Nummenmaa, H. Jari, P. Santtila, and J. Hyönä. Gender and visibility of sexual cues inﬂuence eye movements while viewing faces andbodies. Archives of Sexual Behavior, Vol. 41, No. 6, pp. 1439–1451,
2012.
3) K. R. Irvine, K. McCarty, T. V. Pollet, K. K. Cornelissen, M. J. Tovée,and P. L. Cornelissen. The visual cues that drive the self-assessmentof body size: Dissociation between ﬁxation patterns and the key areasof the body for accurate judgement. Body Image, Vol. 29, pp. 31–46,
2019.
4) F. Inoue, M.and Iwasaki, M. Nishiyama, and Iwaim Y. Heatmap overlay using neutral body model for visualizing the measured gaze distributions of observers. In Asian Conference on Pattern Recognition, pp.
102–114, 2023.
5) M. Matthew, N. Mahmood, J. Romero, G. Pons-Moll, and M.J. Black.
SMPL: A skinned multi-person linear model. ACM Transactions on
Graphics, Vol. 34, No. 6, pp. 1–16, 2015.
6) P. Georgios, V. Choutas, N. Ghorbani, T. Bolkart, A. A. A. Osman,
D. Tzionas, and M. J. Black. Expressive body capture: 3D hands,
face, and body from a single image. In Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, pp. 10975–
10985, 2019.
7) A. A. A. Osman, T. Bolkart, D. Tzionas, and M. J. Black. SUPR:
A sparse uniﬁed part-based human representation. In Proceedings ofEuropean Conference on Computer Vision, pp. 1–18, 2022.
8) S. Goel, G. Pavlakos, J. Rajasegaran, A. Kanazawa, and J. Malik. Humans in 4D: Reconstructing and tracking humans with transformers.
In International Conference on Computer Vision, pp. 1–12, 2023.
9) R.A. Güler, N. Neverova, and I. Kokkinos. Densepose: Dense humanpose estimation in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7297–7306,
2018.
10) Y. Xiu, J. Yang, D. Tzionas, and M. J. Black. Icon: Implicit clothedhumans obtained from normals. In Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, pp. 13296–
13306, 2022.
11) V. Choutas, L. Müller, C. P. Huang, S. Tang, D. Tzionas, and M. J.
Black. Accurate 3d body shape regression using metric and semantic
attributes. In Proceedings of the IEEE/CVF Conference on Computer
Vision and Pattern Recognition, pp. 2718–2728, 2022.
12) H. Zhang, Y. Tian, X. Zhou, W. Ouyang, Y. Liu, L. Wang, and Z. Sun.
Pymaf: 3d human pose and shape regression with pyramidal meshalignment feedback loop. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11446–11456, 2021.
13) M. Bindemann. Scene and screen center bias early eye movements inscene viewing. Vision research, Vol. 50, No. 23, pp. 2577–2587, 2010.