身体への印象単語を判別する際に計測された視線位置分布の確率表現 ∗木下顕 ∗∗ ，井上路 子 ∗∗ ，西山

正志 ∗∗ ，岩

井

儀

雄 ∗∗

Probability Representation of Gaze Distribution Measured When Judging Impression Words of Body Parts
Ken KINOSHITA, Michiko INOUE, Masashi NISHIYAMA and Yoshio IWAI
We investigate how to represent the probability of gaze distributions for indicating that the observers frequently view
body parts when they judge impression words for the body parts of the subjects in the person images. In the field ofcognitive science, analytical studies have been reported on how observers view person images and judge the impressionsof the subjects. However, there was no discussion of how to represent the probability of gaze distributions when judging
impressions for the subjects. Our method gives the observers the task of judging impression words related to a formal
scene, and measure the gaze locations from the observers. We represent a conditional gaze probability of body parts using
the measured gaze locations. We evaluated how the gaze probabilities change between impression words and body parts
included in the tasks. We confirmed that there was a tendency of causing differences among impression words because thedivergences between the conditional gaze probabilities of the body parts were large.
Key words: Impression words, body parts, observers, gaze distribution, probability

Is she beautiful?

1. はじめに

Yes

Yes

Yes

Yes

No

Yes

Yes

Yes

Yes

No

Yes

結婚式やパーティーなど，大勢の人間が社会的な通念を共有できるフォーマルなシーンにおいて，人物の印象は重要となる．実際に我々が知人の結婚式に出席する際，そのシーンに相応しい印象を出席者に与えることは大事である．本論文では，印象を推定するシステムを考えるために，そのシステムの目となるカメラで撮影された人物画像を対象とする．フォーマルなIs she tidy?

Yes

(a)

(b)

Fig. 1 Examples of questions using impression words for person images.

シーンで撮影された画像中の被写体から受ける印象を以下で取り扱う．なお，観察者と画像中の被写体は，互いに初対面とし議論を進める．
フォーマルなシーン中に存在する人物の印象を表す単語として，美しい，可愛い，清潔感がある，上品である，素敵であるなどが挙げられる．これらの印象単語について，人物画像を見ている観察者に尋ねると，多くの観察者は共通の回答を思い浮かべると考えられる．例えば，Fig. 1 (a) の人物画像について，
美しいか否かを観察者へ尋ねる．この場合，多数の観察者が美しいと回答し，一部の観察者が美しくないと回答すると想定される．次に，美しいとは別の印象単語を，異なる人物画像について尋ねた場合を考える．清潔感があるか否かについて尋ねると，先ほどと同様の傾向が得られると想定される．その例をFig. 1 (b) に示す．
ここで，画像中の被写体に対する印象単語を，システムが自動で推定する技術について考える．人物画像から印象単語を推定するために，一般的には，機械学習や深層学習を適用することが多い．人物画像と印象単語のペアを収集することで，画像と単語の相関関係を統計的に学習していく．これらの機械学習
や深層学習の技術は，様々なアプリケーションで活用されている．例えば，人物の性別や服装などの属性認識

1, 2)

，写真の審

美品質識別 3, 4) において活用事例が報告されている．人物画像∗∗∗∗

原稿受付 令和 2 年 5 月 8 日
掲載決定 令和 2 年 7 月 30 日
鳥取大学大学院工学研究科 (鳥取市湖山町南 4 丁目 101)と印象単語のペアからなる訓練サンプルを大量に収集することができれば，機械学習や深層学習の技術を用いることで，印象推定のアプリケーションにおいても高い精度を得られると期待される．ただし，訓練サンプルを大量に収集することは多大な手間がかかる課題があった．
観察者から計測された視線位置分布を学習アルゴリズムへ組
み込むことで，訓練サンプルのみに頼らずに機械学習や深層学
習の精度を高める手法 5, 6, 7, 8, 9, 10, 11) が近年登場しつつある．これらの既存手法は，大量の訓練サンプルが収集できない場合でも，精度向上への寄与が期待される．ただし，これらの既存手法では，印象単語に対する観察者の視線位置分布を，機械学習
や深層学習において，どのように取り扱うかについては議論されていなかった．
本論文で取り扱う視線位置分布を明確にするために議論を進める．認知科学の分野において，観察者が人物画像をどのように見て，その被写体の印象を持ったかについての分析研
究 12, 13, 14, 15, 16) が報告されている．これらの分析研究では，人物画像に対して印象を評価するタスクを観察者に与え，その観察者の視線を計測している．観察者は，顔を主として様々な身体部位へ，視線を空間的に配ることが明らかにされている．また，タスクに含まれる印象単語によって，視線の配り方が変化することが明らかにされている．ただし，これらの分析研究では，印象を判別するタスクを与えた時の視線の配り方を，機械学習や深層学習に組み込む考え方については議論されていなかった．確率統計に基づく機械学習や深層学習のアルゴリズム

2.2 印象に対する視線位置の分析研究へ，観察者の視線位置分布を円滑に組み込むためには，身体部

認知科学の分野において，画像中の被写体を対象とし，観察位への視線の配り方そのものが確率的に表現されていることが者がもった印象と視線位置との関係について分析研究が報告さ望ましい．

れている．文献 12) では，男性の体型変化の画像を用いて，好そこで本論文では，画像中の被写体の身体部位に対する印象

印象と感じるかの多段階評価を行い，視線位置を分析してい単語を観察者が判別する際に，どの身体部位をどれだけ見たかる．被写体の印象を決める際に，観察者は顔へ視線を主に配を表す視線位置分布を，確率で表現するための手法について述り，次に胸に視線を配ることが述べられている．文献 13) では，べる．また，実際に視線位置を計測し，印象単語の間で確率分

様々な女性の全身画像を用いて，第 1 印象の良し悪しの多段布に違いが表れるかどうかを調査する．提案手法では，観察者階評価を行い，視線位置を分析している．男性の観察者は，胸の視線位置を計測するために，フォーマルなシーンで用いられや腰と比べて顔に視線を配ることが述べられている．文献 14)

る印象単語を判別するタスクを観察者に与える．計測された視では，女性の体型変化の画像を用いて，魅力をどの程度感じた

線位置を，身体部位を条件として与えた時の確率分布として表かの多段階評価を行い，視線位置を分析している．男性の観察現する．実験において，タスクに含まれる印象単語の間で，視者の視線は，腰や足と比べて顔や胸に集まることが述べられて

線位置分布がどのように変化するかを比較した．フォーマルないる．文献 15) では，アルコールを摂取した観察者が持つ印象シーンにおける印象単語の間で，身体部位に対する視線の空間と視線位置の関係を分析している．他の分析研究の結果と同様的な配り方に差異がある傾向が見られることが，条件付き確率に，腰や胸と比べて顔に視線が集まることが述べられている．

の分布間の距離から分かった．なお本論文では，機械学習や深文献 16) では，化粧販売員の画像を用いて，親近感や信頼感の多層学習のアルゴリズムへ視線位置分布を組み込むレベルまで到段階評価を行い，視線位置を分析している．観察者は，商品を達できてはいないが，そのための重要な要素技術となる視線位持つ手に比べて顔へ視線を配っていることが述べられている．

置分布の確率表現を開発した点に主な貢献がある．以下，2. で以上の分析研究より，観察者が印象を決める際，顔を主に見る

関連研究について述べ，3. で視線計測について述べ，4. で視線が，それ以外の身体部位も見ると言える．このことから，顔や位置分布の確率表現について述べ，5. で実験について述べる．

手足などの身体部位に向けて，視線を何処へどれだけ空間的に最後に，6. でまとめる．

配るかが印象に深く関係すると考えられる．本論文では，これらの既存の分析研究の知見を機械学習や深層学習で取り扱える

2. 関連研究2.1

ように，印象に対する視線の配り方を確率分布で表現すること

機械学習や深層学習へ視線位置を組み込む既存手法を狙う．

いくつかの認識タスクに向けて，実際の観察者から計測された視線位置を，機械学習や深層学習へ組み込む手法が開発され

3. 観察者の視線位置の計測ている．文献 5) では，動画からの文章生成を目的として，観察者の視線位置を利用し，文章の予測精度を向上させている．文

3.1 概要章生成ネットワークのアテンション機構において，動画中のど確率表現された視線位置分布を，機械学習や深層学習に組み6)

込む価値があるかどうかを決めるために，実際に印象を判別す

こに視線が集まるかを教師信号として取り入れている．文献

では，画像に対する質疑応答を目的として，観察者の視線位置

る推定処理を構築し，その精度で結論付けることが望ましい．

を利用し，応答精度を向上させている．先の既存手法と同様

ただし，印象に応じて視線位置分布がそもそも変化しないのでに，視線でアテンション機構を制御している．文献 7) では，動あれば，推定精度の向上は見込めない可能性が考えられる．

画要約を目的とし，視線を利用することでユーザの好みへ合わ

そこで本論文では，事前調査として，確率表現された視線位せることを実現している．具体的には，動画を見ている観察者

置分布が，印象によって変化するかどうかを確認する．この調から計測された視線の位置と速度を，深層学習の入力として組査のために，人物画像に含まれる身体に対して，その印象を判み込んでいる．文献 8) では，ユーザ好みの画像選択を目的と別するタスクを実験協力者に与え，視線位置を計測する．そのし，視線位置を特徴量として認識アルゴリズムに組み込んでい際に，以下の仮説を置き検証を進める．

る．文献

9)

では，ファッションアイテム画像の属性認識を目的とし，視線を用いることで認識精度を向上させている．視線が集まりやすい領域をマスキングし，その領域内で学習のための仮説 : 与えたタスクに含まれる印象単語と身体部位との組み合
わせが変化すると，視線位置分布に変化が生じる．

特徴量を抽出している．文献 10) では，どのファッションアイ

印象単語として，大勢の人間が社会的な通念を共有できる

テム画像をユーザが好むかを推定することを目的とし，深層学

フォーマルなシーンに当てはまるものを対象とする．具体では，的には，美しい，清潔感がある，可愛いを用いる．また，身人物画像の性別認識を目的とし，視線位置を用いることで精度体部位として手と足を対象とする．これらの身体部位をタスを向上させている．特徴抽出の前処理として，観察者の視線がクに含める理由を以下に挙げる．印象に関する視線の分析研集まる位置へ大きな重みを与えている．これらの既存手法から

究 12, 13, 14, 15, 16) では，実験協力者が人物画像の印象を感じる際，分かるように，観察者から計測された視線位置は，機械学習や顔を主として様々な身体部位へ視線を配ることが報告されてい深層学習の精度向上に寄与すると言える．ただしこれらの既存る．本論文では，明示的に手や足をタスクに含めることで，全手法では，人物画像の印象を推定するタスクについては議論さ

身を含む人物画像において，視線が手や足に集まるかどうか

れていなかった．本論文では，人物画像の印象推定において視を，最初に実験で確認する．次に，印象単語の間で視線位置分線を活用することを目的とし，印象単語を判別した際の観察者

布がどのように変化するかを実験で確認する．

習のプーリング層へ視線位置を組み込んでいる．文献の視線位置を，確率分布で表現することを狙う．

11)

実験協力者に与える具体的なタスクを説明する．印象単語および身体部位を含む以下のタスクを実験協力者へ与え，その回

xf の画素のみを見ている訳ではなく，その周辺の画素も同時

答 (はい，または，いいえ) を得ることとする．

に見ている．これを近似するために正規分布を用いる．なお，p(xj |t, i, Xx , f ) は式 (2) を満たすとする．

t1 : 手が美しいか
t2 : 手に清潔感があるか
t3 : 手が可愛いか
t4 : 足が美しいか
t5 : 足に清潔感があるか
t6 : 足が可愛いか∑p(xj |t, i, Xx , f ) = 1

xj ∈Xx()

提案手法では，共分散行列を Σ = diag σ 2 , σ 2 とする．パラメータ σ はカーネルサイズ k × k に収まるとし，k を式 (3) で設定する．

次節では，実験協力者の視線位置を計測する手順について述
べる．

3.2

(2)

k=
計測の手順

θ
2dh
tan
l
2

(3)

ただし，d はディスプレイから実験協力者の目までの距離，θ

実験協力者に与えるタスクの集合を T = {t1 , ..., t6 } で表記は中心窩で見えている角度，l はディプレイの縦の長さ，h はする．全ての実験協力者を含む集合を I = {It |t ∈ T } とし，

ディスプレイの縦の解像度とする．また，それぞれのピクセル

It はタスク t ∈ T が与えられた実験協力者の集合とする．ある実験協力者が同じ人物画像を 2 回以上見た場合，人物画像

は正方形であると仮定する．

の被写体とは初対面であるという本論文の前提条件が崩れてし置が観測されないフレームがあることに気を付けなければならまう．よって，1 名の実験協力者へは全実験を通して 1 つのタない．このため，計測毎に総フレーム数が変化していく．以下

スクのみを与え，同じ人物画像を 2 回見ることは避けた．以下

では，タスク t に取り組む実験協力者 i から，視線が計測されで，視線位置の計測手順を説明する．

ているフレームの集合を Fti と表記する．式 (1) では，フレーP1 : タスク t ∈ T が与えられた実験協力者の集合 It の中から，1 名の実験協力者 i をランダムに選び出した．なお，
手順 P1 の段階では実験協力者はタスクの内容を知らないこととした．

P2 : その実験協力者 i へタスク t について説明し，手順と回答の仕方も説明した．

P3 : 灰色画像を 2 秒間提示した．
P4 : 刺激として与える人物画像の集合 X の中から，重複なし
でランダム選択された 1 枚の人物画像を 7 秒間提示した．
P5 : 黒色画像を 2 秒間提示した．
P6 : 手順 P4 で与えた人物画像について，タスク t に対する回答を実験協力者 i から口頭で聞き出した．
P7 : 手順 P3 から P6 を，人物画像の総数 X = n(X ) 枚が終了するまで繰り返した．

P8 : 全ての実験協力者 (I = n(I) 名) が終了するまで手順 P1から P7 を繰り返した．

ム f を条件に含む時の確率分布を求めた．ここでは，Fti で周辺化することを考える．実験協力者 i がタスク t を与えられた
時，人物画像 Xx 上の位置 xj で視線が観測される確率分布を式 (4) で求める．

∑

p(xj |t, i, Xx ) =(4)

総フレーム数を Fti = n(Fti ) とし，p(f ) を一様分布 1/Fti で近似すると式 (5) となる．

p(xj |t, i, Xx ) =1 ∑p(xj |t, i, Xx , f )
Fti

(5)

f ∈Ftiなお，p(xj |t, i, Xx ) は式 (6) を満たすとする．

∑p(xj |t, i, Xx ) = 1(6)

xj ∈Xx式 (5) では，個別の実験協力者 i を条件に含む時の確率分布を
ク t に取り組む実験協力者の集合 It を用いて，p(xj |t, i, Xx )を式 (7) で周辺化する．

4. 視線位置分布の確率表現
各人物画像における画素注目確率

タスク t を実験協力者 i へ与えた時，ある人物画像を構成する画素へ，視線位置がどれだけ集まるかを表す確率分布についp(xj |t, Xx ) =に存在する画素の集合と捉えて Xx と表記する．ある時刻 (ここではフレーム f と呼ぶ) において，実験協力者 i の視線が，位置 xf の画素で計測されたとする．本論文では，位置 xj ∈ Xxの画素において，視線がフレーム f で計測される確率分布を式 (1) で表す．

ただし，N (xj |xf , Σ) は，平均 xf ，共分散行列 Σ の二変量

p(xj |t, i, Xx )p(i)(7)

ここで，p(i) = 1/It の一様分布で近似すると式 (8) となる．

p(xj |t, Xx ) =1 ∑p(xj |t, i, Xx )It i∈I(8)t

It はタスク t が与えられた実験協力者の総数とする．本論
文では，式 (8) の p(xj |t, Xx ) を画素注目確率と呼ぶ．なお
p(xj |t, Xx ) は式 (9) を満たすとする．
∑

(1)

∑
i∈It

て考える．本論文では 1 枚の人物画像を，その画像中の各位置

p(xj |t, i, Xx , f ) = N (xj |xf , Σ)p(xj |t, i, Xx , f )p(f )f ∈Fti

求めたが，実験協力者の集合で周辺化することを考える．タス

なお関数 n( ) は集合の要素数を返すこととする．

4.1

視線計測を行う時，瞬きやノイズなどの影響により，視線位

p(xj |t, Xx ) = 1(9)xj ∈Xx正規分布とする．ここで，p(xj |t, i, Xx , f ) を正規分布で表す

ここまでに述べた式 (8) の画素注目確率では，同じ人物画像
Xx のみしか取り扱えないことに注意しなければならない．こ理由について述べる．実験協力者は，視線が計測された位置の理由について以下で述べる．刺激として与える人物画像はア

Nose

集合 X を用いて，式 (11) の確率分布を式 (13) で周辺化する．

∑

Right shoulder

Left shoulder

Right elbow

Left elbow

Right wrist

Left wrist

ここで，人物画像の総数を X とし，p(Xx ) を一様分布 1/X でWaist

近似すると式 (14) となる．

Right knee

Left knee

Right toeLeft toep(b|t) =p(b|t, Xx )p(Xx )

(13)

Xx ∈X

p(b|t) =1 ∑p(b|t, Xx )X X ∈X(14)x

本論文では p(b|t) を，タスク t が与えられた時の部位注目確率と呼ぶ．

Fig. 2 Body parts for computing the attention probability.

4.3 確率分布間の距離尺度
ライメントされていないこと，画像中の被写体の姿勢が異な異なるタスク t を条件とした時の部位注目確率について，そることが理由として挙げられる．式 (8) の画素注目確率のみでれらの分布間の距離がどの程度近いかを推定する尺度については，異なる人物画像から計測された視線位置分布を，互いに比述べる．本論文では，非負性と非退化性を満たす KL(Kullback-較することはできない．次節では，様々な人物画像の間で視線位置分布を比較するために，身体部位に着目した確率表現につLeibler) ダイバージェンス 17) に基づき定義される JS(JensenShannon) ダイバージェンス 18) を用いる．JS ダイバージェン

いて述べる．

スは，非負性と非退化性に加えて対称性を満たす．具体例とし

4.2て，タスク t1 の部位注目確率 p(b|t1 )，タスク t2 の部位注目確

人物の身体における部位注目確率

画像中に存在する被写体の身体部位へ，観察者の視線位置が率 p(b|t2 ) の間の距離を考える．p(b|t1 ) を p1 ，p(b|t2 ) を p2 でどれだけ集まるかを表す確率分布を考える．本論文では身体表記し，DJS を JS ダイバージェンスとすると，DJS は式 (15)部位として，顔領域の中心である鼻，胴体領域の左肩と右肩とで推定される．

腰，腕の左関節 2 点と右関節 2 点，足の左関節 2 点と右関節

2 点を取り扱う．それぞれの身体部位を Fig. 2 に示す．合計で12 個の身体部位を対象とする．前節の式 (8) の p(xj |t, Xx ) では，タスク t において，人物画像 Xx が与えられた時に，その画像の位置 xj で，視線が計測される確率分布を考えた．以下
では，視線位置が，身体部位で観測される確率分布を考える．
タスク t を与えられた上で，人物画像 Xx を観察する時，身体部位 b に視線がどれくらい集まるかを表す確率分布を式 (10)で定義する．

p(b|t, Xx ) =1
1
DKL (p1 ||p′ ) + DKL (p2 ||p′ )
2
2

(15)

ここで，p′ = (p1 + p2 )/2 とし，DKL は KL ダイバージェンスとする．DKL は式 (16) で推定される．

DKL (p1 ||p2 ) =∑p(b|t1 ) logb∈Bp(b|t1 )p(b|t2 )(16)

なお，式 (15) の DJS が小さいほど，二つの確率分布 p1 , p2 の間の距離が近いと言える．

∑

p(b|xj , t, Xx )p(xj |t, Xx )(10)

なお人物画像 Xx は， 4.1 で述べたように画素の集合である．
視線計測の結果から，式 (10) の確率分布を直接求めることは難しい．そこで本論文では，計測された視線位置から身体部位の位置までの距離が近くなるほど，視線位置が身体部位上で計測される確率が高くなると仮定する．提案手法では，

p(b|xj , t, Xx ) ∝ N (xj |xb , Σ) とし，式 (11) を用いることとする．

∑

を表す部位注目確率を算出した．まず， 5.1 で刺激として与える人物画像について述べ， 5.2 で実験条件について述べる．次に， 5.3 で部位注目確率を用いてタスク間の比較を行う．最後に， 5.4 で人物画像毎の部位注目確率を可視化する．

5.1 刺激として与える人物画像
視線位置分布を求める際に，実験協力者へ刺激として与えた人物画像 Xx について述べる．本実験で用いた人物画像の一部
を Fig. 3 に示す．人物画像の総数を X = 96 枚とした．人物画

N (xj |xb , Σ)p(xj |t, Xx )(11)

xj ∈Xx

ここで，xb は身体部位 b の中心位置とし，N (xj |xb , Σ) は平
均 xb ，共分散行列 Σ の二変量正規分布とする．共分散行列は()
Σ = diag σ 2 , σ 2 とし，σ は 4.1 で述べた σ と同じ値とする．
なお，p(b|t, Xx ) は式 (12) を満たすとする．
∑

5. 実験
観察者が身体への印象を判別する際，何処をどれだけ見たか

xj ∈Xxp(b|t, Xx ) =DJS (p1 ||p2 ) =像 1 枚に含まれる被写体の数は 1 名のみとした．被写体の男
女比は 1 : 1 とし，その人数は男性 48 名，女性 48 名とした．
被写体の頭から足までの全身が画像中に含まれていることとし，その被写体の顔が見えていることとした．被写体の服装として，フォーマルなシーンに相応しい格好，および，カジュア
ルな格好の 2 種類を用いた．その人数はフォーマル 48 名，カジュアル 48 名とした．フォーマルに加えてカジュアルを含めた理由は比較のためである．なお，被写体が身に着けている装p(b|t, Xx ) = 1

(12)

b∈B

ここで身体部位の集合を B = {b1 , . . . , b12 } で表す．

飾品，および，被写体の姿勢には制約を特に設けなかった．被写体は全て成年とした．人物画像中の背景として，被写体以外の他の物体が存在しない背景なし，および，他の物体を含む背次に，タスク t が与えられた時，身体部位 b に視線位置がど景ありの 2 種類を用いた．その枚数は背景なし 48 枚，背景あれくらい集まるかを表す確率分布 p(b|t) を求める．人物画像のり 48 枚とした．人物画像サイズを，縦幅が 972 画素となるよFig. 6 Examples of the body parts detected from the person images.

次に，視線計測のセッティングについて述べる．Fig. 4 (a) に計測の様子を，(b) に実験協力者と視線計測装置の位置関係を示す．ディスプレイから 65 センチメートルの位置に実験協力者を座らせた．目の高さが 110 から 120 センチメートルにな
るよう椅子の高さを実験協力者に調整させた．ディスプレイの大きさは 24 インチ (解像度は 1920 × 1080 画素)，視線計測装
置は Gazepoint GP3 HD とした．サンプリングレートは 60 ヘルツとした．なお，視線計測装置の空間分解能の誤差は，約 1度である (仕様書記載). センターバイアス 19, 20) を避けるために
ディスプレイ上のランダムな位置に人物画像を表示した．ディ
スプレイ上における人物画像の表示例を Fig. 5 に示す．
提案手法では，4.2 で述べたように，人物画像中の被写体の身体部位が必要となる．これらの身体部位の位置を検出するために，本論文では OpenPose 21) を適用した．検出された身体部
位の例を Fig. 6 に示す．刺激として与える人物画像において，身体部位の検出漏れや位置ずれの影響がほぼ無いことを目視で確認した．
式 (3) のカーネルサイズ k は 163 とした．このパラメータをFig. 3 Examples of person images used in our experiments.

決める際，d は 65 センチメートル，h は 1080 画素，l は 30 センチメートルとした．中心窩の角度が 2 度であること，およPaticipant
110 - 120cm

65 cm

Display
100 cmび，視線計測装置の誤差が約 1 度であることから，θ はマージンを加え 4 度とした．式 (1) の共分散行列 Σ の標準偏差 σ は，k × k = 163 × 163 のサイズに収まるよう 30 とした．
73 cm

Eye tracker
(a)

(b)

Fig. 4 Locations of the participants and the measurement devices.

5.3 部位注目確率を用いた検証
5.3.1 検証の流れ与えたタスクに含まれる印象単語と身体部位との組み合わせが変化すると，視線位置分布に変化が生じることを実験で検証した．この検証のために，タスク t1 から t6 において式 (14) の部位注目確率を算出し，分布間の距離を求めることがまず考えられる．ただし，タスクの組合せ数が多いため，以下の条件に絞る周辺化を行った．
条件 1 : タスクに含めた身体部位の手，または，足Fig. 5 Examples of displaying person images on the display.

条件 2 : タスクに含めた印象単語の美しい，清潔感がある，または，可愛いうにリスケーリングした．横幅は人物画像毎に異なり，平均は

条件 3 : 男性実験協力者，または，女性実験協力者

521 ± 105 画素であった．なお，これらの人物画像は写真素材

条件 4 : 人物画像中の男性被写体，または，女性被写体

サイト*1 からダウンロードした．

5.2

これらの条件を用いて，本実験では以下の流れで検証を進めた．

実験条件

実験協力者の総数を I = 24 名 (日本人学生，男性 12 名，女性 12 名) とした．その平均年齢は 22.4 ± 1.0 歳であった．実
験協力者へ与えるタスクとして， 3.1 で述べた t1 から t6 を用いた．各タスクに取り組む人数 It を，それぞれで 4 名とした．
*1 https://www.photo-ac.com/

1. 各条件を満たすように部位注目確率を周辺化した．
2. 周辺化された部位注目確率の間で JS ダイバージェンスを求めた．

3. JS ダイバージェンスの大きさが，条件と条件の間で相対的にどのように変化するかを考察した．
次節で検証方法の詳細と結果について述べる．

Table 1 Conditional probability of body-part-attention for hands or feet.

Body parts

Table 2 Conditional probability of body-part-attention for impression word:
beautiful, tidy, or cute.

Body-part-attention probability
Hands
Feet
pt1,2,3
pt4,5,6

Body-part-attention probability
Tidy
Cute
pt3,6
pt2,5

Body parts

Beautifulpt1,4Nose (鼻)

16.73

12.73

Right shoulder (右肩)

9.42

3.06

Nose (鼻)

9.46

21.55

13.18

Left shoulder (左肩)

10.42

3.16

Right shoulder (右肩)

4.99

7.74

5.98

Right elbow (右肘)

8.35

2.55

Left shoulder (左肩)

5.42

8.39

6.56

Left elbow (左肘)

9.46

2.24

Right elbow (右肘)

4.77

6.00

5.58

Right wrist (右手首)

17.00

3.98

Left elbow (左肘)

5.86

5.84

5.85

Left wrist (左手首)

16.61

4.66

Right wrist (右手首)

11.44

9.10

10.93

Waist (腰)

7.93

13.54

Left wrist (左手首)

11.20

9.07

11.65

Right knee (右膝)

1.60

16.04

Waist (腰)

12.77

10.43

9.00

Left knee (左膝)

1.48

18.90

Right knee (右膝)

11.60

5.96

8.90

Right toe (右爪先)

0.49

8.95

Left knee (左膝)

12.85

8.04

9.69

Left toe (左爪先)

0.51

10.19

Right toe (右爪先)

4.45

3.86

5.85

Left toe (左爪先)

5.19

4.02

6.83

5.3.2 部位注目確率を周辺化した場合の検証
まず 5.3.1 で述べた条件 1 を満たす周辺化の方法について述めた条件に絞った場合，顔へ視線が多く集まる可能性が高いとべる．手を条件とした時の部位注目確率を，タスク t1 から t3考えられる．可愛いをタスクに含めた条件に絞った場合，顔にを用いて，pt1,2,3 = (p(b|t1 ) + p(b|t2 ) + p(b|t3 ))/3 で算出した．
タスク t1 から t3 には， 3.1 で述べたように，身体部位として視線が集まり，次に両手首に視線が集まる可能性があると考えられる．これらの結果より，タスクに含める印象単語の間で，手が含まれる．p(b|t1 ) から p(b|t3 ) は式 (14) により算出した．

身体部位に対する視線の配り方に差異が発生する傾向があるこ

p(t) は一様分布で 1/3 とした．同様に，足を条件とした時の部
位注目確率を，pt4,5,6 = (p(b|t4 ) + p(b|t5 ) + p(b|t6 ))/3 で算出した．手，または，足を条件とした時の部位注目確率を Table 1に示す．表中ではパーセント表記を用いた．まず，pt1,2,3 につンスを求め考察する．

とを確認した．これらの視線の配り方の差異をさらに定量的に評価するため，次節では，条件と条件の間で JS ダイバージェ

5.3.3 条件毎に絞った部位注目確率の間で JS ダイバージェ
ンスを比較検証

いて視線の配り方を確認した．手に属する右手首と左手首では，鼻を除いた他の部位と比べて，注目確率が高かった．顔の(a) ダイバージェンスの算出:中心である鼻の注目確率は，両手首の確率と同程度に高かっ

まず，手と足の間で視線の配り方の差異を確認した．手を条た．足を構成する部位（両膝，両爪先）の注目確率は，他の部件とした時の pt1,2,3 と足を条件とした時の pt4,5,6 の間の JS ダ

位と比べて非常に低かった．次に，pt4,5,6 について視線の配り

イバージェンス Dα は以下となった．

方を確認した．足を含む下半身を構成する部位（腰，両膝，両Dα = DJS (pt1,2,3 ||pt4,5,6 ) = 21.18

爪先）では，鼻を除く上半身（両肩，両肘，両手首）と比べて，注目確率が高かった．鼻の注目確率は，下半身を構成する部位

この Dα の値の大きさが持つ意味を， 5.3.1 で挙げた他の条件の確率と同程度であった．これらの結果より，身体部位をタスでの JS ダイバージェンスを求めた後に考察する．

クに含めた場合，その部位に対して，実験協力者の視線が集ま

次の条件として，印象単語の間で視線の配り方の差異を確ることが多いと考えられる．また，顔が明示的にタスクに含ま認した．美しいを条件とした時の pt1,4 と清潔感があるを条れなくとも，実験協力者は顔へ視線を配ることが多いと考えら件とした時の pt2,5 の間の JS ダイバージェンス Dβ は以下と

れる．

なった．

次に 5.3.1 で述べた条件 2 を満たす周辺化の方法について述べる．美しいを条件とした時の部位注目確率を，タスク t1 とt4 を用いて，pt1,4 = (p(b|t1 ) + p(b|t4 ))/2 で算出した．同様に，清潔感があるを条件とした時の部位注目確率 pt2,5 ，可愛いを条件とした時の部位注目確率 pt3,6 を算出した．美しい，清潔感がある，または，可愛いを条件とした時の部位注目確率をTable 2 に示す．まず，pt1,4 について視線の配り方を確認した．
両手首と腰と両膝では，鼻を除いた他の部位と比べて，注目確率が高かった．残りの身体部位の中では鼻の注目確率が高かった．次に，pt2,5 について視線の配り方を確認した．鼻の注目確

Dβ = DJS (pt1,4 ||pt2,5 ) = 2.52
清潔感があるを条件とした時の pt2,5 と可愛いを条件とした時の pt3,6 の間の JS ダイバージェンス Dγ は以下となった．

Dγ = DJS (pt2,5 ||pt3,6 ) = 1.25
可愛いを条件とした時の pt3,6 と美しいを条件とした時の pt1,4の間の JS ダイバージェンス Dδ は以下となった．

Dδ = DJS (pt3,6 ||pt1,4 ) = 0.69

率は，他の身体部位の確率と比べて極端に高かった．最後に，次に，男性実験協力者と女性実験協力者との間で，視線の配pt3,6 について視線の配り方を確認した．鼻の注目確率が最もり方の差異を確認した．男性実験協力者の部位注目確率 pM,P

高く，次に両手首の確率が高かった．これらの結果より，美しと女性実験協力者の部位注目確率 pF,P の間の JS ダイバージェ

いをタスクに含めた条件に絞った場合，両手首と腰と両膝に視ンス Dϵ は以下となった．

線が集まる可能性があると言える．清潔感があるをタスクに含Dϵ = DJS (pM,P ||pF,P ) = 0.43

最後に，人物画像中の男性被写体と女性被写体との間で，視線が集まっていた．足と清潔感があるがタスクに含まれる

視線の配り方の差異を確認した．男性被写体の部位注目確率(f) において，顔を主として全身に視線が配られていた．足と可愛いがタスクに含まれる (g) において，足領域に視線が集ま

pM,S と女性被写体の部位注目確率 pF,S の間の JS ダイバージェンス Dζ は以下となった．
Dζ = DJS (pM,S ||pF,S ) = 0.20(b) ダイバージェンスの考察:
上記の JS ダイバージェンスの大きさが，条件と条件の間でり，顔領域近くにも視線が僅かに行っていた．これらの結果より，与えたタスクに含まれる印象単語と身体部位の組み合わせが変化すると，視線位置分布に変化が生じるという 5.3 で述べた実験結果が，それぞれの画素注目確率においても見られることが分かった．

相対的にどのように変化したかを考察した．手と足の間で求め5.5 既存の分析研究との共通性の考察

た Dα は，他の条件で求めた Dβ から Dζ と比べると，大きな本 論 文 の 実 験 で 得 た 結 果 と ，2.2 で 述 べ た 既 存 の 分 析 研

差異が見られた．この結果より，タスクに含める身体部位が変究 12, 13, 14, 15, 16) の結果との共通性について，以下の各項目にわると視線の配り方が大きく変化すると言える．印象単語間でついて考察した．

求めた Dβ と Dγ は，Dα を除いた Dγ から Dζ と比べて，差実験協力者が取り組むタスク: 既存の分析研究のタスクでは，異が大きかった．この結果より，印象単語の一部には，身体部

印象を対象とする点において，本論文のタスクと共通すると考位ほどではないが，性差と比べて，視線の配り方に影響を及ぼえられる．既存の分析研究では，印象単語を用いて主観評価がすものが存在すると言える．ただし，Dδ は，Dβ と Dγ に比べ実施されたが，単語間の視線の差異について調査されなかって差異が小さかった．この理由を考察する．辞書*2 では，美した．また，既存の分析研究のタスクでは身体部位を含まない

いという単語の意味の中に，可愛いが含まれていることが述べが，本論文のタスクでは身体部位も含めた．

られている．このことより，両単語の間で部位注目確率が類似タスクで表示される刺激画像: 既存の分析研究では，各タスクしたと考えられる．最後に Dϵ と Dδ からは，実験協力者や被に応じた刺激画像が選択された．被写体が人物であるという点

写体の性差による部位注目確率の違いは，身体部位や印象単語

で，本論文の刺激画像と共通すると考えられる．

の間の違いと比べて小さいことが分かった．

視線位置を集計する身体部位: 既存の分析研究で用いられた身

5.3.4 人物画像について他の条件に絞った場合の考察
実験協力者へ刺激として与えた人物画像について， 5.3.1 で述べた条件以外でも絞ることができる．ここでは他の条件を用いた場合について，部位注目確率がどのように変化するかについて評価した．各条件について 5.3.2 と同様に部位注目確率を周辺化し JS ダイバージェンスを求めた．以下に，絞った条件と JS ダイバージェンスを示す．

• 人物画像の背景あり，または，なし → 0.16
• 被写体の服装がフォーマル，または，カジュアル → 0.17
• 実験協力者の回答がはい，または，いいえ → 0.32
前節で求めた Dα から Dδ と比べると，JS ダイバージェンスの体部位と，本論文で扱った身体部位との間では，その部位の名称は異なるものの，同じ部位を見ているため共通すると考えられる．ただし，本論文では，胸や腹など胴体を詳細に分ける部
位を含めなかった．
実験協力者の内訳: 既存の分析研究では，実験協力者の男女比が，タスクに応じて男性のみ，女性のみ，1 : 1 に設定された．
本論文では男女比を 1 : 1 とした．
実験での調査項目: 既存の分析研究では，各身体部位における視線の停留時間が検定された．本論文では，視線の停留点の位置とフレーム数から部位注目確率を算出した．どの身体部位を見ているかを集計するために，視線の停留点を用いる点は共通すると考えられる．

値が小さいことが分かった．以上の結果より，人物画像の背景

実験結果から得た結論: 既存の分析研究では，与えられたタスや服装や回答を条件とした場合，身体部位や印象単語を条件とクがそれぞれの文献で異なるものの，顔での停留時間が最も長した場合に比べて，部位注目確率に変化が生じにくいと考えらいという同じ結果が報告されていた．本論文では，清潔感があれる．

5.4 画素注目確率を用いた比較
ここまでの実験では式 (14) の部位注目確率について評価したが，本実験では式 (8) の画素注目確率について評価した．刺激として与えた人物画像を Fig. 7(a) に示す．これらの人物画像に対して，各タスクにおいて求めた画素注目確率を Fig. 7(b)から (g) に示す．図中にて黒色領域は，実験協力者の視線が集まることを表している．逆に，白色領域は視線が集まらないことを表している．
身体部位の手と印象単語の美しいがタスクに含まれる (b) において，手領域に実験協力者の視線が集まっていた．手と清潔

ると可愛いの印象単語を含むタスクにおいて，そのタスクに手や足が含まれるものの，顔に視線が集まる確率が最も高いという結果が得られた．この本論文の結果は，既存の分析研究と共通すると考えられる．
以上より，本論文の結論と，既存の分析研究の結論に共通性がある部分が存在すると考えられる．ただし，この共通性の仮説について，検定を用いて実証していないため，その共通性を結論づけることはできない．今後の課題として，本論文の知見と既存の分析研究の知見との共通性を，仮説検証の実験を用いて詳細に分析することが必要である．

6.

まとめ

感があるがタスクに含まれる (c) において，顔を主とした上半

本論文では，人物画像の身体部位に対する印象単語を観察者

身に視線が配られていた．手と可愛いがタスクに含まれる (d)が判別する際，それぞれの部位に視線位置がどれだけ集まるかにおいて，手領域に視線が集まり，顔領域にも視線が配られてを表す確率分布を求める手法について述べた．フォーマルないた．足と美しいがタスクに含まれる (e) において，足領域にシーンにおける人物の身体部位について，その印象単語を判別するタスクを観察者に与え，観察者の視線位置を計測した．提*2 広辞苑第 7 版

案手法の画素注目確率と部位注目確率により，視線位置分布を

(b) t1 (Hands, Beautiful)(c) t2 (Hands, Tidy)(d) t3 (Hands, Cute)(e) t4 (Feet, Beautiful)(f) t5 (Feet, Tidy)(g) t6 (Feet, Cute)(a) Person images

Fig. 7 We show the conditional probability of pixel-attention for each person image and each task.
Given the person images (a), the probabilities of pixel-attention (b) to (g) were acquired.

表現した．実験結果より，タスクに含まれる印象単語と身体部位の組み合わせで，注目確率同士の JS ダイバージェンスが変化することから，実験協力者の視線の配り方に差異が生じる可能性があることが明らかになった．
今後の課題として，確率表現された視線位置分布を機械学習
や深層学習のアルゴリズムに組み込み，印象推定の精度を評価することが挙げられる．既存手法 12, 13, 14, 15, 16) は印象推定を目的としていないが，視線位置分布を用いるアイデアは利用できる場合があると考えられるため，精度比較が必要である．また，タスクに含まれる印象単語や身体部位の種類を増やした場
合の評価，多様な実験協力者や被写体に対する評価も必要である．実験協力者の人数を増加させた場合の集計を行い，統計的検定を用いて効果の検証を行うことも必要である．
謝

辞本研究の一部は，JSPS 科研費 JP20K11864 の助成を受けたものである．
参
1)

2)

3)

4)
5)
6)
7)

考

文

献

P. Sudowe, H. Spitzer, and B. Leibe. Person attribute recognition witha jointly-trained holistic cnn model. In Proceedings of the IEEE International Conference on Computer Vision Workshop, pp. 329–337,
2015.
T. Matsukawa and E. Suzuki. Person re-identification using cnn
features learned from combination of attributes. In Proceedings ofthe 23rd International Conference on Pattern Recognition, pp. 2428–
2433, 2016.
W. Wang, J. Shen, and H. Ling. A deep network solution for attention
and aesthetics aware photo cropping. IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 41, No. 7, pp. 1531–1544,
2019.
X. Zhang, X. Gao, W. Lu, and L. He. A gated peripheral-foveal convolutional neural network for unified image aesthetic prediction. IEEE
Transactions on Multimedia, Vol. 21, No. 11, pp. 2815–2826, 2019.
N. Murrugarra-Llerena and A. Kovashka. Learning attributes from human gaze. In Proceedings of IEEE Winter Conference on Applicationsof Computer Vision, pp. 510–519, 2017.
T. Qiao, J. Dong, and D. Xu. Exploring human-like attention supervision in visual question answering. In Proceedings of the 32nd AAAI
Conference on Artificial Intelligence, pp. 7300–7307, 2018.
J. Wu, S. Zhong, Z. Ma, S. J. Heinen, and J. Jiang. Gaze aware deeplearning model for video summarization. In Proceedings of the Pacific
Rim Conference on Multimedia, pp. 285–295, 2018.
8) Y. Sugano, Y. Ozaki, H. Kasai, K. Ogaki, and Y. Sato. Image preference estimation with a data-driven approach: A comparative study
between gaze and image features. Journal of Eye Movement Research,
Vol. 7, No. 3, 2014.
9) N. Murrugarra-Llerena and A. Kovashka. Learning attributes from human gaze. In Proceedings of IEEE Winter Conference on Applicationsof Computer Vision, pp. 510–519, 2017.
10) H. Sattar, A. Bulling, and M. Fritz. Predicting the category and attributes of visual search targets using deep gaze pooling. In Proceedings of IEEE International Conference on Computer Vision Workshops, pp. 2740–2748, 2017.
11) M. Nishiyama, R. Matsumoto, H. Yoshimura, and Y. Iwai. Extracting discriminative features using task-oriented gaze maps measured
from observers for personal attribute classification. Pattern Recognition Letters, Vol. 112, pp. 241–248, 2018.
12) B. Philippe, S. J. Gervais, A. M. Holland, and M. D. Dodd. Whendo people ”check out” male bodies? appearance-focus increases theobjectifying gaze toward men. Psychology of Men and Masculinity,Vol. 19, No. 3, pp. 484–489, 2018.
13) O. Bareket, N. Shnabel, D. Abeles, S. Gervais, and S. YuvalGreenberg. Evidence for an association between men’s spontaneous
objectifying gazing behavior and their endorsement of objectifying attitudes toward women. Sex Roles, pp. 245–256, 2018.
14) B. Dixson, G. Grimshaw, W. Linklater, and A. Dixson. Eye-trackingof men’s preferences for waist-to-hip ratio and breast size of women.
Archives of sexual behavior, Vol. 40, pp. 43–50, 2009.
15) A. R. Riemer, M. Haikalis, M. R. Franz, M. D. Dodd, D. Dilillo, andS. J. Gervais. Beauty is in the eye of the beer holder: An initial investigation of the effects of alcohol, attractiveness, warmth, and competence on the objectifying gaze in men. Sex Roles, Vol. 79, pp. 449–463,
2018.
16) 互恵子, 高田定樹. アイトラッキングによる他者の外見に対する視覚的注意と印象形成の検討. 日本化粧品技術者会誌, Vol. 47, No. 2, pp.
128–134, 2013.
17) Entropy, Relative Entropy, and Mutual Information, chapter 2, pp. 13–
55. J. Wiley and Sons, Ltd, 2005.
18) B. Fuglede and F. Topsoe. Jensen-shannon divergence and hilbert
space embedding. pp. 31–, 2004.
19) M. Bindemann. Scene and screen center bias early eye movements
in scene viewing. Vision Research, Vol. 50, No. 23, pp. 2577–2587,
2010.
20) G. T. Buswell. How people look at pictures: A study of the psychologyof perception of art. University of Chicago Press, 1935.
21) Z. Cao, G. Hidalgo, T. Simon, S. Wei, and Y. Sheikh. Openpose:
Realtime multi-person 2d pose estimation using part affinity fields.
CoRR, abs/1812.08008, 2018.