衣服を想像上で着用したときに与える印象を観察者が評価する際の空間視線分布の調査
岩崎芙由子，井上路子，西山正志
鳥取大学大学院 持続性社会創生科学研究科
パターン認識工学研究室

1

研究背景（1/2）
 人と人とがコミュニケーションをする場面
フォーマルな場面

結婚式

カジュアルな場面

演奏会

野外フェスティバル

テーマパーク周囲の人間に良い印象をもってもらいたいという思いから時間，場所，機会に応じた衣服を着用した自身が周囲の人間に与える印象に気を遣う
2

研究背景（2/2）
 自身が周囲の人間に良い印象を与える衣服を購入する際に参考にするツール⇒ 画像共有SNS（Instagram 等）
この衣服を着用して良い印象を与えられるかも..？

観察者

画像共有SNS

被写体: コーディネートされた衣服を着用

全身画像

頭から足先までの全身頭隠れ画像

頭が隠された全身

 SNSの観察者は画像中の被写体の衣服を自身が着用することを想像しそのとき自身が周囲の人間に良い印象を与えることができるかを評価する
3

本研究の位置づけ
 観察者はSNSの利用を通して，全身画像や頭隠れ画像中の被写体をよく見る
 予想: 被写体を見る上で，印象を決める手掛かりとなる身体部位に視線が集まる
観察者
この衣服を着用して良い印象を与えられるかも..？

視線全身画像

頭隠れ画像
身体部位: 腹身体部位: 頭観察者の視線が画像中の被写体のどの身体部位に集まるかを分析することで，衣服を購入する際に参考にする手掛かりが被写体のどこに含まれているかを明らかにする※ マーケティング分野などに応用できる可能性
4

関連研究
全身画像や頭隠れ画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に被写体のどの身体部位に視線を注目させるかは明らかにされていない

全身画像 頭隠れ画像

関連研究: 異なる目的ではあるが，視線が集まる身体部位を分析
 全身画像の場合[S. J. Gervais+, 2013]

 頭隠れ画像の場合[PL Cornelissen+, 2009]

目的: 被写体の体型の魅力を評価する際の視線の分析
刺激: 白いタンクトップに青いジーンズを着用した女性の画像
結果: 観察者の視線は頭に最も集まる
目的: 被写体のそのものの魅力を評価する際の視線の分析
刺激: 頭部分にモザイクを施した女性の裸体全身画像
結果: 観察者の視線は腹に最も集まる
5本研究の目的
観察者が，全身画像または頭隠れ画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に被写体のどの身体部位へ視線を集中させるかを空間視線分布で分析
全身画像

刺激画像 𝒳𝒳

観察者 𝑜𝑜

頭隠れ画像
観察者

※ 3倍速

身体部位

部位注目確率 (％)

各身体部位に視線がどれだけ集まるかを表す確率

頭 胸 ・・・

身体部位

左爪先

被写体
6

分析する上での仮説
 視線が集まる身体部位を分析した関連研究と同じ現象が生じると仮定
 関連研究：被写体の魅力に関して評価する際の視線
全身画像

・・・ 観察者の視線は頭に最も集まる[S. J. Gervais+, 2013]

頭隠れ画像 ・・・ 観察者の視線は腹に最も集まる[PL Cornelissen+, 2009]

観察者(女性) → 被写体(女性)仮説1: 全身画像の場合

全身画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に観察者の視線は，頭に最も集まる

仮説2: 頭隠れ画像の場合

頭隠れ画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に観察者の視線は，腹に最も集まる7実験条件（1/2）
 刺激画像 枚数: 104枚 (全身画像 52枚，頭隠れ画像 52枚)

 画像サイズ: 縦 900 × 横 382±82 画素(頭隠れ画像は 縦 757±9 画素)
 被写体:
 姿勢： 正面向きの立位状態
 衣服： フォーマル or カジュアル（1:1）

 実験協力者

 大学生 24名 (女性，21.5±1.3 歳)

全身画像の例

顎の先端ライン頭隠れ画像の例

 実験協力者が取り組んだ設問
被写体の衣服を想像上で自身が着用したとき，周囲の人間に良い印象を与えることができると感じるか 回答方法： 4段階評価 (4: 感じる，3: やや感じる，2: やや感じない，1: 感じない)8

ディスプレイ
123 cm

実験条件（2/2）

視線計測装置目の高さ
110-120 cm
65 cm

 実験環境のセッティング 視線計測装置: gazepoint GP3 HD

 計測の流れ 基準画像(2秒)→刺激画像(3秒)→回答画像(2秒) を繰り返して表示
 基準画像では，センターバイアスを避けるために，画面上ランダムに表示される白い＋を注視してもらう
※ 3倍速

計測の様子

机70 cm

設置条件

※ 3倍速

計測される視線をヒートマップで表現した様子
9視線分析について
 刺激画像について，被写体上の身体部位の位置が画像間で異なるため計測された視線位置の画素そのものを画像間で単純に比較できない
被写体上から身体部位を検出し，その身体部位に集まる視線を分析の対象とする
 解析で用いる身体部位 𝑏𝑏 = 𝑏𝑏1 , 𝑏𝑏2 , … 𝑏𝑏14
 部位数: 14 部位

 身体部位同士の距離が近すぎるものは用いていない例）手の指と手首→手首のみ用いる

 身体部位の検出: OpenPose [Z. Cao+, CVPR2021]
 直接位置を取り出せない胸と腹は，別の身体部位を用いて定義• 胸: 首と腰を結ぶ線分の首から1:4に内分する点• 腹: 胸と腰を結ぶ線分の中点

𝑏𝑏1 : 頭𝑏𝑏3 :腹𝑏𝑏4 :右肩

𝑏𝑏2 : 胸𝑏𝑏5 : 左肩

𝑏𝑏7 : 左肘

𝑏𝑏6 :右肘

𝑏𝑏9 : 左手首

𝑏𝑏11 :右膝𝑏𝑏12 : 左膝

𝑏𝑏8 :右手首
𝑏𝑏13 :右爪先𝑏𝑏10 : 腰𝑏𝑏14 : 左爪先10

空間視線分布の表現方法

被写体上に属する画素𝒊𝒊𝑝𝑝 から身体部位の画素𝒊𝒊𝑏𝑏 までの距離※ この距離が小さいほどに基づく正規分布
22※ ∑ = diag(𝜎𝜎 , 𝜎𝜎 )第一項の値は大きい

刺激画像𝒳𝒳の被写体上に属する画素𝒊𝒊𝑝𝑝 に視線が集まる確率

𝑝𝑝 𝑏𝑏 𝑜𝑜, 𝒳𝒳 = � 𝒩𝒩(𝒊𝒊𝑝𝑝 |𝒊𝒊𝑏𝑏 , ∑)𝑝𝑝 𝒊𝒊𝑝𝑝 𝑜𝑜, 𝒳𝒳𝒊𝒊𝑝𝑝 ∈𝒳𝒳�第一項𝑏𝑏∈ 𝑏𝑏1 ,𝑏𝑏2 ,…𝑏𝑏14

第二項

𝑝𝑝 𝑏𝑏 𝑜𝑜, 𝒳𝒳 = 1

(1)
(2)

被写体上の画素𝒊𝒊𝑝𝑝 ∈ 𝒳𝒳

身体部位𝑏𝑏の画素𝒊𝒊𝑏𝑏 ∈ 𝒳𝒳

※部位注目確率を棒グラフで可視化
0.5

部位注目確率
𝑝𝑝 𝑏𝑏 𝑜𝑜, 𝒳𝒳 部位注目確率: 観察者𝑜𝑜が刺激画像𝒳𝒳を観察する際に[Kinoshita+, HCII2021]
画像中に存在する被写体の身体部位 𝑏𝑏へ観察者の視線がどれだけ集まるかを表す確率観察者 𝑜𝑜

刺激画像 𝒳𝒳

0.4
0.3
0.2
0.1

0 頭 胸 ・・・

身体部位 𝑏𝑏

左爪先11実験結果: 空間視線分布（仮説1: 全身画像の場合）
仮説1: 全身画像の場合
観察者の視線は，頭に最も集まる
0.5部位注目確率𝑝𝑝(𝑏𝑏|𝑜𝑜, 𝒳𝒳)を全ての観察者が全ての全身画像を見る場合で周辺化

𝑝𝑝 𝑏𝑏𝑊𝑊

部位注目確率 𝑝𝑝 𝑏𝑏𝑊𝑊

0.40.3

全ての全身画像 𝒳𝒳𝑤𝑤

全ての観察者 𝑜𝑜

0.2

…

…

0.101
=� � 𝑝𝑝 𝑏𝑏|𝑜𝑜, 𝒳𝒳𝑤𝑤
𝑂𝑂𝑋𝑋𝑤𝑤

1

頭胸 腹 右 左 右 左 右 左 腰 右 左右左肩肩肘肘手手膝 膝爪爪
首首先先2

𝑂𝑂=24

12𝑋𝑋𝑤𝑤 =52

結果: 部位注目確率𝑝𝑝 𝑏𝑏𝑊𝑊 が最も高い身体部位 ・・・ 胸
次に高い身体部位 ・・・ 頭

全身画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に観察者の視線は胸に最も集まり，その次に頭に集まる傾向にあることが分かった
12

実験結果: 空間視線分布（仮説2: 頭隠れ画像の場合）
仮説2: 頭隠れ画像の場合
観察者の視線は，腹に最も集まる0.5

部位注目確率𝑝𝑝(𝑏𝑏|𝑜𝑜, 𝒳𝒳)を全ての観察者が全ての頭隠れ画像を見る場合で周辺化

𝑝𝑝 𝑏𝑏𝐻𝐻

部位注目確率 𝑝𝑝 𝑏𝑏𝐻𝐻

0.40.3全ての観察者 𝑜𝑜

0.2…

0.101=� � 𝑝𝑝 𝑏𝑏|𝑜𝑜, 𝒳𝒳𝐻𝐻𝑂𝑂𝑋𝑋𝐻𝐻1

胸 腹 右 左 右 左 右 左 腰 右 左右左肩 肩 肘 肘 手 手
膝 膝爪爪
首 首
先先2

𝑂𝑂=24

全ての頭隠れ画像 𝒳𝒳𝐻𝐻…

12

𝑋𝑋𝐻𝐻 =52

結果: 部位注目確率𝑝𝑝 𝑏𝑏𝐻𝐻 が最も高い身体部位 ・・・ 胸
次に高い身体部位 ・・・ 腹頭隠れ画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に観察者の視線は胸に最も集まり，その次に腹に集まる傾向にあることが分かった
13刺激画像ごとの視線分布
部位注目確率𝑝𝑝 𝑏𝑏 𝑜𝑜, 𝒳𝒳 = � 𝒩𝒩(𝒊𝒊𝑝𝑝 |𝒊𝒊𝑏𝑏 , ∑)𝑝𝑝 𝒊𝒊𝑝𝑝 𝑜𝑜, 𝒳𝒳𝒊𝒊𝑝𝑝 ∈𝒳𝒳

第一項

観察者の視線は胸に集まる傾向

刺激画像𝒳𝒳を構成する画素𝒊𝒊𝑝𝑝 で視線が集まる確率（ヒートマップ）

第二項

 全身画像の場合
1𝑝𝑝 𝒊𝒊𝑝𝑝 |𝒳𝒳𝑊𝑊 = � 𝑝𝑝 𝒊𝒊𝑝𝑝 |𝑜𝑜, 𝒳𝒳𝑊𝑊
𝑂𝑂

観察者 𝑜𝑜…

1

刺激画像𝒳𝒳

2𝑂𝑂=24

観察者の視線は頭に集まる傾向

観察者 𝑜𝑜 頭隠れ画像の場合
1𝑝𝑝 𝒊𝒊𝑝𝑝 |𝒳𝒳𝐻𝐻 = � 𝑝𝑝 𝒊𝒊𝑝𝑝 |𝑜𝑜, 𝒳𝒳𝐻𝐻
𝑂𝑂

観察者の視線は胸に集まる傾向

被写体上の画素𝒊𝒊𝑝𝑝 ∈ 𝒳𝒳

観察者 𝑜𝑜

…

12

𝑂𝑂=24

観察者の視線は胸に集まる傾向

視線分布をヒートマップ状で可視化した際にこれらの刺激画像の例では仮説に対する分析結果と近しい傾向を示している
視線が集まる画素

視線が集まらない画素

14

まとめ
観察者が，全身画像または頭隠れ画像中の被写体の衣服を想像上で着用した自身が周囲の人間に与える印象を評価する際に被写体のどの身体部位へ視線を集中させるかを空間視線分布で分析
 全身画像 頭隠れ画像

観察者(女性)視線は胸に最も集まり，その次に頭に集まる傾向

 刺激画像に更に多様性をもたせた実験
 複数刺激を同時に見せる実験

被写体上の画素𝒊𝒊𝑝𝑝 ∈ 𝒳𝒳

身体部位𝑏𝑏の画素𝒊𝒊𝑏𝑏 ∈ 𝒳𝒳

観察者(女性)視線は胸に最も集まり，その次に腹に集まる傾向

 今後の展望観察者 𝑜𝑜

刺激画像 𝒳𝒳

0.5

部位注目確率
𝑝𝑝 𝑏𝑏 𝑜𝑜, 𝒳𝒳 分析結果

0.4
0.3
0.2
0.1
0

頭 胸 ・・・

身体部位 𝑏𝑏

左爪先15