購買活動中の視線情報と色彩情報に基づく感情推定と商品推薦提示
代表研究者
共同研究者

梶山 朋子
原
章

広島市立大学大学院 情報科学研究科 准教授
広島市立大学大学院 情報科学研究科 教授

1 研究背景と目的
従来の購買機会向上を目指した消費者行動分析や商品推薦では，売上データ，顧客のデモグラフィック特性，サイバー空間上の顧客の発言や閲覧商品などを用いて行われる．顧客の購買履歴から顧客の類似性を分析する，売上データから同時に購入される商品の関連性を分析する，SNS やレビューサイト上の投稿から顧客の嗜好を分析するなど，さまざまなデータマイニングが行われている[1]．これらは，「購入した」「投稿した」「閲覧した」情報が，「今でも関心のある」情報であるという仮定が前提であり，購買活動時における潜
在顧客の「感情」は考慮されない．また，これらの分析はすべてテキストを用いて実施されるため，言葉では表現が難しい潜在的な感情の抽出はそもそも行えなかった．
購買活動時における潜在顧客の視線情報，および，そこから読み取れる注視した商品の持つ色彩情報は潜
在顧客のその時点での興味や感情を推測するためのキーとなる．視覚的要素の中で，色彩は人の心に最も大きな影響を与える要素の 1 つである．本研究では，人が選択した色彩からその人の感情を推定できるという
色彩心理学[2]の原理を活用し，購買活動において，潜在顧客が閲覧した色彩から推定される感情をもとに，商品を推薦する手法を提案する．
本研究の対象商品は，購入回数が多く，消費時間が短い飲料を想定し，普及が進んでいるデジタルサイネ
ージ自動販売機を用いた購買活動を想定する．研究期間内における研究目的は，[目的 a] 視線情報から感情を推定し商品を推薦する手法の確立，および，[目的 b] 商品推薦提示システムの構築と効果検証である．提案手法の実現により，潜在顧客の現在の感情に合う商品の推薦を目指した．提案する商品推薦提示システムの概観を図 1 に示す．

図 1．潜在顧客の感情を推定する商品推薦提示システム[目的 a]の達成に向けては，[取り組み a-1] 視線情報から感情を推定する手法の検討，および，[取り組みa-2] 推定された感情から商品を推薦する手法の検討を行なった．[取り組み a-1]では，視線追跡により閲覧したパッケージ画像を特定し，そのパッケージ画像の特徴色が与える印象と閲覧時間（注視時間）に基づいて，潜在顧客の感情を推定する研究を行った．特徴色から感情への変換には，色彩データベースを活用し，実施済みの購買活動調査結果を踏まえて，感情推定アルゴリズムを提案した．[取り組み a-2]では，推定された感情と視線情報に基づいて商品を推薦するアルゴリズムを設計した．
[目的 b]の達成に向けては，[取り組み b-1] 自然な購買活動を提供する商品推薦提示システムの構築，および，[取り組み b-2] 商品推薦提示システムを活用した商品選択の効果検証を行なった．
提案システムでは，
購買活動中の視線追跡に基づき，順次，商品推薦アルゴリズムにより抽出された商品の配置換えを行う必要がある．[取り組み b-1]では，潜在顧客が直感的に自身の感情と，商品パッケージが表現する商品消費後の感情をすり合わせられるような商品表示方法や，商品配置について検討し，商品推薦提示システムを開発した．[取り組み b-2]では，構築したシステムと購買活動調査で使用したバーチャル自動販売機を比較し，購買活動における感情を考慮した商品推薦提示に対する効果を検証した．

1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

また，上記取り組みの結果，仮想商品の購買シミュレーションではユーザの満足度を正確に掴むことが難しいこと，視線情報のうち商品の閲覧時間（注視時間）だけではユーザの興味や感情の推定には不十分であることが明らかになった．そのため，これらに対する対策として，[取り組み c-1]として，実際の飲料を使った購買実験における視線と感情の分析，および，[取り組み c-2]として，機械学習アルゴリズムによる視線情報に基づく潜在顧客の嗜好の推定に関する研究を行った．これらで扱う視線情報は，注視時間の長さに捉われず，視線のゆらぎ，視線の軌跡，注視点の移動スピードなどを踏まえた分析を行った．

2 潜在顧客の感情を推定する商品推薦提示システムの開発
2-1 [取り組み a-1] 視線情報から感情を推定するアルゴリズムの検討
実施済の購買活動データを活用し，潜在顧客の感情と閲覧した商品パッケージが与える印象の関係性を分析することにより，感情推定アルゴリズムの検討を行った．この購買活動データは，飲料の購入を想定し，購買活動中の潜在顧客の視線情報を取得できる自動販売機システムを活用し取得した．32 本の飲料を表示し，視線情報の取得には，Web カメラ以外に特別なデバイスを必要としないオープンソースソフトウェアである
WebGazer[3, 4]を用いて実装した．
視線を活用してユーザの興味を推定する既存研究では，注視時間の長さと興味の強さに相関があると報告されている[5]ため，感情も同様の傾向があるという仮説のもと，1 回の購買活動における最長注視時間となったパッケージを閲覧パッケージとして定義し抽出した．閲覧パッケージが与える印象として，構築済の色
彩データベース[6]を活用し，商品パッケージの特徴色を印象語に変換した．この色彩データベースには，代表色 130 色に対し，形容詞や形容動詞などの印象語 2386 語が，どの程度その色の印象を表現するか（以下，表現度と呼ぶ）と，どの程度その色がプロダクト市場・ファッション市場・インテリア市場それぞれにおいて使用されているか（以下，市場の使用頻度と呼ぶ）が定義されている．
変換された印象語に対し，言語イメージスケール[7]（Warm-Cool，Soft-Hard の 2 つの心理軸上に印象語を配置）を活用し分析した結果，各閲覧パッケージは，(1)閲覧パッケージが与える印象が潜在顧客の感情に近い，(2)閲覧パッケージが与える印象を Warm-Cool 軸で反転させた印象が潜在顧客の感情に近い，(3)閲覧パッケージが与える印象を Sort-Hard 軸で反転させた印象が潜在顧客の感情に近い，(4)閲覧パッケージが与える印象を 2 軸で反転させた印象が潜在顧客の感情に近い，という 4 つのパターンに分類された．このパターンを踏まえ，閲覧した商品パッケージから潜在顧客の感情を推定するアルゴリズムを実装した．
2-2 [取り組み a-2] 感情に基づく推薦アルゴリズムの検討
実施済の購買活動データを活用し，潜在顧客の感情と購入商品の関係性を分析することにより，商品推薦アルゴリズムの検討を行った．感情と各商品の関係性から商品を推薦するのではなく，[取り組み a-1]と同様に，色彩データベースと言語イメージスケールを活用し，感情と購入した商品パッケージが与える印象の関係性から商品を推薦できるよう，言語イメージスケール上でグループ化された印象語（以下，印象カテ
ゴリと呼ぶ）を活用し分析した．潜在顧客の感情に対して，(1)潜在顧客の感情が属する印象カテゴリ，(2) 潜
在顧客の感情を Soft-Hard 軸で反転させた感情が属する印象カテゴリ，(3)潜在顧客の感情を Soft-Hard 軸で反転させた感情が属する印象カテゴリ，(4)潜在顧客の感情を 2 軸で反転させた感情が属する印象カテゴリそれぞれ算出した．算出した印象カテゴリのうち，購入割合が最も高い印象カテゴリを，潜在顧客の感情に対する推薦ルールとして定義し，感情と推薦カテゴリの関連性を表現した購買ルールデータベースを構築した．
この購買ルールデータベースを活用し，[取り組み a-1]で提案した閲覧パッケージから推定した潜在顧客の感情に基づき商品を推薦するアルゴリズムを実装した．具体的な手順は以下の通りである．
(1) 感情が含まれる印象カテゴリを抽出し，購買ルールデータベースより推薦カテゴリと，言語イメージ
スケール上で推薦カテゴリと隣接するカテゴリ（以下，隣接カテゴリと呼ぶ）を抽出する．
(2) 推薦カテゴリ内の印象語が，商品消費後の印象として定義されている飲料を抽出し，推薦飲料に追加する．
(3) 隣接カテゴリ内の印象語のうち，最も印象度の高い色彩を持つパッケージ画像の飲料を，推薦飲料に追加する．ただし，複数存在する場合は，パッケージ画像内における当該色の面積が広い方を採用す
る．
(4) 推薦飲料本数が閾値に満たされるまで，手順(3)を繰り返す．

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

2-3 [取り組み b-1 ]感情をすり合わせられるような商品表示方法の検討
潜在顧客が直感的に商品消費後のイメージを捉えられるように，商品消費後の印象を反映させた商品パッケージ画像を生成した．販売パッケージの特徴色を抽出し抽象化した画像（以下，既存画像とよぶ）を作成した後，商品消費後の印象を表現した色を適用することによりパッケージ画像（以下，提案画像と呼ぶ）を生成した．図 2 はパッケージ画像の生成方法の概観を示している．
既存画像の作成において，本体，ラベル，キャップの 3 色の特徴色を抽出するにあたり，まず，販売パッ
ケージ画像に対して，RGB 空間を次元ごとに一定間隔で分割したヒストグラムを生成した．そして，頻度の高い分割空間を抽出し，その平均 RGB 値を特徴色とした．ただし，3 色のうちのいずれかに対し，人間が同じ色と認識してしまう場合は除く必要がある．そこで，頻度順に，同一色とみなされない（L*a*b 空間における色差が 25 以上）色を採用した．頻度の上位色から順に，本体，ラベル，キャップに配色した．
一方，提案画像の作成にあたり，色彩データベースを活用して，各飲料に対するレビューから抽出した印
象語を色彩へ変換した．印象語は，複数の色彩が紐付けられているため，表現度，プロダクト市場の使用頻度，ファッション市場の使用頻度，インテリア市場の使用頻度の順に，値が高い色を採用し，既存画像のラベル部分に適用した．ただし，白系や黒系は商品名に利用されることが多いため，対象から除外した．また，本体，ラベル，キャップに対する色が同一とみなされることを避けるため，既存画像の生成と同様に，L*a*b
空間における色差が 25 以上の色を採用した．
レビューサイト ShareView[8]で 50 件以上レビューが存在する炭酸飲料 42 本に対して，商品消費後の印象を抽出した．異なる印象が 16 語抽出され，各印象の tf-idf 値が最も高い飲料を選択し，既存画像および提案画像をそれぞれ生成した．図 3 は，生成した画像（左が既存画像，右が提案画像）の一覧を示している．
生成した画像の評価として，これらの画像を表示した自動販売機システムを構築し，購買活動を実施した．
実験協力者は各購買活動の最後に，購入した商品に対する商品説明文を読み，消費経験の有無，および，購入満足度に対する 5 段階評価を行った．

図 2. パッケージ画像生成手順

図 3.各印象に対する生成パッケージ画像
200 回の購買活動に対し，既存画像が選択された回数が 171 回，提案画像が選択された回数が 229 回となった．消費経験のある商品に対し，既存画像は 74 回選択され平均購入満足度は 4.54，提案画像は 86 回選択
され平均購入満足度は 4.10 となった．一方，消費経験のない商品に対しては，既存画像は 97 回選択され平3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

均購入満足度は 3.46，提案画像は 143 回選択され平均購入満足度は 3.66 となった．消費経験のある商品はその商品のパッケージや消費後の印象を明確に持っているため，提案画像に対する購入満足度は低くなったが，消費経験のない商品は提案画像の選択回数は多く，平均購入満足度も高くなった．提案画像は，消費経
験のない商品に対し，商品消費後のイメージを表現し，潜在顧客が直感的に満足度の高い商品を選択できることを確認した．また，提案画像はセレンディピティを提供することを確認した．
2-4 [取り組み b-2] 商品推薦提示システムの構築と評価[取り組み a-2]で実装した推薦アルゴリズムと，[取り組み b-1]で生成した提案画像を用いて，商品推薦
提示システムを構築した．対象飲料は[取り組み b-1]で抽出した 42 本の炭酸飲料である．そのうち自動販売機にランダムに 30 本を表示した後，購買活動の途中で，それまでに閲覧したパッケージ画像の特徴色から感情を推定し，その感情に合う推薦商品を抽出し表示する．実施済みの購買活動調査における平均購買活動時
間が 27.4 秒であったため，その半分の 13.7 秒までの視線追跡による閲覧情報を活用し，商品を推薦提示した．推薦本数は 4 本とし，閲覧時間の短いパッケージ画像と置き換える形で表示した．ただし，閲覧時間が同一の場合は，画面中央からの距離の近さを優先して，表示を切り替える商品を決定した．
実験協力者は，10 代から 50 代の 24 名で，推薦機能のないランダム表示のみのシステム（以下，既存システムと呼ぶ）と，提案システムの両方を使用し，購買活動を行った．実験協力者は，各購買活動の最後に，購入した商品に対する商品説明文を読み，その商品に対する満足度と消費意欲度に対する満足度を 5 段階評
価した．商品に対する平均満足度は，既存システムが 3.92，提案システムが 3.96，消費意欲度は，既存シス
テムが 4.08，提案システムが 4.17 となり，統計的な有意差はみられなかったものの提案システムの方が満
足度も消費意欲度も向上した．提案システムを使用した 24 回の購買活動のうち，推薦飲料が表示される前に商品を決定した購買活動が 10 回存在しため，商品推薦機能を利用した購買活動は計 14 回となった．そのうち，推薦飲料を購入した回数は 3 回であり，購入商品に対する平均満足度と平均消費意欲度はいずれも 5 となった．一方，推薦飲料ではない飲料を購入した 11 回については，平均満足度が 3.36，平均消費意欲度が3.82 となり，推薦飲料を購入した際の満足度および消費意欲度は向上した．
推薦機能を利用した 11 名のうち，6 名が推薦飲料を表示した付近の注視時間が長くなった．そのうちの 5
名は，推薦した飲料に隣接する位置に表示された飲料を購入した．推薦飲料に隣接した飲料を購入した 実験
協力者の平均満足度は 4，平均消費意欲度は 4.17 となり，推薦飲料ではない飲料の中でも高い値を示した．
図 4 は，推薦飲料表示前後におけるある実験協力者の注視時間に対するヒートマップを示している．各エリ
アの数字は飲料番号で，緑文字は購商品，青文字は推薦商品をそれぞれ表している．この実験協力者は，推薦前は左下を中心に閲覧しているが，推薦後は，推薦飲料が多く配置された右側を中心に閲覧している．視線情報からの推薦機能は，購買活動中のリアルタイムな推薦による飲料表示により，誘目性へとつながり，
セレンディピティを提供できたと考えられる．

図 4. 注視時間に対するヒートマップ（左：推薦前，右：推薦後）

3 推薦精度向上のための視線活用方法の検討
3-1 [取り組み c-1] 実飲料を用いた購買活動における視線情報と購入商品の関係性の調査
本研究で活用した実施済の購買活動データを取得した際の購買活動調査や提案システムの評価実験では，コロナ禍の影響もあり，購入商品に対する説明文を提示し，協力者は満足度を回答した．協力者は実際にその4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

商品を飲まず，飲んだ後の自身の状態をイメージし回答する形となったため，正確な満足度を捉えることが難しかった．また，視線情報のうち，商品の閲覧時間のみの着目では，推薦商品の購入回数は少なく，ユー
ザの興味や感情の推定には不十分となった．推薦アルゴリズムの改良を目指し，より実際の購買活動環境を再現すべく，対象飲料の選定を見直し，実際に購入飲料を飲み満足度を改良できるような購買活動調査を実施した．
飲料の再選定にあたり，商品口コミサイト ShareView において，6 つの飲料カテゴリ（コーヒー・紅茶・
炭酸・スポーツ飲料・お茶・果実）に属し，レビューが 100 件以上存在する 500ml 程度のペットボトル飲料を活用した．商品レビューに対し，形態素解析を行い，印象語を抽出した後，各飲料における印象語の TF-IDF
値を算出した．各飲料カテゴリに対し，印象カテゴリの重複を避ける形で，TF-IDF 値の高い順に印象語を採用し，その飲料を本研究における対象飲料とした．選定した飲料は，コーヒー3 本，紅茶 4 本，炭酸 7 本，スポーツ 2 本，お茶 4 本，果実 1 本の計 21 本となった．図 5 は，言語イメージスケール[5]上における選定
した飲料に対する印象語の位置を示している．飲料パッケージの生成は，[取り組み b-1]を活用した．図 6は，生成した飲料パッケージ画像を示している．

図 5. 対象飲料の印象語

図 6. 飲料パッケージ画像

デジタルサイネージ自動販売機を想定し，大型タッチパネルディスプレイと Web カメラを活用して，自動販売機システムを構築した．図 7 は，システムの概観を示している．キャリブレーションの精度が閾値を超えると飲料が提示され，潜在顧客は飲料を選択することができる．データベースには，潜在顧客の名前，購買活動日，表示した飲料の順序に加え，購買活動中の視線の座標，その視線から特定した飲料，経過時間を格納した．視線追跡には，[取り組み b-2]と同様に，WebGazer を活用した．このモデルは，ユーザが Web ページの操作中に，視線と画面上のマウスの位置から精度を高めることができる．本実験では大型タッチパネ
ルディスプレイを使用するためマウスの代わりに画面をクリックし精度を高める仕組みである．飲料の購入においては，1 回の購買活動時間が短いため，購買活動前に重点的にキャリブレーションを行うこととした．
キャリブレーション精度の閾値を決めるため予備調査を行った結果，精度 85%以上であれば視線から閲覧
している飲料やそのエリアを判別できる可能性が急激に上がった．閾値を 85%とし，この閾値を超えるまで，
潜在顧客はキャリブレーションを繰り返した．なお，飲料表示画面が広いと精度が保てなかったため，画面の中央に Web カメラを設置した．構築した自動販売機システムを活用し，今の気分に合う飲料を購入することをタスクとし，購買活動調査を実施した．調査協力者は 10 代，20 代の学生 45 名（男性 27 名，女性 18 名）である． 1 回の購買活動は，以下の手順とした．
(1) キャリブレーション方法について説明を聞く．
(2) 自動販売機システム使用し購買活動を行う．
(3) 購入した飲料を冷蔵庫から取り出す．
(4) 購入した飲料を試飲する．

5
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

(5) 購買活動後のアンケートに回答する．
調査協力者は，手順(3)で実際に飲料を手に取り，手順(4)で一口以上飲んだ後，手順(5)でアンケートに回答する．自動販売機システムで表示されたパッケージと，手に取る商品が異なると調査協力者は困惑するとともに，アンケート結果にも影響を及ぼすと考え，既存のラベルを剥がし，生成したパッケージ画像をシュ
リンクフィルムに印刷し，ペットボトルに巻き付けて提供した．図 8 は，ラベルを貼りかえた飲料を示している．
手順(5)におけるアンケートでは，飲んだ後の満足度（5 段階評価）と購買動機について調査した．購買動機は，以下の選択肢から 1 つ以上選択した．
・パッケージの色から，特定の商品名を想像した・パッケージの色から，特定の飲料カテゴリ（お茶，紅茶など）を想像した・パッケージの色から，自分が飲みたい飲料の飲み口（上品な，みずみずしいなど）を想像した・パッケージの色から，今の自分の気分に合うと想像した・パッケージの色が好きだった
時間をあけて複数回購入した調査協力者がいたため，収集した購買活動は計 57 回となった．購買活動の平均時間は 15066.89 ミリ秒で，5 段階評価における満足度の平均は 3.98 となった．

図 7.システムの概観

図 8. 提供したペットボトル飲料

視線情報として取得したデータには，視線を移動させた際の軌跡をすべて含む．ある商品から別の商品を注視する際，2 つの商品間に表示されている商品の上を視線が通過する形となるため，注視していないデー
タも含まれると考えた．このような状況を，本研究では流し見として定義し，除外した上で分析を行った．
流し見かどうかを判定するために，予備実験を行い取得した視線データを活用した．206 件の視線データのうち，流し見データは 68 件，注視データは 138 件である．展示物に対し視線と移動速度に基づいた興味推定システム[10]では，展示物に興味を持っている人は，対象物を注視しているとともに，視線の移動速度が低下すると言われているため，流し見を判定する要素として，視線が動く速度と角度に着目した．
速度は，ある時間における視線データと，その直後に取得したデータに対しする x 座標と y 座標，および，
経過時間から計算した．一方，角度は，ある時間における視線データと，その前後に取得した視線データに対する x 座標と y 座標から計算した．表 1 は，最小値，第 1 四分位数，第 2 四分位数，第 3 四分位数の値を算出し，その値を閾値とした際の正解率を示している．速度も角度も，最も正解率の高かった第 1 四分位数を閾値とし，速度が 0.83px/ms 以上のデータを，角度が 154.88 度以上のデータを，本研究ではそれぞれ流し見として判定した．
算出した閾値を利用し，流し見と判定されなかったデータを注視データとし，分析を行った．興味推定のための要素として，従来研究で使用されている注視時間[8, 9]に加え，注視回数と注視面積に着目した．注
視回数は，飲料と注視データが重なった回数を意味する．ただし，注視データの前後で同一飲料が抽出された場合はカウントしないこととした．注視面積は，視線を 1px で描画した際に，飲料が表示されたエリアと重なった面積を意味する．図 9 は，注視面積の算出手順を示している．

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

3 種類の興味推定のための要素に対し，流し見判定を用いて，購入飲料を正解データとしたときの平均正解率を算出した結果，いずれの要素も，流し見判定を行った方が，正解率が向上した．また，注視時間では角度，注視回数は両者，注視面積では速度を活用した流し見判定が最も効果的であることを確認した．
表 1. 閾値と正解率閾値

最小値

第 1 四分位数

第 2 四分位数

第 3 四分位数

速度（ms/px）

0.153470.830731.2352

1.61215速度に対する正解率

44.66

89.32

83.01

75.24

角度（度）

72.246154.884

166.971173.625角度に対する正解率

52.43

79.13

73.79

73.79

図 9. 注視面積の算出手順
この結果を活用し，注視面積に対して，注視時間と注視回数で重みづけを行い分析した．(i)注視時間のみ（流し見判定：なし），(ii)注視面積（流し見判定：速度）×注視時間（流し見判定：角度），(iii)注視面積（流し見判定：速度）×注視回数（流し見判定：両者）に対し，購入飲料を正解データとしたときの平均正解率を算出した結果，22%，24.1%，20.4%となった．要素(ii)を利用することにより，興味を推定できる可能性が高まることが分かった．
生成した飲料パッケージの色彩には，飲料の色や飲んだ後の印象を表現した色など，異なる意味を持たせた．注視したエリアと，アンケート調査から取得した購買動機を分析することで，色彩が気分の推定に活用できるか検証した．仮説は以下の通りである．
(1) 特定の飲料を想像しながら飲料を選択しようとしている潜在顧客は，パッケージを覚えていると考えられるため，パッケージの特徴色であるエリア(c)を注視する．
(2) 特定の飲料カテゴリから飲料を選択しようとしている潜在顧客は，飲み物の色で判断すると考えられるため，飲料の色であるエリア(b)を注視する．
(3) 飲料の飲み口を想像しながら飲料を選択しようとしている潜在顧客や，今の気分に合う飲料を選択しようとしている潜在顧客は，飲料の特徴ではないラベル部から印象を汲み取ると考えられるため，商品消費後の印象を表すエリア(d)を注視する．
分析に使用したデータは，アンケート調査から取得した満足度において，4 以上（満足，やや満足）が選択された計 43 回の購買活動とした．各各エリアの面積が異なるため，飲料全体の面積による割合を踏まえて各エリアに対する注視面積を算出した．図 10 は，各購買活動に対し，注視面積が最も高かったエリアと，仮説で示したアンケート調査における購買動機が一致した割合を示している．
エリア(b)を注視した購買活動が 2 回しか存在しなかったため，仮説(2)の検証はできなかったが，特定の飲料を想像しながら飲料を選択した潜在顧客と，特定の飲料カテゴリから飲料を選択した潜在顧客は，既存パッケージの特徴色を示すエリア(c)を注視する結果となった．一方，飲料の飲み口を想像しながら飲料を選択した潜在顧客と，今の気分に合う飲料を選択した潜在顧客は，飲んだ後の印象を表現した色彩を示すエリア(c)を注視していた．仮説(1)と仮説(3)については，その傾向を捉えることができたため，注視している色
彩のエリアの意味から，潜在顧客の気分や嗜好を推定することができる可能性があることを確認した．

7
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 10. 仮説との一致度

3-2 [取り組み c-2] 機械学習アルゴリズムによる視線情報に基づく潜在顧客の嗜好の推定
ここでは，機械学習アルゴリズムによる視線情報に基づく潜在顧客の嗜好の推定に関する研究を行った．
視線の動きには，嗜好にマッチする商品の探索，類似商品の比較検討に伴う迷いなど，潜在顧客の嗜好に関する有益な情報が埋め込まれている．視線を活用した既存研究[9, 10]では，各商品の注視時間のみを利用して興味の度合いを推定しているが，視線の動き自体は活用されていない．この視線の軌跡を活用できれば，ユーザの嗜好をより正確に汲み取ることができ，ユーザの満足度の上昇につながると考えた．
視線の動きは，
商品提示画面における注視点の２次元座標の時系列信号として捉えることができ，その軌跡は２次元画像としてプロットすることが可能である．畳み込みニューラルネットワークを用いた画像分類モデルを活用して，提示された商品群に対する評価を自動推定することを試みた．
本取り組みは，デジタルサイネージ自販機への導入のための基礎的調査として，ユーザに提示した 2 つのポロシャツ画像から好みの配色のものを選ぶ一対比較を対象とした．視線情報の取得には，これまでの取り組みと同様に，WebGazer を用いた．
視線情報データ取得の流れは次のとおりである．まず，2 枚の似通ったポロシャツ画像の組を 24 組用意する．次に，そのうちの 1 組を取り出し，白いキャンバススクリーン上に 2 枚の画像を左右に並べてユーザに提示する．ユーザはどちらが好みかを眺めながら検討し，判断が決まったら好みの方の画像をクリックする．
このとき，WebGazer によって，ユーザに画像が提示されてから好みの方の画像をクリックするまでの視線情報を一定のサンプリング間隔で取得する．ユーザのクリックによる選択情報は，学習およびテスト時の正解（教師信号）として利用する．これらの操作を全 24 組のペアに対して繰り返すことにより，被験者 1 人当たり 24 個の視線情報データが取得できる．被験者 10 人の実験により，計 240 件のデータを収集した．
収集した注視点の座標データは画像に変換する．単純な視線の推移の描画では，閲覧開始時の探索行動や最終決断時の迷いなどの時間的な局面の変化を反映できないため，視線の軌跡を表す折れ線を時間の経過とともに色を変えながら描画した.描画した例を図 11 に示す．折れ線の色には，brg カラーマップ[11]を使用
し，時間の経過とともに描画の色が移り変わるように設定した．これにより，視線の軌跡の序盤が青系統の色で表現され，その後軌跡が赤系統の色へ変化し，終盤は軌跡が緑系統の色で描画される．視線の時系列情報が色の変化により把握できるとともに，畳み込みニューラルネットワークへの入力画像は RGB の 3 チャネ
ル画像で与えるため，各チャネルの情報が探索の序盤，中盤，終盤に対応しており，ユーザの嗜好の推定に有効活用できると考えた．また，深層学習では大量の学習データが必要になるため，データ拡張により，画像の左右および選択結果を反転したデータを生成することで，画像データ数を 2 倍に増やした．
畳み込みニューラルネットワークにより画像分類を行うにあたり，本研究では，特徴抽出器として学習済
みモデルを利用し，最終的な分類を担当する全結合層部分のみを学習する転移学習を採用した．本研究では学習済みモデルとして，VGG16[12]を用いた．VGG16 は 16 層からなる畳み込みニューラルネットワークモデ
ルである．データ拡張により得られた 480 件の一対比較データと最終的な被験者の選択結果を教師信号として，畳み込みニューラルネットワークの学習を行なった．480 件のデータの 8 割を訓練データに，残りの 2割をテストデータとして利用した．最終的な被験者の選択結果（教師信号）との正答率を評価指標とする．

8
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

畳み込みニューラルネットワークの学習過程において，左右どちらのアイテムを被験者が選んだかの予測
精度の推移を図 12 に示す．図中の acc が訓練事例に対する正答率を表し，val_acc がテストデータに対する正答率を表す．提案手法では，学習のエポック数に比例し訓練データに対する精度は上昇した．視線の動きに関する特徴を捉え高い精度で判定に成功しており，嗜好推定において視線の動きが有効活用できる可能性を示していると考えられる．しかし，テストデータに対する精度は，エポック数に比例せず最終的な正答率
は 0.62 であり，従来手法と同じ性能にとどまった．これは訓練データに対する過学習が発生したためと考えられる．提案手法は従来手法の精度を超えることができなかったが，訓練用データに対しては精度が上がっており，視線情報の活用の可能性を確認できた．

図 11．視線の画像化の例

図 12．提案手法における学習曲線

今後の課題としては，提案手法の汎化性能を向上させる必要がある．画像分類を行う畳み込みニューラル
ネットワークとして学習済みのモデルを利用して転移学習を行なったが，これは線画イメージを対象にした学習モデルではなく，問題ドメインの類似性が高くなかったことが問題の 1 つと思われる．視線の軌跡画像の分類に適したネットワーク構造を探索し学習を行うことで，性能の改善に繋げる予定である．また，基礎的調査として一対比較を対象としたが，飲料のデジタルサイネージ自販機を想定して，多数の商品群に対する視線情報から各商品の嗜好度合いを推定する機能についても検討したい．

4 まとめ
視線情報を利用して商品推薦を行うシステムを開発し，潜在顧客の視線情報と購入商品の色彩情報から，潜在顧客の感情と購入商品の関係性を分析することができた．また，開発した商品推薦提示システムを利用することで，購入商品の満足度や購入意欲度を高める推薦を可能にするとともに，ユーザにセレンディピテ
ィを提供できた．今後は，得られた知見をもとに，感情・嗜好推定の精度をさらに向上させるとともに，デジタルサイネージ自動販売機への適用による社会実装を目指す．また，本研究ではデジタルサイネージ自動販売機を想定したが，Web カメラによる視線追跡を利用すれば，サイバー空間上のオンラインショッピング
にも適用可能である．自動販売機を想定した限られた空間における購買活動ではなく，より大量の商品を扱うショッピングサイトでの商品推薦システムへの拡張も行いたい．

【参考文献】[1] M. Saraswat et. al., “Analyzing emotion based movie recommender system using fuzzy emotion
features,” Int. J. of Information Technology, 12, 467-472, 2020.
[2] F. Birren, “Color Psychology and Color Therapy: A Factual Study of the Influence of Color on
Human Life,” Martino Fine Books, 2013.
[3] WebGazer.js:
Democratizing
WebcamEye
Tracking
ontheBrowser,
https://webgazer.cs.brown.edu , 2023/05/11 参照．
[4] Alexandra Papoutsaki, Patsorn Sangkloy, James Laskey, Nediyana Daskalova, Jeff Huang,James Hays, “WebGazer: Scalable Webcam Eye Tracking Using User Interactions”, Proc. of the25th International Joint Conference on Artificial Intelligence (IJCAI), pp.3839--3845, 2016. [3] J.
R. Bergstrom, “Eye Tracking in User Experience Design,” Morgan Kaufmann, 2014.

9
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

[5] J. R. Bergstrom, “Eye Tracking in User Experience Design,” Morgan Kaufmann, 2014.
[6] Miwa Tokutake, Tomoko Kajiyama and Noritomo Ouchi, “A method for revising package image
colors to express brand perceptions better,” Color Research and Application, 44(5), 798-810, 2019.
[7] 小林重順, “日本カラーデザイン研究所 カラーイメージスケール-改訂版-,” 講談社, 2001．
[8] 株式会社アスマーク，“口コミ・レビュー・新商品情報サイト”, https://shareview.jp/, 2023/04/01 参
照.
[9] 藤崎美夏，竹之内宏，徳丸正孝，“複数ユーザの視線情報を用いた対話型進化計算システム”，知能と情報，Vol.30, No.4, pp.613-622, 2018.
[10] Hiroshi Takenouchi, Masataka Tokumaru, “Interactive Evolutionary Computation System with
User Gaze Information”, International Journal of Affective Engineering, Vol.18, No.3, pp.109-116,
2019.
[11] Choosing
Colormaps
in
Matplotlib
Matplotlib
3.7.1
documentation,
https://matplotlib.org/stable/tutorials/colors/colormaps.html, 2023/05/11 参照．
[12] Karen Simonyan, Andrew Zisserman, “Very Deep Convolutional Networks for Large-Scale Image
Recognition”, arXiv:1409.1556 [cs.CV], 2015.

〈発題名
視線情報と商品消費後の印象を表現したパッケージ画像を活用した商品推薦提示シス
テム
購買活動における視線情報と購入商品の関係性の調査
一対比較における視線の軌跡画像に基づく
ユーザの嗜好の推定

表

資

料〉

掲載誌・学会名等
電子情報通信学会ヒューマンコミュニケーショングループ（HCG）シンポジウム
情報処理学会 第 34 回デジタルコ
ンテンツクリエーション研究会
情報処理学会 第 34 回デジタルコ
ンテンツクリエーション研究会

発表年月2022 年 12 月
2023 年 6 月
2023 年 6 月

10
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度