情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P04
2022/2/21

和食体験中の視線行動を用いた文化的関心の推定
永井 彬博1,a)

角 康之1,b)

山下 直美2

井村 直恵3

概要：人の潜在的な興味や知識は，その人の無意識の行動に現れることが多い．本研究では，料亭での和食体験中の会話，ふるまい，視線行動から和食文化に関する人の興味を推定することを試みる．分析に使用する記録データは，和食文化の体験分析を目的として収録された料亭での共食体験を記録したデータを使用し，分析を行った．記録したデータはデータ収録参加者一人一人の視線データと音声データ，データ収録場所である料亭の店内に設置した定点カメラを使用した．各自の視線データの中から対象となる視線量やその時間と，文化的関心の高さの指標を測るアンケートの 2 つのデータから相関関係を分析し，文化に対する興味や知識量が，視線行動からどの程度推定できるのかを議論する．

1. はじめに人の潜在的な興味や知識というものは，その人の無意識の行動に現れることがある．その中でも，個々人の「文化」は興味や知識によって大きく異なると考える．このような「誘導」，動作の終了前に，ある特定の条件が満たされているかどうかを確認する「確認」という 4 つのパターンがあることを明らかにした．
本研究では，視線行動を分析する際の判断の 1 つとして考慮する必要があると考える．

文化に対しての興味や知識が各自の無意識の行動に反映されるのではないかと考える．そこで本研究では，無意識の2.2 知識量による視線行動の分析に関する研究行動の一つである視線行動に着目して分析を行う．視線行

知識と視線行動に着目した研究で Ishimaru らの研究 [2]

動を分析することによって各自の文化に対する興味や知識がある．Ishimaru らは視線計測装置を用いた物理学の教科量を推定することを目的とする．本研究で使用するデータ書における注目度抽出手法の提案をした．小学 6 年生の生はデータ収録参加者に視線計測装置を装着してもらい，料徒に視線計測装置を装着し，物理学の教科書を読んでそれ亭での和食文化の体験を行った際に収録したデータである．

ぞれの問題を解いてもらうようなデータ収録を行った．生

そこで収集した視線データと，体験後の文化的関心に関す徒が知識を得る際の自然な行動を分析するために，授業でるアンケートを使用し，分析を行う．個々人の視線データ習っていない内容を選んで読んでもらった．その結果，生の中から対象となる視線量やその時間，文化的関心の高さ

徒は状況や理解度に応じて，異なる領域に注意を払っていを測るアンケートの 2 つのデータから相関関係を分析し，ることが確認された．

文化に対する興味や知識量が，視線行動からどの程度推定できるのかを議論する．

2. 関連研究2.1 視線行動のパターンに関する研究

また，Cheng らの研究 [3] がある．Cheng らは論文を読む際に教師（専門家）の視線ベースのラベリングを生徒（非専門家）と共有するシステムの開発を行った．この論文では，システム開発の中で論文を読んでいる際の教師と生徒の視線行動の違いを分析した．分析結果として，教師とラ関連研究で視線行動のパターンについて Land らの研ベリングによるサポートを受けた生徒では視線の類似性が究 [1] がある．Land らは物体に対しての視線が注視する理見られ，ラベリングのサポートを受けない生徒の視線と大由として，次の位置を確定するための「位置確認」，接触前きく異なることがわかった．このことから知識量によっての目標の方向をみる「指示」，物体の相対的な位置をみる注視している部分が異なることがわかる．そのため本研究では，知識量のカテゴリが専門的知識以外のものでも視線

123a)b)

公立はこだて未来大学
NTT コミュニケーション科学基礎研究所
京都産業大学a-nagai@sumilab.org
sumi@acm.org© 2022 Information Processing Society of Japanの差が現れるのではないかと考える．
加えて，Augereau らの研究 [4] では視線行動の分析による TOEIC のスコア推定を行った．英語を母国語としない727

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

人の英語力に着目し，数分間英語の文章を読んだだけで5P042022/2/21

データ収録時の様子を図 1 に示す．

TOEIC のスコアを正確かつ自動的に評価できるアルゴリズムを提供することを目的とした．このアルゴリズムでは，視線計測装置を用いて，読者の視線の位置を記録し，評価を行う．そして，読み手の行動を特徴づけるいくつかの特徴を抽出し，結果として読み手のスキルを評価していた．また，質問に対する成果の数に基づく特徴も追加し，多変量回帰に基づく機械学習を用いて，スコアをユーザーごとに推定していた．その結果 21 人の被験者が 3 つの文章を読んで回答しただけで 21.7 ポイントの平均絶対誤差で TOEIC スコアを推定することに成功した．
図 1

さらに，Yamada らの研究 [5] がある．Yamada らは多選データ収録時の様子

択式の質問に答えるアプリケーションを提案をした．その中のデータ収録の中で，視線計測装置を用いて，ユーザーの読み書き行動を分析し，いくつかの特徴を抽出し，ユー4. データ分析

ザーの回答の自信を予測をした．英語の理解に関する 80分析を行う際に，文化に対する興味や知識量を測るための多選択問題を解いてもらい，自信をもって答えているかの 2 つのデータについての説明を行う．本研究ではこの 2どうかを推定した．その結果，平均 90.1%の予測精度が得つのデータをもとに興味や知識量の推定を行っている．

られた．この研究では視線計測装置を用いて，読み手の行( 1 ) 注目対象への視線行動のラベリングデータ

動を分析しユーザの回答の自信予測を行った．

( 2 ) アンケート

いくつかの関連研究を紹介した中で，知識量の推定に関する研究が存在する. しかし，どれも学習に関する知識や4.1 注目対象への視線行動のラベリングデータ

専門的知識に関する推定が多く，一般的に人間が興味を持

本研究ではデータ収録参加者に頭部装着型の視線計測装つなどするものの推定は行われていない．そこで本研究で置 Pupil Core を装着して料亭での和食文化の体験を行っは，文化に対する興味や知識という観点で推定を行うことてもらい，視線データを記録したものを使用している．本

により，人間の視線行動が学習的知識に関すること以外で研究では，記録した視線データを分析する際に文化に対すも関係があるのかを調査する．

る興味や知識量を測るために個々人の視線がどこに向いて

3. 分析対象となるデータの概要
3.1 データ収録参加者いるのかを分類し，ラベリングを行った．

4.1.1 使用ツール

データ収録参加者は 36 名，1 ペア 2 人で計 18 ペアとなっラベリングを行うために ELAN というツールを使用している．ペア同士は友人関係，夫婦，家族など，実際に料た．これを用いた理由は 2 つある．1 つ目は音声データ，動亭に来た時の自然さを出すために親しい関係のペアとなっ画データをひとまとめにして，時間をそろえることによっている．国籍は 8 か国，年齢層は 22 歳から 73 歳と幅広いて同時再生で動画を見ることができ，効率よくラベリング年齢層の参加者となっている．各参加者は料亭によく行くを行うことができる点である．2 つめはラベリングデータ

人や 1，2 回行ったことがある人，初めて行く人など，様々の統計量をテキストデータで出力することができ，分析をな人を集めデータ収録を行った．

行う際に，利用できる点である．この 2 点からこのツールを使用する．

3.2 データ収録概要
3 日間，1 日 2 セッション，1 セッション 3 ペアで計 6

4.1.2 ラベリング手法

セッションでデータ収録を行った．データ収録参加者には本研究において，どのようなものをラベリングするのかを頭部装着型の視線計測装置 Pupil Core をつけ，料亭でのを説明する．ラベリングの対象となる項目は以下の項目で和食文化の体験を行ってもらった．

ある．

3.3 記録データ( 1 ) 1 つの対象物に注視している記録データには次の 3 つのデータとなっている．データ( 2 ) ペア同士の視線が同期している

収録参加者の個々人の視線データ，各ペアの発話を収集した音声データと店内に設置した 2 台の定点カメラである．

© 2022 Information Processing Society of Japan

1 つの対象物に注視している場合，その視線の量や注視し728情報処理学会 インタラクション 2022
IPSJ Interaction 2022ている時間などをラベリングすることによって注視してい5P04
2022/2/21

4.2 アンケート

る対象への興味に関係していると考えたためである．さら

本研究で使用するデータのアンケートは和食文化の体にペア同士の視線が同期している場合，その同期している験を行った後に，実施したアンケートとなっている．アン

前後で会話の中の話題の 1 つとして知識の共有などが行わ

ケートの項目はデータ収録参加者の氏名，年齢，国籍，日れている可能性があると考えたためである．

本での滞在年数などの，参加者本人の情報と，料亭に行くラベリングを行う際に注視している対象がどのようなも頻度，音楽会に行く頻度，博物館・美術館に行く頻度などのかを 3 つの分類に分けて，ラベリングを行う．ラベリンの，文化的関心の高さに関係すると考える項目で構成されグの分類を図 2 に示す．ている．そのほかにも，自由記述としてデータ収録場所である料亭に展示されている展示物に関してどれほど詳しく覚えているかなどの項目や，視線計測装置をつけていて影響があったかなどの項目がある．アンケートの項目で主に，文化的関心の高さに関係があるもの同士で相関関係の分析を行う．

4.3 相関関係の分析
アンケート項目の中の文化的関心の高さに関係の深い項
目，ラベリングを行ったそれぞれのラベリングデータこの
図 2 ラベリングの分類

2 つを使用して分析を行いたいと考えている．ラベリング
データに関しては 5.1 の現状よりラベリングデータの具体的内容を述べる．アンケートのデータとラベリングデータ

図 2 のように食べ物・人・調度品類という分類とする．の 2 つから相関関係を明らかにすることができれば，興味食体験なのでもちろん視線が向く対象として「食べ物」がや知識量と視線行動の関係性も明らかになると考える．

多いのは当然であろう．会話相手，調理人，中居さんに目

5. 現状と今後の課題が向くこともあるだろう．一方，我々が興味を持っているのは食周辺の文化的な体験と興味である．なので，お店の5.1 現状

中の設え（しつらえ）に向けられた無意識の興味を抽出し現在行っているラベリングについて具体的例をあげて述たいと考え，3 つ目の分類カテゴリとして「調度品類」をべる．例として図 4, 図 5 を見てほしい．図 4, 図 5 の中用意した．現在行っているラベリング作業の様子を図 3 にの緑の円が各一人称視点となっている．

示す．

図 4 視線データの一例

図 3 ELAN での作業

赤：ラベリングの作成，青：定点カメラ映像，黄：個々人の一人称視点映像，緑：音声データ

図 3 は ELAN の作業画面である．この画面では同期した動画と音声データを同時に見ることができる．青枠では定点カメラ映像，黄色枠では各ペアの一人称視点映像，緑
枠は音声データとなっており，赤枠では対象となるラベリングの作成を行う際に使用する．

© 2022 Information Processing Society of Japan

図 5 視線データの一例

729

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

この例では図 4 の視線は壁に飾っている花瓶を注視し，図 5 の視線が暖簾のほうを注視している．実際，動画では以降数秒間注視し続けている．このような文化に関連する対象物を見ている部分を現在はラベリングを行っている．

5P04
2022/2/21

グループができるのではないのかと考える．そのため多変量解析を検討中である．

6. まとめ見ている時間に対して，図 3 の赤枠のラベリング層に何を本研究では，無意識の行動の一つである視線行動に着目どの時間帯に見ているのかをラベリングする．この工程をして分析を行う．視線行動を分析することによって各自の収集されたデータで行い，ラベリングデータの量や時間を文化に対する興味や知識量を推定することを目的としてい分析する．ラベリングデータを分析する際には，ELAN のる．和食文化の体験分析を目的として収録された料亭での機能である，ラベリングの統計というツールを用いて，ラ共食体験を記録したデータを使用し，分析を行った．各自ベリングデータをテキストデータで出力を行う．ラベリンの視線データの中から対象となる視線量やその時間と，今グの統計で出力するデータは図 6 に示す．

後，文化的関心の高さの指標を測るアンケートの 2 つのデータから相関関係を分析し，文化に対する興味や知識量が，視線行動からどの程度推定できるのかを議論する．
謝辞

本研究は JSPS 科研究費 挑戦的研究 （萌芽）18K18586，サントリー文化財団 2019 年度研究助成を受けたものです．
参考文献
[1]

図 6 出力するデータの一例[2]

図 6 ではテキストデータを csv に変換したデータとなっている．データの内容は，ラベリング名，ラベリングした回数，頻度，ラベリング時間間隔の平均，時間の比率，待[3]ち時間となっている．このラベリングした回数や時間の比率などでどの程度その対象に視線が向いているかが判断できる．
[4]

5.2 今後の課題
注目対象へのラベリング作業を今後も継続して行う．

4.1.2 で述べたようにラベリングの注目対象を大まかに 3
つ「食べ物」，「人」，「調度品類」に分類している．その中の「調度品類」で文化的体験と高いものへの視線を中心にラベリングしている．現在は，ラベリングをする際の名称を統一していなかったが，統一したほうが分析をするうえで扱いやすいため，ラベリングの名称を統一する．それと[5]

M. Land and M. Hayhoe :In what ways do eye movements
contribute to everyday activities? , Vision Research, vol.
41, pp.3559-3565. (2001).
Shoya Ishimaru, Syed Saqib Bukhari, Carina Heisel,Jochen Kuhn, and Andreas Dengel. Towards an intelligent textbook: eye gaze based attention extraction onmaterials for learning and instruction in physics. In Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct,pp.1041–1045. (2016).
Shiwei Cheng, Zhiqiang Sun, Lingyun Sun, Kirsten
Yee, Anind K. Dey: Gaze-Based Annotations for Reading Comprehension: Pro-ceedings of the 33rd annual
ACM conference on human factors in computing systems, pp.1569-1572 (2015).
Augereau, O., Fujiyoshi, H. and Kise, K.: Towards
an automated estimation of English skill via TOEIC
score based on reading analysis, 2016 23rd International Conference on Pattern Recognition (ICPR), IEEE,
pp.1285–1290 (2016).
Kento Yamada, Koichi Kise, and Olivier Augereau. Estimation of conﬁdence based on eye gaze: an application to multiplechoice questions. In Proceedings of the2017 ACM International Joint Conference on Pervasiveand Ubiquitous Computing and Proceedings of the 2017
ACM International Symposium on Wearable Computers,
pp.217–220. ACM, (2017)

並行してアンケート結果のデータ整理と文化的関心の高さという観点でデータを見て分析を検討している．ラベリン
グを行う際に視線行動の前後の発話に関しても重要となってくるので会話分析についての理解を深めていく．ラベリングを行った部分に関して議論するために指導教員やデー
タ収録運営者との議論も行い，収録データの見どころを発見したい．相関関係の分析に関しては，ラベリングデータとアンケートデータから多変量解析の中のクラスタ分析をすることによって，視線行動と文化的関心の高さによって© 2022 Information Processing Society of Japan730