情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-26
2024/2/28

料理映像視聴時の視線行動分析
如澤 駿介1,a)

角 康之1,b)

概要：本研究では，料理中の板前の視線と，その一人称視点を追体験した際の視線を比較することで，料理経験や知識が視聴時の視線行動にどのような影響を与えるかを探究する．これまでの視線行動研究では，一人称視点の追体験における視線に注目した研究は限られていた．本研究では，プロの板前による料理プロセスの一人称映像を用いて，視聴者がその体験をどのように視覚 的に追体験するかを分析する．この分析により，料理に対する経験や知識が，映像視聴時の視線のパターンにどのような影響を及ぼすかを明らかにする．本研究を通して，視線行動から視聴者の料理スキルや知識を推定できれば，個別化された料理支援教材やカスタマイズされたレシピの提供が可能となり，食文化への新たな貢献が期待できる．

1. はじめにすることが可能になれば，個人に合わせた料理教材の提供や，料理関連の Web サイトにおいてユーザの興味や経験人が料理をしているときの視線はさまざまところに向に合わせたコンテンツの提供が可能になるなど，さまざまけられる．例えば，食材を切るときは繊維の方向や食材のな応用が期待できる．そのため本研究により得られる成果

断面，火を使う調理工程のときは，火加減や食材の火の通は，料理という分野にさまざまな応用可能性がある．

り具合，鍋の沸騰具合などが挙げられる．そのような視線の方向はその人の経験値や知識によってさまざまである．

Tang らの研究 [1] では，大学の教員と学生の間で，グラフの解釈をしているときの視線を計測したところ，教員はグラフの重要なところに注目していたのに対し，学生は視線が分散していたことが明らかとなった．また，岩田らの研究 [2] では料理の経験の差による炒め物へ行っているときの鍋の端への目配りの差が，料理の品質に影響を与えることが示唆された．これらの研究では実験者の経験値が視線に影響していることがわかっている．同様に，料理映像を視聴しているときの視線行動にも，その人の料理経験や
図 1知識が現れると考える．そのため本研究では，料理映像を一人称視点の一部視聴しているときの視線に着目し，料理に対する経験や知識が視聴時の視線行動に影響を与えているか探る．本研究では特に，料理中の一人称視点を追体験するときの視線を2. 関連研究分析する．一人称視点には，料理中の板前の視線を用いる

本研究に関連して，視線行動から興味の推定を行ってい(図 1)．板前の視線には長年培ってきた熟練度の高い視線る研究や，料理分野における視線行動に着目した研究をい行動が含まれていると考え，それを追体験することで，経くつか紹介する．

験や知識による視線行動の差異が大きく現れると考える．
現在は，ウェアラブルアイトラッキングの小型化により，2.1 視線から興味の推定を行っている研究

日常的にその人の視線行動を抽出できる環境が整いつつあTsai らの研究 [3] では，多肢選択式の科学の問題を解くる．料理映像視聴の視線行動からその人の興味対象を抽出際の学生の視覚的注意について調べた．この研究の実験では，4 つの画像から土砂崩れの発生を予測する問題を 6 人1a)b)

公立はこだて未来大学
s-jyozawa@sumilab.org
sumi@fun.ac.jp© 2024 Information Processing Society of Japanの大学生に解いてもらい，アイトラッカーを用いて参加者の視線行動を計測した．また問題を解く際には自分の考え

296

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-26
2024/2/28

を口に出すように求められた．収集した視線データやスピーキングの内容を分析した結果として，学生は自分の選

3. 分析

んだ選択肢や，画像の中で土砂崩れに関連しそうな要因に多く注意を払っていた．問題に正答した学生は土砂崩れに関連する要因に注目していたのに対し，誤答した学生は問題の解読などに注意を払っていたことがわかった．
また，Shimonishi らの研究 [4] では，デジタルカタログ閲覧時の視線データをから，ユーザの興味を推定するための手法を提案している． 提案された手法は 2 つのステップからなっており，第 1 ステップでは，尤度ベースの短期分析を使用して，ユーザのカタログ内の注目している属性を特定する．第 2 ステップでは，確立的生成モデルを学習し，興味の推定を行う．この評価実験を 37 名の大学生に対して行ったところ，第 1 ステップの注目対象を特定する手法と，第 2 ステップの興味の推定を行う手法それぞれに対して有効性が示された．

2.2 食と視線に関する研究
Inoue らの研究 [5] では，調理者の視線運動パターンの分析によって，調理動作を識別する方法を提案している．この研究では，調理中の視線データを計測し，視線情報に着目した行動認識のおいて有用とされる N-gram の頻度ヒストグラムを用いて視線運動パターンの表現を行った．その後，視線運動からの調理動作を推定するための機械学習モデルを学習した．
また，Wang らの研究 [6] では，マルチメディアレシピの学習における視線行動と学習成果の関連を探っている．
ここでのマルチメディアレシピは，テキストと画像の静的ページと，テキストと包丁での調理工程を示すビデオがあ本研究では，料理中の視線と，それを追体験した人の視線を比較分析することで，料理に対する経験と知識が一人称視点視聴時の視線行動に影響を及ぼすか探る．本章では，その分析に用いるデータの概要と分析手法について述べる．

3.1 データ概要
3.1.1 板前の視線データの収集本研究では，料理中の板前の視線，料理中の一人称視点視聴の視線について分析を行う．料理中の視線は，角らの研究 [7] で扱われている板前の視線を計測した．視線の計測にはアイトラッキングデバイスの Pupil Core*1 を使用して計測した．計測されたデータは合計 72 時間に及んだ．
その中から特に代表的な料理工程を含む 10 程度の映像を3 本選定し，分析に利用する．選定した動画はそれぞれお吸い物，刺身盛り，天ぷらの調理工程であり，料理の準備から盛り付けまでの一連の流れと，板前の注目点が記録されている．

3.1.2 一人称視点映像視聴時の視線データの収集
一方，一人称視点映像の視聴における視線データは，異なる料理経験を持つ 21〜22 歳の男女 6 名のものを計測した．被験者は用意した 3 本の動画を視聴し，視線の計測を行った．視線の計測には Tobii Pro Nano*2 を使用した．実験環境を図 2 に示す．視線データの収集と合わせて，映像視聴後に簡易なアンケートを行った．アンケートでは，映像内で注目していた点や普段の料理頻度について質問した．

る動的ページから構成されており，実験では視線計測を用いて，合計読解時間，合計固定時間，固定回数，ページの遷移回数を収集した．得られた結果として，すべての参加者は静的レシピでは画像よりもテキストに多くの視覚的注意を払っていた．またテキストに対する視覚的注意と料理に対する興味について正の相関が見つかった．動的ページにおいては，テキストへの視覚的注意と包丁を扱うスキルについて負の相関があることが明らかとなった．
これらの研究は，視線とその人の興味の関連性や，視線データからの行動識別に焦点を当てている．しかし，料理という分野における視線行動の関係に着目した研究は未だ少ない．特に，一人称視点を追体験したときの視線に着目した研究は数が限られている．そのため，本研究では，これらの研究を参考に，料理の視点と追体験したときの視線

図 2

行動を比較分析することにより，料理経験や知識の違いが一人称映像視聴時の様子視線にどのように影響を与えるか探る．
*1*2© 2024 Information Processing Society of Japan

https://pupil-labs.com/products/core
https://www.tobii.com/ja/products/eye-trackers/screenbased/tobii-pro-nano

297

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-26
2024/2/28

3.2 分析手法
本研究では，料理中の板前の視線行動と，その一人称視点を追体験した際の視線行動を比較分析することにより，視線の移動パターンや注目対象が料理に対する経験や知識に応じてどのように異なるか探る．具体的には一人称視点を視聴したときの視線データを重ね合わせ，視線の移動パターンを概観する．また，視聴時の視線と，板前の料理中の視線行動の比較を行う．

3.2.1 視聴者の視線移動パターンの比較
Tobii Pro Lab*3 を利用して，一人称視点視聴時の視線データを CSV 形式で出力し, 視線データを動画に描写して

図 4

視線が集中している場面の例

図 5

視線が分散している場面の例

出力することにより，複数の視聴者の視線の重なりや注目対象をまとめて可視化する．これにより，視聴者ごとの映像に対する反応の違いや，何に注目しているかを視覚的に比較することを可能にする．

3.2.2 複数視線データの比較用ビューア作成
視聴時の視線と板前本人の視線との比較，複数の視聴者の視線行動の可視化を容易にするために，専用のビューアを構築して比較を行う（図 3). このビューアでは動画の切り替えと描写する視線の選択を可能にし，特定の人の視線の比較を行える．

3 つ目は視線がいくつかの対象に分かれているパターンである（図 6，図 7．これは特定の動作が連続した場合や，映像内に注目対象が複数ある場合などさまざまな場面に見られる．図 6 では，刺身盛りの食材を切っている場面であり，視線は食材や調理器具（この場合だと包丁），端に置いてある別の食材などに分けられる．これは食材を切る動作が連続しており，映像内の状況が大きく変わらない場面であったため，視線が周りに映っている他の対象に分散したと考えられる．
図 3ビューアの例

一方で，図 7 は天ぷらを作っているときの視線で，天ぷら用の鍋から一瞬視線を外したときに見られたパターンである．このとき，カウンターの前にいるお客さんの方を見

4. 考察
一人称視点映像を視聴する際の視線行動は，大きく 3 つのパターンに分けられる．1 つは視聴者全員が同じところを見ているパターンである（図 4）. これは映像に手先が写っており，特定動作（食材を切る，手を伸ばすなど）を行っている場面に見られる．図 5 の例では，刺身盛りに使うわさびをすりおろしている場面である．

る視線と，盛り付けるための器への視線と，それ以外へ向けられた視線が見受けられた．
現段階では，収集したデータを定量的に分析することができていないため，実質的な議論を展開することは難しい．
今後はこのような抽象的なデータを基に，より詳細な分析を行なっていく．

5. 今後の展望

2 つ目は全員の視線が散らばるパターンである（図 5）．
これは移動中や，板前の動作が特定しづらい場面で発生す

今後は，さらなるデータの収集とデータの定量的な分析る．図 5 の例は，視点が移動中に急に止まったときの場面を行なっていく．6 人分のデータでは，データの傾向を捉である．

えるには難しい場合があるため，より料理に対する経験や*3

https://www.tobii.com/ja/products/software/dataanalysis-tools/tobii-pro-lab© 2024 Information Processing Society of Japan

知識が多様な人に映像を見てもらい，視線データの収集を行う．その後，現状の成果を基に視聴者がどの対象にどの

298情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-26
2024/2/28

恵氏に深く感謝する.
参考文献
[1]

[2]

[3]
図 6

視線が分かれている場面の例 1

[4]

[5]

[6]
図 7

視線が分かれている場面の例 2[7]くらい注目しているかを定量的に分析し，料理経験と視線行動の関係を探っていく．また，今後の進展として，板前

Teo, T. W. and Peh, Z. Q.: An exploratory study on eyegaze patterns of experts and novices of science inferencegraph items, STEM Education, Vol. 3, No. 3, pp. 205–229(online), DOI: 10.3934/steme.2023013 (2023).
岩田彩見，小林由実，小川宣子，加藤邦人，山本和彦： 炒め調理における目配りと調理技術に関する研究，日本調理科学会誌， Vol. 50, No. 4, pp. 200–210 (2009).
Tsai, M.-J., Hou, H.-T., Lai, M.-L., Liu, W.-Y. and Yang,F.-Y.: Visual attention for solving multiple-choice science problem: An eye-tracking analysis, Computers &Education, Vol. 58, No. 1, pp. 375–385 (online), DOI:
10.1016/j.compedu.2011.07.012 (2012).
Shimonishi, K. and Kawashima, H.: A Two-step Interest
Estimation from Gaze, Journal of Eye Movement Research, Vol. 13, No. 1, p. 4 (2020).
Inoue, H., Hirayama, T., Doman, K., Kawanishi, Y., Ide,I., Deguchi, D. and Murase, H.: A classiﬁcation methodof cooking operations based on eye movement patterns,
ETRA ’16: Proceedings of the Ninth Biennial ACM
Symposium on Eye Tracking Research & Applications,pp. 205–208 (online), DOI: 10.1145/2857491.2857500(2016).
Wang, C.-Y., Tsai, M.-J. and Tsai, C.-C.: Multimedia
recipe reading: Predicting learning outcomes and diagnosing cooking interest using eye-tracking measures, Computers in Human Behavior, Vol. 62, pp. 9–18 (2016).
角康之，山下直美，井村直恵，奥野茜： 和食体験に係る言語・非言語インタラクションの観察，電子情報通信学会技術研究報告; 信学技報， Vol. 121, No. 363, pp. 36–42 (2022).

からの評価を得ることを計画している．プロの料理人の視点から，収集した視線データを評価し，そのデータから視聴者の料理経験をどこまで識別できるかを評価する．また，板前自身に自分の一人称視点を追体験してもらい，その視線行動も踏まえて分析を進めていく．
本研究を通じて，料理という分野における経験や知識がその人の視線行動にどのような影響を与えるか探求し，視線データの解釈と応用の可能性を広げる．

6. おわりに本研究では，料理中の板前の視線と，その一人称視点を追体験したときの視線行動を比較することより，視聴者の料理経験や知識が視線行動にどのような影響を与えるか探る．今後は視線データを用いた定量的な分析を進めていき，将来的には，板前の視点から視線データの評価を行い，料理に対する経験や知識が視線行動に与える影響を明らかにする．
本研究はから，得られた知見は，将来の視線行動からの個別化された料理教育や料理コンテンツへの提供につながることが期待できる．
謝辞 本研究で紹介したデータの収録に多大なるご協力をいただいた喜久屋の駒井靖氏, 名古屋工業大学の井村直© 2024 Information Processing Society of Japan299