視線軌跡を与えたVLMにおける

大規模言語モデルは，テキストのみの指示では利用者の意図を十分に捉えられない場合があり，利用者の関心や意図を含む視線軌跡の利用が期待される。近年，視線軌跡を言語モデルへ入力するために専用のエンコーダーを追加する手法が報告されているが，一般の視覚言語モデル（VLM）に対して，視線軌跡に注目した分析は十分でない。本研究では視線軌跡をVLMが直接扱える画像形式に変換した。その上で，英文読解中に利用者が不明と判断した単語の予測タスクで複数のVLMを評価した。その結果，8B級モデルにおける，単語予測の正答率は，1位予測で最大39％，上位5位予測は最大74%を示した。