視線軌跡を与えたVLMにおける

大規模言語モデル（LLM）は，画像入力に対応した視覚言語モデル（VLM;VisualLanguageModel）や，動画や音声などの時系列情報にも対応するマルチモーダルLLM（MLLM）へと進展している[1]。これらは主にテキストプロンプトで指示を受け取るが，対応するモダリティに応じて，視覚や聴覚情報を追加したマルチモーダルプロンプトも扱える。一方で，テキストプロンプトは数十～数百語程度が一般的で，人が保持する意図や状況文脈，およびLLMが内部に持つ知識や推論過程に比べ，伝達情報量が小さい。また，利用者は意図を言語化してプロンプト構築する必要があり，時間的・認知的コストも要する。そのため，プロンプトは人とLLMを繋ぐ伝達経路でありながら，意図の取りこぼしや曖昧性を生みだす原因となる。さらに，プロンプトの品質や量，対話の頻度は個人差が大きく，情報伝達の一貫性・安定性の担保も課題である。この課題を緩和するには，利用者の状態や意図を追加的に観測できるモダリティの導入が有効である。ヒューマンコンピュータインタラクション（HCI）領域では，眼球運動データをロジスティック回帰[2]やサポートベクターマシン[3][4]に適用し，利用者の関心や意図を予測・分類する試みが報告されている。眼球運動計測による視線軌跡は，行動に密接に結びつく暗黙的手がかりであり，高い時間分解能で意図の兆候を捉え得ることから，プロンプトを代替するモダリティとして，MLLMへの応用が期待される。近年，VLMを視線軌跡に対応させる研究が，Egocentric（自己視点）画像/動画能力やグラウンディング能力の獲得を背景に行われている。ヒートマップ形式の視線データに対応したVLM[5]や，視線軌跡を画像に統合する専用エンコーダーを備えたVLM[6]が報告されている。しかし，これらは専用のエンコーダーの追加と学習を要し，新しい基盤モデルへの追従コストが発生する。また，VLMの能力評価において，視線軌跡に注目した分析は十分に検討されていない。そこで本研究では，視線軌跡をVLMに直接入力可能な画像表現に変換し，VLMの意図予測能力を評価することを目的とした。評価に際し，疑問の発生による視線滞留が発生しやすい，英文読解タスクを設定し，読解中の視線軌跡と不明点判断ラベルを含む評価データセットを構築する。また，評価データセットから，英文読解中の利用者が「不明」と判断した英単語をVLMに予測させる。同一タスクを人に予測させ，ベースラインとした。本研究では3つの仮説を設定した。H1.VLMで単語予測タスクをZero-shotで実行したとき，人手評価と比較して同等以上のスコアが得られる。H2.開発元の異なるVLMを同一の入力方式で横断的に評価できる。H3.同一系列のVLMでは，パラメータ規模の違いによるスケーリング効果が得られる。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).た各アノテーションに対し，該当記事の内容と直前5秒間から生成した視線軌跡画像をVLMに入力したうえで，利用者の不明語の予測とその理由を信頼度の高い順に5件予測するように指示した（付録.Marker方式の指示プロンプト）。これにより，VLMが記事内容と視線軌跡データを統合的に用いて，利用者が不明と判断した英単語を予測した。