どうして音声信号が視線予測に役立つのですか？
音声信号は、日常活動中の視線行動に影響を与える重要な補助的手掛かりとなります。例えば、会話や物音などの聴覚情報は、カメラを着用した人の注目や視線移動に大きな影響を与える可能性があります。このようなオーディオ信号とビジュアル情報間の相関性は神経科学的研究でも示されており、特定の音源から発せられた音が視線移動を引き起こすことが知られています。そのため、ビデオフレームと対応するオーディオスペクトログラムを利用して、将来の注目点や視線先を予測する際には、音声信号も重要な刺激源として考慮されるべきです。