同じ画像，異なる意味：文脈依存画像検索タスクの提案

画像の意味は画像内に閉じていない．「夜の窓辺に立つ人影」という画像があったとき，ロマンス映画では「家族の帰りを待つ温かな姿」を，サスペンス映画では「誰かに監視されている不気味さ」を意味しうる．つまり，同じ画像であっても文脈によって意味が大きく変わりうる．このような文脈に依存した意味の変容はさまざまな場面で観察されるものであるが，画像意味の文脈依存性を扱う研究は少なかった．意味の文脈依存性の考慮は，特に画像の意味検索を深めていくにあたって重要な方向性である．本稿では，文脈を考慮した画像の意味検索の実現に向けて，問題設定の定式化とデータセットの構築を行い，文脈依存画像検索というタスクを提案する．文脈による意味変化の要素を抽象度の異なる4段階のカテゴリに整理し，それぞれに対応した評価用データセットを構築した．実験の結果，文脈による意味変化は抽象度の高いカテゴリで特に顕著であることを確認し，文脈を考慮しない既存モデルは物体や行動といったオブジェクト認識は得意であるが，雰囲気や感情といった抽象的な意味の捉え方には課題があることを示した．一方でVLMは文脈を与えることによって抽象的な意味とその変化をある程度捉えられることを確認し，本研究は文脈を考慮した画像理解という新たな研究領域を開拓するものである．