視覚と自然言語の融合研究
ナビゲーションはロボットなどに対して目的地までの道順を案内するタスクであり、視覚情報もしくは自然言語のみでのナビゲーションが研究されてきた。これらを拡張して、視覚と自然言語の両方の情報を使用するタスクが融合分野として研究されている。
視覚と自然言語の両方の情報を用いるナビゲーションとしては、最初のデータセットが2017年に発表されている。
評価手法はコンピュータビジョンと自然言語処理の各分野においても課題のひとつであるが、融合研究においてはさらに大きな問題となっているとされている。特に自然言語生成に関係するタスクにおける評価は難しいとされる。例えば画像キャプション生成において「男性が木の横を歩いている」と「男が木のそばを散歩している」という二つの文章はほとんど同じ意味を表しているが、自動的に類似度の評価を行うことは難しい。また、VQAにおいて「鳥」という答えが正解とされている問題に対して、「鷹」という答えが正しいのかどうかを自動的に評価することは難しい。
評価手法を改善する研究は行われているが、未解決の問題となっている。