視覚と自然言語の融合研究
視覚と自然言語の融合研究は、コンピュータビジョンと自然言語処理を融合した研究分野である。2つの分野は独立して研究されてきたが、視覚と自然言語を組み合わせることにより、ヒューマンコンピュータインタラクション、視覚障害者の支援、ヒューマン・ロボット・コラボレーション(英語版)、自動運転、ナビゲーション、画像検索といった分野への応用が期待されることもあり、融合研究が注目されるようになった。
参照表現(Referring Expression)とは「左の三つの玉のうちの一番右の玉」のように複数の物体の中から特定の物体を識別するための言語表現である。視覚との融合分野では、自然言語で与えられた参照表現に対応する物体を画像中で示したり、画像中の物体に対応する参照表現を生成するタスクが研究されている。
参照表現生成の研究は自然言語処理の分野で1970年代から行われているが、2010年代まで画像などに含まれる視覚情報を直接使うような手法はほとんど研究されていなかった。深層学習を用いた画像の参照表現の理解と生成の最初の研究は2016年に発表され、画像から直接の参照表現の理解・生成を行う研究が始まった。
画像や動画に対する説明を生成するタスクである。この融合分野の代表的なタスクとされる画像キャプション生成も含まれる。
画像キャプション生成の研究は2000年代から行われており、検索エンジンやソーシャルメディアなどで画像の説明を生成するために利用されている。