視覚と自然言語の融合研究
視覚と自然言語の融合研究(英語: Vision and Language)とは、コンピュータビジョンと自然言語処理を融合した研究分野である。画像や動画からのキャプション生成、画像や動画を対象とした質問応答(VQA)などのタスクが含まれる。
1960年代からヒューマン・ロボット・コラボレーション(英語版)の分野を中心に初期の研究が始められており、1990年代ごろから画像検索、2000年代から画像キャプション生成の研究も始められた。2010年代に深層学習の適用によってコンピュータビジョンと自然言語処理が大きく発展したことに伴い、融合研究も発展を遂げている。多くの研究が行われている一方で、データセットバイアスなどの研究課題も残されている。
画像検索には情報検索の評価手法が用いられる。評価手法として様々なものがあり、想定される適用先などによって使い分けることが求められる。広く用いられているのは適合率(Precision)と再現率(Recall)(英語版)、およびF値である。ここで、検索結果の上位k個の画像を「検出された」と判定するとする。また、評価の際には、検出されるべき正解の画像(複数の場合もある)が分かっているとする。下式のように、適合率(P)は検出された画像の中で、正解の画像(tp)の割合で表される(fpは誤って検出された画像の数)。再現率(R)は検出されるべき正解の画像の中で、実際に検出された画像(tp)の割合で表される(fnは正解の画像だが、検出されなかった画像の数)。
P = t p t p + f p , R = t p t p + f n {\displaystyle {\mathsf {P}}={\frac {tp}{tp+fp}},{\mathsf {R}}={\frac {tp}{tp+fn}}}
F値は適合率と再現率の調和平均で求められる。
自然言語処理における質問応答は、人間の質問に対して回答するタスクである。質問応答では、質問に回答するにあたって必要な情報を得るために、なんらかの文書を参照する場合もある。質問応答が自然言語のみを使用するのに対して、VQAは質問応答タスクを拡張した、画像や動画に関する質問に答えるタスクである。
未知の物体にも対応するようなVQAは2014年に研究が始められた。
コンピュータビジョンは、コンピュータに画像や動画の内容を理解させる分野である。主なタスクとしては画像分類や物体検出などが含まれる。敵対的生成ネットワーク(GAN)などによる画像生成が含まれる場合もある。