視覚と自然言語の融合研究

視覚と自然言語の融合研究（）とは、コンピュータビジョンと自然言語処理を融合した研究分野である。画像や動画からのキャプション生成、画像や動画を対象とした質問応答（VQA）などのタスクが含まれる。
1960年代からの分野を中心に初期の研究が始められており、1990年代ごろから画像検索、2000年代から画像キャプション生成の研究も始められた。2010年代に深層学習の適用によってコンピュータビジョンと自然言語処理が大きく発展したことに伴い、融合研究も発展を遂げている。多くの研究が行われている一方で、データセットバイアスなどの研究課題も残されている。
背景.
視覚と自然言語の融合研究は、コンピュータビジョンと自然言語処理を融合した研究分野である。2つの分野は独立して研究されてきたが、視覚と自然言語を組み合わせることにより、ヒューマンコンピュータインタラクション、視覚障害者の支援、、自動運転、ナビゲーション、画像検索といった分野への応用が期待されることもあり、融合研究が注目されるようになった。
コンピュータビジョン.
コンピュータビジョンは、コンピュータに画像や動画の内容を理解させる分野である。主なタスクとしては画像分類や物体検出などが含まれる。敵対的生成ネットワーク（GAN）などによる画像生成が含まれる場合もある。
自然言語処理.
自然言語処理は、人間が使用する言語（自然言語）をコンピュータに処理させる分野である。主なタスクとしては情報検索、質問応答、機械翻訳などが含まれる。
主な研究分野.
視覚と自然言語の融合研究として以下のような分野が研究されている。
歴史.
黎明期（1960年代以降）.
1968年から始められたSHRDLUというプロジェクトが、視覚と自然言語の融合における最初期の研究のひとつとされている。SHRDLUは人間が自然言語で指示をすることで、コンピュータ内の仮想空間の積み木を操作できるコンピュータプログラムである。これ以降の視覚と自然言語の融合研究では、ロボットを自然言語による対話で操作するという分野が多く研究されてきた。
深層学習以前（1990年代〜2000年代）.
画像検索も視覚と自然言語の融合研究における最初期のタスクのひとつである。従来は画像に人間がつけたキャプションを利用していたが、1990年代から画像の視覚情報も用いて検索を行う研究が行われるようになった。
画像キャプション生成は2000年代ごろから研究が行われており、主にテンプレートを用いた手法が提案されていた。テンプレートを用いて文章を生成するためにやなどの局所画像特徴量に対してサポートベクターマシン（SVM）などの分類器を適用するなどの手法が提案された。
深層学習の適用（2010年代以降）.
2010年代の深層学習の適用によって、画像と自然言語処理の融合分野も大きな発展を遂げた。VQA（2014年）、マルチモーダル機械翻訳（2016年）、Visual Dialog（2017年）、視覚と言語を用いたナビゲーション（2017年）といったタスクの研究も2010年代に始まった。
深層学習が適用されるようになってからは、主に畳み込みニューラルネットワーク（CNN）を用いて画像や動画の特徴量を、回帰型ニューラルネットワーク（RNN）を用いて自然言語の特徴量を抽出して、2種類の特徴量を統合する手法が研究されてきた。2019年からはTransformerという共通のモデルを用いる手法が研究されている。
手法.
視覚情報と自然言語情報の統合（2018年ごろまでの主流）.
視覚と自然言語の融合研究の手法について、視覚情報や自然言語の特徴量を得る機構などには共通点が多く、2018年ごろまでの多くの手法は、(1)視覚情報処理、(2)自然言語処理、(3)二つの情報の統合を行う3個のサブシステムを持っていた。
視覚情報処理には、かつてはSIFTなどの局所画像特徴量が用いられていたが、深層学習が適用され始めてからは主にCNNが使用されてきた。2017年まではCNNが出力する特徴量をそのまま利用するモデルが多かったが、バウンディングボックスやグラフ構造を中間表現として利用する研究も行われるようになった。
自然言語処理には単語ベクトルが使われることが多かったが、深層学習が適用され始めてからは主にRNNで得られる文章全体の特徴量が使用されてきた。
これらの手法によって得られた画像や動画と自然言語の情報を統合するための手法は、タスクごとに様々なものが利用されている。CNNやRNNから得られた特徴量ベクトルを統合する最も単純な方法は、二つのベクトルを連結したりアダマール積をとることである。より高度な手法として、（Attention）という手法を適用して、画像や自然言語からそれぞれのクエリに対して重要な情報を自動的に選択して利用することが提案されている。
統合的な事前学習（2019年以降）.
事前学習とは、機械学習のモデルを大規模なデータセットで学習することで、さまざまなタスクに用いることができる特徴量を抽出できるモデルを学習する手法である。大規模なデータセットで事前学習を行ったのちに、比較的小規模のデータセットを用いて個別のタスクにチューニングを行うことで、高い性能を持つモデルを学習できることが知られている。コンピュータビジョンにおいてはCNNをImageNetなどの大規模なデーセットで事前学習することは広く行われてきたが、RNNを用いた自然言語処理で事前学習を行うことは少なかった。2017年に発表された自然言語処理の新しいモデルであるTransformerに対して事前学習を行う手法が2018年に提案され、自然言語処理においても文章全体について事前学習を行う研究が行われるようになった（BERTなど）。2018年には動画にTransformerを適用する研究が提案され、2020年には画像にTransformerを適用する研究も始められた（）。
視覚と自然言語の融合研究においても、2019年からTransformerを用いて画像・動画と自然言語の事前学習を同時に行う研究が行われている。
主なタスクの研究・評価手法.
視覚と自然言語の融合研究のタスクには共通点があるが、タスクごとに異なる手法が研究されている。ここでは主なタスクの手法と評価手法を紹介する。
データセット.
大規模なデータセットを用いて学習することは、深層学習モデルの汎化性能を高める重要な要素のひとつである。視覚と自然言語の融合研究においても大規模なデータセットは重要な役割を果たしており、モデルの学習と評価に不可欠な存在である。写真の共有サイトであるFlickrなどから提供される画像データとクラウドソーシングによるアノテーションによって、大規模なデータセットを作ることが可能になった。このような既存の画像を収集するだけではなく、データセットのために作成されることもある。
さまざまなデータセットが提案されているが、データセットのサイズ（含まれる画像や文章の数）、画像の質や多様性、文章の長さ、文章に含まれる単語や構文の多様性、アノテーションの豊富さなどの異なる性質を持っており、それぞれのデータセットに利点と欠点がある。
本節では主なデータセットを紹介する。
画像・動画の説明生成.
データセットには画像と説明文が含まれるが、データセットによってデータの数や質、収集方法などが異なる。
画像への質問応答.
異なる特徴を持ったさまざまなデータセットが提案されている。実世界の画像を用いたデータセットが良く使われているが、画像認識の能力ではなく意味を理解できているかの評価に注目するために、クリップアートで作成された絵を用いたデータセットも提案されている。初期のデータセットは画像中の情報を理解できれば質問に答えられるものであったが、2015年に発表されたKB-VQAというデータセットなどは、画像中の情報だけでは質問に正しく回答することはできず、外部データベースの知識を用いることが求められる。2017年に発表されたVisual Genomeというデータセットでは、画像のシーングラフ（物体をノード、物体同士の関係（位置関係など）をエッジとするグラフ）が与えられている。
課題.
データセットバイアス.
データセットバイアスとは、機械学習モデルの学習に使用したときに誤った結論を導く可能性がある、データセットの偏りのことである。例えば、画像データセットを用いて「自動車」を認識する機械学習モデルを学習するときに、ImageNetというデータセットでは「自動車」というラベルにスポーツカーを多く含むため、自家用車の検出性能が低くなってしまうという問題が起こることがある。逆に、学習データとテストデータは多くの場合は同じ条件で集められているため、学習データを記憶するだけでテストデータにも対応できてしまい、実際の性能よりも高く評価されてしまうという問題が起こることもある。
データセットバイアスはコンピュータビジョンや自然言語処理のそれぞれの分野でも問題となるが、両方の分野を対象とする融合研究ではより深刻な影響を受けるとされている。一例として、VQAのデータセットにおいて、質問に対する回答に偏りがあると画像を使わなくても一定の精度を達成できてしまうことが知られている。例えばデータセットに「画像中に〜がありますか」という形式の質問が複数あり、答えとして「はい」が多いという偏りがあるとする。機械学習モデルは画像の内容を確認して答えることが期待されるが、自然言語の質問だけを見て「画像中に〜がありますか」という形式の質問には常に「はい」と答えるように学習をされてしまうことが起こり得る。
解決方法としてデータセットからバイアスを取り除く方法が研究されているが、大規模なデータセットにおいてあらゆる要素のバイアスを取り除くことは不可能に近く、未解決の問題とされている。
評価の難しさ.
評価手法はコンピュータビジョンと自然言語処理の各分野においても課題のひとつであるが、融合研究においてはさらに大きな問題となっているとされている。特に自然言語生成に関係するタスクにおける評価は難しいとされる。例えば画像キャプション生成において「男性が木の横を歩いている」と「男が木のそばを散歩している」という二つの文章はほとんど同じ意味を表しているが、自動的に類似度の評価を行うことは難しい。また、VQAにおいて「鳥」という答えが正解とされている問題に対して、「鷹」という答えが正しいのかどうかを自動的に評価することは難しい。
評価手法を改善する研究は行われているが、未解決の問題となっている。