360◦画像は一般的な画像と比較して，撮影者による情報の取捨選択が行われないため，多くのコンテクストを同時に含む．既存の画像説明文生成では，コンテクストを画像情報のみから読み取るが，360◦画像に対しては，画像に加えて補助的な情報を付加することで，記述するコンテクストを指定することが必要になる．本研究では，画像に加えて言語情報（クエリ）を与えることで説明文生成を制御するクエリ指向説明文生成を提案し，そのためのデータセットとして5,800枚の360◦画像と22,956文の説明文からなるQuIC-360◦を構築した．QuIC-360◦による再学習で，360◦画像に対してクエリを用いることで説明文生成の制御性・多様性が高まることが確認された．

画像説明文生成は，画像に含まれる内容を自然言語で自動的に記述する課題である[1]．近年の画像説明文生成では，Attention機構を導入するなどコンテクスト，すなわち画像の中で記述されるべき特徴への注目を行う手法が提案されてきた[2]．Corniaら[3]は画像の注目すべき領域の集合や順序を補助的な情報として与えることで生成される説明文を制御することを提案している．これまでの画像説明文生成では，主にモデル作成側の設計により画像情報からコンテクストへの注目が行われている．MicrosoftCOCOCaptions[4]などの既存のデータセットに含まれる画像では，撮影時に視野角の制約から対象の選択が行われている．撮影された画像のコンテクストは限定的で，大きく異なるコンテクストが複数含まれることは想定されてこなかった．一方で，全方位カメラによって撮影された360◦画像では，通常画像にある視野角の制約がなく，対象物の選択が行われないため撮影された情景（シーン）全方向への情報を含む．360◦画像を利用したシーンからの説明文生成は，ライブカメラや監視カメラといったシーンカメラを用いたテキスト実況や，自動運転車や自動配達ロボット等に付属したカメラが撮影した画像を用いたテキスト伝達[5]などに応用できる．画像の説明文生成で360◦画像の特性を活かすには，通常画像と比較して注目するコンテクストやユーザの需要に応じて説明文生成を制御することがより重要になる．本研究では，画像に加えて単語や短いフレーズといった言語情報をクエリをとして入力することで説明文生成を制御するクエリ指向画像説明文生成を提案し，データセットとしてQuIC-360◦(Query-basedImageCaptioningformulti-context360◦images)を構築した．図1に課題の概要を示す．天気や花壇，周囲の往来など複数のコンテクストを持つ画像に対して，注目する対象に応じて異なる画像説明文が記述されることが期待される．しかし，一般的な説明文生成では，画像全体を言及するが目的に合わせた詳細な記述が行われない．提案課題は「人々」や「風景」といった具体的な記述対象を事前に与え，より具体的な説明文を作成することを目的としている．我々は5,800枚の360◦画像に対して，クエリに基づいた22,956文の説明文を収集した．既存の最先端の画像説明文生成モデルをQuIC-360◦を用いて再学習させることで，(i)説明文生成の制御性が高くなること，また，(ii)生成された説明文はより多様であったことが確認された．クエリ指向説明文生成は、既存手法が抽象的な説明文を生成する問題を解決できる．構築したデータセットは一般に公開されている1）．1）https://github.com/Silviase/QuIC-360.ImageQueryWhatdoesthisimagetrafficdescribeon“traffic”?weather