QuIC-360◦:360◦画像に対するクエリ指向画像説明文生成のためのデータセット構築

360◦画像は一般的な画像と比較して，撮影者による情報の取捨選択が行われないため，多くのコンテクストを同時に含む．既存の画像説明文生成では，コンテクストを画像情報のみから読み取るが，360◦画像に対しては，画像に加えて補助的な情報を付加することで，記述するコンテクストを指定することが必要になる．本研究では，画像に加えて言語情報（クエリ）を与えることで説明文生成を制御するクエリ指向説明文生成を提案し，そのためのデータセットとして5,800枚の360◦画像と22,956文の説明文からなるQuIC-360◦を構築した．QuIC-360◦による再学習で，360◦画像に対してクエリを用いることで説明文生成の制御性・多様性が高まることが確認された．