# QulC-360： $360^{\circ$ 画像に対する クエリ指向画像説明文生成のためのデータセット構築
}

前田航希 1,3 栗田修平 1 宮西大樹 2,1
1 理化学研究所 AIP, ${ }^{2}$ 国際電気通信基礎技術研究所 (ATR), ${ }^{3}$ 東京工業大学
\{koki.maeda, shuhei.kurita\}@riken.jp, miyanishi@atr.jp

## 概要

$360^{\circ}$ 画像は一般的な画像と比較して，撮影者による情報の取捨選択が行われないため，多くのコンテクストを同時に含む．既存の画像説明文生成では， コンテクストを画像情報のみから読み取るが， $360^{\circ}$画像に対しては，画像に加えて補助的な情報を付加することで，記述するコンテクストを指定することが必要になる。本研究では，画像に加えて言語情報 （クエリ）を与えることで説明文生成を制御するクエリ指向説明文生成を提案し，そのためのデータセットとして 5,800 枚の $360^{\circ}$ 画像と 22,956 文の説明文からなるQuIC-360 を構築した. QuIC-360による再学習で， $360^{\circ}$ 画像に対してクエリを用いることで説明文生成の制御性・多様性が高まることが確認された。

## 1 はじめに

画像説明文生成は，画像に含まれる内容を自然言語で自動的に記述する課題である [1]. 近年の画像説明文生成では，Attention 機構を導入するなどコンテクスト，すなわち画像の中で記述されるべき特徴への注目を行う手法が提案されてきた [2]. Cornia ら [3] は画像の注目すべき領域の集合や順序を補助的な情報として与えることで生成される説明文を制御することを提案している。これまでの画像説明文生成では，主にモデル作成側の設計により画像情報からコンテクストへの注目が行われている. Microsoft COCO Captions [4] などの既存のデー タセットに含まれる画像では，撮影時に視野角の制約から対象の選択が行われている。撮影された画像のコンテクストは限定的で，大きく異なるコンテクストが複数含まれることは想定されてこなかった。

一方で，全方位カメラによって撮影された $360^{\circ}$画像では，通常画像にある視野角の制約がなく，対象物の選択が行われないため撮影された情景（シー ン）全方向への情報を含む． $360^{\circ}$ 画像を利用したシーンからの説明文生成は，ライブカメラや監視カメラといったシーンカメラを用いたテキスト実況や，自動運転車や自動配達ロボット等に付属したカメラが撮影した画像を用いたテキスト伝達 [5] などに応用できる. 画像の説明文生成で $360^{\circ}$ 画像の特性を活かすには，通常画像と比較して注目するコンテクストやユーザの需要に応じて説明文生成を制御することがより重要になる。

本研究では，画像に加えて単語や短いフレーズといった言語情報をクエリをとして入力することで説明文生成を制御するクエリ指向画像説明文生成を提案し，データセットとして QuIC-360 (Query-based Image Captioning for multi-context $360^{\circ}$ images) を構築した. 図 1 に課題の概要を示す. 天気や花壇，周囲の往来など複数のコンテクストを持つ画像に対して，注目する対象に応じて異なる画像説明文が記述されることが期待される。しかし，一般的な説明文生成では，画像全体を言及するが目的に合わせた詳細な記述が行われない。提案課題は「人々」や「風景」といった具体的な記述対象を事前に与え，より具体的な説明文を作成することを目的としている。

我々は 5,800 枚の $360^{\circ}$ 画像に対して，クエリに基づいた 22,956 文の説明文を収集した．既存の最先端の画像説明文生成モデルを QuIC-360 を用いて再学習させることで，(i) 説明文生成の制御性が高くなること，また，(ii) 生成された説明文はより多様であったことが確認された. クエリ指向説明文生成は、既存手法が抽象的な説明文を生成する問題を解決できる。構築したデータセットは一般に公開されている1).


図 1 クエリ指向画像説明文生成 (QuIC) の概要.

## 2 関連研究

## 2.1 画像説明文生成の制御

説明文生成も他の多くの言語課題と同じように， Attention 機構の利用によって研究が大きく進展した [2]. モデルの進歩につれて，ユーザが利用する用途や文脈によって，同じ画像について異なる説明文が求められるようになった。近年では与えられた画像に記述される対象の優先順位を付与して説明文生成を制御する研究が行われている. 付与された情報は，生成過程でモデルに補助となる特徴として利用される. 補助的な情報の例として，画像に付与された領域 $[3,6]$ やマウスの軌跡 [7]，抽象シーングラフ [8] などがある.

QuIC も画像の補助的な情報として言語情報を付与するという点で制御可能な説明文生成手法の一つである。しかしながら，QuIC は画像に関する情報ではなく，自然言語を用いた言語情報をシグナルとして与える点で既存の研究と異なる.

## 2.2 視覚的質問応答

視覚的質問応答は，画像と質問を入力として，それに対する回答を自動的に生成する課題である [9].画像の局所的な部分に着目し適切な記述を行うという点では本研究に類似しており， $360^{\circ}$ 画像を用いた研究も行われている $[10,11]$. しかしながら，視覚的質問応答は質問に対応する回答の長さが短い傾向があり [12], 実際に視覚的質問応答は事前に定められた限られた回答語彙の中からの選択モデルとして動作させる事が多い. 本研究は, 視覚的質問応答における回答が限られていることを念頭に置き，単語
および数語の自然言語で与えられたクエリに応じて画像の説明文を制御する手法を提案する。

## $2.3360^{\circ$ 動画像データセット}

全方位カメラで撮影された動画像を収集したデー タセットは数多く構築されてきた $[13,14,15,16]$. しかし, 既存のデータセットは撮影環境が室内に限られたもの $[17,18]$ や，車載カメラや HMD によって撮影されたもの $[19,20,5,21]$ など画像の対象や環境に偏りがみられる. 本研究に近いデータセットとして, 60,000 枚以上の屋内・屋外で撮影された $360^{\circ}$画像からなる SUN360 [22] があるものの，現在では公開が停止されている 2$)$. 本研究では，新たにインターネット上から多様な画像を収集し, 画像の取得方法と付与された説明文を公開することでデータセットを一般に利用可能な状態とする.

## 3 QulC- $360^{\circ$ データセット}

## $3.1360^{\circ$ 画像の収集}

これまで作成されてきたデータセットは，そのシーンや目的に応じて画像のドメインを制限してきた. 一般的に，屋内画像は物体が密集しており，屋外画像は撮影者を中心とした特定の活動を捉えた画像が多く，物体は疎である [23]. しかし，どのシー ンにおいても全方位を撮影した画像について，コンテクストは一つに限られることは少ない。したがって，我々は撮影地点を区別せず画像を収集した。また画像の可用性を確保するために，これまで開発されてきたデータセットに含まれる 360 度画像を利用

2） 後述のように Refer $360^{\circ}$ として公開されている一部の画像以外は公開されておらず，著者はメールに反応しなかった。

することを避け，新たに画像を収集した，画像はインターネット上の画像投稿サイトの Flickr を用いて 12,930 枚の画像を収集した。

データセットの品質を高めるために，以下の手順で収集した画像をフィルタした. まず，画像の形式を統一するために正距円筒図法で保存されている画像以外を除去した．次に，同一地点での類似した画像を取り除くことを目的として同一ユーザの投稿時刻の差が 1 時間以内であるものを除去した. さらに，画像の多様性と可用性を最大化するために，同一ユーザの投稿が 100 枚以下となるようランダムに画像を破棄して，合計で 3,800 枚の画像を取得した.

また，補助的なデータセットとして Refer $360^{\circ}$ [24] に含まれる 2,000 枚の画像を利用した. 画像は現在では利用不可能となっている SUN360 ${ }^{\circ}$ [22] の一部である. 本研究ではこれらの画像と付与された説明文は全て追加の訓練データとして扱う.

## 3.2 説明文の付与

収集した画像に付与される説明文は，画像の特徴を捉えて詳細に記述されていることが望ましい。クエリは詳細な記述を行うための指針として重要である. 既存の画像の分類カテゴリはデータセットによって様々であり, 標準的な分類が存在しない.我々は実際に収集した画像を人手で確認し，画像を記述するためのクエリを 34 種類作成した.

収集した画像への説明文の付与のために, Amazon Mechanical Turk (MTurk)を用いて評価者を雇用した。評価者は異なる 3 つのクエリを選択し，そのクエリに関連する説明文を作成する ${ }^{3}$ ．単純な説明文を抑制するため，評価者に 8 語以上での回答を要求した. 不適切な回答を自動および人手で破棄し，合計 22,956 文の説明文を収集した。

## 3.3 統計量

QuIC-360 は 5,800 枚の画像に，34 個のクエリに関する 22,956 文の説明文を付与したデータセットである. 画像に対してそれぞれのクエリが選択された回数は表 1 の通りである. 訓練・検証・評価デー タの分割は表 2 に示すように行った。評価データについては画像・クエリの組に対して 4 件以上の説明文が付与されるようにした. 同一クエリに対する説明文数を増やすために，評価データの各画像は初め

3） Appendix Aにアノテーションに用いたページのスクリー ンショットを示す.

表 1 それぞれのクエリが画像に対して選択された回数.

表 2 QuIC-360におけるデータセット分割と統計量

の評価者が選択したクエリを指定して 2 人目以降の評価者に説明文を付与させた。

## 4 実験

## 4.1 実験設定

クエリ指向説明文生成は，画像に加えて言語情報としてクエリを入力とする．そのため，通常の説明文生成モデルと入力形式が異なり，全ての手法に対して即座に利用できない。そこで，検証を行うための説明文生成モデルとして説明文生成課題で最先端の性能を持つ OFA [25]を採用した。

OFA は Transformer をもとにしたエンコーダ・デコーダモデルであり，種々の言語および画像を用いた課題を統合した機構である。 OFA における説明文生成では，生成モデルへの入力として画像情報に加えて “What does this image describe?”というプロンプトを与える。提案手法ではプロンプトに追加する形でクエリを補助的な情報として与えた。具体的には，クエリが “location”であれば“What does this image describe on location?” とした. 公開されている事前学習済みモデルを利用した. ただし，利用したモデルは $360^{\circ}$ 画像を用いた大規模な事前学習を行っていないことは留意すべきである.

再学習による効果を検証するために，事前学習済みモデルに対して QuIC-360による (i) 再学習しない (None)，(ii) 再学習したがクエリを補助的な情報として与えない (FT w/o query), (iii) 再学習を行いク

表 3 QuIC-360 の評価データを用いた説明文生成性能の比較.

 \\
 \\
FT(w/ory)

表 4 QuIC-360を用いた再学習による出力結果の変化. 再学習前はクエリによらず同様の出力を行うが，再学習を行うことでクエリによって説明文生成を制御できる。

エリも与えた (FT w/ query)，の 3 つの条件について性能を比較した。 3.3 節で構築したデータセットの訓練/検証/評価データセットの分割を用いて，説明文に含まれる各単語に対する交差エントロピー誤差を損失関数として学習を行った。ハイパーパラメー タの設定は公開されている実装4)を利用した。

## 4.2 定量的評価

QuIC-360を用いた再学習によって，クエリを用いて生成される説明文を制御できるか検証した. また，比較対象とする 3 つの場合において推論時にクエリを与えるかどうかで性能が変わるか検証した。

評価指標として画像説明文生成で一般的な指標である BLEU [26], ROUGE [27], METEOR [28], CIDEr [29]，SPICE [30]を用いた. 加えて，多様な説明文生成が行われているかどうかを示す指標として，生成した文の平均単語数と語彙数を比較した.

実験結果を表 3 に示す. 全ての評価指標において，QuIC-360によるクエリ指向説明文生成課題での再学習を行った場合が最も高い性能を示した。また, 平均単語数や語彙数も増加することが確認された。一方で，推論時にクエリを与えない場合，提案手法は性能向上に寄与しないことがわかった.

以上から，QuIC-360を用いた再学習によって，説明文生成の制御性・多様性を高められることが確認された. しかしながら，人手で付与された説明文と比較して生成された説明文の語彙数は少なく，文長も短い. 人間のような説明文を生成することは現


時点では挑戦的な課題であるといえる.

## 4.3 定性的評価

クエリ指向説明文生成は一般的な説明文生成と異なり，同じ画像が入力されたとしてもクエリに応じて説明文を制御する必要がある。そこで， QuIC-360での再学習を行った場合とそうでない場合について，出力した説明文を比較した.

表 4 に示すように，一般的な説明文生成課題による再学習を行った場合，推論時にどのクエリを与えてもクエリを無視して同じ文を生成した。これは画像説明文生成において，コンテクストを画像情報のみから選択していることの証左である。提案手法では，クエリに応じて適切に出力が変化したことから，言語情報によってコンテクストの選択を行い，説明文の生成を制御できることが確認された。

## 5 おわりに

本研究では，クエリを用いて画像の説明文生成の制御を行う課題を提案し，360画像を利用したデー タセットとして QuIC-360 を構築した。複数のコンテクストを含む $360^{\circ}$ 画像に対して，ユーザが言語情報を補助として与え，より需要に即した説明文を生成するよう制御することを目的としている．実験では，QuIC-360 によって説明文生成モデルを訓練することで， $360^{\circ}$ 画像の説明文生成の制御性と多様性を高められることを定量的・定性的に確認した。今後の発展として，より大規模なデータセットの構築・ $360^{\circ}$ 画像に最適化した手法の作成などがある.

## 謝辞

本研究はJST さきがけ JPMJPR20C2，JSPS 科研費 22K17983，JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pp. 2048-2057, 2015.

[3] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, Control and Tell: A Framework for Generating Controllable and Grounded Captions. In CVPR, 2019.

[4] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. arXiv:1504.00325, 2015.

[5] Y. Liao, J. Xie, and A. Geiger. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and $3 \mathrm{~d}$. TPAMI, 2021.

[6] Ali Furkan Biten, Lluís Gómez, Marçal Rusiñol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In CVPR, pp. 12466-12475, 2019.

[7] Zihang Meng, Licheng Yu, Ning Zhang, Tamara L. Berg, Babak Damavandi, Vikas Singh, and Amy Bearman. Connecting what to say with where to look by modeling human attention traces. In CVPR, pp. 12679-12688, 2021.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs. In CVPR, pp. 9962-9971, 2020.

[9] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, 2015.

[10] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[11] Heeseung Yun, Youngjae Yu, Wonsuk Yang, Kangil Lee, and Gunhee Kim. Pano-avqa: Grounded audio-visual question answering on $360^{\circ}$ videos. In ICCV, 2021.

[12] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A Shamma, et al. Visual genome: Connecting language and vision using crowdsourced dense image annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[13] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, 2012.

[14] Yu-Chuan Su, Dinesh Jayaraman, and Kristen Grauman. Pano2vid: Automatic cinematography for watching 360 videos. In ACCV, 2016.

[15] Erik Wijmans and Yasutaka Furukawa. Exploiting 2d floorplan for building-scale panorama rgbd alignment. In CVPR, pp. 14271435, 2017.

[16] Hao Yang and Hui Zhang. Efficient 3d room shape recovery from a single panorama. In CVPR, 2016.

[17] Steve Cruz, Will Hutchcroft, Yuguang Li, Naji Khosravan, Ivaylo Boyadzhiev, and Sing Bing Kang. Zillow indoor dataset: Annotated floor plans with $360^{\circ}$ panoramas and $3 \mathrm{~d}$ room layouts. In CVPR, pp. 2133-2143, 2021.
[18] Shih-Han Chou, Cheng Sun, Wen-Yen Chang, Wan Ting Hsu, Min Sun, and Jianlong Fu. 360-indoor: Towards learning real-world objects in $360^{\circ}$ indoor equirectangular images. WACV, pp. 834842, 2019.

[19] Ahmed Rida Sekkat, Yohan Dupuis, Pascal Vasseur, and Paul Honeine. The omniscape dataset. In ICRA, pp. 1603-1608. IEEE, 2020.

[20] Senthil Yogamani, Ciaran Hughes, Jonathan Horgan, Ganesh Sistu, Padraig Varley, Derek O’Dea, Michal Uricar, Stefan Milz, Martin Simon, Karl Amende, Christian Witt, Hazem Rashed, Sumanth Chennupati, Sanjaya Nayak, Saquib Mansoor, Xavier Perrotton, and Patrick Perez. Woodscape: A multi-task, multi-camera fisheye dataset for autonomous driving. In ICCV, 2019.

[21] Stephan Fremerey, Ashutosh Singla, Kay Meseberg, and Alexander Raake. Avtrack360: An open dataset and software recording people's head rotations watching $360^{\circ}$ videos on an $\mathrm{hmd}$. In MMSys. ACM, p. 403-408, 2018.

[22] Jianxiong Xiao, Krista A. Ehinger, Aude Oliva, and Antonio Torralba. Recognizing scene viewpoint using panoramic place representation. In CVPR, pp. 2695-2702, 2012.

[23] Shih-Han Chou, Wei-Lun Chao, Wei-Sheng Lai, Min Sun, and Ming-Hsuan Yang. Visual question answering on $360^{\circ}$ images. In WACV, pp. 1596-1605, 2020.

[24] Volkan Cirik, Taylor Berg-Kirkpatrick, and Louis-Philippe Morency. Refer $360^{\circ}$ : A referring expression recognition dataset in $360^{\circ}$ images. In ACL, pp. 7189-7202, 2020.

[25] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In ICML, pp. 23318-23340, 2022.

[26] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[27] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[28] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pp. 376-380, 2014.

[29] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[30] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

## A MTurk を用いた説明文の収集

(Optional) When you consider this I mage is in inpproprate for the

図 2 MTurkの作業画面のスクリーンショット。画像をドラッグすることでそれぞれの方向の歪みの無い画像を見ることができる.

図 3 作業者が説明文の付与にかかった時間の分布.

MTurk の作業者の雇用は，品質の担保のため，US 在住者のうち直近の課題承認率が $99 \%$ を回る評価者に限定して雇用した. 図 3 は作業者が説明文を付与するためにかかった実際の作業時間の分布を示す. 3 つの説明文を付与するのにかかった作業時間が 45 秒未満であるものは不適切とみなして自動的に除去した. そのうえで計測した作業時間の平均は 182 秒であり，時給が 10\$以上となるように報酬を支払った。