言語処理学会 第30回年次大会 発表論文集（2024年3月）

Visual Question Answering における視線情報を用いた質問の曖昧性解消
稲積 駿 1,2

河野 誠也 2,1 湯口 彰重 3,2 川西 康友 2,1 吉野 幸一郎 2,1
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト 3 東京理科大学
inazumi.shun.in6@naist.ac.jp akishige.yuguchi@rs.tus.ac.jp{seiya.kawano,yasutomo.kawanishi,koichiro.yoshino}@riken.jp

概要
ユーザ (話者) と対話システムの会話には，指示語や省略に起因した曖昧さが含まれる．こうした曖昧さは，話者の視線や指差しといった情報で補完することが可能である．本研究では視線情報を用いた話
者の質問の曖昧性解消を，Visual Question Answering(VQA) のタスクにおいて実現する．このため，視線情報と曖昧な質問が紐づいた視線情報付き VQA
データセット (GazeVQA)，および注視対象の情報を活用した質問応答モデルを提案する．GazeVQA による実験では，提案モデルが注視対象の推定を用いない既存モデルと比較して優れた性能を達成した．

1

はじめに

実 世 界 の 事 物 を 考 慮 し て ユ ー ザ (話 者) と 共 同
作 業 が 可 能 な 対 話 シ ス テ ム の 実 現 に 向 け て，画像 を 交 え た 質 問 応 答 タ ス ク（VQA:Visual Question
Answering) [1, 2, 3] がこれまで提案されてきた．既存の VQA における質問はその意図が明確であり，その回答は所与の画像と組み合わせることで一意に決定できる．しかし，実際の話者とシステムの会話には，指示語・省略に起因した曖昧性が含まれており [4, 5]，これらの曖昧性を VQA では陽に扱っていない．こうした問題は，とくに日本語では顕著である [6, 7]．例えば，「それ取ってきてくれる?」という質問は「それ」という指示語が原因で複数の解釈を持つ可能性がある．こうした指示語や省略の曖昧性
は実世界の情報を参照することで解消可能な場合が多い．例えば，話者の視線情報 [8] や指差し [9]，あるいは共同注視 [10] は，指示語・省略の参照先を明らかにする重要な手がかりである．
本 研 究 で は，視 線 情 報 を 用 い た 質 問 の 曖 昧 性

Q1 : [彼が] 着ているシャツは何色ですか ?
Q2 : 少年の髪は何色ですか ?
A1 : 水色
A2 : 金色図 1 視線情報付き VQA データセットの質問と回答の例．角括弧は省略された物体名．視線元に対応する視線
先の点が複数個付与されている．

解 消 を 目 的 と し て，視 線 情 報 付 き VQA デ ー タ
セット (GazeVQA) を提案する．図 1 に示すように，
GazeVQA は画像内の人物を話者とみなし，話者が発する指示語・省略が含まれる曖昧な質問に対し，話者の視線情報を考慮してシステムが回答する状況を想定する．Gazefollow [11] に含まれる一般物体認識用の画像データセット (COCO) [12] を対象に，注視対象に関する質問と回答をクラウドソーシングにて収集した．
本研究ではさらに，画像・質問に加え視線情報を利用するモデルを提案する．テキスト・画像をクエリとした物体セグメンテーションの研究 [13] に着想を得て，既存モデル [14] に線形層のアダプタ [15] を追加する．アダプタは注視対象を表す関心領域と全体画像を統合する役割を持ち，モデルは注視対象部
分に焦点を置くことが可能となる．実験の結果，提案モデルは GazeVQA における特定の質問タイプに
精度良く回答ができ，ベースラインと比較して優れた性能を達成した．

2

関連研究

2.1

文脈情報付き VQA データセット

VQA は画像に関する質問に対してシステムが回答を与えるタスクである [1, 2, 3]．本研究は視線情― 115 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

報を持たない場合に曖昧になるような質問を研究対象としており，注視対象の物体名が明記されていな

3.2

データ収集

Gazefollow の COCO サブセットに含まれる画像 𝐼

い質問を意図的に収集した．
画像と質問に加え多様な文脈情報を収録した
VQA データセットが提案されてきた [16, 17, 18, 19,20]．VQA-HAT [16] や VQA-MHUG [17] は，質問をと物体情報から質問 q と回答 y をクラウドソーシン
グにより収集した．収集手順を以下に示す．
Step1: 画像と視線情報の選定

質問と回答を収解く際に生じる人間の主観的な注視情報を用いる

集する前に，前処理として視線情報の選別を行い，ことで，VQA タスクの精度改善を図った．Point and

機械的に 14,000 件の画像・視線情報ペアを選定し

Ask [18] は，画像に与えられた点情報を用いて，代た．COCO の物体セグメンテーションを利用し，視名詞を含む質問の曖昧性解消に焦点を当てている．

線先が物体を差していないケースを除いた．

GazeVQA は，追加の文脈情報として画像情報から

Step2: 質問と回答の収集

クラウドソーシング

得られる話者の注視情報を利用する点と日本語特有

により，26,296 件の質問・回答を収集した．視線情の主語や目的語の省略を含む質問を収録した点にお報が付与された画像と COCO の物体ラベルをもといて，これらの先行研究とは異なる．

に，ワーカは視線先の物体に関する質問とその回答を作成する．視線先の物体名は質問文中に含めない

2.2

注視対象推定ようワーカに依頼することで，回答に視線情報を要

注視対象推定は画像に映る人物の頭部画像
か ら，そ の 人 物 の 注 視 先 を 推 定 す る タ ス ク で あする質問を収集した．
Step3: 質問と回答の選別

画像と対応していな

る [11, 21, 22]. Gazefollow [11] は，人物の視線元と視い質問を除くべく，17,276 件の質問・回答を選定し線先のアノテーションが付与された注視対象推定のた．Step2 の作業中に，設問 (「本項目には何も入力

データセットである．COCO [12] を含む様々な画像

しないでください」) を配置し，この設問に対して

データセットから収集した人物を対象にしている．

回答を与えたワーカの質問を手作業で確認した．こGazefollow に含まれる視線情報は，視線先が常に物の結果，作業を依頼した 246 名のワーカから，27 名

体あるいは注視対象の具体的な名称と紐付いていのワーカのアノテーションを全て除去した．

ない．そこで本研究では，Gazefollow の COCO サブ

Step4: テストセットの整備

GazeVQA の訓練・セットの物体アノテーションを利用して，視線先の開発・テストセットを，13,785・1,811・1,860 (0.8 :物体に関する質問と回答を収集した．また，実際に0.1 : 0.1) とした．先行研究 [1] にならって，回答の注視対象推定を行う際は，Gazefollow の視線元に対応付けられた人物の頭部画像を利用した [21]．

多義性・多様性を GazeVQA の評価で考慮するため

3

視線情報付き VQA データセット

3.1

タスク設定

テストセットに回答を 10 件割り付けた．具体的には，視線元と曖昧な質問 (AQ) のみをワーカに与え，
テストセットの質問 1 件につき，9 人のワーカが回答を追加で作成した．さらに，アノテータが，質問・回答・視線情報を参考に，注視対象の名称や特GazeVQA で は 質 問 を す る 話 者 が シ ス テ ム の 一
人称視点画像に映っていることを想定している．
GazeVQA のタスクは画像，話者の質問，および話者の視線情報を考慮して回答を生成することを目標とする．本タスクを以下のように定義する．

徴が補完された明確な質問 (CQ) を，テストセットの質問全てに割り付けている．

3.3

従来データセットとの比較

表 1 より，GazeVQA1）と日本語 VQA データセッ

全体画像 𝐼，質問 q，ト (VQA-ja) [3] の統計量を比較する．GazeVQA のおよび注視領域 𝐼𝑠 から，回答 y を出力する．以後，ユニークな質問の割合 (46.46%) は VQA-ja の割合

このタスクを GazeVQA タスクと呼ぶ．

(45.21%) よりも多く，質問の平均文字長は GazeVQA

𝐼𝑠 を取得するための注視対象推定タスクを次のように定義する．

の方が長い．また，GazeVQA のユニークな回答の

視線情報付き VQA タスク

注視対象推定タスク

全体画像 𝐼 と発話者の頭部

画像 𝐼 ℎ から 𝐼𝑠 を取得する．

割合 (33.87%) は日本語 VQA (17.10%) より多く，回答の平均文字長は GazeVQA の方が長い．
1） 3.2 節の Step3 で得た質問と回答を対象とする．

― 116 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

GazeVQA
画像数

Autoregressive
Text Decoder

99,208

質問・回答ペア

17,276 793,664

ユニークな質問数

8,628 358,844

ユニークな回答数
質問の平均文字長5,853 135,743
15.37
14.82

回答の平均文字長

4.92

p’l＋1

FFN

VQA-ja10,760Mapping Network(✕8 Transformer Blocks)

A: 金色

GazeVQA と日本語 VQA [3] (VQA-ja) の統計情報．

s

LayerNorm

LinearLayerNorm
Adapter

Image
Encoder

Q: 少年の髪は何色
ですか?

4.56

Linear

Self-Attentionp’lAffineTransformation

CLIPr : 画像系列

I : 全体画像

Is : 関心領域

q : 質問トークン
y : 回答トークン

ベースラインと提案モデル

4

図 2 左: 提案モデルの概要図．右: 提案手法の詳細．

GazeVQA タ ス ク の ベ ー ス ラ イ ン と な る ClipCap [14]，ベースラインにアダプタを追加した提案
モデル (ClipCap + Adapter)，および注視領域を得るための注視対象推定プロセスを解説する．

𝐼 と注視領域 𝐼𝑠 を統合する．𝐼𝑠 を考慮した画像系
列を言語デコーダの入力として，視線情報を要する
曖昧な質問に対し，適切な回答を得ることを期待す
る．具体的には，ClipCap の画像エンコーダの処理

4.1

ベースライン： ClipCap(式 1) と同様に，𝐼 と 𝐼𝑠 から，画像系列 p と注視領

ClipCap は事前学習済みの画像エンコーダ [23]・
言語デコーダ [24] で構成された画像キャプションモ
デルであり [14]，VQA タスクに対しても適用事例が域の画像系列 s = {𝑠1 , . . . , 𝑠 𝑛 } を構成する．p と s の要素ごとのアフィン変換2）を計算し，それぞれの系
列を Mapping Network に入力する (式 4)．

ある [25]．
画像エンコーダ

p′ 𝑙+1 = 𝑔(s) ⊙ p′ 𝑙 ⊕ ℎ(s),ClipCap の画像エンコーダは，(4)

RGB の全体画像 𝐼 ∈ ℝ𝑊 ×𝐻 ×3 を入力として，画像系

た だ し，𝑔 と ℎ は 1 層 の 線 形 層，p′ 𝑙 は 𝑙 層 目 の

列 r = {𝑟 1 , . . . , 𝑟 𝑛 } を出力する．ただし，𝑛 は r の系列

Transformer ブロックの入力3）である．

長であり，r の要素 𝑟 𝑖 は質問 q のトークン埋め込みと同次元である．CLIP [23] の画像エンコーダと単一の線形層 𝑓 により，𝐼 を画像系列 p = {𝑝 1 , . . . , 𝑝 𝑛 }に変換する (式 1)．
{𝑝 1 , . . . , 𝑝 𝑛 } = 𝑓 (CLIP(𝐼))(1)

多層の Transformer ブロック [26](𝐹) により p を同次元の画像系列 r に変換する (式 2)．
{𝑟 1 , . . . , 𝑟 𝑛 } = 𝐹 ({𝑝 1 , . . . , 𝑝 𝑛 })(2)

CLIP の画像エンコーダとデコーダを結ぶ，これらの Transformer ブロックを Mapping Network と呼ぶ．
言語デコーダ

言 語 デ コ ー ダ は，質 問 q =𝑞 1 , . . . , 𝑞 𝑚 と画像系列 r から構成した入力系列 (式 3)から，回答系列 y を自己回帰的に出力する．
{𝑟 1 , . . . , 𝑟 𝑛 , [SEP1], 𝑞 1 , . . . , 𝑞 𝑚 , [SEP2]}

4.3

注視対象推定アダプタへの入力となる注視領域 𝐼𝑠 を視線元の頭部画像 𝐼 ℎ から取得する．CNN ベースのモデル [22] により，𝐼 と 𝐼 ℎ から，顕著性マップ 𝑆 を出力する．閾値 0 として 𝑆 を二値化し，注視対象のバウ
ンディングボックスを求めて 𝐼𝑠 を取得する4）[27]．

5

実験

5.1

実験設定

データセット 日本語 VQA データセット (VQAja) [3]，日 本 語 画 像 キ ャ プ シ ョ ン デ ー タ セ ッ ト(STAIR) [28] で VQA モデルを事前学習し，GazeVQA
でファインチューニングした．

(3)

評価指標 回答の多義性・多様性を考慮した VQA

ここで，[SEP1] と [SEP2] は，それぞれ “質問:”と “

スコア (𝐴𝑐𝑐) [1] と回答フレーズの類似を考慮した回答:”であり，デコーダへのプロンプトを表す．

BERT スコア (𝐵𝑠) [29] を評価に用いた．

4.2

提案モデル： ClipCap + Adapter

提案モデルは，Mapping Network の各ブロックの先頭に挿入されたアダプタ [15] により，全体画像

2） 要素ごとの積 (⊙) と和 (⊕) を意味する．
3） 1 層目のブロックの入力は，p′ 𝑙 = p である．
4） 𝑆 の各要素が全て 0 で 𝐼𝑠 の取得が困難である場合は擬似的に 𝐼 を 𝐼𝑠 とみなす．

― 117 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a)

(b)

AQ : それはどこにありますか ?
CQ : 男性が見ている
ラップトップは … ?
A : 机の上

AQ : 彼女はどのようなアクセサリーをしていますか ?
CQ : 黄緑色の服を着た女性は … ?
A : ネックレス: ソファの上, 机の上
Is : 机の上
GT : 机の上I: 指輪, ピアス, ネックレス,
Is : 指輪, ピアス, 眼鏡
GT : ネックレス

(c)

(d)

AQ : この人物が着ているものは何ですか ?
CQ : 黒色のネクタイをした男性が … ?
A : (グレーの)スーツ, 背広

AQ : どんな場所で使われていますか ?
CQ : どんな場所で携帯電話が使われていますか ?
A : 屋外, 街中, 高層ビル街

提案モデル出力I

I: ユニフォーム, スーツ, シャツ
Is : コート, スーツ, シャツ
GT : スーツI: 屋外, 街中
Is : アスファルトの上, 街中
GT : 電車の中, 街中

図 3 提案モデルとベースラインの出力例．AQ，CQ，A はそれぞれ曖昧な質問，明確な質問，人手回答．VQA スコアが最も高いモデルの出力を太字で，𝐺𝑇 と 𝐼𝑠 の範囲をそれぞれ赤枠，緑枠で示す．

5.2

定量評価

提案モデル 対 ベースライン 表 2 より，アダプ
タに関心領域 (𝐼𝑠 ) を入力した提案モデル (ClipCap

表 2 提案モデルとベースラインの評価結果．GazeVQA
での学習・評価を 5 回繰り返した際の平均値を報告する．
|𝜃| はモデルの訓練可能なパラメータ数 [M]．
|𝜃|

Model

Acc

Bs

+ Adapter (𝐼𝑠 )) とベースライン (ClipCap) を比較す

Fine-tuned Text Decoder & Mapping Network

る．Mapping Network と言語デコーダを訓練した場

ClipCap

410 36.80

合，提案モデルはベースラインの性能を下回った．

ClipCap + Adapter (𝐼)426 34.78 81.39

Mapping Network のみ，Adapter のみを訓練した場合，ClipCap + Adapter (𝐼𝑠 )426 34.15 81.28

ClipCap + Adapter (𝐺𝑇)426 34.72 81.33

提案モデルの性能がベースラインの性能を上回っ

81.75

Fine-tuned Mapping Network

た．ベースラインと比較して，提案モデルは 16M 程度のパラメータ更新で，曖昧な質問に対して精度良ClipCap

74 35.83 81.21

く回答を生成できることが判明した．

ClipCap + Adapter (𝐼)90 38.45

ClipCap + Adapter (𝐼𝑠 )90 38.11 81.71

ClipCap + Adapter (𝐺𝑇)90 38.01

GazeVQA の精度向上に寄与する要素

表 2 より，

Mapping Network のみを訓練した提案モデルとベー

81.74
81.70

Fine-tuned Adapter Only

スラインを比較する．アダプタに画像 (𝐼) を入力した提案モデル (ClipCap+ Adapter(𝐼)) は，ベースライ

ClipCap + Adapter (𝐼)16 40.06 81.91

ンと比較して性能が良く，関心領域やその正例5）

ClipCap + Adapter (𝐼𝑠 )16 39.03 81.92

ClipCap + Adapter (𝐺𝑇)16 40.09(𝐺𝑇) を入力とした提案モデル (ClipCap+ Adapter(𝐼𝑠 ,𝐺𝑇)) と比較して性能に差が無い．アダプタを追加することによる訓練パラメータの増加が，GazeVQA
タスクの精度向上の一因であると言える．

5.3

アダプタへの入力の差異が提案モデルの結果に与える影響を確認する．アダプタに 𝐺𝑇 を入力した場
合，物体の形状や名称など，注視対象の属性を問う
曖昧な質問に対して，その回答が一意に定まる傾向にあった．正確な回答を与えるに資する視覚情報が𝐺𝑇 に存在する場合，その傾向が顕著に現れる (図3(a,b))．注視対象を絞り込めていない場合，モデル
は一貫性の無い回答を出力する (図 3(c))．アダプタ
5） COCO [12] のバウンディングボックスを意味する．

に 𝐼 を入力した場合，画像全体の理解を要する質問に対し正確な回答を与える傾向にあった (図 3(d))．

おわりに

6

定性評価

82.01

本研究では，人間の会話に生じる曖昧さの問題に
視線情報を用いて対処することを目的として，視線情報付き VQA データセット，および視線情報を活用するモデルを提案した．GazeVQA の質問は，指示語・省略に起因する曖昧さを含み，回答に話者の視線情報を要する．GazeVQA による実験の結果，提案モデルがベースラインよりも GazeVQA タスクの性能が良いことが示された．とりわけ，視線情報を用いた提案モデルは，注視対象の属性に関する曖昧な質問に対して正確な回答を与えることができた．

― 118 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 JP22H04873 の助成を受けた.

参考文献[1] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret
Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh.
VQA: Visual Question Answering. In ICCV, pp. 2425–2433, 2015.
[2] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, andDevi Parikh. Making the v in vqa matter: Elevating the role ofimage understanding in visual question answering. In CVPR, pp.
6904–6913, 2017.
[3] Nobuyuki Shimizu, Na Rong, and Takashi Miyazaki. Visual question answering dataset for bilingual image understanding: A studyof cross-lingual transfer using attention maps. In COLING, pp.
1918–1928, 2018.
[4] Tadahiro Taniguchi, Daichi Mochihashi, Takayuki Nagai, Satoru
Uchida, Naoya Inoue, Ichiro Kobayashi, Tomoaki Nakamura,
Yoshinobu Hagiwara, Naoto Iwahashi, and Tetsunari Inamura. Survey on frontiers of language and robotics. Advanced Robotics,
Vol. 33, No. 15–16, pp. 700–730, 2019.
[5] Osamu Sugiyama, Takayuki Kanda, Michita Imai, Hiroshi Ishiguro, and Norihiro Hagita. Natural deictic communication withhumanoid robots. In IROS, pp. 1441–1448, 2007.
[6] Kazuhiro Seki, Atsushi Fujii, and Tetsuya Ishikawa. A probabilistic
method for analyzing Japanese anaphora integrating zero pronoun
detection and resolution. In COLING, 2002.
[7] Ryohei Sasano, Daisuke Kawahara, and Sadao Kurohashi. A fullylexicalized probabilistic model for Japanese zero anaphora resolution. In COLING, pp. 769–776, 2008.
[8] Nathan J. Emery. The eyes have it: the neuroethology, functionand evolution of social gaze. Neuroscience & Biobehavioral
Reviews, Vol. 24, No. 6, pp. 581–604, 2000.
[9] Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, andKo Nishino. DeePoint: Visual pointing recognition and direction
estimation. In ICCV, 2023.
[10] Roberta Rocca, Mikkel Wallentin, Cordula Vesper, and KristianTylén. This and that back in context: Grounding demonstrativereference in manual and social aﬀordances. In CogSci, 2018.
[11] Adria Recasens, Aditya Khosla, Carl Vondrick, and Antonio Torralba. Where are they looking? In NIPS, Vol. 1, pp. 199–207,
2015.
[12] Tsung Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan,
C. Lawrence Zitnick, and Piotr Dollár. Microsoft coco: Common
objects in context. In ECCV, pp. 740–755, 2014.
[13] Timo Lüddecke and Alexander Ecker. Image segmentation using
text and image prompts. In CVPR, pp. 7086–7096, 2022.
[14] Ron Mokady, Amir Hertz, and Amit H Bermano. Clipcap: CLIP
preﬁx for image captioning. arXiv:2111.09734, 2021.
[15] Vincent Dumoulin, Ethan Perez, Nathan Schucher, Florian Strub,Harm de Vries, Aaron Courville, and Yoshua Bengio. Feature-wisetransformations. Distill, Vol. 3, No. 7, p. e11, 2018.
[16] Abhishek Das, Harsh Agrawal, Larry Zitnick, Devi Parikh, andDhruv Batra. Human attention in visual question answering: Do
humans and deep networks look at the same regions? In EMNLP,
pp. 932–937, 2016.
[17] Ekta Sood, Fabian Kögel, Florian Strohm, Prajit Dhar, and Andreas
Bulling. VQA-MHUG: A gaze dataset to study multimodal neuralattention in visual question answering. In CoNLL, pp. 27–43,
2021.
[18] Arjun Mani, Nobline Yoo, Will Hinthorn, and Olga Russakovsky.
Point and ask: Incorporating pointing into visual question answering. arXiv:2011.13681, 2020.

[19] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj
Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual
Dialog. In CVPR, pp. 326–335, 2017.
[20] Shubham Agarwal, Trung Bui, Joon-Young Lee, Ioannis Konstas,and Verena Rieser. History for visual dialog: Do we really need
it? In ACL, pp. 8182–8197, 2020.
[21] Eunji Chong, Nataniel Ruiz, Yongxin Wang, Yun Zhang, Agata
Rozga, and James M. Rehg. Connecting gaze, scene, and attention:
Generalized attention estimation via joint modeling of gaze andscene saliency. In ECCV, pp. 397–412, 2018.
[22] Eunji Chong, Yongxin Wang, Nataniel Ruiz, and James M. Rehg.
Detecting attended visual targets in video. In CVPR, pp. 5395–
5405, 2020.
[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh,
Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell,
Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever.
Learning transferable visual models from natural language supervision. In ICML, Vol. 139, pp. 8748–8763, 2021.
[24] Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan, Dario
Amodei, and Ilya Sutskever. Language models are unsupervised
multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.
[25] Dustin Schwenk, Apoorv Khandelwal, Christopher Clark, Kenneth
Marino, and Roozbeh Mottaghi. A-okvqa: A benchmark for visualquestion answering using world knowledge. In ECCV, pp. 146–
162, 2022.
[26] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin.
Attention is all you need. In NIPS, pp. 6000–6010, 2017.
[27] Edoardo Ardizzone, Alessandro Bruno, and Giuseppe Mazzola.
Saliency based image cropping. In ICIAP, Vol. 8156, pp. 773–
782, 2013.
[28] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR
captions: Constructing a large-scale Japanese image caption
dataset. In ACL, Vol. 2, pp. 417–421, 2017.
[29] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger,
and Yoav Artzi. Bertscore: Evaluating text generation with BERT.
In ICLR, 2020.
[30] Mingxing Tan and Quoc Le. EﬃcientNet: Rethinking model scaling for convolutional neural networks. In ICML, Vol. 97, pp. 6105–
6114, 2019.
[31] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

― 119 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a)

(b)

AQ : それをどのようにして食べますか ?
CQ : 芝生に座っている女性はサンドイッチを … ?
A : 手で持って食べます, ちぎって食べる,
かぶりついて食べる

AQ : どこに取り付けられていますか ?
CQ : テレビはどこに取り付けられていますか ?
A : 壁, リビングの壁

(c)

(d)

表 3 GazeVQA の質問タイプの類型. 各質問は日本語表現に含まれる単語にもとづいて分類した.

質問タイプ

日本語表現

質問数

-

14,141

何, どんな, どの
+ 色

7,215
3,626

+ 状態

1,240

What
is/are/do/doescolor
condition
kind

+ 種類

903

shape

+

703

others

形
-

454

Where

どこ

1,085

How

どれ, いくつ

996

Which

どちら, どっち

295

Othersいつ, 誰, なぜ875

A

GazeVQA の分析

A.1

統計的分析

AQ : その人の背番号はいくつですか ?
CQ : ボールの前に立っている選手の
背番号はいくつですか ?
A : 6番

表 3 に GazeVQA に含まれる質問タイプの類型を示す.
表 3 より，GazeVQA に含まれる “what”形式の質問の割
合は 81.85%である. Shimizu らの文献 [3] の Table 1 より，
VQA-ja に含まれる “what”形式の質問の割合は 67.10%であることから，GazeVQA は VQA-ja よりも “what”形式の質問の割合が 1 割ほど多い. 物体の位置関係を問う “where”
形式の質問や物体の個数を問う “how”形式の質問の割合
は，あわせて 12.04%である. GazeVQA には，その他に，現在時刻を問う “when”タイプの質問や人物に関する “who”
タイプの質問も収録されている.

A.2

定性的分析

GazeVQA における曖昧な質問とその回答の特徴を明確にするため，GazeVQA のテストセットに対する事例分析を実施する．図 4 に GazeVQA のテストセットに含まれる
質問と回答の実例を示す. 指示語による曖昧さを持つ質問 (図 4 (a))，日本語特有の省略による曖昧さを持つ質問(図 4 (b)) であってもワーカ間の回答は一致する. さらに，
注視対象の候補が 2 つ以上ある場合でも，質問の内容を考慮することで，その回答は一つに決定される (図 4 (c)).
しかし, 視線情報や質問文の内容を考慮しても, 複数ワー
カ間の回答が一致しない質問は一部存在する (図 4(d)).

B

実験設定の詳細

B.1

訓練対象

AQ : 彼のシャツは何色ですか ?
CQ : 胡座をかいて座っている男性のシャツは何色ですか ?
A : 青色, 紺色, 黒色, 白色

図 4 GazeVQA のテストセットの実例.AQ・太字の回答
は 3.2 節の Step3 で得た質問・回答である.CQ はアノテー
タの作業により明確化した質問である.

B.2

実装詳細

CLIP の画像エンコーダは，ResNet ベースの 𝑅𝑁 × 4 [30]を利用した7）. 画像 𝐼 と関心領域 𝐼𝑠 は，CLIP の正規化と同様の処理を行う. このため，CLIP の入力は，縦横 224 画
素にリサイズされた画像であり，出力は 640 次元のベクトルである. Mapping Network を 8 層の Transformer ブロックで構成し，画像系列 𝒑，𝒔，𝒓 の系列長 𝑛 = 10 とする. 言語デコーダは事前学習済み GPT-2 [24] を利用した8）.
実験では，STAIR [28] に収録された 123,287 枚の画像と616,435 件のキャプション,VQA-ja [3] に収録された 99,208枚の画像と 793,664 件の質問・回答ペア，GazeVQA によりモデルを学習した. 具体的には，バッチサイズを 32，学習率を 2e-5, オプティマイザを AdamW [31] として，各デー
タセットで 10epochs ずつ学習した. GazeVQA の回答を推論する際は，デコーディングにサイズ 10 の Beam Search
を用いた.

B.3

評価指標

式 5 に VQA スコア [1] の定義を示す.
𝐴𝑐𝑐 = min(

表 2 では，Mapping Network と言語デコーダのパラメー
タ6）を訓練の対象とした結果を報告した. ベースラインは
410M，アダプタは 16M，提案モデルは 426M の訓練可能なパラメータを持つ. また，明示的にアダプタの重みを更新するべく，Mapping Network のみを訓練する場合およびアダプタのみを訓練する場合の結果も報告した. Mapping
Network のみを訓練した場合，ベースラインは 74M，提案
モデルは 90M の訓練可能なパラメータを持つ.
6） 機械学習モデルにおけるテンソルの要素数の総和を指す.

𝑐𝑛𝑡
, 1)
3

(5)

ここで,𝑐𝑛𝑡 は回答セットに含まれる 10 件の人手回答とモデルの予測が完全一致した回数を意味する. BERT スコア
に関して，本研究では多言語 BERT9）の分散表現を評価に利用した.

7） https://github.com/openai/CLIP8） https://huggingface.co/rinna/japanese-gpt2-medium9） https://huggingface.co/bert-base-multilingual-cased― 120 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).