DEIM Forum 2019 G7-1

FigureQA タスクにおける抽象画像を考慮したアプローチ坂本凜†

酒井 哲也†† 早稲田大学基幹理工情報理工学科 〒 169–8555 東京都新宿区大久保 3-4-1
E-mail: †ringring@suou.waseda.jp，†tetsuyasakai@acm.org
あらまし

画像とその画像についての質問が与えられた時，正しい回答を求める Visual Question Answering (VQA)というタスクがある．VQA の一種である FigureQA は棒グラフや円グラフ等のグラフの画像と，Yes/No で回答できる問題文が与えられる推論タスクである．棒グラフや円グラフ等の抽象画像 (イラストレーション) は自然画像と異なる特徴を持ち，自然画像を用いたタスクで優れた結果を出したモデルを適用しても，同程度の正解率は出ない．本研
究では抽象画像であることを考慮した手法の提案を行い，FigureQA タスクに適用し評価行ったところ，FiLM がもっとも高い正解率となった．各モデルの判断が上手くいかない例をあげ，そのモデルの構造的な要因を分析した．
キーワード FigureQA， VQA
CLEVR の画像は球や立方体などの物体が複数配置された画像

1 はじめにこの先，多くの人間がウェアラブルデバイスなどから自身のライフログを取得し，そのデータを元にしたグラフを見ることが考えられる．その際，グラフの画像から特徴を読み取ることになる．グラフの画像キャプション生成技術があれば誰でもグ
ラフから得られる特徴を読み取ることができる．グラフは数量の情報を効率よくまとめた表現であり，ライフログ表示の他にも教科書，研究論文，インターネットの記事等のメディアからである．この 2 つのデータセットはどちらも人工的に作られた画像が用いられているが，CLEVR の画像が自然画像なのに対して，FigureQA の画像は抽象画像である．CLEVR において人間の正解率を上回った Relation Network [18] を使用しても，十分な正解率は得られない [12]．これは FigureQA の画像が抽象画像であり，自然画像と特徴が異なるためと考えられる．
そこで本研究では，与えられるデータが抽象画像であることを考慮したアプローチを提案する．

も取得できる．しかし，必ずしもそのグラフを作成するための元のデータを入手できるかというと，そうとは限らない．たとえ元のデータがあったとしても，グラフの画像キャプション生成技術には，データそのものを解析するアプローチとは異なる利点があるかもしれない．
画像キャプションの生成では画像，言語の 2 つのモーダルを扱う．同じように，画像，言語の 2 種類の情報を取り扱う
マルチモーダルなタスクとして Visual Question Answering(VQA) [1] が存在する．VQA はある画像と，その画像に関する質問が与えられた時，その質問の正しい回答を得るためのタスクである．

FigureQA [12] は VQA において関係推論に注目したデータ

図 1 FigureQA データセットの画像と質問文のサンプル ( [12] より転載)

セットである．図 1 に示すように画像として折れ線グラフ，点線グラフ，水平棒グラフ，垂直棒グラフ，円グラフの 5 種類のグラフと，それに対するプロットと全体，プロット同士の関係性に関する質問文が与えられている．トレーニングセットとし

2 関連研究2. 1 Relation Networkて 100,000 個の画像と 1,327,368 個の質問と答えのペアが与えられているデータセットである．質問文は Is X the maximum? や Does X intersect Y? といった Yes/No で答えられるものである．グラフの画像が与えられて，その画像に関する質問に回答することができるようになれば，先に述べたようなグラフ
画像のキャプション生成につなげることができる．

FigureQA のベースラインとして使われている Relation Network は，関係推論のための構造を持つニューラルネットワー
クのモジュールである．式 1 に示すように入力はオブジェクトの集合 O ＝ {o1 , o2 , · · · , on } である．oi は i 番目のオブジェク
トである．fϕ と gθ はそれぞれパラメータがϕとθ の関数である．

(

FigureQA は関係推論の VQA データセットであるが，これに似たデータセットに CLEVR [7] がある．図 2 に示すように，

RN(O) = fϕ

∑
i,j

)
gθ (oi , oj )(1)2017 で画像分類のトップとなった手法である．SENet は，SE
Block という Tensor のチャンネル間の関係性に注目したアーキ
テクチャを導入している．SE Block は Global Average Pooling(GAP) 層，全結合層，ReLU，全結合層，Sigmoid 関数から成り立ち，畳み込み層の後に接続される．まず式 3 で表される

GAP 層を通すことでチャンネルごとの統計情報を生成する．高さ H ，幅 W ，チャンネル数 C のテンソル U の i 番目のチャンネル uci を関数 F の入力として zci を出力する演算である．すなわち U ∈ RH×W ×C を Z ∈ R1×1×C に圧縮する．生成されたチャンネルごとの統計情報を利用してチャンネルごとの依存性を完全に捉えるために，Sigmoid 関数を用いる．モデルが一般性を得るために GAP 層と Sigmoid 関数の間に，2 つの全結
合層と ReLU でボトルネックを形成する．最後に畳み込み層と
図 2 CLEVR データセットの画像と質問文のサンプル ( [7] より転載)

その後に接続される SE Block の出力の要素積をとる．提案手法では，この SE Block を使用している．

オブジェクト数を N とするとオブジェクトのペアは N 2 個あり，その回数 gθ の演算を行う．これによってオブジェクト同士の関

zci = F (uci ) =係性を学習させる．ここでオブジェクトとは画像を Convolu-

tional Neural Network (CNN) [14] 層に入力して出力した特徴

H ∑
W
∑
1
uc (i, j)
H × W i=1 j=1 i(3)

2. 4 類 似 研 究

マップの一つ一つの要素を指す．たとえば FigureQA のベース

FigureQA 以外にもグラフ画像理解への研究が存在する．

ラインでは，CNN 層は 8 × 8 の特徴マップを出力するので 642

Jung ら [10] の研究では，グラフの種類を分類した後，データの回 gθ の計算を行う．fϕ と gθ は FigureQA のベースラインで抽出を行う手法を提案している．Cliché ら [3] の研究では散布は多層パーセプトロン [17] が採用されている．Santoro ら [18]図からデータを抽出する手法を提案している．また FigureQAの研究や FigureQA のベースラインでは，質問文の特徴抽出にのように図に関する QA では Kembhavi ら [13] が Textbook

Long Short-Term Memomry [4] を利用している．

Question Answering (TQA) データセットを導入している．

2. 2 FiLM モデル

TQA データセットは，文章とダイアグラムと画像とそれに対

FiLM : Feature-wise Linear Modulation [16] は CLEVR で
CNN+LSTM+Relation Network モデルよりも高い正解率を出したモデルである．FiLM モデルは後述する提案手法で利用している．Perez ら [16] は CLEVR の質問および画像を FiLM
モデルの入力とするために，Johnson ら [8] が行なった前処理を利用している．質問文を Gated Recurrent Unit (GRU) [2]層に入力し出力した特徴マップを全結合層の入力とする．更に，全結合層の出力を用いて FiLM 層の出力を式 2 で得る．

FiLM(Fi,c |γi,c , βi,c ) = γi,c Fi,c + βi,c

する質問文が与えられているデータセットである．Kafle ら [11]が導入した DVQA (Data Visualization Question Answering)
データセットは FigureQA と同じように画像としてグラフ画像が用いられているが，質問文に Yes/No 疑問文に限らず 5W 1Hの疑問文も採用されている．類似したデータセットに，Siegel
ら [20] が導入した FigureSeer データセットがある．FigureQAと違い研究論文に載っている図を用いている．実際のデータのプロットである利点があるが，データセットのサイズが小さいという欠点を持つ．

(2)

2. 5 画像キャプション

ここで，(γi,c , βi,c ) は全結合層の出力で，Fi,c は i 番目の入力

画像キャプションは，CNN を用いて画像の特徴を抽出し，の c 番目の特徴または特徴マップを指す．画像は CNN 層に通LSTM によってキャプションを生成するのが標準的な手法であしたあと N 個の FiLM-ed residual block (ResBlock) というモる．Shin ら [19] の研究では，VQA のタスクを用いて，画像のジュールに通す．ResBlock は 1 × 1 の畳み込み層，活性化関数

キャプション生成を行なっている．Visual Question Generation

ReLU，3 × 3 の畳み込み層，Batch Normalization，FiLM 層，(VQG) モジュールによって生成された質問文を VQA モジュー

活性化関数 ReLU から成り立つ．1 × 1 の畳み込み層の後の活ルの入力とする．これで得られた回答の文章を再構成するこ

性化関数 ReLU の出力と FiLM 層の後の活性化関数 ReLU のとで画像のキャプションを生成する．MS COCO [15] データ

出力を連結する．連結された出力が ResBlock の出力となる．

ベースで学習した従来のキャプショニング，SIND データセッ

N 個目の ResBlock の出力を分類器の入力として質問文の回答

ト [6] で学習したキャプション, DenseCap [9] によって生成さを推測する．

れたキャプションとの比較を行なった． Amazon Mechanical

2. 3 SENet
Squeeze-and-Excitation (SE) Networks [5] は ，ILSVRC

Turk で雇用した働き手が，画像 1 枚につき 2 人，計 5000 枚の画像を，Shin らが画像キャプションの評価に必要と考えられ

る 5 つの指標 (Diversity, Interesting, Accuracy, Naturalness,

ここで CNN 層は 5 つの畳み込み層から成る．各畳み込み層でExpressivity) に基づいて評価した．その結果 VQA を用いた手は 3 × 3 サイズのフィルターを用い，ストライド 2 でゼロパ法が他の手法より評価が上回った．このことからも本研究が，ディングし，チャンネル数 64 の特徴を出力する．それぞれのグラフ画像のキャプション生成に繋がるといえる．

層では ReLU で活性化し，Batch Normalization を行う．

3. 3 SE ResBlock

3 提案手法SE ResBlock 内の FiLM 層で画像の特徴と質問文の特徴を結提案手法の概要を図 3 に示す．FigureQA はグラフの画像と，合する．4 つの連続する SE ResBlock の最初の SE ResBlock

それに関する質問文が与えられ，その質問文の Yes,No の答えへの入力は，CNN に通した画像の特徴である．SE ResBlockを得るタスクである．提案手法は GRU 層と CNN 層，後述す

は 1 × 1 の畳み込み層，活性化関数 ReLU，3 × 3 の畳み込み

る 4 つの SE ResBlock, 分類器から成り，GRU 層に質問文を，層，Batch Normalization (BN)，FiLM 層，活性化関数 ReLU，

CNN 層に画像を入力する．SE ResBlock で GRU 層の出力でSE Block から成り立つ．SE Block は 3. 5 節で後述する．1 つある質問文の特徴と CNN 層の出力である画像の特徴を結合し，目の活性化関数 ReLU の出力と SE Block の出力の要素和をとその出力を分類器に入力する．分類器では最終的に 2 クラスにることで残差接続し，勾配消失を防ぐ．

分類され，それぞれ質問文の解答の Yes，No に対応する．

3. 4 FiLM 層
FiLM 層では以下に記述するプロセスで質問文の特徴と，画像の特徴の結合を行う．質問文の特徴抽出に用いた，GRU とSE ResBlock

Input Image

Convolution

全結合層の出力 x ∈ RN ∗2∗C を変形して，x ∈ RN ×(2∗C) の形

ReLUにする．変形させた x の i 行目の要素 xi,• ∈ R(2∗C) を取り出

Convolution

CNN

BN

Is

GRU

β,γ
SE ResBlock

X

GRU

GRU

minimum

GRU

FiLM

ReLU

β,γ

the

β,γ

SE Block

し，2 分割し，γi , βi ∈ RC を得る．i 番目の SE Resblock 内の FiLM 層の入力 Fi の形は，高さを H, 幅を W, チャンネル数を C とすると，Fi ∈ RH×W ×C である．x を変形させて得た

γi , βi が，Fi の形になるようにそれぞれタイルして形を合わせ
γi , βi ∈ RH×W ×C とする．そこで γi ◦ Fi + βi の演算を行い
FiLM 層の出力とする．ただし ◦ は 2 つのテンソルの要素積のβ,γ演算子である．

SE ResBlock
N個のSE ResBlock

β,γ
全結合層

SE ResBlock

分類器

3. 5 SE BlockSE Block の概略を図 4 に示す．SE Block では入力のチャンネル間の依存関係を抽出する．SE Block は，Global Average

AnswerPooling 層，全結合層，活性化関数 ReLU，全結合層，sigmoid関数から成り立つ．高さ H ，幅 W ，チャンネル数を C とする

図 3 提案手法: SE FiLM Networkと，入力 s は s ∈ RH×W ×C である．Global Average Pooling
層では，入力の各チャンネル毎の H × W 個の要素を，その要素の平均値に圧縮する．つまり s′ ∈ R1×1×C の形のテンソル

3. 1 質問文の特徴抽出を出力する．続いて，全結合層に入力し，チャンネル数を C か

質問文は単語の系列データなので，特徴抽出にはゲート付き

ら C/r に圧縮する．r は圧縮率で，[5] では r = 16 が採用されRecurrent Neural Network である LSTM や GRU などの層をていたが，本研究では，圧縮する対象のチャンネル数が 64 と使用することが考えられる．学習時間を短くすることを考慮し，少ないので，r = 4 とした．その後，活性化関数 ReLU を用い

ここでは GRU を採用する．GRU のユニット数は 256 で各系て非線形化し，再び全結合層を通して，チャンネル数を C に戻列の最後の出力を利用する．式 2 で定義される FiLM 層を生成

す．Sigmoid 関数を通すことでチャンネルごとの関係性を抽出するために全結合層への入力とする．全結合層の出力のサイズ

し，最後に SE Block の入力のテンソルと要素積をとることで，は (ResBlock の数 N ) ∗ 2 ∗ (画像の特徴のチャンネル数 C) で入力にチャンネル間の関係を反映させる．

ある．本研究では，4 つの ResBlock を用い，画像のチャンネ
ル数は 64 とするので，512 である．全結合層の出力から式 2の (γi,c , βi,c ) を求め FiLM 層を作る．

3. 2 画像の特徴抽出

3. 6 分 類 器
分類器は最後の SE ResBlock の出力を入力とし，最終的に 2クラスに分類する．分類器は畳み込み層と 3 つの全結合層からなる．畳み込み層のフィルターサイズは 3 × 3 で，ストライド

画像の特徴と質問文の情報を結合する前段階として，CNN

1，出力するチャンネル数は 128 である．ReLU で活性化した層に 256 × 256 のサイズの画像を入力として，特徴を抽出する．

後 Max Pooling を行う．3 つの全結合層の出力のサイズは，そ265, 402 個の質問文が与えられていて，Validation1 は 20, 000個の画像に対し，265, 106 個の質問文が与えられている．
H×W×C
H×W×C

GlobalAvePool
1×1×C
全結合層
1×1×C/r

垂直棒グラフ

横棒グラフ

円グラフ

ReLU
1×1×C/r
全結合層
1×1×C
sigmoid

点線グラフ

折れ線グラフ

1×1×C
要素積

図 5 FigureQA の 5 種類のグラフのサンプル 3

H×W×C
表 1 FigureQA の質問文のテンプレート

question id 質問文のテンプレート
0 Is X the minimum?

図 4 SE Block

1 Is X the maximum?
2 Is X the low median?

れぞれ 512, 512, 2 である．1 つ目の全結合層の後ろに活性化関3 Is X the high median?

数 ReLU，2 つ目の全結合層では dropout と ReLU を用いる．

4 Is X less than Y?
5 Is X greater than Y?

4 評価実験

6 Does X have the minimum area under the curve?
7 Does X have the maximum area under the curve?

4. 1 データセット

8 Is X the smoothest?
9 Is X the roughest?

データセットには Maluuba が公開している FigureQA を用いる . FigureQA は人工的なデータセットで，数量データを10 Does X have the lowest value?

表現する折れ線グラフ，点線グラフ，水平棒グラフ，垂直棒グ

11 Does X have the highest value?

1

ラフ，円グラフの 5 種類のグラフと，それに対するプロットと全体，プロット同士の関係性に関する Yes/No で答えられる質

12 Is X less than Y?
13 Is X greater than Y?
14 Does X intersect Y?

問文が与えられている．図 5 に 5 種類のグラフの画像の例を示す．各画像は 256 × 256 のサイズで，RGB の 3 チャンネルであり，PNG 形式でエンコードされている．表 1 に示すように，

表 2 FigureQA の統計情報

質問文は 15 種類のテンプレートのうちのいづれかであり，垂データ直棒グラフ，水平棒グラフ，円グラフには question id が 0 − 5

Trainの質問文が，折れ線グラフと点線グラフには 6 − 14 の質問文が与えられている．

FigureQA のデータセットの統計情報を表 2 に示す．トレー

回答の有無

Color Scheme

100,000 1,327,368

画像

質問文

Yes

Scheme 1

Validation1

20,000265,106

Yes

Scheme 1

Validation2

20,000265,798

Yes

Scheme 2

Test1

20,000265,024

No

Scheme 1

Test2

20,000265,402

No

Scheme 2

ニングセットは 100, 000 個の画像に対し 1, 327, 368 個の質問が与えられている．本研究では，20, 000 個の画像と，それに対する 265, 798 個の質問文が与えられている Validation2 をバリデーションデータに用いた．Test1,Test2 の正解データは現在公開されていない．Github で公開されている学習モデルの評価プログラム 2 を使用して，学習したモデルの Test1,Test2 に対する解の予測値を csv ファイルに出力し，Maluuba に出力されたファイルを送って評価していただくことで，正解率を得ることができる．本研究ではテストセットに Test2 と，検証データ

1：https://datasets.maluuba.com/FigureQAに使用しておらず，なおかつ正解のアノテーションがされてい2：https://github.com/vmichals/FigureQA-baseline

る Validation1 を使用した．Test2 は 20, 000 個の画像に対し，

3：本論文の図 5, 7, 8, 9 は全て https://datasets.maluuba.com/FigureQAのデータセットから抽出した．

4. 2 モデルの実装と実行環境したところ，表 3 に示す結果が得られた．Relation Network

Github で公開されている FigureQA のベースラインのプ(RN)，FiLM，SE FiLM それぞれに対し，各カラムは，水平棒が Tensorflow で実装されているので，Python3.6

グラフ (vbar)，垂直棒グラフ (hbar)，円グラフ (pie)，折れ線と Temsorflow1.6 で実装した．実行環境は Amazon Web Ser-

グラフ (line)，点線グラフ (dot line) に関する問題ごとの正解

ログラム

2

4

vice のサーバー上で，CUDA9.0，cuDNN7.0.4 の環境下で率，全ての問題 (overall) に対する正解率を示す．ここで，各カTesla V100 を 1 個を使用している．

ラムにおいて，もっとも正解率の高い結果を太字で示した．ま5

た 2 番目に正解率の高い結果を下線で示した．この表をみてわ

4. 3 比 較 手 法

かるように，FiLM は全てのカラムに置いてもっとも高い正解

比較手法は Relation Network, FiLM と提案手法である SE

率となっている．提案手法である SE FiLM はベースラインでFiLM の 3 つでそれぞれ最適化関数には Adam，損失関数にはある RN に比べ，2 種類の棒グラフではそれぞれ 6.27%, 9.63%

Softmax-Cross-Entropy を用いていて学習率は 0.00025 である．

高い正解率が出ているものの，円グラフ，折れ線グラフ，点線グ

Relation Network は，Github で公開されている FigureQA のラフに関しては 1.19%, 3.30%, 3.01% 低い正解率となっている．

ベースラインのプログラム 2 を使用した．FiLM は図 6 に示す
ように，SE FiLM との相違点は SE Block の有無である．バッ
表 3 Test2 における正解率

チサイズは 160 で統一した．トレーニングセットは 1, 327, 368

vbar

hbar

pie

line

75.13

76.76

dot line overall

個の画像と質問文のペアがあるので，1epoc は 8, 296.05 バッチ

RN

79.80

63.03

63.85

70.77

必要となる．

FiLM

88.56 87.74 77.74 69.58

73.21

78.50

SE FiLM

86.07

60.84

71.90

84.76

75.57

59.73

5. 2 テストセット : Validation1 における正解率

ResBlock
Convolution

Input Image

Test1，Test2 は正解データが公開されていないので，より詳ReLU

細な分析を行うことができない．正解がアノテーションされて

CNN

Is

GRU

Convolution

ResBlock

X

GRU

the

GRU

minimum

GRU

いて，かつ検証セットとして使用していない Validation1 をテ

BN

β,γ
β,γ

β,γ

FiLM

ストセットに使用することで，RN，FiLM，SE FiLM の予測

ReLU

値と正解の値との詳細な比較を行う．

5. 2. 1 SE FiLM と他手法の比較
SE FiLM と RN の予測値の相違を表 4 に示す．表の C∗ ，CRβ,γResBlockと CR は，それぞれ正解のラベル，RN の予測値，SE FiLM の

N個の ResBlockβ,γResBlock

全結合層予測値を意味する．RN だけが正解しているデータは 37, 100
個，SE FiLM だけが正解しているデータは 37, 521 個あること分類器がわかる．また，SE FiLM と FiLM の予測値の相違を表 5 にAnswer示す．表の C∗ ，CF ，CR は，それぞれ正解のラベル，FiLM の

図 6 比較手法：FiLM Networkているデータは 45, 487 個，SE FiLM だけが正解しているデー

予測値，SE FiLM の予測値を意味する．FiLM だけが正解しタは 28, 213 個あることがわかる．なお，3 つのモデルのうち，少なくとも 1 つのモデルは正解した質問は 250,331 個であり，4. 4 評 価 方 法

これは Validation1 の質問のうち 94.43% となる．

評価方法は式 4 で表される正解率を用いる．T は正解のデー
表 4 正解と SE FiLM と RN の比較

タのラベルと，モデルの出力のラベルが等しい質問の個数，NCR = 0

は質問の総数を意味する．

accuracy =5 結CR = 1

CS = 0 CS = 1 CS = 0 CS = 1

T
∗ 100
N

(4)

合計

C∗ = 077,45819,711

18,25917,125 132,553

C∗ = 1

16,473

19,262

17,38979,429 132,553

合計

95,21438,97335,64896,554 265,106

果

5. 1 テストセット : Test2 における正解率
まず正解データが公開されていない Test2 を用いてテスト

5. 2. 2 質問の種類ごとの正解率
テストセット Validation1 について 3 つのモデルの各質問の種類ごとの正解率を表 6 に示す．正解率がもっとも高い結果を4：https://www.tensorflow.org/?hl=ja

太字，2 番目に高い結果を下線で示した．FiLM は question id

5：https://aws.amazon.com/jp/

が 1, 8, 9 以外の質問ではもっとも正解率が高く，1, 8, 9 の質問

表5

正解と SE FiLM と FiLM の比較

CF = 0CF = 1

ラフに至っては 9.85%, 12.37% と大きな差が生じてしまってい合計

CS = 0 CS = 1 CS = 0 CS = 1

る．一見これだけ見ると，SE FiLM モデルは FiLM モデルよりも優っている点が無いように見受けられる．しかし表 5 を見C∗ = 082,50524,334

13,212

12,502 132,553

C∗ = 1

12,70915,001

21,153

83,690 132,553

合計

95,21439,33534,36596,192 265,106

ると，テストセットが Validation1 のとき，SE FiLM だけが正解している質問は 28, 213 個あり，これは質問全体の 10.64%に値する．SE FiLM のみ予測ができている質問が 10.64% あ
るということは，SE FiLM にもモデルの利点があるといえる．

も 2 番目に高い．その 1, 8, 9 は RN がもっとも高く，6, 7, 10, 11
は RN が 2 番目に高い．SE FiLM は 0, 2, 3, 4, 5, 12, 13, 14 の質問で 2 番目に正解率が高い．

SE FiLM と FiLM の違いは，SE Block の有無である．ここでなぜ棒グラフや円グラフと異なり，折れ線グラフと点線グラ
フに大きな正解率の差が生じてしまったか考察する．SE Blockはチャンネル間の依存関係を抽出し，元の特徴と要素積をとる

表 6 各問いの種類毎の SE FiLM の結果

question id

RN

FiLM

SE FiLM

ことで，チャンネル間の関係を反映させるというものであった．

0

82.16

86.72

84.79

モデルに入力する画像は 3 チャンネルであるがこれは，RGB を

1

91.80

91.54

90.78

表現している．よって画像の特徴は，CNN 層と SE ResBlock

2

86.60

92.37

91.04

3

86.82

91.91

91.09

で処理されている時，H × W × C の 3 次元の表現を持つが，

4

71.46

76.52

74.84

5

72.16

77.65

75.23

6

61.64

80.05

57.94

ラフと円グラフでは，1 つの項目を表す表現の画像全体を占め

7

68.35

78.00

59.44

る割合が比較的大きい．一方，折れ線グラフと点線グラフは，

8

60.36

59.87

58.78

1 つの項目を表す表現の画像全体を占める割合が比較的小さい．

9

60.10

60.09

58.67

Global Average Pooling は H × W の情報を平均して 1 つの

10

65.58

77.30

60.88

情報に圧縮する．画像の余白が占める割合が大きいということ

11

69.37

79.68

61.32

は，平均した際，余白の影響が大きくなることを意味する．こ

12

61.10

73.61

62.81

13

63.00

73.71

63.28

14

61.44

74.06

63.34

チャンネル C は色に関する情報を持つ軸であると考えられる．
図 5 に示した 5 種類のグラフの画像のサンプルをみると，棒グ

れによって，項目を表す表現の持つ色の情報が消されてしまっている可能性が考えられる．

6. 3 個別の結果の分析

6 考

察

6. 1 RN と SE FiLM の比較
表 3 に示したようにテストセットが Test2 のとき，水平棒グ
ラフと垂直棒グラフの正解率は，SE FiLM が 6.27%, 9.63% 高
いのに対し，円グラフと折れ線グラフ，点線グラフの正解率はRN が 2.49%, 2.98%, 2.17% 高くなっている．全体の正解率はSE FiLM は 1.13% 高くなっている．表 4 に示したようにテス
トセットが Validation1 のとき，SE FiLM だけが正解している問題が 37, 521 個あり，RN だけが正解している質問は 37, 100
個ある．これは Validation1 の全 265, 206 問のうち，14.15%と13.99%にあたり，どちらの場合も無視できない大きさであるといえる．一見，グラフの種類によってモデルの優劣が分かれる
ように考えられるが，表 6 に示したように，RN は question id
が 1 の問題で SE FiLM の正解率を上回っている．これは円グラフと FiLM の方が正解率が高かった棒グラフの質問である．また， FiLM も折れ線グラフと点線グラフの質問である

question id12, 13, 14 の質問で RN の正解率を上回っている．
6. 2 FiLM と SE FiLM の比較
表 3 に 示 し た よ う に テ ス ト セット が Test2 の と き ，5 種
類全ての種類のグラフにおいて FiLM の方が正解率が高くなっている．2 種類の棒グラフと円グラフの正解率の差は2.49%, 2.98%, 2.17% となっているが，折れ線グラフと点線グ

3 つのモデルのうち，1 つのモデルの回答だけが間違っている
質問が多いグラフの画像を図 7,8,9 に示した．それぞれの図に与えられた質問と解答を表 7,8,9 に示す．各表の CF , CS , CR , C∗はそれぞれ FiLM，SE FiLM，RN の予測値と正解の値を示す．

1 つのモデルの予測値だけが間違っている箇所を太字にした．
各グラフの画像における特徴を分析することで，3 つのモデルが上手く認識できないケースを考察する．

RN だけが上手く判断できない例は，図 7 のように，差が大きくない複数の項目があるときが挙げられる．FiLM と SE

FiLM では 4 つの ResBlock，SE ResBlock によって画像と質問文の結合を行なった上で畳み込みなどの演算を行なっているのに対し，RN では式 1 の gθ のみで結合を行う．つまり FiLMと SE FiLM ではより強く画像の特徴に，質問文の特徴の影響が反映され，それによって質問に答えることができていると考えられる．

FiLM だけが上手く判断できない例は，図 8 の Chartreuseの項のように，ある項目の値が 0 や 0 に近い値があるときが挙げられる．RN ではオブジェクトの関係を抽出するので，質問文の比較対象の項目が 0 でなければ，その差異から判断できると考えられる．SE FiLM では質問文と画像の結合を行なった
後に，SE Block でチャンネルの関係を抽出しているので，SE

Block が他の画像によって，入力画像の 0 の値の項目の色の表
現を保持していて，それを反映させることで認識できるものと考えられる．

SE FiLM だけが上手く判断できない例は，図 9 のように，
RGB の値が近い表現がある場合があげられる．macOS に搭載されている Digital Color Meter を利用すると，図の Dark

Khaki の RGB は (189, 182, 111)，Dark Seafoam の RGB は(144, 187, 144) でコサイン類似度は 0.981 と 1 に近い．SE Block
ではチャンネル間の関係の一般性を得るために全結合層を用いて情報を圧縮している．圧縮の際，Dark Khaki と Dark Seafoamの差が消失してしまったと考えることができる．
実際には上記にあげた上手く判断できていない時の条件を満たしていても，該当するモデルで正しい答えが導けているケー
図 8 FiLM が上手く判断できない例 3スは存在し，複数の要因が関係するものと考えられる．

表 8 図 8 の質問と出力

Question

CF

CS

CR

C∗

Is Chartreuse the minimum?

0

1

1

1

Is Web Green the maximum?

1

1

1

1

Is Web Green the minimum?

0

0

0

0

Is Web Green greater than Chartreuse?

0

1

1

1

Is Chartreuse less than Web Green?

0

1

1

1

Is Chartreuse greater than Web Green?

1

0

0

0

Is Web Green less than Chartreuse?

0

0

0

0

Is Web Green the high median?

1

1

1

1

Is Chartreuse the low median?

0

1

1

1

Is Chartreuse the high median?

1

0

0

0

Is Web Green the low median?

0

0

0

0

図 7 RN が上手く判断できない例 3
表 7 図 7 の質問と出力

Question

CF

CS

CR

C∗

Is Forest Green the minimum?

0

1

0

1

Is Royal Blue the maximum?

1

1

1

1

Is Gray the minimum?

0

0

1

0

Is Gray the maximum?

0

0

0

0

Is Gray greater than Maroon?

1

1

0

1

Is Maroon less than Gray?

1

1

0

1

Is Maroon greater than Gray?

0

0

1

0

Is Gray less than Maroon?

0

0

1

0

図 9 SE FiLM が上手く判断できない例 3
表 9 図 9 の質問と出力

CF

CS

CR

C∗

Is Dark Seafoam the minimum?

1

0

1

1

Is Dark Khaki the maximum?

1

1

1

1

Is Dark Khaki the minimum?

0

0

0

0

Is Dark Seafoam the maximum?

0

1

0

0

Is Dark Khaki greater than Dark Seafoam?

1

0

1

0

Is Dark Seafoam less than Dark Khaki?

1

0

1

0

Is Dark Seafoam greater than Dark Khaki?

0

1

0

0

Is Dark Khaki less than Dark Seafoam?

0

1

0

0

Is Web Maroon the high median?

1

1

1

1

FigureQA において Relation Network，FiLM，SE FiLM

Is Web Maroon the low median?

1

1

1

1

の 3 つのモデルのうち，もっとも高い正解率を出したモデルは

Is Dark Seafoam the high median?

0

1

0

0

FiLM であった．また，結果の詳細をみると，片方のモデルしIs Dark Seafoam the low median?

0

0

0

0

Is Violet Red the high median?
Is Violet Red the low median?
Is Royal Blue the high median?
Is Royal Blue the low median?

7 結

1
1
0
0

1
1
1
0

0
0
0
0

1
1
0
0

論

Question

か正解しない質問が存在することから各モデルにそれぞれ利点があることがわかった．個別に画像，質問と結果の組をみると，各モデルがそれぞれ上手く認識できない要素があるといえる．

8 今後の展望
FigureQA は人工的にデータが作られたデータセットだったので，今後の課題としては，教科書や論文など，現実に存在す
るグラフの画像を対象とした十分大きなサイズのデータセット
で，これらのモデルを適用してみることが挙げられる．実際に，現実のデータを扱った時，Relation Network，FiLM，SE

FiLM その他のモデルが FigureQA に適用した場合と異なる振る舞いをするのかどうかを調べていきたい．また FigureQA は

Yes/No 疑問文のみを扱ったデータセットであったが，質問文として 5W 1H 疑問文を使用することも今後の課題として挙げられる．Yes/No 疑問文に質問が制限されている場合，分類器の出力は 2 クラスに限定されてしまい，分類器の出力を利用したアプローチを適用しようと考えても，可能な表現の幅が小さく効果がないと考えられる．例えば，2. 5 節で述べた VQA を利用した画像キャプションの研究では，質問として 5W 1H 疑問
文のみを用いている．一般に，Yes/No 疑問文よりも，5W 1H
疑問文の方が難易度は高いが，5W 1H 疑問文を扱うことで適用できるアプローチも増えることもあり今後は 5W 1H 疑問文にも取り組んでいきたい．
文

献[1] Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Zitnick, C. L. and Parikh, D.: VQA: Visual Question Answering, Proceedings of 2015 IEEE International Conference on
Computer Vision (ICCV), pp. 2425–2433 (2015).
[2] Cho, K., Van Merrienboer, B., Gulcehre, C., Bahdanau, D.,
Bougares, F., Schwenk, H. and Bengio, Y.: Learning Phrase
Representations using RNN Encoder–Decoder for Statistical Machine Translation, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP), Association for Computational Linguistics, pp.
1724–1734 (2014).
[3] Cliche, M., Rosenberg, D. S., Madeka, D. and Yee, C.: Scatteract: Automated Extraction of Data from Scatter Plots,
Machine Learning and Knowledge Discovery in Databases European Conference, ECML PKDD 2017, Skopje, Macedonia, September 18-22, 2017, Proceedings, Part I, pp. 135–
150 (2017).
[4] Hochreiter, S. and Schmidhuber, J.: Long Short-Term
Memory, Neural Comput., Vol. 9, No. 8, pp. 1735–1780(1997).
[5] Hu, J., Shen, L. and Sun, G.: Squeeze-and-Excitation Networks, The IEEE Conference on Computer Vision and
Pattern Recognition (CVPR), IEEE Computer Society, pp.
7132–7141 (2018).
[6] Huang, T.-H. K., Ferraro, F., Mostafazadeh, N., Misra, I.,
Agrawal, A., Devlin, J., Girshick, R., He, X., Kohli, P., Batra, D., Zitnick, C. L., Parikh, D., Vanderwende, L., Galley,
M. and Mitchell, M.: Visual Storytelling, Proceedings of the2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, San Diego, California, Association for Computational Linguistics, pp. 1233–1239 (2016).
[7] Johnson, J., Hariharan, B., v. d. Maaten, L., Fei-Fei, L., Zitnick, C. L. and Girshick, R.: CLEVR: A Diagnostic Dataset
for Compositional Language and Elementary Visual Reasoning, Proceedings of 2017 IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), pp. 1988–1997(2017).
[8] Johnson, J., Hariharan, B., van der Maaten, L., Hoﬀman,J., Fei-Fei, L., Zitnick, C. L. and Girshick, R.: Inferringand Executing Programs for Visual Reasoning, Proceedingsof 2017 IEEE International Conference on Computer Vi-

sion (ICCV), pp. 2989–2998 (2017).
[9] Johnson, J., Karpathy, A. and Fei-Fei, L.: DenseCap: Fully
Convolutional Localization Networks for Dense Captioning,
The IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), IEEE Computer Society, pp. 4565–
4574 (2016).
[10] Jung, D., Kim, W., Song, H., Hwang, J.-i., Lee, B., Kim, B.
and Seo, J.: ChartSense: Interactive Data Extraction from
Chart Images, Proceedings of the 2017 CHI Conference on
Human Factors in Computing Systems, CHI ’17, New York,NY, USA, ACM, pp. 6706–6717 (2017).
[11] Kafle, K., Cohen, S., Price, B. and Kanan, C.: DVQA: Understanding Data Visualizations via Question Answering,
Proceedings of 2018 IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), pp. 1–16 (2018).
[12] Kahou, S. E., Atkinson, A., Michalski, V., Ákos Kádár,
Trischler, A. and Bengio, Y.: FigureQA: An Annotated Figure Dataset for Visual Reasoning, Proceedings of
Sixth International Conference on Learning Representations (ICLR), pp. 1–20 (2018).
[13] Kembhavi, A., Seo, M. J., Schwenk, D., Choi, J., Farhadi,
A. and Hajishirzi, H.: Are You Smarter Than a Sixth
Grader? Textbook Question Answering for Multimodal
Machine Comprehension., Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 1–9 (2017).
[14] Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet
Classification with Deep Convolutional Neural Networks,
Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1, NIPS’12,
USA, Curran Associates Inc., pp. 1097–1105 (2012).
[15] Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollr, P. and Zitnick, C. L.: Microsoft COCO:
Common Objects in Context, Computer Vision – ECCV2014 (Fleet, D., Pajdla, T., Schiele, B. and Tuytelaars, T.,eds.), Cham, Springer International Publishing, pp. 740–755(2014).
[16] Perez, E., Strub, F., De Vries, H., Dumoulin, V. and
Courville, A.: FiLM: Visual Reasoning with a General Conditioning Layer, Proceedings of The Thirty-Second AAAI
Conference on Artificial Intelligence, New Orleans, UnitedStates, pp. 1–13 (2018).
[17] Rumelhart, D. E., Hinton, G. E. and Williams, R. J.: Learning Internal Representations by Error Propagation, Parallel
Distributed Processing: Explorations in the Microstructureof Cognition, Vol. 1 (Rumelhart, D. E., McClelland, J. L.
and PDP Research Group, C., eds.), MIT Press, Cambridge,
MA, USA, pp. 318–362 (1986).
[18] Santoro, A., Raposo, D., Barrett, D. G., Malinowski, M.,
Pascanu, R., Battaglia, P. and Lillicrap, T.: A Simple Neural Network Module for Relational Reasoning, Advancesin Neural Information Processing Systems 30 (Guyon, I.,
Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S. and Garnett, R., eds.), Curran Associates,
Inc., pp. 4967–4976 (2017).
[19] Shin, A., Ushiku, Y. and Harada, T.: Customized Image
Narrative Generation via Interactive Visual Question Generation and Answering, The IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), pp. 1–9 (2018).
[20] Siegel, N., Horvitz, Z., Levin, R., Divvala, S. and Farhadi,A.: FigureSeer: Parsing Result-Figures in Research Papers,
Proceedings of 14th European Conference on Computer Vision (ECCV), pp. 1–16 (2016).
[21] Zhang, P., Goyal, Y., Summers-Stay, D., Batra, D. andParikh, D.: Yin and Yang: Balancing and Answering Binary
Visual Questions, Proceedings of 2016 IEEE Conference
on Computer Vision and Pattern Recognition (CVPR), pp.
5014–5022 (2016).