# マルチモーダル文書におけるテキストと画像の整合タスクの提案

村岡 雅康 $\dagger,+\dagger$ ・岡崎 直観 $\dagger \cdot$ 小比田凉介 $\dagger \dagger \cdot$ 石井 悦子 $\dagger+\dagger$

本研究では, 複数文および複数画像から成るマルチモーダル文書を理解するシステ ムの構築を目指し，文書内における画像を意味的に望ましいテキストに割り当てる 新たなタスク Image-to-Text Matching (ITeM) を提案する。また，提案タスクのた めに Wikipedia から機械的に 66,947 文書および 320,200 画像からなるデータセット を構築する。提案タスクの妥当性および難易度を検証するため, 既存のマルチモー ダルタスクで最高精度を達成した 2 手法を本タスク向けに改良し，評価実験を行う。結果から, ベースラインの精度を大幅に上回ったものの, 人間の精度に到達するに は改良の余地があることを確認した。また, 既存タスクに対する提案タスクの寄与度を検証する実験では顕著な差は見られなかった一方で, 詳細な分析により, 記事内の画像数が多くなるほど，また，画像が分散して配置される記事ほどタスクが難 しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど, 既存タスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価できることが示唆された。 キーワード：マルチモーダル文書理解，言語と画像，夕スク提案
## ITeM: Image-to-Text Matching for Multimodal Documents

\author{
Masayasu Muraoka $^{\dagger, \dagger \dagger}$, Naoaki Okazaki ${ }^{\dagger}$, Ryosuke Kohita $^{\dagger \dagger}$ and Etsuko Ishil ${ }^{\dagger \dagger \dagger}$
}

We propose a new task called image-to-text matching (ITeM) to facilitate multimodal document understanding. ITeM requires a system to learn a plausible assignment of images to texts in a multimodal document. To study this task, we systematically construct a dataset comprising 66,947 documents with 320,200 images from Wikipedia. We evaluate two existing state-of-the-art multimodal systems on our task to assess the validity and difficulty of our task. Experimental results show that the systems greatly outperform simple baselines while their performances are still far from that of humans. Further, the proposed task does not contribute significantly to the existing multimodal tasks; however, detailed analysis suggests that the task becomes more complex when more images are present in a document and that the proposed task can offer a new capability for image-to-text understanding not achievable through existing tasks, such as multiple image consideration or image abstraction.

Key Words: Multimodal Document Understanding, Language and Vision, Task Proposal


## 1 はじめに

言語と画像という二つの異なるモダリティを橋渡しする技術を確立することは，自然言語処理および画像処理の両分野において重要な目標の一つである。この目標に向けて, これまで複数のマルチモーダルタスクにおいて大きな進歩を遂げてきた. 例えば，画像のキャプション生成タスク (Lin et al. 2014) や画像の質問応答タスク (Antol et al. 2015; Agrawal et al. 2017) は,盛んに研究が行われている代表的なマルチモーダルタスクである (Hossain et al. 2019; Kafle and Kanan 2017; Wu et al. 2017). 画像のキャプション生成タスクでは, 入力画像の内容を短く簡潔な自然言語（キャプション）で記述することを目的とし，画像の質問応答タスクでは，自然言語で問われた画像に関する質問（文）に自然言語で回答することがタスクのゴールである.

しかしながら，普段我々人間が目にする実際のマルチモーダル文書 ${ }^{1}$ は, 複数文および複数画像から成る場合がある。ニュース記事には取り上げている事件・イベントに関連する写真が含まれるし, 料理のレシピには途中の各工程の様子が描かれた画像を載せることがある。また, Wikipedia $^{2}$ の記事には人物，各国の建造物・街並み，電化製品や自動車などの人工物，草花，鉱物, 化学物質など, ありとあらゆる物事が詳しく記述され, それらに関連する画像が付随する. この時，文書の適切な位置に画像が配置されることで，画像は我々人間が文書理解することを助けている，言い換えれば，我々人間は，画像と文書内の（多くの場合はその近辺の）テキストの関連性や対応関係を自然に読み取りながら文書を理解している。一方，画像のキャプション生成タスクや質問応答タスクを含む既存の多くのマルチモーダルタスクでは，夕スクの定義上 1 事例が短文と 1 画像のペアで構成されるため, 複数画像の対応関係や, 文書レベルの長いテキスト，および，データセットのアノテーションコストの都合上多種多様な視覚的概念を扱つていない。これは, 既存のマルチモーダルタスクからでは上述した人間が行う文書理解の仕方を明示的に学習させたり, 既存のタスク上で学習されたモデルをそのまま上述した我々が普段目にする多様なマルチモーダル文書に適用できないことを示唆している.

この問題に対処するため, 我々は実際に Web 上に存在するマルチモーダル文書を対象とした新しいタスク, Image-to-Text Matching (ITeM) を提案する ${ }^{3}$.これにより実応用可能なマルチモーダルシステムを構築するための新たな研究の方向性を切り開くことが本研究の目的である.図 1 に提案タスクの概要を示す 4 . このタスクの目標は, ある 1 つの入力文書と入力画像集合が与えられた時, 読者の文書理解を助けるような画像の文書内における配置位置, すなわち, 関連度の高い部分テキストを予測することである。このタスクを解くためには，複数文および複数画像を考慮することが要求される。それに加え, このタスクには既存のマルチモーダルタスク
^{4}$ https://en.wikipedia.org/w/index.php?title=Headset_(audio)\&oldid=899726384
}

では扱われていない次の 3 つの技術課題が含まれる。(i) 文書レベルの長いテキスト，および，内在する文書構造を考慮すること。(ii) 複数の画像を関連づけること。例えば, 図 1 の最初の 2 つの画像は，対比しながら見ることで視覚的形状の違いを強調させつつ，対応するテキスト （"Bluetooth"セクション）を補完している。(iii) 既存のマルチモーダルタスクで扱われる事前に定義された限られた種類の視覚的概念たけでなく，固有名詞を含む幅広いドメインで扱われる多様な語彙知識に対処すること。これらの技術課題を含む提案タスクによって，新聞記事の見出し生成や適切な画像選定, 物語からの自動絵本生成, イベント写真からのアルバム生成など，マルチモーダル文書に関する新たな研究や応用を期待できる.

また, ITeM タスクを提案するにあたり, 我々は Wikipedia dump から 66,947 文書および 320,200 画像からなる大規模なデータセットを低コストで機械的に構築する。Wikipedia に着目したのは，1つの記事ぺージを 1 つのマルチモーダル文書とみなすことができ，また，夕スクのゴールである文書内のテキストと画像の対応関係がマークアップファイルに明示的に記述されているためである，それに加え，Wikipediaでは，様々なトピック・事柄について扱われており，さらに Wikipediaのセクション構造を擬似的な文書構造（段落構造）とみなすことができる。従って，Wikipedia は上述した 3 つの技術課題を全て満たす言語資源である。また，構築したデー夕セットは, 既存の単一言語からなるマルチモーダルデータセットと比べ, 画像数, 文書数, 語

文書 (セクションに分割済み)

図 1 提案タスクの概要. 英語版 Wikipedia “Headset (audio)”より引用，一部改変.
彙数の観点で大規模であることを 4 節で示す.

提案タスクの妥当性と難易度を調査するため, 過去に既存のマルチモーダルタスクで最高精度を達成した手法 (Pythia (Jiang et al. 2018), OSCAR (Li et al. 2020))を本タスク向けに改良を行い，評価実験を行う，実験結果から，改良した既存手法はベースラインを大幅に上回り，提案タスクを解くことができる可能性を示したものの, 人間の精度に到達するには改良の余地があることも確認された。また，提案タスクを事前学習の一種とみなし，提案タスクで学習させたモデルを既存のマルチモーダルタスクで fine-tuning し，性能評価を行った。その結果，提案タスクで学習を行わなかったモデルとの明らかな差は見られなかった一方で，定量分析および定性分析により，記事内の画像数が多くなるほど，また，画像が分散して配置されている記事ほどタスクが難しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど，既存のタスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価していることが示唆された.

## 2 関連研究

これまでに提案された代表的なマルチモーダルデータタスクおよびデータセットについて述べる. Lin et al. (2014)によって画像のキャプション生成のベンチマークデータセットとして, MS COCO が構築された. MS COCO には 12 万 3 千以上の画像が含まれ，各画像には 5 つ以上の正解キャプションが付けられている。画像は Flickr 5 と呼ばれる画像の管理共有サービスから収集され，一方キャプションは Amazon Mechanical Turk6用いて別々にアノテーションされた. Goyal et al. (2017) は, 初期の VQA データセット (Antol et al. 2015) で問題となっていた言語的バイアスの問題に対処し, よりバランスの取れた VQA v2 データセットを提案した.約 20 万 4 千を超える画像を含む. Visual Genome (Krishna et al. 2017) は詳細なアノテーションが付与されたマルチモーダルデータセットであり，物体ごとの矩形の座標情報や，それら矩形ごとの説明フレーズ, 物体の属性情報, 物体間の関係, シーングラフ, QAペアなどのアノテーションが付けられている。各画像には平均 50 個の矩形のアノテーションがなされており,各矩形には説明フレーズとしてその矩形に描かれた内容をフレーズレベルの短い自然言語で記述されたものが付与されている。これら上記のデータセットにアノテーションされた説明文等のテキストは, その画像が撮影された背景やコンテキストを知らないクラウドワーカーによって独立して付与され，誰が見ても納得する客観的なテキストを付与するように指示されたため,撮影した当事者しか知らないような情報や固有名詞などを含まず，一般的な語を用いて記述さ


れている。それに対し, Shah et al. (2019) が作成したKVQA は固有名詞に特化したデータセットであり，世界知識に関する推論を目的として作成された。夕スクを解くためには, Wikipedia の記事が存在するような有名人に関する知識が要求される.

上記のデータセットは多くのマルチモーダル研究で使用される一方, いずれのデータセットにおいても，文書レベルの長いテキストや，1 事例内で複数の画像を扱っていない。それらを扱った研究も存在するが, 数は限られている. Krause et al. (2017) は, 説明文ではなく説明パラグラフからなるパラグラフキャプション生成のデータセットを構築した. 従って, パラグラフレベルで一貫性のあるキャプションの生成技術が要求される. TQA (Kembhavi et al. 2017) と呼ばれるデータセットは, 小学校中学年の理科の教科書から構築され, 1 事例が 1 レッスンに対応する．1レッスンは 1 つの科学トピックについて書かれた複数のパラグラフからなり, 化学反応などの複数のイラストや図を画像として含む. また, 教科書にある練習問題が, TQAのタスクとして解くべき問題として設定されているため，そのタスクを解くシステムも同様に 1 レッスン全体を理解することが求められる. ISVQA (Bansal et al. 2020)は, 屋内または屋外で撮影された複数の画像に対し, 1 組の質問および解答が付与された複数画像からなるVQAデー タセットである。約 3 割の事例は複数の画像を考慮しないと質問に解答できない事例になっている。これらのデータセットは，1節で述べた提案タスクに含まれる技術課題 (i) から (iii)のいずれかを満たすものであるが，3つ全てを同時に満たすものではない.

Srinivasan et al. (2021) は本研究と同様 Wikipedia から大規模かつ多言語のマルチモーダルデータセット WIT を構築している。我々がマルチモーダル文書として Wikipedia の 1 記事全体を本タスクの 1 事例とするのに対し, WIT 内では Wikipedia 中の画像を主とし，その画像のキャプション, および, 画像が使われている記事の第 1 セクションのテキスト, 画像が言及されているセクションのテキストを組み合わせて 1 事例としている。従って，画像を参照していないセクションはWITデータセットに含まれていない. 一方, 本研究では一部のテキストを除外したりせず，1つの完結した文書の中でテキストと画像の関連性を捉えることを目指す.

本研究と関連する研究分野として文書画像理解 (Document image understanding, DIU) がある (Xu et al. 2020, 2021; Mathew et al. 2021; Tito et al. 2021; Mathew et al. 2022). DIU では, machine-readable ではない画像化された文書データを対象として情報抽出を行うことを目指している。例えば, 商品レシート画像から特定の商品の値段を抽出したり, 手書きの手紙画像から差出人の名前や郵便番号を抽出することが目標である。そのため, このタスクを解くためにはレイアウト情報を考慮することが重要であることが示されている (Xu et al. 2021). 一方で, 本研究で扱うデータは Wikipedia のマークアップファイルから得られるため既に machine-readable な形式になっており，本タスクを解くためには，レイアウト情報よりむしろ，テキストと画像の意味的な関連性および内容を考慮することが求められる。

近年, 代表的な画像のキャプション生成や画像に関する質問応答以外の, 萌芽的なマルチモー

ダルタスクもいくつか提案されている。ここでは本研究と関連があるものを取り上げる．Zhu et al. (2015)は, 映画の動画フレームとその元になっている本のパッセージとの対応関係を求めるタスクを提案した. Agrawal et al. (2016) は，シャッフルされた画像とキャプションのペア集合（全て同じある 1 つのストーリーに関するもの）を，時系列順に並び替えるタスクを提案した.また, Bosselut et al. (2016) は，結婚式などの代表的なイベントの典型的な流れ（新郎新婦入場から退場までなど）をフォトアルバムを用いて学習する試みを行った. Iyyer et al. (2017) は, 漫画からデータセットを構築し, 台詞やコマの穴埋め問題をタスクとして提案した。この夕スクを解くためには，漫画のストーリーの一貫性や流れ，さらには明示的に描かれていない行間を理解することが求められる. Biten et al. (2019)は, 新聞記事のキャプション生成タスクに取り組んだ。キャプション自体はこれまでのキャプション生成タスク同様，画像の内容に関する短い文を想定していたが，クラウドソーシングを使ってキャプションを付与したデータセットと異なり，様々な固有表現に対処する必要があった. Hessel et al. (2019) は，既存のマルチモー ダルデータセットを用いて，テキストと画像の対応関係を教師なしで学習する手法を提案した。彼らの研究は我々の問題意識と共通する点があるものの，扱っているデータセットの規模や種類において大きく異なり，彼らがモデルの学習に使用したデータセットは上記の MS COCO のようなテキストが独立してアノテーションされたデータセットであるのに対し, 我々が使用するのは Web 上に実際に存在するデータから構築したデータセットである． Radford et al. (2021) は，CLIP (Contrastive Language-Image Pre-training) と呼ばれるマルチモーダル表現の学習手法を提案し, 事前に定義された物体クラス情報を用いるのではなく, キャプション付き画像デー タセットから画像中の物体とそれに対応するキャプション中のテキスト表現の対応関係を自然に学習できることを示している。学習によって得られたマルチモーダル表現が zero-shot タスクで高成績を収めることも示した. より最近では Tanaka et al. (2021)が, 画像の質問応答タスクの枠組みで入力画像がマルチモーダル文書のスクリーンショットになっているデータセットおよびタスクを提案している。上述のマルチモーダルタスクではそれぞれ異なる技術課題に着目しているが，本研究ではそれらとはまた異なる新たな技術課題に取り組む。詳しくは 4.2 節で述べる。

## 3 タスクの定式化

本節では，論文中で使用する用語の定義と提案タスク ITeM の定式化を行う ${ }^{7}$. ITeM で扱うマルチモーダル文書は, 図 1 のような文書と複数画像から成る。1つの文書は数十から百数十の文からなり，言語的構造，もしくは，番号付きリストやネストされたリストのような順序的階

層的構造を持つ. 本タスクにおける文書は, これらの構造に従ってあらかじめ文やパラグラフ, セクションといった意味のあるテキストの単位に分割されているものとする。本研究ではセクション単位に分割されていると仮定する。画像はキャプションを伴うことができ，テキストで記述された文書を視覚的に補完し, 読者の文書読解を助ける役割を担う。本タスクのゴールは, ある 1 つの文書に関する画像の集合と分割されたテキストの集合のペアが与えられた時, テキスト集合中のあるテキストを補完するような画像からテキストへの尤もらしい割り当て（図 1 中央の画像とテキスト間のエッジ）を求めることである.

このタスクを以下のように定式化する。あるマルチモーダル文書 $d$ に含まれる画像集合を $V$, テキスト集合を $S$ で表す. それぞれの要素数は $|V|$, および， $|S|$ で表される。画像集合 $V$ 中の要素 $v$ は, 実際の画像と, キャプションがある場合はそのキャプションのペアから構成され, テキスト集合 $S$ 中の要素 $s$ （およびキャプション）は単語列から構成される. これにより, マルチモーダル文書 $d=\langle V, S\rangle$ は $|V|$ 個の画像と $|S|$ 個のテキストを頂点に持つ（無向） 2 部グラフとみなすことができる。画像と画像が割り当てられるべきテキスト間にのみ 2 部グラフのエッジが張られる。

上記より，提案タスクは画像集合 $V$ とテキスト集合 $S$ 間のあり得るエッジを予測するグラフ補完問題として定義される．グラフを補完するためには，グラフ全体で推論する必要がある. すなわち, 複数のテキスト $S$ と複数画像 $V$ と同時に考慮する必要がある. エッジの割り当て行列を $\mathbf{A} \in[0,1]^{|V| \times|S|}$ で表すと，行列 $\mathbf{A} の(i, j)$ 成分（ただし， $i$ は行， $j$ は列のインデクスをそれぞれ表す）は， $i$ 番目の画像が $j$ 番目のテキストに割り当てられる確率を表す. 画像集合中の各画像は必ずただ 1 つのエッジを持つが8，テキスト集合中のテキストは必ずただ 1 つのエッジを持つとは限らない. エッジを持たない場合（画像が紐づかないテキスト）や1つのテキストが複数のエッジを持つ場合（複数の画像が割り当てられるテキスト）があることに注意されたい.この性質を満たすように，割り当て行列 $\mathbf{A}$ に次の制約を加える.

制約各行 $\mathbf{a}_{i}$ の確率值の和は必ず 1 にならなければならない：

$
\Sigma_{j} a_{i j}=1
$

これにより, 各行 $\mathbf{a}_{i}=\left[a_{i 1} a_{i 2} \cdots a_{i|S|}\right]$ はテキスト集合 $S$ 上の確率分布となり, 確率質量関数 $\phi_{i}: S \rightarrow[0,1], \phi_{i}\left(s_{j}\right)=a_{i j}$ で表される.

従って, 求めるべきマルチモーダル文書 $d$ におり各画像のテキストへの割り当て $\mathbf{y}$ は, 割り当て行列 $\mathbf{A}$ の各行 $\mathbf{a}_{i}$ の確率最大となる次元を見れば良い.
^{8} 2$ つ以上のエッジを持つ場合も考えられるが, 本研究では扱わない. 本研究でデータセット構築のために使用するWikipedia においては（4 節)，そのガイドラインに「画像は関連するセクション“内”に配置すること」とあり，無関係なセクションにむやみに画像を配置することや，あるセクションに配置された画像をそれ以外の異なる複数のセクションから言及することはなるべく避けるような指示がなされているため, このように定義しても問題ないと考える.
}

$
\begin{aligned}
\mathbf{y} & =\left[\begin{array}{lll}
y_{1} & \cdots & y_{|V|}
\end{array}\right], \\
y_{i} & =\underset{j \in\{1, \ldots,|S|\}}{\operatorname{argmax}} a_{i j} \\
& =\underset{j \in\{1, \ldots,|S|\}}{\operatorname{argmax}} \phi_{i}\left(s_{j}\right),
\end{aligned}
$

ただし， $y_{i}$ は $i$ 番目の画像 $v_{i}$ が割り当てられるテキストのインデクスを表す.この基準を緩め,各画像について確率値 top- $k$ 個のテキストを考慮することで, top- $k$ の割り当てを考えることもできる.

提案タスクを解くシステムの精度は accuracy@k で評価する。accuracy@k とは, 各画像に関して top- $k$ 個の割り当てを考慮した際の精度であり，top- $k$ 個の中に正解テキストが含まれている場合に正解したとみなす。実験では， $k \in\{1,3,5\}$ を使用し, accuracy@k は正解した画像数を評価セットに含まれる全画像数で割った平均値を算出し，評価セット全体の精度を求める.

## 4 データセット

## 4.1 データセット構築

ここでは提案タスクのためのデータセット構築方法を提案する．先に述べた通り，Wikipediaのマークアップ MediaWiki ${ }^{9}$ に着目し, 英語版 Wikipedia からデータセットを構築する. Wikipedia のマークアップファイルには HTML の $\langle\mathrm{h}\rangle$ タグに相当する見出しタグで囲まれたセクションのテキストと， $\langle\mathrm{img}\rangle$ タグに相当する画像夕グ（キャプションを伴うことができる）が含まれる.画像夕グが記述されたセクションをその画像が割り当てられているセクションとみなす。これにより，Wikipediaの各記事から，提案タスクの入力となるテキスト集合と画像集合，および，予測対象となる画像からテキストへの正解の割り当てが得られ，機械的に大規模なマルチモー ダルタスク（提案タスク）のデータセットを構築することができる。この構築方法は, 機械的に低コストで構築するため，多少のノイズは含まれるものの ${ }^{10}$, 次節で説明するような既存のマルチモーダルデータセットには含まれない難解な事例が含まれていたり， マークアップのフォー マットが変わらない限りWikipediaの他の言語にも適用できるといった特長を持つ.

以下に実際の手続きを詳述する ${ }^{11}$ 。まず，英語版 Wikipedia dump ${ }^{12}$ に含まれる全ての記事からセクション，画像，および，キャプションを抽出した。この時，インフォボックスや表形式


のデータはセクションのテキストには含めなかった。また, マークアップ言語の解析に失敗した記事も除外した。その結果， 5,870,656 文書が得られた。次に，セクションの数が 10 以上 50 以下で，かつ，画像数が 2 以上 30 以下の文書のみ保持した。 下限値を設定したのは，タスクとしての難易度が簡単すぎるものを除外するためであり，上限値を設定したのは，画像が極端に多い記事はテキストがほぼ無い写真ギャラリーのような記事になり ${ }^{13}$, 本タスクには不適切と考え，それらを含めないようにするためである。これにより，161,763 文書が残った。続いて，残った文書に含まれる全ての画像を収集した。この時, 拡張子が jpeg, JPEG, jpg, JPG, png, PNGのいずれかである画像を収集対象とした，加えて，全ての画像をRGB 形式に変換し，画像のファイルサイズを圧縮する後処理を行った。最終的に， 66,947 文書および 320,200 画像からなるデータセットが得られた.

## 4.2 分析

表 1，2 に構築したデータセットの統計情報を示す.また， 2 節で言及した，広く使われている既存の代表的なマルチモーダルデータセットも合わせて載せている14. 本節では，提案夕スクのために構築したデータセットの特徴を定量的・定性的に述べる。

文数および単語数はいくらか?

公平な比較を行うため, 表 1 にある全てのデータセットに対し, 同一のライブラリ spaCy (Honnibal

 \\

表 1 ITeM データセットの統計情報, および, 既存の代表的なマルチモーダルデータセットとの比較. データセットによってテキストとして扱われる言語単位が異なるため，単位も合わせて記載.


表 2 文書, テキスト, 文単位における統計情報。*1画像に紐付いている全てのテキストを集めて文書とみなして算出（例えば，MS COCO において， 1 画像に紐付いている独立した複数のキャプション間に文書構造は存在しないが, それらを無視し文書とみなして算出).

and Montani 2017) ${ }^{15}$ を用いて, 文数および単語数をカウントした. その結果, 我々のデータセットには 1 千万以上の文が含まれており，各セクションは平均 8.9 文から構成されることが確認された。平均文長は 22.3 単語であり, 平均セクション長は 198.4 単語であった. また, 1 文書は平均 150.4 文から構成され，表 2 中の 2 番目に平均文数が大きい TQA データセットの約 2 倍であり， 1 文書に含まれる平均単語数は約 3.6 倍であった。このことから，提案タスクを解くためには，既存のマルチモーダルタスクに比べてより長いテキストの読解が要求されることがわかる.

## 1 文書および 1 セクションの平均画像数はいくらか?

我々のデータセットに含まれる画像数は 32 万以上で，表 1 の中でも大規模である．先述したように，我々のデータセットにおける 1 セクションには複数の画像が割り当てられうる（実際には平均 1.3 枚）が，TQA を除く他のデータセットにおけるテキスト（1キャプションや 1 質問文）にはタスクの設定上必ず 1 枚の画像しか結びつかない. これに加え，我々のデータセットは 1 文書あたり，すなわち， 1 事例あたり，平均 4.8 枚の画像を含む。従って，タスクを解くためには，複数の画像を考慮した推論が必要になると考えられる。

## 語彙数はどのくらい大きいか?

表 2 の語彙数を見ると, 我々のデータセットの語彙数は非常にロングテールであり, 他と比べても 2 桁規模が大きいことがわかる. Wikipedia はインターネット上にある最大の百科事典の一つであり，誰でも編集可能な性質を持つことから，我々のデータセットが普通名詞や固有名詞に限らず，一般常識および世界知識に関する多種多様な事柄をカバーすることは明らかである.このことから，既存のマルチモーダルタスクとは異なり，普段我々人間が目にするマルチモーダル文書を読み解く時と同じように，このタスクを解くシステムは多種多様な語彙を扱わ


## なければならない.

## ITeM タスクを解くために対処すべき技術課題は？

構築したデータセットからランダムに抽出した事例（サブセット）を著者らが確認し，夕スクを解くために対処しなければならない技術課題を特定，分類した. 1 節で述べた大きな 3 つの技術課題 (i)-(iii) に加え, 個別の事例を解くためには, 次のような技術課題に対処する必要があることを確認した。具体的には，キーフレーズ抽出，物体とキーフレーズのマッチング，シーン予測, 文字認識 (OCR), 図の理解, 文書全体からの情報統合や選択などである. 図 2 に具体例

(a)
シーン予測文字認識

## Wine

Oak wine barrels

## Storage

Wine cellars, or wine rooms, if they are above-ground, are places designed specifically for the storage and aging of wine. Fine restaurants and some private homes have wine cellars. (followed by 261 words but neither the words "oak" nor "barrels" appeared) (b)

(c)

文書全体からの情報統合/選択,文字認識, キーフレーズ抽出, 物体とキーフレーズのマッチング

## Montacute House

First floor: 1: Library (formerly known as the Great Chamber); (followed by names of the remaining numbered rooms)

First floor

The first floor contains one of the grandest rooms in the house, the Library. The room was formerly known as the Great Chamber; (followed by 444 words to describe the rooms in the floor)

## Railway platform

A common marking at curved platforms on the London Underground

## Curvature

(73 words precede) Usually such platforms will have warning signs, possibly auditory, such as London Underground's famous phrase "Mind the gap". (followed by 77 words)
Diagram illustrating how the relative over the course of the project Iterative and incremental (10 words precedes) The Elaboration

セクション Construction and Transition phase are divided into a series of timeboxed iterations. (followed by 54 words) the relative effort and emphasis will change over the course of the project.

Second-floor plan. Key: 1 : Long Gallery, (followed by names of the remaining numbered rooms)

## Second floor

A notable feature of the house is the 172-foot ( $52 \mathrm{~m}$ ) second-floor Long Gallery, spanning the entire top floor of the house; (followed by 192 words to describe the rooms in the floor)

(e)

図 $2 \mathrm{ITeM}$ データセットの具体例。図中のセクションは画像が割り当てられる正解テキスト．各事例を解く際に対処すべき技術課題も合わせて提示（図中の下線部はそれらに関連する部分）。

を示す ${ }^{16}$. 図中 (a)の画像の正解セクションを予測するには，画像中の物体が "spidertrike"であることを認識し，（キャプションを使用したとしても）約 200 語からなるセクションから同じテキスト表現（"spidertrike”という単語）を抽出し対応付けなければならない. 図中 (b)の例では画像中の個々の物体ではなく, 画像全体としてのシーン（ワインの貯蔵庫, storage であること）を認識する必要がある。また，キャプションに含まれる“Oak”や“barrels”といった表現は正解セクション中では使われていないため，直接的な手がかりになり得ない. 図中 (c) は OCR (Optical Character Recognition, 光学文字認識）を使用すれば，画像中の文字を手がかりに正解セクションを予測することが可能である，図中 (d) は OCR に加え，グラフ読み取りが必要な例である。グラフ中の列名を認識し，それを手がかりとして正解セクションの記述がグラフの説明であることを読み取らなければならない，図中 (e)では画像の類似性および互いに隣接し合うセクションの記述内容の類似性から，複数の画像のそれぞれの正解セクションを同時に予測しなければならない。また, 図はある建物のフロアマップを表しているため, OCR を行うかキャプション内の表現と，セクション内のテキスト表現のマッチングも行う必要がある. これらの技術課題は網羅的なものではないが，確認した事例において頻出したものである。上記の例を通して，実際のマルチモーダル文書における画像の使われ方は多岐にわたることが確認できる.

## 5 実験

本節では, 既存のマルチモーダル手法を提案タスク上で学習することによって提案タスクの妥当性および難易度を検証する。仮に, 既存の最高精度を達成したマルチモーダル手法を本夕スクで学習し極端な高成績を収めた場合，タスクの難しさとして既に簡単すぎるため，新たなマルチモーダルタスクとしての価値は低いかもしれない。逆に，既存の最高精度を達成した手法をもってしても全く解けなかった場合，タスクとして難しすぎるか，構築したデータセットに問題がある可能性がある．タスクとして難しすぎる場合，将来的に多くの研究者が取り組みたがらなければ，これもタスクの価値として大きいとはいえないだろう，従って，既存の手法がある程度提案夕スクを解くことができるが，改善の余地もある状態というのが適切な難易度であり，妥当なタスク設計であると考えられる，また，単に性能を評価するだけではなく，現在のマルチモーダル手法の限界や課題を見つけ，今後の研究に生かすことができる示唆に富む分析を行うことも重要であると考える.


## 5.1 検証モデル

提案タスクの妥当性および難易度を検証するモデルとして, Pythia (Jiang et al. 2018) および OSCAR (Li et al. 2020)の 2 手法を考慮する．Pythia は 2018 年に画像の質問応答タスクで最高精度を収めた手法であり，OSCAR は 2020 年に画像の説明文生成や質問応答を含む複数の代表的なマルチモーダルタスクにおいて最高精度を達成した Transformer (Vaswani et al. 2017) ベー スの手法である。1 節で述べたように, これら既存のマルチモーダルタスクは, 短文と 1 画像のペアが 1 事例として構成されているため, Pythia および OSCAR も入力データ形式が異なる本タスクではそのままの形では学習できない。そのため, 本タスクで学習を行うために, 複数文および複数画像を 1 事例として受け付けるための拡張を行う 17 . それぞれの手法の拡張を行った部分について以下で詳しく説明する。

## 5.1.1 拡張 Pythia

Pythia は画像の質問応答タスクを解くモデルとして提案された。画像と質問文が入力として与えられた時, Pythia はまずそれぞれをテキストエンコーダーと画像エンコーダーで特徴ベクトルに変換する，続いて，その特徴べクトルを用いて Attention 層を計算する。これは入力質問文に基づいて，入力画像のどの部分に注目するかを求めるためである。最後に, Attention が考慮された特徴べクトルから質問文に対する答えを生成する.

我々はこのモデルを複数テキストおよび複数画像を入力として受け取り, それらの入力に対して Attention 層を計算するように拡張する。このように拡張されたPythia は, 複数テキストおよび複数画像間のインタラクションを扱うように学習されることが期待される。図 3 に拡張 Pythia の概要を示す. 下記に拡張 Pythia 内部の計算方法を示す.

図 3 拡張 Pythia の概要. 灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す. $W$ と書かれたオレンジの円は提案タスクで学習対象のモデルパラメータを表す. 記号 $\otimes$ は行列積を表す. 灰色の数字は各操作後の特徴量の次元を表す.


テキストの処理に関しては, まず WordPiece tokenizer (Wu et al. 2016) を適用し18, 入力テキストに対するサブワード列を得る。次に，事前学習済みの BERT (Devlin et al. 2019)を用いて,得られたサブワードの最初の 512 語から特徵ベクトルを得る。 入力テキストが 512 サブワードを超える場合，それ以降のサブワードは使わないことになるが，表 2 より，我々のデータセットの 1 つのテキストに含まれる平均単語が 198.4 語であることを考慮すると, 512 という数字は十分大きいと考えられる。入力テキストが 512 サブワードを超えない場合は, ゼロベクトルで padding を行う. BERT から得られる各入力テキストの特徴ベクトルは, 最終隠れ層の [CLS] トークンに対応する出力を使用し, $d_{\mathrm{txt}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{txt}}=768\right)$.

画像の処理に関しては，事前学習済みの Convolutional Neural Networks (CNN) を使用する。具体的には， 18 層の Residual Network (ResNet) (He et al. 2016)を用いる. 提案タスクを解くためには, 画像全体を捉えることに加え, 画像の特定の領域に注目することが求められるため,画像全体の特徴べクトルに加え，画像の小領域の特徴ベクトルも取得する。 1 つの画像を $3 \times 3$ の小画像に分割し，それぞれの特徴べクトルを得ることで， 1 画像につき，合計 $K=10$ 個の画像ベクトルを得る（うち１つは全体画像の画像べクトルである）。各画像ベクトルは ResNet の最終 average pooling 層の出力を使用し， $d_{\mathrm{img}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{img}}=512\right)$.従って, 1 画像の画像特徵量は, $K \times d_{\mathrm{img}}$ の行列になる. 画像のキャプションも使用する場合は, 上述と同様のテキスト処理により BERT でキャプションの特徴べクトルを得た後, 各画像ベクトルと結合し画像特徴量とする。この時, 次元は $K \times\left(d_{\mathrm{img}}+d_{\mathrm{txt}}\right)$ となる.

続いて, 得られたテキストと画像の特徴量から, 入力テキストに基づいて注目すべき画像の領域 （小領域を含む）を求めるために，以下の方法で Attention層を計算する。まずテキストと画像の特徴量を結合した後, 線形変換を行い, 最後に softmax 関数を適用する， $\mathbf{S} \in \mathbb{R}^{|S| \times d_{\mathrm{txt}} \text { を文書内の }}$

とする． $\mathbf{S}$ を行べクトルに変形しつつ $\mathbf{V}(i)$ と結合し，テンソル $\mathbf{M}=[\mathbf{M}(1) \cdots \mathbf{M}(|V|)]$ を得る.

層 $\alpha$ を計算する。

$
\alpha=\operatorname{softmax}\left(\left(g_{2} \circ f \circ g_{1}\right)(\mathbf{M})\right) .
$

ただし, $f(\mathbf{X})=\operatorname{ReLU}(\mathbf{X}), g_{j}\left(\mathbf{X} ; \mathbf{W}_{j}, \mathbf{B}_{j}\right)=\mathbf{X} \mathbf{W}_{j}^{\top}+\mathbf{B}_{j}$ であり, $\mathbf{W}_{j}$ および $\mathbf{B}_{j}$ はモデルパラメータである。また, 計算された Attention 層は $\alpha \in[0,1]^{|V| K}$ の列べクトルとなる. 画像特徴量 $\mathbf{V}(i)$ に関して $\alpha$ による重み付き和を計算することで, Attentionを考慮した画像特徴量 $\widehat{\mathbf{V}}(i)$ を得る。


$
\widehat{\mathbf{V}}(i)=\Sigma_{k=1}^{K} \alpha_{(i-1) K+k} \mathbf{V}(i, k)
$

上記の式において $\mathbf{V}(i, k)$ は $i$ 番目の画像の $k$ 番目の小領域に対応する画像べクトルを表す.最終的に各画像 $v_{i} \in V$ の割り当て確率分布 $\phi_{i}$ は $\widehat{\mathbf{V}}$ と $\mathbf{S}$ を用いて, 次式で求める.

$
\phi_{i}=\operatorname{softmax}\left(\left(g_{3} \circ f\right)(\widehat{\mathbf{V}}(i)) \cdot\left(g_{4} \circ f\right)(\mathbf{S})^{\top}\right)
$

$g_{3}$ および $g_{4}$ による線形変換後のべクトルの次元が 256 となるように重み行列 $\mathbf{W}_{3,4}$ および $\mathbf{b}_{3,4}$ の次元を指定した．各画像に関する割り当て確率分布 $\phi_{i}$ を結合することで，割り当て行列 $\mathbf{A}=\left[\phi_{1} \cdots \phi_{|V|}\right]$ が得られる.ここから，各画像の予測割り当て $\mathbf{y}$ も $y_{i}=\operatorname{argmax} \phi_{i}$ として求められる，学習時には, 正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し, モデルの学習を行う.

## 5.1.2 拡張 OSCAR

OSCAR は MS COCO や Visual Genome を含む複数のマルチモーダルデータを結合した大規模データを用いて BERT のように事前学習を行い, さまざまなダウンストリームタスクで特徴量抽出器として使用される Vision and Language モデル (Khan et al. 2022)の一つである. Pythia や他の Vision and Language モデルと異なり，入力としてテキストと画像の他に画像中に含まれる物体の夕グも受け付ける点が特徴的である。物体夕グをテキスト表現の一種として扱うことで，画像中の物体に関する情報と入力テキストをより効果的に関連づけられることが期待される。 入力テキストと物体タグはテキストエンコーダーで特徴ベクトルを抽出し, 画像は画像エンコーダーで特徴ベクトルを抽出する。 その後, 得られた 2 種類の特徴ベクトルを結合したものを Transformerに渡し， self-attentionによりテキスト，物体タグ，画像をそれぞれ互いに関連づけた特徴表現を得る。

Pythia 同様, OSCAR を複数テキストおよび複数画像を受理するように拡張する ${ }^{19}$. 図 4 に拡張 OSCARの概要を示す.テキストの処理に関しては, OSCAR 自体にテキストエンコーダーとして事前学習済みの BERT を内包しているため, それを用いて特徴べクトルを得る. 各特徴べクトルは, 最終隠れ層の [CLS]トークンに対応する出力を使用し, $d_{\mathrm{txt}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{txt}}=768\right)$. 画像の処理に関しては, 事前学習済みの物体検出器である Faster R-CNN (Ren et al. 2016) を用いて特徴べクトルを計算する. Faster R-CNN は入力画像に対して, 重複を許容した最大 50 個の物体領域座標 $\left(6\right.$ 次元 $\left.{ }^{20}\right)$, その物体領域の特徴ベクトル $(2,048$ 次元 $)$, および，物体タグを確信度付きで返す。拡張 OSCARではこのうち確信度上位 K 個を使用する


図 4 拡張 OSCAR の概要. 灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す. オレンジの長方形および円は学習対象のモデルパラメータを表す. 記号 $\otimes$ は行列積を表す．灰色の数字は各操作後の特徴量の次元を表す.

$(K=15)^{21}$. 特徴ベクトルと物体領域座標を結合したべクトルに対し線形変換を行い, テキストの特徵ベクトルと同じ次元数 $d_{\mathrm{txt}}$ のベクトルを得る。線形変換には事前学習済みの OSCAR に内包されている Linear 層を用いた。一方で物体夕グは空白で区切って一列に並べ，キャプションがある場合は [SEP] トークンで結合し, OSCAR に内包された事前学習済み BERT 内の Embedidng 層に渡し, 対応する単語埋め込みを抽出する。この時点では self-attention を計算する前の単語埋め込みであることに注意されたい。これを $d_{\mathrm{txt}}$ 次元に線形変換された画像べクトルと結合し, OSCAR の Transformer 層で self-attention を計算し, 最終隠れ層の [CLS] トークンに対応するべクトルを入力画像の特徴ベクトルとする。この特徴ベクトルの次元数はテキストの特徴べクトルと同じである $\left(d_{\mathrm{img}}=d_{\mathrm{txt}}=768\right)$.

得られた $|S|$ 個のテキストと $|V|$ 個の画像の特徴量から，それぞれの関連度を計算するために，行列積を計算する。

$
\phi=\operatorname{softmax}\left(\left(\mathbf{V} \mathbf{W}_{\mathrm{img}}^{\top}+\mathbf{b}_{\mathrm{img}}\right) \cdot\left(\mathbf{S} \mathbf{W}_{\mathrm{txt}}^{\top}+\mathbf{b}_{\mathrm{txt}}\right)^{\top}\right) .
$

$\mathbf{V} \in \mathbb{R}^{|V| \times d}$ は文書内の全画像の特徴量であり, $\mathbf{S} \in \mathbb{R}^{|S| \times d}$ は文書内の全テキストの特徴量である $\left(\left(\right.\right.$ ただし,$\left.d=d_{\mathrm{txt}}=d_{\mathrm{img}}\right)$. また, $\mathbf{W}_{\mathrm{txt}, \mathrm{img}} \in \mathbb{R}^{d^{\prime} \times d}$ および $\mathbf{b}_{\mathrm{txt}, \mathrm{img}} \in \mathbb{R}^{d^{\prime}}$ はモデルパラメータである $\left(d^{\prime}=256\right)$.

既存研究 (Radford et al. 2021) においても行列積のみから十分効果的な特徵表現を学習でき, テキストと画像の関連度を計算できることが示されているため，得られた行列積 $\phi$ そのまま割り当て行列 $\mathbf{A}$ とみなし, 各画像のテキストの割り当て $\mathbf{y}$ を $y_{i}=\operatorname{argmax} \phi_{i}$ から求める. 学習時には, 拡張 Pythia 同様, 正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し, モデルの学習を行う。


## 5.2 実験設定

4.1 節で構築したデータセットを $8: 1: 1$ にランダムに分割し, それぞれ訓練, 開発, 評価セットとした，分割した結果，それぞれのセットのデータサイズは $53,557,6,695,6,695$ 文書であった。学習時, 各事例内の画像の出現順をシャッフルし, モデルが画像の内容ではなく, 順番によって子予測を行わないようにした。一方で，セクションは文書としての前後のつながりがあるため, シャッフルせずに出現順を保持した. バッチサイズを 16 とし, 20 エポック学習を行い, 各エポックの終了時, 開発セットでの評価結果が最も高いエポックのモデルを保存した. Pythiaに関しては，原著論文に従い，AdaMax (Kingma and Ba 2015) で最適化を行い，学習率は 0.001 から始め, 1000 ステップで学習率が 0.01 になるまで単調に増加させ (warm-up), その後 5000 ステップ時から 2000 ステップ毎に学習率をその時点の学習率の 1/10 だけ減少させた. OSCARに関しても原著論文に従い, AdamW (Loshchilov and Hutter 2019) で最適化を行い，学習率は 0.00005 から始め, warm-up は行わず, 毎ステップ係数 0.05 で weight decay を行った ${ }^{22}$.

## 5.3 結果

表 3 に評価セットにおける実験結果を示す. 2 つ検証モデルはそれぞれ学習時に開発セットにおいて accuracy@1 で最高精度を達成した時のモデルパラメータを使用した。それに加え， 2 つのべースラインの結果も載せている。「ランダム」は各画像のテキスト割り当てをランダムに予測した場合の精度であり，「最頻値」は，訓練セットにおいて最も割り当てが多かったテキストの位置（インデクス）を常に予測した場合の精度である。表の最下部には，著者ら 3 人が個別に提案タスクを解いた時の accuracy@1 の平均值を載せている 23.

2 つ検証モデルは 2 つのべースラインに $12 \sim 45$ ポイント以上の差をつけ上回った. このことから，既存のマルチモーダル手法を用いたとしても，ある程度提案タスクに適合するように

表 3 提案タスクの実験結果.

学習されることを示している。 また, 拡張 OSCAR は拡張 Pythia に対して, 10１2 ポイント上回る結果となった。これは既存のマルチモーダルタスクで見られる傾向と同様で, 提案タスクにおいても近年の Transformer に基づくモデルが，それ以前の self-attention を用いないモデルよりも汎化性能が高いことを示している。しかしながら，拡張 OSCARでも人間の精度の約半分となっており，大きな改善の余地があることは明らかである。このギャップを埋める手法を構築することが今後の課題である.

次に, 検証モデルの提案タスクにおける学習の振る舞いをより詳しく見るために，入力データにおける Ablation study を行った。，具体的には，画像側の入力を画像のみ，または，キャプションのみとしたモデルを上記と同じ実験設定で学習し，評価セット上で比較した，結果を表 4 に示す. 両方の検証モデルにおいて，キャプションのみを使用したモデルが，両方のモダリティを使用したモデルより僅かに上回った（拡張 Pythia は accuracy@ $\{1,3,5\}$ の全てにおいて，拡張 OSCAR は accuracy@1のみにおいて)。これは，両モデルが画像とキャプションの特徴量を効果的に考慮できていないことを示唆する。一方で, Wikipedia から構築されたデータセットで提案タスクを解くにはキャプションのみで十分という可能性も考えられるが, 既存のマルチモーダルタスクにおいても, 同様の結果（画像とキャプションの特徴量を効果的に考慮できていないことを示唆する結果）が得られており (Kembhavi et al. 2016, 2017), この結果は使用したモデルに起因する可能性が高い，実応用として，本タスクを解いて得られたモデルをインター ネット上に存在するマルチモーダル文書データに適用することを考えると（例えば， Amazon ${ }^{24}$ のレビューや食べログ $25 \cdot$ TripAdvisor ${ }^{26}$ のロコミなどのテキストと画像が分離されているデー 夕), 必ずしもキャプションがついているとは限らないため, 画像のみ, または, 画像とキャプションの両方を使用するモデルの性能を向上させる方法を模索することが望ましい.

また, 本タスクが 1 節で述べた技術課題「(i) 長いテキストの読解」「(ii) 複数画像の考慮」が

表 4 検証モデルの Ablation study.

必要なタスクになっていることを検証するために，上記で結果が良かった拡張 OSCAR を用いて，以下の 2 つの実験設定で追加実験を行った.

(i) 各セクションの冒頭文 1 文のみをモデルに入力

(ii) 画像を複数枚同時ではなく個別にモデルに入力

結果を表 5 に示す. 構築したデータセットの分析（表 2）において，1 セクションに含まれる平均単語数が 198.4 であり長いテキストになっていたが, セクションの冒頭文だけ考慮しても夕スクが解けてしまう場合,「長いテキストの読解」が要求されるタスクにはなっていないことになる.しかしながら, 冒頭文のみを使用した場合, 精度が大きく下がったことから (accuracy@1で $32.41 \% \rightarrow 24.22 \%$ ), 本タスクを解くためには長いテキスト（複数文）を考慮する必要があることがわかる。また，拡張 OSCAR モデルは複数の画像を同時に入力することで, self-attention により他の画像情報も考慮するように拡張されたが，画像を個別に入力することで，他の画像情報を使わずに予測を行うこともできる。表 5-(ii)より, 画像を個別に入力した時, 精度 (accuracy@1) が約 1.5 ポイント下がることが確認された. このことから，複数の画像を同時に考慮しなければ解けない事例が含まれていることが示唆される27.

続いて，人間の精度が 6 割にとどまった原因を考察する。原因は, 今回実験で用いたデータセットは Wikipedia から構築されたものであり, 提案タスクを解くためには非常に幅広い知識を要求され, 人間にとってもやや難しいタスクになっていたためと考えられる。これを調べるため, 評価者 3 人の回答一致率を調べたところ, 3 人全員の回答一致率は $48.0 \%, 2$ 人以上の回答一致率は $91.0 \%$ であった. また, 記事毎の回答一致率も確認したところ, ばらつきが大きく,回答が一致する記事と全く一致しない記事の差が顕著であった. これは, Wikipedia には世界中のさまざまな事柄について詳細に記事に記されており，評価者の持つ知識がそれぞれ異なることで，容易に答えられる記事とそうでない記事が評価者によって異なったためと考えられる。 エンティティ関係抽出などの本研究と同様に世界知識を求められるタスクにおいても，夕スクの設定によっては人間の正解率が 7 割程度になったり (Yao et al. 2019), エンティティ間の関係認識タスクのデータセットにおけるアノテーション一致率もばらつきが大きくなる傾向にある (Hendrickx et al. 2010)など, 人間の精度に関して同様の傾向が報告されている.

表 5 提案タスクの特徴の検証実験.

られているためと考えられる。
}

## 5.4 分析

本節では, 提案タスクの事例の特徴，および，前節で評価実験を行った 2 つの検証モデルの提案タスクにおける学習傾向を定量的・定性的に分析する. 以降の分析は全て開発セットで行った.

## 5.4.1 定量分析

## 1 記事の画像数が多いほどタスクとして難しいか？

本タスクを解く場合，各画像について最も適切なテキスト（セクション）を与えられた記事内から選ばなければならないためセクション数が多くなるほどタスクが難しくなることは明らかである。一方で， 1 記事に含まれる画像数はタスクの難しさにどのように関係しているだうか.ここではその関係性について分析する。直感的には 1 記事に含まれる画像数が多くなるほど，画像同士の関係が複雑化し適切なテキスト割り当てを予測することが難しくなると考えられる。また，複数画像が含まれる記事でも，同じセクションにまとまって画像が割り当てられる記事は，画像同士の関連性が高く予測が比較的易しいと考えられ，逆にさまざまなセクションに分散して画像が割り当てられる記事は，画像同士の関連性は低くむしろそれぞれの画像とセクションの関連度を個別に考慮しなければならないため, タスクとしての難易度が高くなる考えられる。これを確かめるため, 1 記事に含まれる画像数と各画像が割り当てられているセクションの全セクション数に対する割合（すなわち，画像の割り当ての記事内でのばらつき度合い)，および，2つの検証モデルの精度との関係を分析した。それぞれの関係を表したのが，図 5 から図 7 である.

画像数

図 51 記事に含まれる画像数（横軸）とそれらの画像のばらつき度合い（散布図，左縦軸）および平均セクション数（折れ線，右縦軸）の関係. ばらつき度合いに関しては，色が濃いほどそのデー夕点における事例数が多く高頻度であることを示している。
図 5 の散布図を見ると， 1 記事あたり 8 枚以下の画像が含まれる記事は，画像が 1 セクションに集中して割り当てられてるものから（縦軸の値が小さいもの）, 別々のセクションに分散して割り当てられている記事まで（縦軸の値が大きいもの）おおよそ等しく分布しているが 28 , 9 枚以上含まれる記事では全セクションの 2 割から 7 割程度のセクションに画像が割り当てられている記事が多いことがわかる。このことから多くの画像が含まれている記事内では，複数画像が同一七クションに割り当てられることがあり，画像間である種のクラスタのようなものが形成され，同じトピックを表す画像はまとまって同じセクションに割り当てられると考えられ，この潜在的なトピックに気付くことが提案タスクを解くポイントになると思われる。一方で, 画像数と平均セクション数の関係（折れ線）を見ると, 画像数に関わらず平均セクション数は $25 \sim 35$ となっている ${ }^{29}$. このことから画像数とセクション数の間に強い相関はないことが示唆される.

図 6,7 は，それぞれ記事あたりの画像数と検証モデルの精度, 画像のばらつき度合い（画像が割り当てられているセクションの割合）と精度をプロットしたものである. どちらの検証モデルも，画像数が少ない記事や画像のばらつき度合いが小さい，すなわち，画像がまとまって割り当てられる記事ほど完璧に解けている（精度 1.0 の）記事数が多いが, 画像が多くなるにつれ，また，画像のばらつき度合いが大きくなるにつれ精度が下がっていることがわかる．特に Pythia はどちらの図においても右上の範囲のデータ点が OSCAR より少なく, この傾向が顕著である。これらの結果から，画像数が多くなるにつれ，また，画像が記事内の複数セクションに

図 6 記事毎の画像数 (横軸) と検証モデルの記事毎の精度 (縦軸) の関係. 色が濃いほど高頻度.

図 7 記事毎の画像のばらつき度合い（横軸）と検証モデルの精度（縦軸）の関係。色が濃いほど高頻度.


図 8 画像のばらつき度合いのヒストグラム。

図 9 正解と検証モデルの予測間の画像のばらつき度合いの差のヒストグラム。

分散して割り当てられている記事ほどタスクとして難しくなること，および，Pythia は OSCAR より画像間の潜在的なトピックを認識できていない可能性が高いと考えられる.

後者の可能性をさらに分析するため, 各記事の正解の画像のばらつき度合いと，検証モデルの予測による画像のばらつき度合い（予測された割り当てセクションの全体に対する割合）を比較した。図 8 に結果のヒストグラムを示す。図から, 正解 (gold) および OSCAR の予測によるばらつき度合いはともに $[0.1,0.2)$ が最頻値なのに対し, Pythia は $[0.0,0.1)$ が最頻値となっている。これは複数画像ある記事でも Pythiaの予測は特定のセクションに集中する傾向にあることを示唆している。図 9 は正解と検証モデルの予測による画像のばらつき度合いの差のヒストグラムである。これを見ると，OSCAR は正解との差が 0.1 未満である記事が大多数であるのに対し, Pythia は正解との差が大きい記事（差 0.2 以上）が一定数存在している. したがって，やはり Pythia は画像間の潜在的なトピックを考慮しているというより，画像が割り当てられるであろうセクションを記事内で選択し，そこに集中的に画像を割り当てていると考えられる。一方 OSCAR は，画像や画像に描かれた物体の類似性などからトピックのようなものを学習し，各トピックに合致するセクションに画像を分散させて割り当てていると考えられる.

## 検証モデルはキャプションに大きく頼ってタスクを解いているか？

構築したデータセットに含まれる画像にはキャプションがついているものが多い. 4.2 節で述べたように，構築したデータセットには多くの固有名詞が含まれており，画像のキャプションも同様である。キャプションに含まれる固有名詞表現と同じ（または一部重複する）表現が含まれるセクションを選べば正解となる可能性がある。その場合, 画像を全く考慮せずにタスクを解けてしまうことになるが，我々が目指すマルチモーダルモデルの学習にはなっていない，我々が今回使用した検証モデルの学習では, そのような望ましくない学習が起きていないと期待する.

この仮説を検証するため, 画像のキャプション中の単語とセクション中の単語の重複率と,検証モデルの精度の関係を調べた。単語の重複率は単語 uni-gram の Simpson 係数 (Vijaymeena

図 10 画像のキャプションと正解セクションの単語の重複率のヒストグラム。検証モデルでは正解した画像のみを考慮。

図 11 画像のキャプションと検証モデルの予測セクションの単語の重複率のヒストグラム。検証モデルでは不正解だった画像のみを考虑.

and Kavitha 2016)によって算出し, 算出の際, ストップワードおよび句読点等の記号は重複率の計算からは除外した ${ }^{30}$. Simpson 係数（重複率）は次式で求めた ${ }^{31}$.

$
\text { Simpson 係数 }(\text { 重複率 })=\frac{\text { 共通単語数 }}{\min (\text { キャプションの単語数, セクションの単語数 })} .
$

結果のヒストグラムを図 10,11 に示す. 図 10 の正解セクションとの重複率のヒストグラム (gold) から, 構築したデータセットには, キャプションとセクションの単語の重複率の観点において多少の偏りはあるものの，バランス良く事例が含まれていることがわかる．また，ヒストグラムの各ビンに注目すると，正解セクションとの個々の重複率の頻度におおよそ比例して，2 つの検証モデルもどの重複率においてもタスクを解けていることがわかる. 図 12 (b) にキャプションがない画像でも 2 の検証モデルが正しく正解セクションを予測した具体例を示す（次節で詳述する）。これより，検証モデルが画像を無視しキャプションに大きく依存してタスクを解いている可能性は低いと考えられる。図 11 は検証モデルが予測を誤った事例の予測セクションとキャプションの単語の重複率のヒストグラムである. 両モデルとも重複率が 0.5 以下の頻度が多くなっていることから，単語の重複率が小さいセクションに誤った予測を行っていることがわかる. キャプションに大きく依存しているならば，逆に重複率の大きいセクションに誤った予測を行うだろうから，この結果も検証モデルがキャプションのみに依存してタスクを解いていないことを示唆している。両モデルともセクション・キャプションの特徴べクトルとして BERT の [CLS] トークンに対応する隠れ層を使用しているため, 予測に必要な特定の固有名詞の情報がエンコード時に欠落し特徴ベクトルに十分反映されていないことがこの原因の一つとして考えられる．BERTの特徴表現に加えて，単語の重複情報も考慮するようなモデル

設計を行うことでこの問題が改善される可能性がある ${ }^{32}$.

## 提案タスクは既存のマルチモーダルタスクの性能向上に寄与するか？

表 1 に示したように Wikipedia から構築したデータセットは, 既存のマルチモーダルタスクのデータセットに比べて大規模であり，多様な言語表現および視覚概念を含む. このことから，提案タスクにおける学習もVision and Languageの事前学習の一種とみなし, 提案タスクで学習したモデルを既存のダウンストリームタスクで fine-tuning することで性能向上できるのではないかと考えた。そこで表 3 の評価実験の結果が良かった拡張 OSCARを，ITeM タスク固有のモデルパラメータを取り去り（具体的には，式 (6) に関係するモデルパラメータ), 原著論文 (Li et al. 2020)に従って同じハイパーパラメータおよび実験設定を用いて，5つのダウンストリームタスク(VQA，GQA，NLVR2， Image Captioning, Image/Text Retrieval) でそれぞれ fine-tuning を行った ${ }^{33}$.

表 6 に結果を示す. GQA タスクでは提案タスクで事前学習を行わなかった OSCARをわずかに上回ったものの，それ以外のタスクでは同等か下回る結果になった.したがって，期待に反してダウンストリームタスクにおける性能向上にはつながらなかった. 原因として, 提案夕スクの学習で用いたデータとダウンストリームタスクにおけるデータのテキストおよび画像のデータ分布の乘離が考えられる。ダウンストリームタスクで使用されるデータには固有名詞はほとんど出現せず，地図や国旗，グラフのような Wikipediaで使用されるイラスト画像も含まれない. このようなドメインの異なるデータで事前学習を行ったことが, 性能向上に至らなかった可能性が高い，既存研究においても，ドメインの異なるマルチモーダルデータでモデルの評価を行うと，たとえ大量のデータでモデルを学習したとしても，同じドメインでの結果ほど高い精度が得られないことが報告されている (Srinivasan et al. 2021). しかしながら，より直接的な原因を特定するためには詳しい分析が必要である.

表 6 Vision and Languageのダウンストリームタスクの実験結果. タスク名の下にはそれぞれのタスクの評価指標を示してある。acc は精度，B@4 は BLUE@4，M は METEOR， C は CIDEr， S は SPICE, T@ $\{1,5\}$ は text-to-image の Recall@ $\{1,5\}, \mathrm{I}\{1,5\}$ は image-to-text の Recall@ $\{1,5\} を$ それぞれ表し，全て数字が大きいほど良い性能である.

実用的なマルチモーダルシステムの構築を目指すならば，Wikipediaのような Web 上に存在するマルチモーダルデータもうまく扱うことができることが望ましい. 既存のべンチマークとして使用されているマルチモーダルデータセットにおいてこれらの性能が正しく評価されているかという点についても継続的な議論を行っていくべきであると考える。一方で, ドメインの異なるタスク・データにモデルを適用させる際は, 転移学習が有効であることも知られている.例えば，BERT などの事前学習済み大規模言語モデルを他ドメインに適用させる際は，そのドメインのデータで追加事前学習を行ったり (Gururangan et al. 2020), fine-tuning 時に単語分割器も同時に最適化する (平岡他 2022)などの手法が有効であることが知られている. これらの手法の適用可能性や有効性を検証することは今後の課題である.

## 5.4.2 定性分析

ここでは, 検証モデルが実際に学習できた事例, 学習に失敗した事例を通して提案タスクと検証モデルの特徴について考察する。開発セットにおいて，2つの検証モデルが共に正解セクションを正しく予測できた割合は全体の $7.7 \%$ （2,421画像）だった. これらの事例を人手で確認したところ, 共通して学習できたと思われるテキストと画像間の対応関係パターンが見つかった.例えば，図 $12(\mathrm{a})^{34}$ に示すように，白黒画像やセピア調の画像は過去の出来事を説明しているセクションに割り当てられる傾向にあることを学習した。他にも, 衛生画像や広範囲の景色を映したランドスケープ・パノラマ画像，および，地図画像は国や地域に関する記事の地理・地形を説明しているセクションに対応することを学習し（図 12 (a) 中央の例), 建造物の外観全体を映した画像は著名な建築物や有名な観光スポットを説明するセクションに対応することを学習している（図 12 (a) 右の例）ことが複数確認された. 白黒画像や地図画像, それらのキャプション中やセクション中に現れる固有名詞表現等は表 1 に挙げた既存のマルチモーダルデータセットにはほとんど含まれないため，本タスクを通してそれらの画像やテキストの特徴およびその対応関係を学習したといえる。

より難しい事例として，キャプションが全くない画像が考えられる．正解セクションを予測するには，画像のみを手がかりとし画像中の物体を正しく認識し，時には画像間の関連性も考慮しながら適切なセクションを選ぶ必要がある。開発セットにキャプションがついていない画像は 97 件含まれていた。このうち, Pythia は 12 件 (12.37\%), OSCAR は 30 件 $(30.93 \%)$ 正しく正解セクションを予測できた。具体例を図 $12(\mathrm{~b})^{35}$ に示す. 図中の 4 枚の画像は全てキャプションがついておらず，またこの記事は 14 セクョンから構成される記事だったが，2つの検


satellite image Map of Sylt (North of Sylt Frisian, German ...

Geography

With 99.14 square kilometres

( 38.28 square miles), Sylt is the fourth-largest German ... the Togo National Museum

Lomé

bu

Architecture and urbanism Notable landmarks in the city include Lomé Grand Market, the Togo National Museum ..

学習した典型的なテキストと画像の対応関係の例.

Rushey Mead

## The World Tree

Located in Rushey Mead, on the corner of Melton Road and Troon Way, is a 5m high steel セクション tree sculpture with bronze light bulbs on the branches. It stands opposite the former site of the GE-Thorn Lighting factory, in which a Sainsbury's supermarket now occupies. It cost $£ 62,000$ and was paid for by Sainsbury's. It was unveiled on the 4th of March 2016 by the Speaker of the House of Commons John Bercow in the attendance of Mayor of Leicester Peter Soulsby and Leicester East MP Keith Vaz.

(b) 検証モデルがキャプションなし画像に対して正しく正解セクションを予測できた例.

予測された

セクション

正解

セクション
Boot

Boot hooks (left) and a boot jack (right) are sometimes required to put on or take off some types of boots

## Boot

A boot or boots is a type of footwear and not a specific type of shoe. ...

## Boot parts and accessories
- Spats

- Boot jack

- For the parts of a boot, see Hiking boot\#Parts (link)

5-megapixel camera phones from 2007: Nokia N95, ...

The bottom left image has a diffusion filter applied to the original image (shown in the top left)...

## Camera phone

A camera phone is a mobile phone which is able to capture photographs, ...

## History

... In 2005, Nokia became the world's most sold digital camera brand. In 2006, half of the world's mobile phones

## Photographic filter

In photography and cinematography, a filter is a camera accessory consisting of an optical filter ..

## Diffusion

A diffusion filter (also called a softening filter) softens subjects and generates a dreamy haze ...

(c) 検証モデルが予測を誤ったよりハイレベルな読解力が求められる例.

図 12 検証モデルの予測例. キャプションやセクションが長い場合は一部のみ抜粋.
証モデルは 4 枚全ての画像を正しいセクション「The World Tree」に割り当てた. これらの画像は全て「The World Tree」(図 12 (b)の一番左端の画像に描かれた木の彫刻) とその周辺の物を描いたものである．各画像を独立に考慮してしまうと 4 枚の画像のうち左端を除く 3 枚の画像が木の彫刻（の全体）が描かれていないため正解セクションに関連する画像であると推測することが難しくなると思われるが 36,2 つ検証モデルは画像間の背景が似ていることや式 (5) および (6) から画像間の関連性を考慮し，正しいセクションを予測したと考えられる。したがってこの例は，本タスクによって，既存のマルチモーダルタスクで扱われてこなかった複数画像を関連づける処理が学習できていることを示唆している．5.3 節の実験結果から精度上は人間の性能にまだ及ばないものの，人間がマルチモーダル文書を読む上で自然に行っているこのような処理を適切なタスク設計することで学習可能であることを示唆する結果が得られたことは非常に興味深い.

しかしながら，人間の性能とのギャップを埋めるためにモデルが改善すべき点もいくつか確認された. 図 12 (c)に具体例を示す 37 . 図 12 (c) 左の例は, 画像中の物体やキャプションの情報を抽象化するのに失敗した例である。描かれた物体はブーツの部品や付属品の具体例であり， これらは「ブーツ」に関する記事の「Boot parts and accessories」を説明しているセクションに割り当てるのが妥当である。キャプションと正解セクションには「boot jack」という単語列も共通して現れている。しかしながら，2つの検証モデルはいずれもこの画像を第 1 セクション， すなわち，記事タイトル直下のブーツの概要を説明しているセクションに割り当てた。おそらくこの原因は，第 1 セクションおよびキャプション中にブーツに関連する表現 (boots, footwear, shoe や put on, take off など）があり，それらが強く結び付いてしまったためと考えられる。この事例は画像中の物体そのものを考慮するのではなく, 物体は例示の目的で使われていることを認識し，抽象化して正解セクションを予測しなければならない，図 12 (c) 中央の例は，描かれている物体の時代変化を認識することに失敗している。人工物や生物は, それを呼称する名前（商品名, 個人名, 概念としての名称）は変わらなくとも, 時が経つにつれてその視覚的特徴 (外観, 形状など）がしばしば変化する。図 12 (c) 中央の画像は 2000 年代のカメラ機能付き携帯電話を映したものであり，2，3世代前の携帯電話であることから，記事「Camera phone」の 「History」セクションに割り当てるのが正しい. キャプションからも画像中の「camera phone」 が「2007」年のものであることを読み取れるし,「History」セクションも各年代ごとにその年代を代表する「camera phone」の説明をしている。しかし, この例も上記の例と同様, 2 つの検証モデルは画像中の物体が「(camera) phone」であることにのみ注目し「camera phone」の概要


を述べている第 1 セクションに誤って割り当てている。このことから両モデルは（カメラ付き）携帯電話の視覚的特徴が時代変化することをうまく学習できていないと思われる. これまでのマルチモーダル手法も，ある時に一度だけ画像を収集し作られたデータセット上（MS COCO (Lin et al. 2014) や Visual Genome (Krishna et al. 2017) など) で学習されていたため, これと同様の問題が起きる可能性がある。図 12 (c) 右の例は, 画像中の物体に注目するのではなく,画像（小領域）の変化/差分を認識しなければ解けない事例である。画像は 4 つの小領域で構成され，左上の小領域に対して，異なる画像処理 (photographic filter) を適用した結果が残りの小領域となっている。左上の小領域から左下の小領域への変化が正解セクションで説明されている「Diffusion」と呼ばれる画像処理であり, 小領域の視覚的差分がこれに合致することを認識しなければならない. マルチモーダル文書における画像の 1 つの用法としてこのような対比が使われることがある。例えば，ある処理の適用前後の対比や同一視点・同一被写体の時間変化 (夜空の星の動きなど), taxonomy 上で同じ階層に位置する概念の比較（ゴールデンレトリバー とラブラドールレトリバーの比較等）などがある. この他にもマルチモーダル文書における画像の使われ方はさまざまであり，Marsh and White (2003) はその使用法について実際に存在する Web 記事を調査し， 49 種類の使用法があることを発見し， taxonomyを構築している．実用的なマルチモーダルシステムを構築するためには, これらの用法に合わせた画像理解ができるように改善を今後していくことが望ましい，我々は，本タスクおよびこれらの分析が，より有用なマルチモーダル手法の構築に繋がることを期待する.

## 6 おわりに

本研究では, 実用的なマルチモーダルシステムの構築を目指し, マルチモーダル文書中の画像とテキストのマッチングを求める新たなタスク Image-to-Text Matching (ITeM) を提案した. また, マークアップに着目し英語版 Wikipedia から機械的に提案タスク用のデータセットを構築する方法も提案した，構築したデータセットは，既存の単一言語からなるマルチモーダルデー 夕セットと比べ, 画像数, 文書数, 語彙数の観点で大規模であり, 多様な言語表現, 視覚的概念, 画像の用法を含むことを示した．提案タスクの妥当性, 難易度を測るために，既存のマルチモーダル手法を本タスク上で動作するように最低限の改良を施し，評価実験を行った。その結果, 既存のマルチモーダル手法は 3 割から 7 割の精度でタスクを解くことができることを確認したが，人間の性能との間にはまだ差があり改善の余地があることがわかった．定量的および定性的に結果を分析したところ，1文書あたりの画像数が多くなるほど，また，画像が文書内に散りばめられている文書ほど問題が難化する傾向にあることを確認した。一方で，これまでのマルチモーダルタスクで扱われてこなかった複数画像を考慮するという処理など興味深い学習が行われていることを示唆する結果も得られた。今後は提案タスクで事前学習したモデル

が既存のマルチモーダルのダウンストリームタスクで性能向上が見られなかった原因を調査し，提案手法およびその他のダウンストリームタスクでも性能向上を達成する手法の開発を目指す. また, 本研究を発展させ, 本研究で扱った 1 節の技術課題を含むマルチモーダルデータと同種のデータ（Amazon や食ベログ，TripAdvisor 等のレビューや Facebook 等の投稿, ウェブニュー スの記事などのテキストと画像が分離されているデータ）や提案タスクに類似する夕スク（新聞記事の適切な画像選定や物語からの自動絵本生成等）に取り組む研究や実応用に繋がることを期待する。

## 謝 辞

本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受けたものです。本稿の査読にあたり，查読者の方から本稿をより良くするため，多くの有益で建設的な意見をいただいたことに感謝いたします。本稿を執筆するにあたり，研究室の学生からたくさんのご助言をいただきました。ここに感謝します。

## 参考文献

Agrawal, A., Lu, J., Antol, S., Mitchell, M., Zitnick, C. L., Parikh, D., and Batra, D. (2017). "VQA: Visual Question Answering." International Journal of Computer Vision, 123 (1), pp. 4-31.

Agrawal, H., Chandrasekaran, A., Batra, D., Parikh, D., and Bansal, M. (2016). "Sort Story: Sorting Jumbled Images and Captions into Stories." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 925-931.

Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Lawrence Zitnick, C., and Parikh, D. (2015). "VQA: Visual Question Answering." In Proceedings of the IEEE International Conference on Computer Vision, pp. 2425-2433.

Bansal, A., Zhang, Y., and Chellappa, R. (2020). "Visual Question Answering on Image Sets." In Proceedings of the European Conference on Computer Vision (ECCV), pp. 51-67.

Bird, S., Klein, E., and Loper, E. (2009). Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O'Reilly Media, Inc.

Biten, A. F., Gomez, L., Rusinol, M., and Karatzas, D. (2019). "Good News, Everyone! Context Driven Entity-aware Captioning for News Images." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 12466-12475.

Bosselut, A., Chen, J., Warren, D., Hajishirzi, H., and Choi, Y. (2016). "Learning Prototypical

Event Structure from Photo Albums." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1769-1779.

Changpinyo, S., Sharma, P., Ding, N., and Soricut, R. (2021). "Conceptual 12M: Pushing WebScale Image-Text Pre-Training To Recognize Long-Tail Visual Concepts." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3557-3567.

Desai, K., Kaul, G., Aysola, Z. T., and Johnson, J. (2021). "RedCaps: Web-curated Image-text Data Created by the People, for the People." In 35th Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Goyal, Y., Khot, T., Summers-Stay, D., Batra, D., and Parikh, D. (2017). "Making the V in VQA matter: Elevating the Role of Image Understanding in Visual Question Answering." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6904-6913.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. $770-778$.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38.

Hessel, J., Lee, L., and Mimno, D. (2019). "Unsupervised Discovery of Multimodal Links in Multiimage, Multi-sentence Documents." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 2034-2045.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2022). 単語分割と後段モデルの損失値を用いた同時最適化. 自然言語処理, 29 (1), pp. 112-143. [T. Hiraoka, et al. (2022). Joint Optimization of Word Segmentation and Downstream Model using Downstream Loss. Journal of Natural

Languege Processing, 29 (1), pp. 112-143].

Honnibal, M. and Montani, I. (2017). "spaCy 2: Natural Language Understanding with Bloom Embeddings, Convolutional Neural Networks and Incremental Parsing.".

Hossain, M. Z., Sohel, F., Shiratuddin, M. F., and Laga, H. (2019). "A Comprehensive Survey of Deep Learning for Image Captioning." ACM Computing Surveys (CSUR), 51 (6), pp. 118:1-118:36.

Iyyer, M., Manjunatha, V., Guha, A., Vyas, Y., Boyd-Graber, J., Daume, H., and Davis, L. S. (2017). "The Amazing Mysteries of the Gutter: Drawing Inferences between Panels in Comic Book Narratives." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7186-7195.

Jiang, Y., Natarajan, V., Chen, X., Rohrbach, M., Batra, D., and Parikh, D. (2018). "Pythia v0.1: The Winning Entry to the VQA Challenge 2018." arXiv preprint arXiv:1807.09956.

Kafle, K. and Kanan, C. (2017). "Visual Question Answering: Datasets, Algorithms, and Future Challenges." Computer Vision and Image Understanding, 163, pp. 3-20.

Kembhavi, A., Salvato, M., Kolve, E., Seo, M., Hajishirzi, H., and Farhadi, A. (2016). "A Diagram is Worth a Dozen Images." In European Conference on Computer Vision, pp. 235-251.

Kembhavi, A., Seo, M., Schwenk, D., Choi, J., Farhadi, A., and Hajishirzi, H. (2017). "Are You Smarter than a Sixth Grader? Textbook Question Answering for Multimodal Machine Comprehension." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4999-5007.

Khan, S., Naseer, M., Hayat, M., Zamir, S. W., Khan, F. S., and Shah, M. (2022). "Transformers in Vision: A Survey." ACM Computing Surveys (CSUR), 54 (10s), pp. 1-41.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15.

Krause, J., Johnson, J., Krishna, R., and Fei-Fei, L. (2017). "A Hierarchical Approach for Generating Descriptive Image Paragraphs." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 317-325.

Krishna, R., Zhu, Y., Groth, O., Johnson, J., Hata, K., Kravitz, J., Chen, S., Kalantidis, Y., Li, L.-J., Shamma, D. A., Bernstein, M. S., and Fei-Fei, L. (2017). "Visual Genome: Connecting Language and Vision using Crowdsourced Dense Image Annotations." International Journal of Computer Vision, 123 (1), pp. 32-73.

Li, X., Yin, X., Li, C., Zhang, P., Hu, X., Zhang, L., Wang, L., Hu, H., Dong, L., Wei, F., et al. (2020). "Oscar: Object-semantics Aligned Pre-training for Vision-language Tasks." In European Conference on Computer Vision, pp. 121-137.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., and Zitnick, C. L. (2014). "Microsoft COCO: Common Objects in Context." In European Conference on Computer Vision, pp. 740-755.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings of the 7th International Conference on Learning Representations, pp. 1-18.

Marsh, E. E. and White, M. D. (2003). "A Taxonomy of Relationships between Images and Text." Journal of Documentation, 59, pp. 647-672.

Mathew, M., Bagal, V., Tito, R., Karatzas, D., Valveny, E., and Jawahar, C. (2022). "InfographicVQA." In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1697-1706.

Mathew, M., Karatzas, D., and Jawahar, C. (2021). "Docvqa: A Dataset for VQA on Document Images." In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer vision, pp. 2200-2209.

Muraoka, M., Kohita, R., and Ishii, E. (2020). "Image Position Prediction in Multimodal Documents." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4265-4274.

Ordonez, V., Kulkarni, G., and Berg, T. (2011). "Im2Text: Describing Images Using 1 Million Captioned Photographs." In Proceedings of the 24th International Conference on Neural Information Processing Systems, Vol. 24, pp. 1143-1151.

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. (2021). "Learning Transferable Visual Models from Natural Language Supervision." In International Conference on Machine Learning, pp. 8748-8763.

Ren, S., He, K., Girshick, R., and Sun, J. (2016). "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks." IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (6), pp. 1137-1149.

Schuhmann, C., Beaumont, R., Gordon, C. W., Wightman, R., Cherti, M., Coombes, T., Katta, A., Mullis, C., Schramowski, P., Kundurthy, S. R., Crowson, K., Wortsman, M., Vencu, R., Schmidt, L., Kaczmarczyk, R., and Jitsev, J. (2022). "LAION-5B: An Open Large-scale Dataset for Training Next Generation Image-text Models." In 36th Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

Schuhmann, C., Vencu, R., Beaumont, R., Kaczmarczyk, R., Mullis, C., Katta, A., Coombes, T., Jitsev, J., and Komatsuzaki, A. (2021). "LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs." In NeurIPS Workshop Datacentric AI, No. FZJ-2022-00923,
pp. $1-5$.

Shah, S., Mishra, A., Yadati, N., and Talukdar, P. P. (2019). "KVQA: Knowledge-Aware Visual Question Answering." In Proceedings the 33rd AAAI Conference on Artificial Intelligence, Vol. 33, pp. 8876-8884.

Sharma, P., Ding, N., Goodman, S., and Soricut, R. (2018). "Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565.

Srinivasan, K., Raman, K., Chen, J., Bendersky, M., and Najork, M. (2021). "Wit: Wikipediabased Image Text Dataset for Multimodal Multilingual Machine Learning." In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2443-2449.

Tanaka, R., Nishida, K., and Yoshida, S. (2021). "VisualMRC: Machine Reading Comprehension on Document Images." Proceedings of the AAAI Conference on Artificial Intelligence, $\mathbf{3 5}$ (15), pp. 13878-13888.

Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. (2016). "YFCC100M: The New Data in Multimedia Research." Communications of the $A C M, 59(2)$, pp. 64-73.

Tito, R., Karatzas, D., and Valveny, E. (2021). "Document Collection Visual Question Answering." In International Conference on Document Analysis and Recognition, pp. 778-792.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, Vol. 30, pp. 6000-6010.

Vijaymeena, M. and Kavitha, K. (2016). "A Survey on Similarity Measures in Text Mining." Machine Learning and Applications: An International Journal, 3 (2), pp. 19-28.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Wu, Q., Teney, D., Wang, P., Shen, C., Dick, A., and van den Hengel, A. (2017). "Visual Question Answering: A Survey of Methods and Datasets." Computer Vision and Image Understanding, 163, pp. 21-40.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y.,

Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144.

Xu, Y., Xu, Y., Lv, T., Cui, L., Wei, F., Wang, G., Lu, Y., Florencio, D., Zhang, C., Che, W., Zhang, M., and Zhou, L. (2021). "LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591.

Xu, Y., Li, M., Cui, L., Huang, S., Wei, F., and Zhou, M. (2020). "Layoutlm: Pre-training of text and layout for document image understanding." In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \&S Data Mining, pp. 1192-1200.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019). "DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777.

Zhu, Y., Kiros, R., Zemel, R., Salakhutdinov, R., Urtasun, R., Torralba, A., and Fidler, S. (2015).

"Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books." In Proceedings of the IEEE International Conference on Computer Vision, pp. 19-27.

## 略歴

村岡雅康：2016 年東北大学大学院情報科学研究科博士前期課程修了. 同年,日本アイ・ビー・エム株式会社に入社. 2020 年 10 月より東京工業大学情報理工学院博士後期課程に在学. 言語処理学会会員.

岡崎直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て，2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.

小比田涼介：2018 年奈良先端科学技術大学院大学情報工学科博士前期課程修了.同年, 日本アイ・ビー・エム株式会社に入社.

石井悦子：2019 年東京大学工学部計数工学科卒業. 同年より Department of

Electronic \& Computer Engineering, The Hong Kong University of Science and Technology, 博士課程に在学. ACL 学生会員.

(2022 年 5 月 31 日受付)

(2022 年 8 月 31 日再受付)

(2022 年 9 月 29 日採録)