\label{sec:intro}言語と画像という二つの異なるモダリティを橋渡しする技術を確立することは，自然言語処理および画像処理の両分野において重要な目標の一つである．この目標に向けて，これまで複数のマルチモーダルタスクにおいて大きな進歩を遂げてきた．例えば，画像のキャプション生成タスク\cite{lin2014microsoft}や画像の質問応答タスク\cite{antol2015vqa,agrawal2017vqa}は，盛んに研究が行われている代表的なマルチモーダルタスクである\cite{hossain2019comprehensive,kafle2017visual,wu2017visual}．画像のキャプション生成タスクでは，入力画像の内容を短く簡潔な自然言語（キャプション）で記述することを目的とし，画像の質問応答タスクでは，自然言語で問われた画像に関する質問（文）に自然言語で回答することがタスクのゴールである．しかしながら，普段我々人間が目にする実際のマルチモーダル文書\footnote{本研究では，文書に画像が付随するデータをマルチモーダル文書と呼称する．}は，複数文および複数画像から成る場合がある．ニュース記事には取り上げている事件・イベントに関連する写真が含まれるし，料理のレシピには途中の各工程の様子が描かれた画像を載せることがある．また，Wikipedia\footnote{\url{https://www.wikipedia.org/}}の記事には人物，各国の建造物・街並み，電化製品や自動車などの人工物，草花，鉱物，化学物質など，ありとあらゆる物事が詳しく記述され，それらに関連する画像が付随する．この時，文書の適切な位置に画像が配置されることで，画像は我々人間が文書理解することを助けている．言い換えれば，我々人間は，画像と文書内の（多くの場合はその近辺の）テキストの関連性や対応関係を自然に読み取りながら文書を理解している．一方，画像のキャプション生成タスクや質問応答タスクを含む既存の多くのマルチモーダルタスクでは，タスクの定義上1事例が短文と1画像のペアで構成されるため，複数画像の対応関係や，文書レベルの長いテキスト，および，データセットのアノテーションコストの都合上多種多様な視覚的概念を扱っていない．これは，既存のマルチモーダルタスクからでは上述した人間が行う文書理解の仕方を明示的に学習させたり，既存のタスク上で学習されたモデルをそのまま上述した我々が普段目にする多様なマルチモーダル文書に適用できないことを示唆している．この問題に対処するため，我々は実際にWeb上に存在するマルチモーダル文書を対象とした新しいタスク，Image-to-TextMatching(ITeM)を提案する\footnote{本研究の内容の一部はLREC2020に採択されたものである\cite{muraoka-lrec-2020}．}．これにより実応用可能なマルチモーダルシステムを構築するための新たな研究の方向性を切り開くことが本研究の目的である．図~\ref{fig:task_overview}に提案タスクの概要を示す\footnote{\url{https://en.wikipedia.org/w/index.php?title=Headset_(audio)&oldid=899726384}}．このタスクの目標は，ある1つの入力文書と入力画像集合が与えられた時，読者の文書理解を助けるような画像の文書内における配置位置，すなわち，関連度の高い部分テキストを予測することである．このタスクを解くためには，複数文および複数画像を考慮することが要求される．それに加え，このタスクには既存のマルチモーダルタスクでは扱われていない次の3つの技術課題が含まれる．(i)文書レベルの長いテキスト，および，内在する文書構造を考慮すること．(ii)複数の画像を関連づけること．例えば，図~\ref{fig:task_overview}の最初の2つの画像は，対比しながら見ることで視覚的形状の違いを強調させつつ，対応するテキスト（``Bluetooth''セクション）を補完している．(iii)既存のマルチモーダルタスクで扱われる事前に定義された限られた種類の視覚的概念だけでなく，固有名詞を含む幅広いドメインで扱われる多様な語彙知識に対処すること．これらの技術課題を含む提案タスクによって，新聞記事の見出し生成や適切な画像選定，物語からの自動絵本生成，イベント写真からのアルバム生成など，マルチモーダル文書に関する新たな研究や応用を期待できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics[height=245.6pt,clip]{29-4ia6f1_org.pdf}\end{center}\caption{提案タスクの概要．英語版Wikipedia``Headset(audio)''より引用，一部改変．}\label{fig:task_overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，ITeMタスクを提案するにあたり，我々はWikipediadumpから66,947文書および320,200画像からなる大規模なデータセットを低コストで機械的に構築する．Wikipediaに着目したのは，1つの記事ページを1つのマルチモーダル文書とみなすことができ，また，タスクのゴールである文書内のテキストと画像の対応関係がマークアップファイルに明示的に記述されているためである．それに加え，Wikipediaでは，様々なトピック・事柄について扱われており，さらにWikipediaのセクション構造を擬似的な文書構造（段落構造）とみなすことができる．従って，Wikipediaは上述した3つの技術課題を全て満たす言語資源である．また，構築したデータセットは，既存の単一言語からなるマルチモーダルデータセットと比べ，画像数，文書数，語彙数の観点で大規模であることを\ref{sec:dataset}節で示す．提案タスクの妥当性と難易度を調査するため，過去に既存のマルチモーダルタスクで最高精度を達成した手法(Pythia\cite{jiang2018pythia}，OSCAR\cite{li2020oscar})を本タスク向けに改良を行い，評価実験を行う．実験結果から，改良した既存手法はベースラインを大幅に上回り，提案タスクを解くことができる可能性を示したものの，人間の精度に到達するには改良の余地があることも確認された．また，提案タスクを事前学習の一種とみなし，提案タスクで学習させたモデルを既存のマルチモーダルタスクでfine-tuningし，性能評価を行った．その結果，提案タスクで学習を行わなかったモデルとの明らかな差は見られなかった一方で，定量分析および定性分析により，記事内の画像数が多くなるほど，また，画像が分散して配置されている記事ほどタスクが難しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど，既存のタスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価していることが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%