文脈を考慮した漫画の内容理解アーキテクチャの提案

漫画は，視覚情報である画像と言語情報であるテキストが統合されたマルチモーダルな媒体である．その物語はコマ割りや吹き出しによるセリフ表現，オノマトペ，効果線など漫画特有の技法によって読者に伝えられる．こうした特異性から，近年では漫画の解析や理解そのものを対象とした研究が，独立した分野として進められている．具体的には，コマ，キャラクター，文字といった漫画の構成要素を検出するモデル[1]やテキストに対するOCRを行うモデル，あるいは特定のコマやページに関する質問に回答するモデル[2]などが提案されている．しかし，既存の多くのモデルは解析や理解を行う対象が単一のコマ，あるいはページに限定されている．物語の流れを理解するためには，個々のコマやその構成要素の解析にとどまらず，コマ同士の文脈的な関係性も捉えるモデルを構築し，多数のコマにまたがる大域的な関係性を学習させることが必要不可欠である．本研究では，漫画の物語の流れをより豊かに理解し，下流タスクに応用可能な漫画理解エンコーダを構築することを目的とする．具体的には，動画像認識の分野で用いられる手法に着想を得て，動画像認識モデルが空間方向の情報と時間方向の情報を分けて処理するという考え方を漫画理解に応用する．すなわち，コマ内の構成要素の関係性とコマ同士の文脈的な関連性の学習プロセスを分離したアーキテクチャを，ComicBERT[3]の手法を拡張することで構築する．提案するモデルの有効性を検証するため，次パネル予測(NextPanelPrediction,NPP)というタスクを用いた評価実験を行った．実験の結果，提案手法が従来手法に比べ高い正答率を示した．このことは，動画像認識で用いられるような空間情報と時間軸情報の分離が，漫画の文脈理解にも応用可能であることを示唆する．