漫画は画像とテキストが統合されたマルチモーダルの媒体である．その物語を理解するためにはコマ間の文脈的な関係性を捉えることが不可欠である．本研究では，動画像認識における空間・時間情報の分離処理に着想を得て，コマ内の要素間の関係とコマ間の文脈遷移を階層的に学習する漫画エンコーダのアーキテクチャを提案する．具体的には，ComicBERTの入力表現を拡張し，SpatialEncoderとTemporalEncoderの2つのモジュールを直列に配置することで，計算の効率化と文脈理解能力の向上を図る．次パネル予測タスクにおける評価実験の結果，提案手法は従来手法を上回る性能を示した．

漫画は，視覚情報である画像と言語情報であるテキストが統合されたマルチモーダルな媒体である．その物語はコマ割りや吹き出しによるセリフ表現，オノマトペ，効果線など漫画特有の技法によって読者に伝えられる．こうした特異性から，近年では漫画の解析や理解そのものを対象とした研究が，独立した分野として進められている．具体的には，コマ，キャラクター，文字といった漫画の構成要素を検出するモデル[1]やテキストに対するOCRを行うモデル，あるいは特定のコマやページに関する質問に回答するモデル[2]などが提案されている．しかし，既存の多くのモデルは解析や理解を行う対象が単一のコマ，あるいはページに限定されている．物語の流れを理解するためには，個々のコマやその構成要素の解析にとどまらず，コマ同士の文脈的な関係性も捉えるモデルを構築し，多数のコマにまたがる大域的な関係性を学習させることが必要不可欠である．本研究では，漫画の物語の流れをより豊かに理解し，下流タスクに応用可能な漫画理解エンコーダを構築することを目的とする．具体的には，動画像認識の分野で用いられる手法に着想を得て，動画像認識モデルが空間方向の情報と時間方向の情報を分けて処理するという考え方を漫画理解に応用する．すなわち，コマ内の構成要素の関係性とコマ同士の文脈的な関連性の学習プロセスを分離したアーキテクチャを，ComicBERT[3]の手法を拡張することで構築する．提案するモデルの有効性を検証するため，次パネル予測(NextPanelPrediction,NPP)というタスクを用いた評価実験を行った．実験の結果，提案手法が従来手法に比べ高い正答率を示した．このことは，動画像認識で用いられるような空間情報と時間軸情報の分離が，漫画の文脈理解にも応用可能であることを示唆する．