文脈を考慮した漫画の内容理解アーキテクチャの提案

漫画は画像とテキストが統合されたマルチモーダルの媒体である．その物語を理解するためにはコマ間の文脈的な関係性を捉えることが不可欠である．本研究では，動画像認識における空間・時間情報の分離処理に着想を得て，コマ内の要素間の関係とコマ間の文脈遷移を階層的に学習する漫画エンコーダのアーキテクチャを提案する．具体的には，ComicBERTの入力表現を拡張し，SpatialEncoderとTemporalEncoderの2つのモジュールを直列に配置することで，計算の効率化と文脈理解能力の向上を図る．次パネル予測タスクにおける評価実験の結果，提案手法は従来手法を上回る性能を示した．