レイアウト構造木を介したマンガページ生成手法：視覚・テキスト特徴の有効性比較

マンガは，テキスト，画像，およびページ内レイアウトが密接に結びついたマルチモーダルな視覚叙事媒体である．とりわけ，1ページ内に配置された複数のコマの空間構成は，時間的進行や視線誘導，物語的強調に関与する重要な要因であることが，理論研究[1,2,3]および実証研究[4,5,6]の双方から示されてきた．さらに近年では，ページ内レイアウトの特徴のみから作品の識別が可能であることも報告されている[7]．しかし，このようなページレイアウトがどのような情報に基づいて決定されるのかは，計算的観点から十分に明らかにされていない．近年の計算マンガ研究では，コマ検出[8,9]，吹き出し検出[10,11]，キャラクター同定[12,13]，発話者推定[14,15]など，ページ内の局所要素を対象とする解析技術が大きく進展してきた．一方で，ページ全体の分割様式やコマ間の階層的関係としてのレイアウト構造を，明示的な予測対象として扱う研究は依然として限定的である．また，文書やUI分野では，要素列から配置を生成する手法や系列変換としてレイアウトを扱う枠組みが提案されており[16,17]，大規模言語モデルを用いた配置推論も報告されている[18,19,20]．しかし，これらはいずれも単一画面内の要素配置を主対象としており，複数の視覚単位へとページを分割するマンガレイアウトとは問題設定が異なる．さらに，マンガ生成研究では，テキスト記述からコマ画像を生成する手法が提案されている一方[21,22]，ページレベルのコマ配置構造はテンプレートや外部指定に依存する場合が多く，十分に扱われてこなかった．そこで本稿では，マンガページのレイアウトをページ分割およびコマ間関係から成る中間的な構造表現として明示化し，テキスト特徴および視覚特徴を入力としてこれを推定する手法を提案する．一連の実験を通じて，レイアウト構造推定においては，コマキャプションの語義的内容よりも，コマ画像が有する視覚的構図情報が支配的な役割を果たすことを示す．さらに，推定されたレイアウト構造に基づく座標生成により，ページ配置生成におけるその有効性を検証する．