マルチモーダルOCR特徴を用いたDynamicPointerNetworkによるテキスト付き画像説明文生成

テキスト情報を含む画像の説明文生成は視覚のバリアフリー化を実現するための重要な課題の一つである.本研究では,テキスト情報を含む画像に対して説明文を生成するタスクに対して,マルチモーダルOCR特徴を含む複数のモダリティを利用した画像説明文生成モデルを提案する.提案手法では画像中のテキスト領域を複数のモダリティに分割するマルチモーダルOCR特徴を導入する.さらに,画像,物体領域,マルチモーダルOCR特徴を含む複数モダリティ間の関係をモデル化するための相互注意を導入する.提案手法はTextCapsデータセットにおいて既存手法を上回る結果を得た.