マルチモーダルOCR特徴を用いたDynamicPointerNetworkによるテキスト付き画像説明文生成

テキスト情報を含む標識や看板などは日常生活に多く存在する.テキスト情報を含む画像の説明文生成は,日常生活における視覚のバリアフリー化を促進する一つの手段である.また,画像の代替テキスト(alt属性など)の生成における品質向上にとって有益である.以上の社会的背景から,本研究ではTextCaps(Text-basedImageCaptioning)タスクを扱う.TextCapsタスクはテキスト情報を含む画像に対してOCR(OpticalCharacterRecognition)を利用して説明文を生成するタスクである.図1に提案手法の概要図を示す.図の例では,“astorecalleddel’ssellssoftfrozenlemonade”という説明文を生成することが望ましい.本タスクではOCRトークンの多面的な視覚言語特徴や,OCRトークンと物体間の関係を考慮することが重要である.しかし,先行研究[1],[2]ではそれらの考慮が不十分であり,十分な性能が得られなかった.そこで本研究では,マルチモーダルOCR特徴を含む複数のモダリティを利用した画像説明文生成モデImageFeaturesAttentionBlocksOCRFeaturesTransformerDecoderwithdynamicpointernetworkObjectFeaturesTextCaps(generatedcaption)astorecalleddel’ssellssoftfrozenlemonadeルを提案する.ここでマルチモーダルOCR特徴とは,OCRにより得られたテキストとその画像領域に関する視覚言語特徴を指すものとする.提案手法では,事前学習済みのCLIP(ContrastiveLanguage-ImagePre-training)[3]モデルを全体画像とOCRトークンの言語特徴量を抽出するために用いる.さらに複数のモダリティ間の関係をモデル化する相互注意を導入することで,性能の向上が期待できる.本研究の新規性は以下の通りである．•既存手法と異なり,画像中のテキスト領域を複数のモダリティに分割するマルチモーダルOCR特徴を導入する.•画像全体,物体領域,マルチモーダルOCR特徴を含む複数モダリティ間の関係をモデル化するための相互注意を導入する.