日本語特許を利用した画像キャプションデータセットの構築と段階的情報抽出によるキャプション生成手法の提案

近年、企業のDXにより社内文書の電子化と利活用が進む一方、解析対象は依然としてテキスト中心である。例えば我々の事故事例文書絞り込み検索システム[1]もテキストのみを扱うが、技術文書では図表が情報の核心を担う場合が多く、テキストのみの解析では十分な知見を得にくい。画像情報を既存のテキスト解析基盤へ統合する手段として画像からのキャプション生成が有効だが、汎用キャプション生成技術は日常画像を主対象として発展してきたため、線画・構造図が多い技術文書では専門用語や図中のラベル（参照用文字列）との整合が難しく、重要情報の欠落やハルシネーション[2]が生じやすい。そこで本研究では、技術文書の例として日本語公開特許公報を対象に、図面単位で画像と画像外の本文テキスト（以下、画像外テキスト）を扱える日本語公開特許データセットを構築し、これに基づく画像キャプション生成タスクを設計する。さらに、図面に対応する本文テキストを併用した生成手法を検討し、技術文書における画像由来情報を既存のテキスト解析基盤へ統合可能とする基盤整備を目指す。