日本語特許を利用した画像キャプションデータセットの構築と段階的情報抽出によるキャプション生成手法の提案

近年、社内文書の電子化と利活用が進む一方、解析基盤はテキスト中心であり、技術文書で重要となる図表の情報を十分に活用できていない。そこで本研究では、図面単位で画像と画像外の本文テキストを扱える日本語公開特許データセットを構築するとともに、短文と長文の2種のキャプション生成タスクを設計した。さらに、テキスト選択、情報抽出、キャプション生成を単一プロンプト内で段階的に実行させるChain-of-Selection-Extraction-Captioning（CoSEC）を提案する。評価の結果、短文では入力するテキスト情報を絞る戦略が、長文では十分なテキスト情報を与えた上でCoSECにより要点へ注意を誘導する方針が有効であることが示唆された。