統合報告書などの日本語ESG文書は,非定型なレイアウトや図表を含むため,正確な文書理解や質問応答が困難である.こうしたESG文書に対するモデルの実用的な能力を適正に評価するため,本研究では専門家が作成した質問,回答,及び根拠箇所の矩形を含む日本語ESG文書データセット「ESG-QA」を構築した.該当ページ検索,根拠箇所からの回答生成,根拠箇所の領域検出の3つのタスクを通じて,モデルのESG文書理解能力を多角的に評価するとともに,データセットが抱える課題を明らかにした.

ESGとは,環境（Environment）,社会（Social）,ガバナンス（Governance）の頭文字を取った言葉であり,これらの要素を考慮した経営・事業活動を指す[1].ESG経営を重視する投資家などのステークホルダーは,企業が発行するESG関連文書を参照し,企業経営のESGに関する透明性や有効性を評価している.ESG関連文書は,その形式により大きく2つに分類される.一つは,有価証券報告書やコーポレートガバナンス報告書1）のように,法律や証券取引所によって開示が義務付けられ,指定されたフォーマットで作成される文書である.もう一つは,統合報告書のように開示が任意であり,企業独自の構成,非定型なレイアウト,複雑な図表を含む文書である.本研究では,後者の統合報告書を分析対象とする.非定形なESG文書の解析には,ESGドメイン固有の事前知識を要する高度な解析技術が必要であり,解析技術の開発や解析能力の測定にはESGドメイ1）https://www.jpx.co.jp/equities/listing/cg/01.htmlンに特化した評価ベンチマークが必要である.本研究では,日本語のESG文書に対する文書理解能力を測定するための評価ベンチマーク「ESG-QA」を構築する.2）本ベンチマークでは,投資家や企業担当者がESGの文脈で解決すべき問いに基づいて文書を探索・解析するという実務上のワークフローを想定しており,その過程で不可欠となる「該当ページ検索」「根拠箇所からの回答生成」「根拠箇所の領域検出」の3タスクを定義した.専門領域のアノテーションにおいて,非専門家による作業の品質担保が困難であることが先行研究で指摘されている[2,3].そのため,本研究ではベンチマークの信頼性を担保するため,クラウドソーシング等の非専門家による作成ではなく,実務経験を持つ専門家による作成プロセスを採用した.作成プロセスを図1に示す.データセット構築に加えて,最先端モデルを対象とした評価実験を行い,ESG-QAにおけるベースライン性能を算出した.実験結果の検討を通じて,ESGドメインにおけるモデルの現状の能力や,ESG-QAに残された課題を明らかにする.