本研究では，企業のESG(Environment·Social·Governance)情報がESG情報開示フレームワークに準拠しているかを評価するためのデータセットを構築した．本データセットは，日本語のサステナビリティレポートを対象としている．また，人手での作業効率化を目的として，大規模言語モデル（LLM）を用いた事前アノテーションを行った．その結果，データセット構築に要する工数の削減に一定の効果が確認された一方，自動的な情報抽出における性能が低いことが明らかとなった．

ESG情報の透明性と比較可能性の向上のために，SASBスタンダード(SustainabilityAccountingStan-dardsBoardStandards)やGRIスタンダード（GlobalReportingInitiativeSustainabilityReportingStandards）などのESG情報開示フレームワークが提案されている．これらのフレームワークでは，エネルギー消費量や労働災害件数など，開示すべき具体的な項目（指標）が定められている．企業は当該項目に基づいて，ESG情報を開示する．また，投資家は，企業のレポート内に指標に関した記載が存在するか否かをを評価する．このような評価は，コンプライアンスチェックと呼ばれ，企業の持続可能性に関する取り組みの妥当性を判断する上で，重要な役割を果たしている．企業が公表する主要なESG情報源の一つに，サステナビリティレポートがある．企業のサステナビリティレポートは，一般的に数十ページから，多い企業では数百ページに及ぶ長文の文書であり，企業ごとに記述内容や表現形式が大きく異なる．さらに，ESG情報は用語の定義や解釈が必ずしも統一されていない．このような特性により，コンプライアンス入力プロンプト技術的プロトコル+üタスクの概要ü出力形式ü出力ルール指標(Metric)サステナビリティレポートLLMアノテーター事前アノテーションアノテーションチェックには多大な時間的・人的コストが発生している．これらの問題を解決するために，自動コンプライアンスチェック手法が提案された[1,2]．自動コンプライアンスチェックにおいては，ESG情報開示フレームワークに定められた指標に関する記載が，レポート内に含まれているかの判定が求められる．また，レポート内の指標に関する記載を抽出し，レポートの準拠状況を評価する．このような評価を自動で行うためには，指標関連記述が明示されたデータセットが必要となる．しかしながら，自動コンプライアンスチェックのためのデータセットの整備は未だに進んでいない．この課題を踏まえ，NTCIR-19のタスクの一つである“Multinational，Multilingual，MultiIndustryRegulatoryComplianceChecking(RegCom)1）”では，言語・業種を横断した，ESGコンプライアンスチェックデータセットを新たに構築している．このデータセットには，英語・フランス語・中国語・タイ語・韓国語・日本語の6言語のサステナビリティレポートにおける，指標関連記述が収録されている．本稿では，著者らが担当した日本語ESGコンプライアンスチェックデータセットについて報告する．本データセットは，今まで研究で取り扱われてこな1）https://sites.google.com/view/ntcir19regcom/regcomThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).(b)業種別件数(a)データ形式別件数数値テキストN/AGPT631886Gemini622563最終結果13410454ら見つからなかった場合は，N/Aと記載した．アノテーションに先立ち，LLMによる事前アノテーションを行った．これにより，アノテーション作業の負荷とアノテーション漏れの軽減を図った．LLMに対して，PDF形式のサステナビリティレポート，各業界の「指標」をまとめたJSONファイル，および各指標に対応する「技術的プロトコル」を記載したテキストファイルを入力した．これらの入力データを基に，SASBスタンダードの指標と関連するページの特定，ならびに特定ページにおけるValueの抽出・要約を実施した3）．その後，著者2人が独立にアノテーションを行った．事前アノテーションにより抽出されたページおよびValueが正しく抽出されているかを確認し，誤りが認められた場合には修正を行った．さらに，レポートの目次を参照して，アノテーションの漏れがないかを確認し，漏れがあった場合には追記した．アノテーションが完了した後に，著者ら（うち1人はサステナビリティ経営学の専門家）による検証を1件ずつ実施した．アノテーションが難しいケースに対しては，注釈を加えた．データセットのアノテーション件数の内訳を表