LawQA-JP:日本の法令に関する多肢選択式質問応答データセットの公開と分析

近年，大規模言語モデル（LLM）の発展により，法令や契約書といった専門文書を対象とした自然言語処理技術の社会実装が急速に進んでいる．一方で，生成AIを行政実務や企業活動に導入するにあたっては，その正確性や信頼性を事前に検証するための評価基盤が不可欠である．特に，日本の法令を対象とした質問応答に関しては，体系的に整備された評価用データセットが限られているという課題があった．日本の法令は，条・項・号から成る階層構造を持ち，多数の参照規定や例外規定を含む．また，「及び」「又は」といった接続表現や，条件節の解釈によって法的効果が大きく変化するなど，高度な構造的理解を要する特徴を有する．これらの特性によ植松幸生デジタル庁/東京理科大学創域理工学部/総合研究院yukuemats@digital.go.jp/yukio@rs.tus.ac.jp大杉直也デジタル庁naoosugi@digital.go.jpり，英語圏で整備されてきた法領域ベンチマークを単純に翻訳・適用するだけでは，日本の法令に固有の推論難易度を十分に評価することは困難である．こうした背景のもと，デジタル庁は，生成AIの業務利用に関する検討を支援する目的で，日本の法令を対象とした多肢選択式質問応答データセットを公共データ利用規約（第1.0版）の下で試験的に公開した．本データセットは，実務で参照される法令条文を前提とした設問から構成されており，AIが法令理解においてどの程度適切な判断を行えるかを確認するためのベンチマークとして位置づけられている．本稿の目的は，公開されたLawQA-JPの設計方針および収録内容を明確に示すとともに，データセット分析を通じて，本データセットが評価対象とする推論能力の特性を明らかにすることである．また，LLMを用いた参照評価を行うことで，LawQA-JPが現状のモデルに対してどのような難易度と評価上の位置づけを持つかを示す．