本稿では，日本の法令を対象とした多肢選択式質問応答データセットLawQA-JPの公開について報告する．本データセットは，デジタル庁が行政および企業における生成AI利活用を推進する目的で，公共データ利用規約（第1.0版）の下に公開したものである．デジタル庁はAI利活用におけるデータを「評価用」「コンテキスト用」「パラメトリックな学習用」の3種に分類しており，LawQA-JPはこのうちAIの能力を客観的に測定するための「評価用データ」として位置づけられている．本稿では，全140問の設問を対象に，設問カテゴリおよび選択肢の言語的特徴を定量的に分析するとともに，大規模言語モデルを用いた参照評価を実施した．その結果，関連法令条文をコンテキストとして付与することで，法的推論における回答精度が有意に向上することを確認した．さらに，現状のLLMにとって特に困難な設問タイプについても分析を行った．

近年，大規模言語モデル（LLM）の発展により，法令や契約書といった専門文書を対象とした自然言語処理技術の社会実装が急速に進んでいる．一方で，生成AIを行政実務や企業活動に導入するにあたっては，その正確性や信頼性を事前に検証するための評価基盤が不可欠である．特に，日本の法令を対象とした質問応答に関しては，体系的に整備された評価用データセットが限られているという課題があった．日本の法令は，条・項・号から成る階層構造を持ち，多数の参照規定や例外規定を含む．また，「及び」「又は」といった接続表現や，条件節の解釈によって法的効果が大きく変化するなど，高度な構造的理解を要する特徴を有する．これらの特性によ植松幸生デジタル庁/東京理科大学創域理工学部/総合研究院yukuemats@digital.go.jp/yukio@rs.tus.ac.jp大杉直也デジタル庁naoosugi@digital.go.jpり，英語圏で整備されてきた法領域ベンチマークを単純に翻訳・適用するだけでは，日本の法令に固有の推論難易度を十分に評価することは困難である．こうした背景のもと，デジタル庁は，生成AIの業務利用に関する検討を支援する目的で，日本の法令を対象とした多肢選択式質問応答データセットを公共データ利用規約（第1.0版）の下で試験的に公開した．本データセットは，実務で参照される法令条文を前提とした設問から構成されており，AIが法令理解においてどの程度適切な判断を行えるかを確認するためのベンチマークとして位置づけられている．本稿の目的は，公開されたLawQA-JPの設計方針および収録内容を明確に示すとともに，データセット分析を通じて，本データセットが評価対象とする推論能力の特性を明らかにすることである．また，LLMを用いた参照評価を行うことで，LawQA-JPが現状のモデルに対してどのような難易度と評価上の位置づけを持つかを示す．