LawQA-JP:日本の法令に関する多肢選択式質問応答データセットの公開と分析

本稿では，日本の法令を対象とした多肢選択式質問応答データセットLawQA-JPの公開について報告する．本データセットは，デジタル庁が行政および企業における生成AI利活用を推進する目的で，公共データ利用規約（第1.0版）の下に公開したものである．デジタル庁はAI利活用におけるデータを「評価用」「コンテキスト用」「パラメトリックな学習用」の3種に分類しており，LawQA-JPはこのうちAIの能力を客観的に測定するための「評価用データ」として位置づけられている．本稿では，全140問の設問を対象に，設問カテゴリおよび選択肢の言語的特徴を定量的に分析するとともに，大規模言語モデルを用いた参照評価を実施した．その結果，関連法令条文をコンテキストとして付与することで，法的推論における回答精度が有意に向上することを確認した．さらに，現状のLLMにとって特に困難な設問タイプについても分析を行った．