JBE-QA:日本法知識を評価する司法試験質問応答データセット

法分野タスクは，人間の専門家の知識と経験に大きく依存する．専門家の負荷を軽減するため，法文書の効率的な検索や解析を可能にする法ドメイン言語処理の必要性が高まっている[1,2]．大規模言語モデル（largelanguagemodel,LLM）が法ドメイン言語処理に広く応用されている[3]．法ドメインでは高い信頼性が要求されるため，LLMにも法律分野に関する知識の正確さが求められる．このため，LLMの法律分野に関する知識の質を評価するためのリソースが開発されてきた．LegalBench[4]は，米国の憲法，刑法，民法を含む複数の分野を対象とした，法的推論に関するマルチタスクベンチマークである．MultiEURLEX[5]は，農業や運輸に関する法令の文書分類を目的としている，欧州連合の多言語法律コーパスである．また，JEC-QA[6]は，中国の司法試験から構築された大規模な質問応答データセットであり，憲法，刑法，民法など多様な分野の問題を含んでいる．しかし，日本においては公開されているリソースは少なく，多くの場合で対象分野が民法に限られている．COLIEEデータセット[7]は，民法に関する情報検索および含意関係認識タスクを含む．Choiらは，日本法ドメインにおけるLLMの性能を評価するために司法試験短答式を元に二択形式の設問集を構築したが[8]，民法の一部の問題のみが公開されている．JapaneseTort-caseDataset[9]は，同じく民法に基づくデータセットであり，モデルが不法行為の判決を予測できるかを評価するためのもので，法ドメイン知識評価とは異なる．そこで，本研究では日本法ドメイン向けに新たなデータセット「JapaneseBarExamQA（JBE-QA）」を構築した．JBE-QAは，六法のうちでの重要な民法・刑法・憲法に関する全3,464件の問題を収録しており，既存リソースと比較してより網羅性高く，規模も大きい．さらに，本研究ではJBE-QAを用いて，商用・オープンの別を問わず計26種類のLLMの性能を評価した．このベースライン評価は，現在のLLMが日本法に関してどの程度の知識を有しているかを示し，今後のモデル改善のための基準となる．JBE-QAの実験に用いたコード1）とデータセット2）はオンラインで公開している.