JBE-QA:日本法知識を評価する司法試験質問応答データセット

本研究では，大規模言語モデルの日本法ドメイン知識を評価する質問応答データセットJBE-QAを構築した．JBE-QAは，2015年から2024年までの司法試験の短答式試験をもとに作成され，民法・刑法・憲法の三分野を網羅する全3,464件の事例からなるベンチマークである．JBE-QAを用いて計26種類の大規模言語モデルを評価した結果，推論機能を有する商用モデルが最も高い性能を示した．