法律推論データセット学習による推論に強いモデルの構築

大規模言語モデル(LLM)を法律実務に応用するためには，二択または多肢選択式の質問に正確に回答するだけでなく，長文かつ自由記述形式のタスクにおいても法律に関する推論能力を向上させる必要がある．法律における自然言語処理(LegalNLP)分野において，LLM登場以前は，要約[1,2]，固有表現抽出[3,4,5,6]，テキスト分類[7]など，様々な自然言語処理タスクが研究されてきた．LLM登場後は，オープンソースで利用可能な各国の法律の条文・判例を収集したベンチマークデータセットが提案されている[8,9,10,11]．しかし，これらのデータセットでモデルを学習しても，長文かつ自由記述形式の法律推論を完全に行えるモデルは構築できていない．判例の結果予測タスク[12,13,14,15]は，LegalNLPの中でも最も難しいタスクの一つである．その理由は，判例が，裁判所が争点となっている事実や原告と被告の双方の主張を入力として，法的三段論法，またはIRACframework[16,17]と呼ばれる推論形式に従って法律推論を行った結果だからであり，法的三段論法と呼ばれる推論形式がロースクール教育や実務経験を通して教えられ，判例や法律の条文に明示的に記載されないためである．ところで，近年LLMの性能は様々なタスクにおいて急激に向上しており[18]，多数の学習手法が提案され[19,20]，複雑な推論[21]が可能になりつつある．法律分野においても長文の法律質問応答タスクが提案されている[22,23,24]が，法律における推論タスクとは，単なる暗記問題を長文で出力することではなく，法的三段論法に従った推論が必要になる．既存の法律推論能力を図るデータセットとしてLegalBench[16]が提案されているが，二択または多肢選択式の問題で，法的三段論法のうち一部の観点のみを測ることができ，法律の推論に関するデータセットは限られている．そこで本研究では，長文自由記述形式の法律推論能力を向上させるため，日本法及び国際法を対象として，法的三段論法に従った推論データセットであるLegalReasoningBenchを提案する．本データセットは，推論問題の解答に加えて，法律三段論法に必要な4つの要素と，根拠として参照されるべき法律の条文や判例が全て網羅されている．また，評価手法として，本データセットの法的三段論法に必要な4つの観点毎に，正解解答とモデル生成結果の比較による評価を行うことを提案する．実験では，本データセットで学習することにより，モデルの性能が学習無しモデルを上回ることから，データセットの有効性を示す．