大規模言語モデル(LLM)を法率実務に適用するには，専門的な知識を身に付けさせるだけでなく，長文自由記述形式の入力に対する推論能力を向上させることが不可欠である．法律の推論は法的三段論法という推論形式で行われ，人間の実務家はロースクールや実務経験を通してこれを学ぶが，LLMの学習に利用可能なオープンソースの判例には明示的に記載されない．本研究では，長文自由記述形式の法律推論能力向上のため，法的三段論法による推論タスクであるLegalReasoningBenchを提案する．また，法律推論に必須の4要素による評価手法を提案する．実験では，本データセットで学習済みモデルが学習無しのモデルの性能を上回ることを確認し，本データセットの有効性を示す．

大規模言語モデル(LLM)を法律実務に応用するためには，二択または多肢選択式の質問に正確に回答するだけでなく，長文かつ自由記述形式のタスクにおいても法律に関する推論能力を向上させる必要がある．法律における自然言語処理(LegalNLP)分野において，LLM登場以前は，要約[1,2]，固有表現抽出[3,4,5,6]，テキスト分類[7]など，様々な自然言語処理タスクが研究されてきた．LLM登場後は，オープンソースで利用可能な各国の法律の条文・判例を収集したベンチマークデータセットが提案されている[8,9,10,11]．しかし，これらのデータセットでモデルを学習しても，長文かつ自由記述形式の法律推論を完全に行えるモデルは構築できていない．判例の結果予測タスク[12,13,14,15]は，LegalNLPの中でも最も難しいタスクの一つである．その理由は，判例が，裁判所が争点となっている事実や原告と被告の双方の主張を入力として，法的三段論法，またはIRACframework[16,17]と呼ばれる推論形式に従って法律推論を行った結果だからであり，法的三段論法と呼ばれる推論形式がロースクール教育や実務経験を通して教えられ，判例や法律の条文に明示的に記載されないためである．ところで，近年LLMの性能は様々なタスクにおいて急激に向上しており[18]，多数の学習手法が提案され[19,20]，複雑な推論[21]が可能になりつつある．法律分野においても長文の法律質問応答タスクが提案されている[22,23,24]が，法律における推論タスクとは，単なる暗記問題を長文で出力することではなく，法的三段論法に従った推論が必要になる．既存の法律推論能力を図るデータセットとしてLegalBench[16]が提案されているが，二択または多肢選択式の問題で，法的三段論法のうち一部の観点のみを測ることができ，法律の推論に関するデータセットは限られている．そこで本研究では，長文自由記述形式の法律推論能力を向上させるため，日本法及び国際法を対象として，法的三段論法に従った推論データセットであるLegalReasoningBenchを提案する．本データセットは，推論問題の解答に加えて，法律三段論法に必要な4つの要素と，根拠として参照されるべき法律の条文や判例が全て網羅されている．また，評価手法として，本データセットの法的三段論法に必要な4つの観点毎に，正解解答とモデル生成結果の比較による評価を行うことを提案する．実験では，本データセットで学習することにより，モデルの性能が学習無しモデルを上回ることから，データセットの有効性を示す．