法的三段論法に基づく段階的プロンプトによる司法試験自動解答

力をFew-shotサンプルとして活用した手法[17]は,法律分野における自然言語処理技術は,法曹実務COLIEE2024において高い性能を達成した.一方で,や研究においても注目を集めている.大規模言語モZero-ShotCoTは,推論過程が必ずしも安定しないとデル（LargeLanguageModel,LLM）は,一般的なタスいう課題がある.また,複雑な法律タスクにおいてクだけでなく,法律分野などの専門的なタスクにおは,人間による評価を容易にするため推論過程の解いても高い精度を達成している.釈可能性が重要であるが,Zero-ShotCoTでは十分に我が国の司法試験（民法短答式問題）対応しきれていない.の自動解答性能を競うCompetitiononLe-本研究では,CoTの考え方を応用した,法的三段論galInformationExtractionandEntailment(COLIEE)法[18][19]に基づく新しい段階的推論手法を提案す[1][2][3][4][5][6][7][8][9][10][11]のTask4では,関連る.一般的な三段論法は「大前提：全ての人間はいする民法条文と問題文が与えられ,それに基づき問つか必ず死ぬ.」「小前提：ソクラテスは人間である.題文の正誤を二値で判定する.このタスクでは,単」「結論：ゆえにソクラテスはいつか必ず死ぬ.」と純な知識の適用だけでなく,複雑な事実関係と条文いったものである.法的三段論法は「規範-事実-あを適切に結びつける高度な論理推論が求められる.てはめ（結論）」という三段になる.提案手法は,事具体的には,条文の要件や例外規定を正確に解釈し,例整理,条文整理,あてはめ,結論の4つの手順を設事実との整合性を保ちながら結論を導く必要があけることで,条文と事実の整合性を段階的に検討し,る.このTask4データに対してGPT-4[12]が8割を解答精度の向上と解釈可能性の両立を目指す.超える正解率を達成したことが報告されており[13],提案手法の性能を検証するため,日本の司法試験―4045―.問題を基にしたCOLIEE2024Task4[11]データセットを用いて,GPT-4o1）およびllama3.12）それぞれで実験評価を行った結果,提案手法がベースラインであるZero-ShotCoTの手法をaccuracyで2-3ポイント上回る性能を達成した.さらに,最新のCOLIEE2024Task4formalrunで最高の結果を達成した手法に適用することで1.84ポイントの性能向上を達成した.利用可能なすべてのLLMで実験することは現実的に難しいが,提案手法はLLM非依存であると考えられるため,State-of-the-Artの性能を達成したといえる.