法的三段論法に基づく段階的プロンプトによる司法試験自動解答

発揮することを示唆している.本研究は,法的自然言語処理タスクにおいて大規近年のCOLIEETask4では,LLMを用いたシステ模言語モデルの推論性能を向上させる,新しい段階ムが多く提案されている.特に,モデルが解答に至る的推論手法を提案する.提案手法は法的三段論法にまでの中間的な推論過程を出力することで段階的に基づき,事例整理,条文整理,あてはめ,結論という4解答精度を向上させる手法であるChain-of-Thoughtつの手順に沿って条文と事例の整合性を論理的に(CoT)[14]は,段階的な推論例を提示することで,モ評価することで,解答の精度と解釈可能性の向上をデルの性能を顕著に向上させることが報告されてい図る.我が国の司法試験（民法短答式問題）の自動る[15].藤田らは,COLIEETask4において,モデルに解答性能を評価するCOLIEEデータセットを用いた推論過程を明示的に示すフォーマットを提案し,性実験で,提案手法のプロンプトを適用することで,能向上と解釈可能性の向上に寄与する可能性を示唆GPT-4o,Llama3.1およびCOLIEE2024の最高性能手した[15].特に,法律分野における推論プロセスの透法のいずれに対してもaccuracyで1.8ポイント以上明性が,解答の信頼性を向上させる点で重要であるの性能向上を達成した.提案手法はLLM非依存であことを指摘している.ると考えられるため,現時点のState-of-the-Artの性さらに,「Let’sthinkstepbystep.」といった単純能を達成したといえる.な指示をプロンプトに追加することで,段階的推論を促進し性能を向上させるZero-shotCoT[16]の出