発揮することを示唆している.本研究は,法的自然言語処理タスクにおいて大規近年のCOLIEETask4では,LLMを用いたシステ模言語モデルの推論性能を向上させる,新しい段階ムが多く提案されている.特に,モデルが解答に至る的推論手法を提案する.提案手法は法的三段論法にまでの中間的な推論過程を出力することで段階的に基づき,事例整理,条文整理,あてはめ,結論という4解答精度を向上させる手法であるChain-of-Thoughtつの手順に沿って条文と事例の整合性を論理的に(CoT)[14]は,段階的な推論例を提示することで,モ評価することで,解答の精度と解釈可能性の向上をデルの性能を顕著に向上させることが報告されてい図る.我が国の司法試験（民法短答式問題）の自動る[15].藤田らは,COLIEETask4において,モデルに解答性能を評価するCOLIEEデータセットを用いた推論過程を明示的に示すフォーマットを提案し,性実験で,提案手法のプロンプトを適用することで,能向上と解釈可能性の向上に寄与する可能性を示唆GPT-4o,Llama3.1およびCOLIEE2024の最高性能手した[15].特に,法律分野における推論プロセスの透法のいずれに対してもaccuracyで1.8ポイント以上明性が,解答の信頼性を向上させる点で重要であるの性能向上を達成した.提案手法はLLM非依存であことを指摘している.ると考えられるため,現時点のState-of-the-Artの性さらに,「Let’sthinkstepbystep.」といった単純能を達成したといえる.な指示をプロンプトに追加することで,段階的推論を促進し性能を向上させるZero-shotCoT[16]の出

力をFew-shotサンプルとして活用した手法[17]は,法律分野における自然言語処理技術は,法曹実務COLIEE2024において高い性能を達成した.一方で,や研究においても注目を集めている.大規模言語モZero-ShotCoTは,推論過程が必ずしも安定しないとデル（LargeLanguageModel,LLM）は,一般的なタスいう課題がある.また,複雑な法律タスクにおいてクだけでなく,法律分野などの専門的なタスクにおは,人間による評価を容易にするため推論過程の解いても高い精度を達成している.釈可能性が重要であるが,Zero-ShotCoTでは十分に我が国の司法試験（民法短答式問題）対応しきれていない.の自動解答性能を競うCompetitiononLe-本研究では,CoTの考え方を応用した,法的三段論galInformationExtractionandEntailment(COLIEE)法[18][19]に基づく新しい段階的推論手法を提案す[1][2][3][4][5][6][7][8][9][10][11]のTask4では,関連る.一般的な三段論法は「大前提：全ての人間はいする民法条文と問題文が与えられ,それに基づき問つか必ず死ぬ.」「小前提：ソクラテスは人間である.題文の正誤を二値で判定する.このタスクでは,単」「結論：ゆえにソクラテスはいつか必ず死ぬ.」と純な知識の適用だけでなく,複雑な事実関係と条文いったものである.法的三段論法は「規範-事実-あを適切に結びつける高度な論理推論が求められる.てはめ（結論）」という三段になる.提案手法は,事具体的には,条文の要件や例外規定を正確に解釈し,例整理,条文整理,あてはめ,結論の4つの手順を設事実との整合性を保ちながら結論を導く必要があけることで,条文と事実の整合性を段階的に検討し,る.このTask4データに対してGPT-4[12]が8割を解答精度の向上と解釈可能性の両立を目指す.超える正解率を達成したことが報告されており[13],提案手法の性能を検証するため,日本の司法試験―4045―.問題を基にしたCOLIEE2024Task4[11]データセットを用いて,GPT-4o1）およびllama3.12）それぞれで実験評価を行った結果,提案手法がベースラインであるZero-ShotCoTの手法をaccuracyで2-3ポイント上回る性能を達成した.さらに,最新のCOLIEE2024Task4formalrunで最高の結果を達成した手法に適用することで1.84ポイントの性能向上を達成した.利用可能なすべてのLLMで実験することは現実的に難しいが,提案手法はLLM非依存であると考えられるため,State-of-the-Artの性能を達成したといえる.