大規模言語モデルを用いたEnd-to-Endの法令あてはめとその出力を利用した検索拡張手法の検証

昨今の大規模言語モデル(LargeLanguageModel;LLM)の発展に伴い，特に専門度の高く専門家が不足しがちな法律分野においてもLLMを活用しようという動きが広まっている[2]．一方で実際の法律業務でLLMを利用する上ではその出力に幻覚(hallucination)が含まれる可能性があり，[3,4]では人間の専門家と同程度の精度を担保することが難しいことも示されている．そのような幻覚に対処する手法として，検索拡張手法(RetrievalAugmentedGeneration;RAG)[1]が知られている．LLMが推論をする際に信頼のできる外部知識を参照することで，幻覚の抑制が期待で第X条Aについては~とする．第Y条BについてはAに関する規定を準⽤する．Bについて答える際には，第X条+第Y条どちらの内容も必要．きる．また我が国の民法を含む大陸法(CivilLaw)ではしばしば図1に示すような準用(mutatismutandis)が用いられる．これは他の規定で示されている内容を重複して記載することを避けるために用いられるものであり，準用元と準用先の両方を参照する必要があることから条文検索を行う上で特に注意が必要である．本研究では日本の民法を対象として，実際の法律業務を想定したEnd-to-End(法律に関するクエリから正誤を出力)での法的推論タスクにおいてのLLMの挙動を分析するとともに，その際にLLMが参照した条文をクエリとした条文検索と問題文をクエリとした条文検索を組み合わせ，さらに抽出した条文に対応する準用先(元)条文を含めたRAGを提案し，それが幻覚の抑制にどれほど寄与するかを検証した．