大規模言語モデルを用いたEnd-to-Endの法令あてはめとその出力を利用した検索拡張手法の検証

本研究では日本の民法を対象に，実際の法律業務を想定したEnd-to-End(法律に関するクエリから正誤を出力)での法令のあてはめタスクにおける大規模言語モデル(LargeLanguageModel;LLM)の挙動を分析するとともに，条文検索が幻覚(hallucination)の抑制にどれほど寄与するかを検証した．その結果，検証対象としたLLMは内部知識として条文知識を完全には有しておらず，多くのケースで幻覚を発生させることが分かった．また，条文検索を組み合わせることで幻覚の抑制に寄与することが確認された．文脈情報を含むべくLLMの出力した根拠条文をもとに検索を行い，さらに準用を含む条文を検出し関連条文を補完する検索拡張手法(RetrievalAugmentedGeneration;RAG)[1]を利用し，その検索精度および法的推論精度の評価を行った結果，一定の効果が得られた．