企業法務向け日本語文書検索評価データセットの構築と分析

近年，高性能な大規模言語モデル（LLM）の台頭に伴い，LLMを用いた質疑応答のユースケースが急速に拡大している．しかし，LLMは既知の知識に依存するため，専門性の高い分野や最新情報を必要とする場面では誤った情報を提供したり，適切な回答を生成できないといった課題がある．この課題を解決する有望な手法として，検索拡張生成（Retrieval-AugmentedGeneration,RAG）が注目を集めている[1,2]．RAGは外部の知識ベースを参照することで，LLMの回答精度を向上させ幻覚を低減できるアプローチである[3]．企業の法務部門では，日々の法律相談に対応するため関連する書籍や判例，ガイドラインといった文献の迅速な検索が不可欠である．法律は複雑で常に変化し続ける分野であり，最新かつ正確な法的情報の提供が求められる．適切な情報検索システムは，法務部門の業務効率を大幅に改善し，時間を有効活用できる可能性がある．さらに，法的リスクの低減や，より質の高い法的助言の提供にもつながると期待される．近年，文書検索評価のための日本語データセットに関する研究が増加している[4,5]．これらのデータセットは，RAGシステムの性能評価や改善に不可欠なリソースとなっている．RAGはLLMに与える文書が推論結果に直接影響を及ぼすと考えられるため，文書検索の性能が重要になる．しかし，既存のデータセットは一般ドメインに焦点を当てており，法律分野特有の専門用語や複雑な概念を含む質問に対するRAGシステムの性能を適切に評価するためには，法律分野に特化したデータセットが必要不可欠である．Harveyは法律分野におけるLLMの性能を評価するための包括的な英語の評価データセットであるBigLawBenchを構築している1）．BigLawBenchの中には検索評価のためのデータセットも含まれている．しかし，BigLawBenchは日本と英米法圏の法体系の違いにより、そのまま日本の法務に適用することは困難であるため，日本の法体系を反映した検索評価データセットが必要である．我々の知る限り日本語の法律分野に特化した書籍検索評価データセットは存在しない．そこで本研究では，企業法務に特化した日本語文書検索評価データセットを構築する．このデータセットは，実際の企業法務に関するQ&A解説記事から抽出した質問と，弁護士・企業法務向けの専門書籍から抽出した関連チャンクから構成されている．構築した評価データセットに対して，既存のモデルで性能評価を行い，リランキング性能の評価とエラー分析を行う．さらに，評価データの収集方法の違いがモデル性能の評価結果に与える影響について追加検証を実施する．本研究の成果は，法律分野におけるRAGシステムの文書検索における手法の改善と，より信頼性の高い評価データセットの確立に貢献することが期待される．