企業法務向け日本語文書検索評価データセットの構築と分析

本研究では，日本語検索拡張生成（RAG）システムの性能評価と改善を目的とした企業法務向け評価データセットを構築する．構築した評価データセットを用いて既存モデルの性能検証とエラー分析を行う．一般ドメインの評価データセットでの性能評価結果と異なることを示し，特定のドメインに特化した評価データセットを作成することの重要性を明らかにする．さらに，より信頼性の高い評価データセットの確立のため，評価データの収集方法の違いがモデルの性能評価結果に与える影響について追加検証を実施する．