製造業で取り扱う実データを対象としたRAGの改善

大規模言語モデル（LargeLanguageModel:LLM）を企業の業務に活用する上で、LLMに社内固有の知識に基づいた応答を求めるニーズは高い。そのため、検索とLLMによる文章生成を組み合わせたRetrievalAugmentedGeneration（RAG）は重要な技術である。昨今、RAGの性能を向上させるための様々な研究が注目を集めている。企業で扱う業務文書は、業界や用途によって分量や文章構造、表現形式が大きく異なる。そのため、RAGを実装する際は、実際に取り扱うドキュメント群の特性ごとにRAGの仕様を検討する必要がある。当社のような製造業（特に多品種少量生産型）の設計現場で扱うドキュメント群には以下の特徴がある。1)数千～数万規模の大量の文書ファイルを扱う。2)独自フォーマットのPDF,Wordファイルが多く、テキストを取り出す際にノイズが含まれやすい。3)専門用語や企業内独自の略語が多く含まれる。4)簡略化した表現が多い（例：「保守時は摩耗量が6mm以内であることを確認する」ではなく「判定基準：摩耗6mm以内」）。このような特徴を持つドキュメント群に対し、単純な埋め込みベクトル検索によるRAG（文献[1]の”NaiveRAG”と同じ構成）を実装しても、質問に対する回答根拠を含むコンテクストが検索でヒットしないことが多く、実用に十分な性能を発揮できない。この要因を前述の製造業におけるドキュメント群の特徴と対応づけると、1)検索母数が非常に大きいこと、2)ノイズが多いこと、3)専門用語が含まれること、4)ユーザークエリに含まれるトークンが引用すべきコンテクストには含まれないこと、などが挙げられる。近年、RAGの検索性能を改善する様々な手法が提案されており、適切に取り入れることでこれらの課題を解決できる可能性がある。一方で、取り扱うドキュメント群の特性によって効果の程度は変わり得るため、各手法の適切な取捨選択が求められる。特に、製造業の設計現場で用いられるドキュメント群に対し、どのような手法が効果的であるかは十分に検証されていない。そこで本研究では、代表的なRAG改善手法である①テキストの正規化、②ハイブリッド検索、③リランキング、④検索ワードの拡張の４点について、業務における実文書データを対象とした実験を行い、各手法がRAGの検索性能を向上させることができるかを検証した。