日本語文埋め込みの文書検索性能と検索補助付き生成での評価

自然言語文のベクトル表現である文埋め込みを用いた密ベクトル検索は，文脈や意味を考慮した高度な情報検索を可能とすることから，盛んに研究が行われている[1,2]．さらに近年では，情報検索と生成モデルを組み合わせたRetrievalAugmentedGeneration(RAG)が注目を集めている[3,4]．RAGは大規模言語モデル(LLM)を用いて推論する際の幻覚を低減でき[5]，パラメータを更新せずモデルの知識を拡張可能であるため，LLMの実用上重要な技術となっている．RAGではLLMに与える参考文書が推論結果に直接影響を及ぼすと考えられるため，文書検索の性能が重要になる．しかし，密ベクトル検索，および，RAGの性能評価は英語を中心に行われており[2,4]，日本語を対象とした評価はほとんど行われていない．そこで本研究では，日本語を対象に文埋め込みモデルを用いた文書検索タスクでの性能評価を行う．さらに，それらの文埋め込みモデルをRAGに用いた際の性能評価を行う．