表記ゆれが文埋め込みモデルに及ぼす影響についての考察

近年のRAG(Retrieval-AugmentedGeneration)や検索システムでは，文埋め込みを用いた検索手法が注目されている．従来はキーワード一致に基づくTF-IDFベースの検索が主流であったが，大規模事前学習モデルの発達に伴い，文埋め込みを用いた検索が盛んに使用されるようになった．しかしながら，文埋め込みがキーワードベースの検索に対して，どのような利点や欠点を持つかはまだ十分に明らかになっていない．特に日本語検索においては，多様な表記ゆれが検索精度に影響を与える一因となる．そこで本研究では，単語レベルの表記ゆれをクエリに与えた際，どのように文埋め込みベースの検索精度が変化するのかを検証する．実験では，JMTEBベンチマークのうちJAQKETおよびJaGovFaqs-22kを用いて，同義語辞書によるクエリ変換を実施し、変換前後のクエリを使用した場合の検索精度への影響を分析した．さらに，文埋め込みに同義語を拡張したクエリ手法も提案し，その有効性を検証する．