ベクトル検索におけるテキスト構造化の効果分析

ベクトル検索において，検索対象のテキスト同士の特徴が異なる状況で同じ埋め込みモデルを用いると，埋め込み空間上で離れた位置に写像されてしまうために正しく検索できなくなる問題がある．本研究ではこの問題に対し，構造面でのテキスト間の相違を事前に緩和することで検索精度を改善できる，という仮説の下，検索対象のテキストに対して事前に指定したフォーマットに基づいた構造化を行う．実験的分析の結果，提案手法を適用しない場合と比べて，検索精度が改善することを確認した．加えて，構造化によってテキストに含まれる特徴量を解釈可能な情報として抽出し，検索に有用な特徴量を特定できるという異なる利点についても分析した．