表記ゆれが文埋め込みモデルに及ぼす影響についての考察

近年，大規模言語モデルの発展とともにRAG（Retrieval-AugmentedGeneration）システムが増え，文埋め込みベースの検索技術が急速に注目されている．従来のキーワードマッチングによる検索(TF-IDF等)は簡便でありながらも，単語表記のわずかな違いに対するロバスト性が弱いという課題があった．一方，文埋め込みを用いた検索では，埋め込み空間で類似性を測ることで，単純な文字列一致にとらわれず関連文書を取得できる強みがあると期待されている．しかしながら，文埋め込みモデルが実際にキーワード検索に対してどの程度優位性を持ち，特に日本語特有の表記ゆれに対してどう影響を受けるのかは明確になっていない．本論文では，日本語検索における表記ゆれの一形態である同義語や送り仮名の違いなどに注目し，ク•「サンプル」vs「サンプル（半角）」•「東京大学」vs「とうきょう大学」•「申し込み」vs「申込み」•「不具合」vs「バグ」(同義語)エリ単語を同義語に変換した場合の検索精度を評価する．実験では，JMTEB[5]に含まれるQAデータセット（JAQKET,JaGovFaqs-22k）を用いて，クエリ内単語を同義語辞書に基づき変換した後の検索精度を比較する．さらに，表記ゆれを抑制するために，クエリ内単語を拡張する手法（「同義語拡張クエリ」）を導入し，表記ゆれの影響をどの程度低減できるかを議論する．本稿の構成は以下の通りである．まず2節でキーワード検索における課題を整理し，3節で関連研究を概説する．続いて4節で実験設定および実験方法を述べ，5節で表記ゆれによる性能変化と，その抑制手法の検証結果を示す．最後に6節で結論と今後の展望を述べる．