ベクトル検索におけるテキスト構造化の効果分析

情報検索[1]とは，膨大なデータの中からユーザの要望に合致する情報を抽出する技術である．テキスト検索は特に文字列に関する情報検索技術を指し，文字列間の一致度や意味的関連性に基づいて該当文書を特定するものである．テキスト検索の手法としてキーワード検索とベクトル検索の2種類に大別される．キーワード検索は，クエリ（検索文）と検索対象の文書に含まれる文字列の表層的な一致度に基づいて該当文書を予測する手法である．ベクトル検索[2]では，埋め込みモデルを用いてテキストを数値ベクトルに変換し，ベクトル間の類似度に基づいて該当文書を予測する手法である．ベクトル検索は文字列の表層的な一致を超えて意味的に関連のある情報を効率的に検索できる一方で，クエリと文書に対して同じ埋め込みモデルを用いる場合，それぞれのテキストの構造が異なると検索精度が低下するという課題がある．本研究では，大規模言語モデル(LLM)を用いた前【クエリ】鈴木英哉、中川敬輔、田原健一、桜井和寿からなる、『Tomorrowneverknows』などのヒット曲があるロックバンドは何?【文書】1985年、軽音楽部に所属していた桜井和寿と中川敬輔、桜井が誘った...1989年にバンド名Mr.Children...テキスト構造化（LLM）カテゴリー：音楽キーワード：バンド名、メンバー説明：Mr.Childrenは1985年に桜井和井、中川敬輔、田原健一、...カテゴリー：音楽キーワード：ロックバンド説明：鈴木英哉、中川敬輔、田原健一、桜井和寿からなる、日本のロックバンド。代表曲に『Tomorrowneverknows』などがある。埋め込みモデルベクトル検索処理によって対象のテキストを加工し，テキスト同士の関連性を強化する手法を提案する．図1に示すように，テキストに含まれるタスクに重要な情報を列挙する構造化を行うことで，クエリと文書の比較を同一構造の文の上で行うことができるようにし，これによる検索精度の改善を検証する．質問応答ベンチマークを用いた実験的分析により，以下のことが確認された．•LLMを用いた構造化により，前処理を適用しない場合と比べて，検索精度が改善した．•LLMを用いた構造化では，純粋な文書構造の変更に加えて，疑似的な回答生成が発生し，この現象による性能向上への寄与が大きかった．•構造化によって，テキストに含まれる特徴量を人間が解釈可能な情報として抽出し，検索に有用な特徴量を特定できることを確認した．.