適応型負例選択を用いた対照学習による回答検索

質問応答におけるRAGでは，質問文と回答が必ずしも類似関係にないため，回答を含む文脈（チャンク）が検索できない場合がある．我々はこの問題を，質問文から回答をピンポイントに検索する機能（回答検索）を用いて従来の検索結果をリランキングすることで解決する．具体的には生成言語モデルによる質問文のエンコード結果から得られる質問ベクトルを検索キーとし，同じく検索対象のエンコード結果から得られるベクトル列に対し最大内積検索（MIPS）を行う．これらベクトルは次トークン予測用に最適化されているため，MIPS用に変換する必要がある．このベクトル変換の対照学習を効果的にするため，適応型負例選択と呼ぶ提案手法を用いる．実験では，回答検索によるリランキングにより一貫して検索精度が向上した．