適応型負例選択を用いた対照学習による回答検索

質問応答において外部知識に基づいて言語モデルに回答させる枠組みとしてRAG[1]がある．RAGにおける課題の１つとして，質問文と回答が必ずしも類似関係にないため，回答に必要な知識を含む文脈（チャンク等）が，質問文との類似検索では得られない場合があることが指摘され，この課題に対していくつかの解決方法が提案されている[2][3][4]．我々は上述の課題に対し，質問文から回答をピンポイントに検索する機能（回答検索と呼ぶ）を加えることで，質問文を検索条件とする従来の検索手法を補うアプローチを提案する．具体的には図1に示すように，質問応答を担う生成言語モデル（LM）を用いて質問文をエンコードして得られる最上位層の出力ベクトル群の内，質問文の末尾トークンに対応する出力ベクトルを検索キーとする（質問ベクトルと呼ぶ）．検索対象は，外部知識に相当するテキスト群をLMでエンコードして得られる最上位層の出力ベクトル群であり，質問ベクトルとの最大内積検索（MIPS）によりトークン単位の検索を行う．ただし，これら質問ベクトルおよび検索対象ベクトル群は，次トークン予測(NTP）のために最適化されたものであるから，検索前にMIPS用のベクトルに変換する必要がある．このベクトル変換は，図中に示した３つ組（トリプレット）を用いた対照学習により得るが，この学習を効果的に行うために，適応型負例選択と呼ぶ手法を提案する．回答検索の結果をRAGにおけるリランキングに用いることで，質問文全体をキーとした検索と相補的に作用し，検索精度が向上することを実験により示す．