大規模言語モデルを用いた情報検索のためのcoarse-tuning手法の提案

大規模言語モデルを用いた情報検索(LLM-IR)のﬁne-tuningでは，タスクに特化した学習に加えて，クエリの埋め込み表現（クエリ表現）とクエリ–文書の関係を学習する必要がある．本研究では，pre-trainingとﬁne-tuningを繋ぐ中間段階の学習としてcoarse-tuningを導入する．coarse-tuningにおいてクエリ表現とクエリ–文書の関係を学習することで，ﬁne-tuningの負荷を軽減して学習効果の向上を目指す．その際，クエリ–文書ペアの適切性を推定するQuery–DocumentPairPrediction(QDPP)を提案する．評価実験の結果，提案手法によって情報検索タスクRobust04の検索性能(nDCG@20)が6%向上した．