大規模言語モデルを用いた情報検索のためのcoarse-tuning手法の提案

BERT[1]の登場によって情報検索コミュニティにおいてパラダイムシフトが生じた．BERT以前にも深層学習ベースの情報検索手法（pre-BERT深層学習）[2,3,4]は多数提案されていたが，文献[5]における徹底的な実験によって，適切にハイパーパラメータ・チューニングされた古典的手法[6]に対してpre-BERT深層学習ベースの手法は実質的な性能改善はないということが示された．そのような中，BERTの登場により，大規模言語モデルを用いた情報検索(LLM-IR)手法の性能は大幅に改善した[7]．ただし，本来は大規模言語モデルを用いたﬁne-tuningでは軽微な追加学習で高性能の達成が期待されるにも関わらず，実情は情報検索データセットを用いてﬁne-tuningをするだけでは大幅な性能改善はもたらされない[8]．高い性能を発揮するためには高コストなﬁne-tuning（例えば，BERTの出力を情報検索特化型のネットワークに入力して行う追加の学習[9,10]や大量データ[11]を用いたﬁne-tuning）が必要である．非事前学習型のTransformerベースの検索手法[12,13]よりもBERTなどの事前学習をベースとした検索手法がより高性能を示すことから，大量の言語資源を用いた事前学習の効果は明らかであるものの，高コストなﬁne-tuningを前提としたLLM-IRでは事前学習の恩恵を最大限に受けられているとはいえない．高コストなﬁne-tuningが必要となる一因として，入力データ構造の違いが考えられる．大規模言語モデルのpre-trainingの入力は自然文のテキストである．対して，情報検索タスクの入力は，数語程度の単語列であるクエリと数十から数百語程度の自然文である文書という不均衡な二つ組から構成されるデータ構造を持つ．更に，クエリは自然文の文法に従わない[14]ため，自然文を用いて訓練されたモデルとは齟齬がある1）．BERTのpre-trainingにおいても，クエリの性質を反映した埋め込み表現（クエリ表現）を適切に学習できていない可能性が高い．また，クエリと文書は文法や語数に大きな相違があるものの，出現語には一定の傾向がある．すなわち，クエリに適合する候補文書中にはクエリ語やその関連語が出現し2），無関係な文書には出現しない．BERTのpre-trainingでは，このようなクエリ–文書の関係も学習されていない．従って，LLM-IRのﬁne-tuningでは，後段タスク（クエリに対する適合度順の検索結果作成）に特化した学習に加えて，クエリ表現とクエリ–文書関係の学習を全て同時に行う必要がある．以上の理由からLLM-IRにおけるﬁne-tuningが高コストになっていると推測される．そこで，本研究では，pre-trainingとﬁne-tuningを繋ぐ中間段階の学習であるcoarse-tuningを提案す1）例えば，自然文で学習した品詞推定器をクエリの品詞付与に適用した場合には性能が低下する[14,15,16]ことが報告されている．2）文書中の語をサンプリングして擬似クエリを生成して性能改善を行う研究も多数存在する[17,18,19]．.クエリ-文書ペアの判定(IsPair/NotPair)T[Q]TQ1TQNC･･･E[Q]EQ1EQNE[CLS]･･･[Q]TokQ1TokQN･･･[CLS]マスク化クエリQる．coarse-tuningにおいてクエリ表現とクエリ–文書関係を学習することで，ﬁne-tuningではクエリに対する文書の適合度の推定に注力し，検索性能を改善することを目指す．BERTの事前学習では単語の穴埋め問題を解くMaskedLanguageModel(MLM)と文の連続性を予測するNextSentencePrediction(NSP)が採用されている．本研究においても，クエリ表現の学習にMLMを用いる．加えて，クエリ–文書関係の学習では，NSPに着想を得て，クエリ–文書ペアの適切性を推定するQuery–DocumentPairPrediction(QDPP)を提案する．本稿では，クリックログ（検索エンジンに発行されたクエリとクリックされた検索結果中の文書の情報）からクエリ–文書ペアを作成する．情報検索データセットであるRobust04における性能評価の結果，ﬁne-tuningに先立ちcoarse-tuningを適用することで，nDCG@20が6%向上した．また，文書からクエリを推定するタスクにおいて，coarse-tuningによってクエリ表現やクエリ–文書関係が学習されたことを示唆する結果が得られた．