事前学習済みモデルに基づく検索モデルにおけるドメイン適応手法の比較と相乗効果の検証

整によるドメイン適応，及び語彙一致検索（BM25）BERT[1]を始めとする事前学習済みモデルを用いとの併用を適用した．その結果，どの検索モデルでて，教師データとなる検索データセットで検索モデも大きな効果を示すドメイン適応方法は，事前学習ルを訓練することにより，BM25[2]などの語彙の一済みモデルのドメイン適応と語彙一致検索との併用致に基づく検索モデルを大きく上回る検索精度をであることが分かった．達成できることが明らかになった[3]．代表的な検次に，ドメイン適応手法を複数適用した場合に相索モデルとしては，クエリと文書を密ベクトルに変乗効果を示すかを明らかにするために，ドメイン適換し，その内積を関連度スコアとする密ベクトル検応手法を複数適用した場合について実験を行なっ索[4]，疎ベクトルに変換するSPLADE[5]，クエリた．その結果，事前学習済みモデルのドメイン適応の各トークンベクトルに対して，それぞれ文書の全と語彙一致検索との併用を一緒に用いる場合が複数トークンベクトルとの内積を計算し，その類似度がの検索モデルで有効であること，この二つを適用し最大のものの和をとるColBERT[6]などが挙げられた場合に擬似クエリを使用する手法と重み調整は性る．しかしながら，どの検索モデルを訓練する場合能向上にほとんど寄与してないことが分かった．も，大量の教師データが必要であるため，適用でき語彙一致検索の併用は複数の検索モデルのアンサるドメインが限定される．また，大量の教師データンブルと見なせる．そこで，検索モデルによるアンが存在するドメインで訓練した検索モデルは，語彙サンブルは更なる検索精度の向上をもたらすかをが大きく異なるドメインに適用した場合に，検索精検証した．事前学習済みモデルのドメイン適応と語―176―.彙一致検索との併用を適用すると共に，密ベクトル検索，SPLADE，ColBERTのアンサンブルを行い，現時点での世界最高の性能[9,12]を上回る結果を得た．まとめると，本論文の貢献は以下の通りである．•異なる検索モデルのアンサンブルが，ドメイン適応に対して有効であることを示した．•事前学習済みモデルのドメイン適応が，アンサンブルと相乗効果をもたらすことを示した．