事前学習済みモデルに基づく検索モデルにおけるドメイン適応手法の比較と相乗効果の検証

そのため，ドメイン外において教師なしで検索モBERT等の事前学習済みモデルを用いた検索モデデルの精度向上を試みる研究が進められており，擬ルは，教師データのドメイン外で使用すると検索精似クエリを使用した密ベクトル検索の教師なしドメ度が低下することが知られている．特に，学習デーイン適応[7,8]，事前学習済みモデルの継続事前学タと対象データの語彙が大きく異なる場合は，大幅習を用いた教師なしドメイン適応[9]，IDFを通じたな精度低下につながる．そのため，検索モデルのド重み調整によるドメイン適応[9]，語彙一致検索とメイン外での検索精度を向上させる手法が複数提案の併用[7,10,11]などが提案されている．されている．本論文では，統一された実験設定におしかしながら，これらのドメイン適応手法を複数いて各手法の性能やその組み合わせによる相乗効果用いた場合の効果は明らかになっていない．また，の有無を検証した．その結果，事前学習済みモデルあるドメイン適応手法がどの検索モデルに対して効のドメイン適応，BM25など語彙の一致に基づく検果的に働くのか，俯瞰的に分析した事例はない．索モデルを併用すること，及びその組み合わせが複そこで，本研究では，まず各ドメイン適応手法が数の事前学習済みモデルを用いた検索モデルで有効どのような検索モデルに対して効果があるかを明らであることが明らかになった．さらにBM25のみなかにするために，事前学習済みモデルを用いた代表らず複数の検索モデルを併用することで，現時点で的な検索モデルである，密ベクトル検索，SPLADE，の世界最高性能を上回る結果を得た．ColBERTに対して，擬似クエリを使用したドメイン適応，事前学習済みモデルのドメイン適応，重み調