NumColBERT:マルチベクトル検索パイプラインを維持した数値条件対応検索モデルの提案

ローチとして，Almasianら[8]やAgrawalら[9]の研近年，密検索モデルが商品検索や金融文書の検究が挙げられる．これらは，自然文からの数量・単索，医療文書の検索などの幅広い分野で利用され位抽出モジュールや，数値比較のための専用ニューている[1,2,3]．密検索モデルはクエリや文書をラルネットワーク，あるいは互換性のある単位系ごBERT[4]などの言語モデルを利用し，密ベクトルにとのスコアリング機構を導入することで，高い検索変換，そのベクトル同士でのコサイン類似度などの性能を実現している．しかし，これらの手法は検索値を元に検索するモデルであり，BM25といった従モデルの外部に専用の処理機構を必要とするか，推来の語彙一致の検索手法に比べ，クエリや文書に含論時のスコアリング計算において，密検索での類似まれる文脈を考慮した検索が可能である．一方，言度計算とは別の数値専用の処理を加えるなどの検索語モデルは数値の理解が不十分であることが以前か処理自体を変更する必要があり，既存の検索パイプら指摘されている[5,6]．このことから，言語モデラインへの統合やレイテンシや運用コストの観点でルを基盤とする密検索モデルも数値を含んだクエリ課題が残る．の検索に対して十分な性能を出すことができないこそこで本研究では，上記のような専用モジューとが考えられる．実際に，Fujimakiら[7]は，数値条ルの導入や推論ロジックの変更を行わず，既存の件付きクエリに対する密検索モデルの性能を分析しColBERT[10,11]の検索パイプラインを維持するとた結果，数値条件を含んだクエリに対して，密検索いう制約の下で，数値条件付き検索の性能をどこまモデルは期待される検索性能と実際の性能とで大きで改善できるかを明らかにすることを目的とする．な乖離があることを明らかにした．特に数値の比較本研究において，検索パイプラインを維持するとorg/licenses/by/4.0/).は，文書のインデクシング手法や推論時の類似度計算（MaxSim）といった密検索システムの根幹には変更を加えず，数値条件の処理をすべてトークン埋め込み表現の生成プロセス内で完結させることを意味する．具体的には，学習時においてのみ数値情報の理解を促す補助タスクと埋め込み設計の改良を導入し，推論時は標準的なColBERTと同様にトークン埋め込み表現を利用した検索手法の構成で動作させるモデルを提案する．実験の結果，金融および医療の2つのベンチマークにおいて，提案手法は標準的なColBERTの微調整手法と比べて優位な性能改善を達成し，数値処理に特化した専用モジュールを持つ先行研究と比較しても同等以上の性能を達成することを示した．本論文では，検索パイプラインを変えないという強い制約下においても，学習方法や埋め込み表現の工夫のみで数値条件クエリに対する能力を向上させられることを示し，この方向性の発展を，将来的に低コストかつ高精度な数値条件付き検索を実現する有望なアプローチとして提案する．本論文の貢献は以下の通りである．•既存のColBERT推論システムと完全な互換性を持ちつつ，数値対応能力を強化したモデルNumColBERTを提案した．•金融および医療ドメインの数値条件検索タスクにおいて，専用モジュールを必要とする手法と同等以上の精度を，より低い運用コストで実現できることを実証した．•既存パイプラインの維持という制約下における数値処理の可能性を明らかにし，実用的な検索システム設計に資する新たな知見を与えた．