クロスドメイン検索型質問応答のためのニューラル疎ベクトル検索

検索型質問応答タスク[1]は，回答をモデルパラメータに基づき生成するのではなく，予め用意した文集合の中から回答を含む文を検索・提示することで応答するタスクである．検索型質問応答は，制御の難しいテキスト生成を介さないため，出力の制御可能性に優れる．質問応答で機密性の高いドメインを扱う場合，ターゲットドメインの文書を訓練時に使えない・ユーザデバイスなどのローカル環境で運用する必要がある，といった実用上の制約がある．そこで本研究では，第一の制約から，訓練と推論のドメインが異なるクロスドメイン検索型質問応答に取り組んだ．さらに第二の制約から，invertedindexを用いることでCPUでも高速に動作する疎ベクトル検索の手法に着目した．検索型質問応答の既存研究[2,3]では疎ベクトル検索のニューラル化が提案されてお疎ベクトルI:2.1,cat:1.4,name:1.2,have:0.8,...スパースパラメータエンコーダ埋め込み行列埋め込み行列ソースドメインでfine-tuningターゲットドメインでマスク化言語モデルにより学習Iamacat.Ihave,asyet,noname.文集合り，ニューラルネットを要する演算をinvertedindex作成時に全て済ませることで，高速な推論を実現する．一方，第一の制約が課題として残っている．そこで，本論文では2つの制約の解決を図るモデルSPARC（sparseneuralretrievalmodelforcross-domainretrieval）を提案する．SPARCは図1に青枠で示す2つの特徴を持つ．第一に，モデルの埋め込み行列をターゲットドメインで訓練した行列に入れ替える．ターゲットドメインにおける埋め込み行列はマスク化言語モデル[4]によって得る．訓練のステップ数を制限することで，ターゲットドメインでの訓練をCPU上で実施する．第二に，モデル出力のスパース性を強める学習可能なパラメータを導入することで，スパース制約下でのモデル性能を向上する．MultiReQA[5,2]を用いた評価にて，SPARCがソース・ターゲットドメイン双方で性能を向上し，密ベクトル検索より高速に動作することを確認した．