𝑘近傍事例に基づく埋め込み表現のドメイン適応と検索への応用

密ベクトルによる文書検索では，BERT[1]などの埋め込みモデルによって計算される埋め込み表現によって文書間の類似度を計算し，類似度が上位の文書を提示する．対象とするテキストが特定のドメインを対象とする場合には，そのドメインに適応した埋め込みモデルを使うことで検索性能が向上すると考えられる．単純なドメイン適応方法には追加学習を考えることができ，例えば，適応先ドメインのテキストを用いてSimCSE[2]の学習手法を適用することが考えられる．しかし，ドメインの種類数が100種類以上など多数存在する場合には，ドメインごとの追加学習は難しい．また，対象とするドメインのテキストに秘匿性がある場合，それらのテキストをモデルの学習に用いるのは望ましくない．このような課題を解決するため，本研究では，k近傍事例に基づいて埋め込み表現をドメイン適応する方法を提案する．具体的には，適応先ドメインの検索タスク検索されるテキスト溶接電源故障溶接しない検索された事例ラベル正例負例正例ワークセンター上昇端の接触不良溶接部のアース線が断線...テキストλ1-λ適応先ドメイン＋埋め込みモデル（BERTなど）ドメイン適応クエリ：“溶接電源の電極用コネクタの緩みにより、時々、接触不良を起こしていた火が飛ばない”単言語コーパスからクエリのk近傍事例を検索し，検索事例の埋め込み表現を距離で重み付けした表現を獲得する．この表現とクエリの元の埋め込み表現との線形補完を取ることで，ドメイン適応させた表現を獲得する．後段の検索タスクでは，検索される事例の表現も同様にドメイン適応させることで，ドメイン知識を考慮した検索を行う．したがって，応した表現を獲得するための検索と，実際の検索タスクを解くための検索のパイプラインとなる．提案法が必要とするのは対象ドメインの単言語コーパスのみであるため，ラベルのアノテーションやモデルの追加学習が必要ないことが利点である．実験では，内部で開発されたデータに基づく故障事例検索タスクを対象に，データ収集元の事業部や機器をドメインとみなした実験を行う．結果から，提案法は適応元と適応先のドメインの乖離がある程度小さい場合に有効であることを示す．また，ドメイン適応のための検索におけるハイパーパラメタと性能の関係や，検索結果の提示による解釈性の利点.について議論する．