大規模言語モデルを用いた検索モデルの中間学習のためのコーパス作成手法

商品検索などのドメイン特化の検索タスクにおいては，言語モデルが事前学習するような一般的なコーパスには無い，ドメイン独自の意味を持つ語が存在し，語彙の意味のギャップが存在することが懸念される．このようなドメイン間の語彙の意味のギャップを埋めるために，事前学習を用いた転移学習手法が提案されている．事前学習に基づいて言語モデルの転移を行う手法[1,2,3,4,5]とは転移対象のドメインのコーパスを用いて言語モデルによる継続的な事前学習を実施する手法である．代表的な手法として，AdaLM[1]が挙げられる．しかしながら，実務においては十分なサイズのコーパスを用意することが難しいような場合がある．その場合，事前学習を用いた転移学習手法の適用は難しい．この問題に対処するため，新たにドメイン固有のコーパスを作成する必要があると考えられる．コーパスの作成には，Web文書や既存のコーパスを用いて，対象ドメインと類似している文書を取集する手法[6]が提案されているが，収集した文書によっては，語彙が対象ドメインとは異なる意味で使われている文書を収集してしまうことも考えられ，語彙のギャップが拡大する可能性も存在する．本研究では比較的小さな対象ドメインのコーパスが存在する場合に，言語モデルに基づいて汎用大規模コーパスから語彙の意味のギャップを埋めるようなコーパスを作成する手法を提案する．提案手法において，初めに転移対象ドメインのコーパスを用いて，対象ドメインのコーパスと言語モデルが事前学習時に使用したコーパスとのギャップのある単語を推定し，その単語をクエリとして汎用的な大規模コーパスの文書を検索して文書を収集する．汎用的な大規模コーパスにて検索し文書を収集した後，各文書に対して転移対象と予測されるスコアを計算しスコアが高い文書を対象コーパスに加えることで，新たにコーパスを作成する．提案するコーパス作成手法を評価するため,提案手法とベースライン手法を用いて複数のドメイン(生物医学,科学,Eコマース)を対象にC4[7]データセットからコーパスを作成し実験を行った．実験ではそれぞれの手法を用いてコーパスを作成し，言語モデルにAdaLMを適用した後，検索タスクにおいて，ベースライン手法と提案手法を比較し，提案手法の有効性を検証した．実験を行った結果，全てのドメインで提案手法が高い性能を示した．この論文における我々の貢献を次に示す：(1)MLMlossと二値分類モデルに基づいて汎用コーパスから語彙の意味のギャップを埋めるようなコーパスを作.成する手法を提案した．(2)複数のドメインを対象に評価実験を行い，提案するコーパス作成手法の有効性を示した.