大規模言語モデルを用いた検索モデルの中間学習のためのコーパス作成手法

商品検索などのドメイン特化の検索タスクにおいては，言語モデルが事前学習するような一般的なコーパスには無い，ドメイン独自の意味を持つ語が存在し，語彙の意味のギャップが存在することが懸念される．このようなドメイン間の語彙の意味のギャップを埋めるために，事前学習を用いた転移学習手法が提案されている．しかしながら，実務においては十分なサイズのコーパスを用意することが難しいような場合がある．その場合，事前学習を用いた転移学習手法の適用は難しい．そこで本研究では比較的小さな対象ドメインのコーパスが存在する場合に，言語モデルのMLMlossと二値分類モデルに基づいて汎用大規模コーパスから語彙の意味のギャップを埋めるようなコーパスを作成する手法を提案する．提案手法の性能を評価するため,提案手法とベースライン手法を用いて複数のドメインを対象に大規模汎用コーパスからコーパスを作成し検索タスクにて実験を行った．実験を行った結果，全てのドメインで提案手法が高い性能を示した．