情報圧縮を用いた訓練データの重複削減

公開されている汎用的なニューラル言語モデルを利用する際，当該タスクやドメインの文書を用いた継続事前学習を行って，下流タスクの精度向上を図ることがある．また，訓練データから重複を除去することで，学習効率が向上することが知られている．そこで本研究では，情報圧縮を用いて訓練データ中の重複を削減する手法を提案する．実データを用いた類似文書検索タスクにて，完全一致を除去するナイーブな手法や，ランダムなデータ選択などと比べて，提案法がより高い検索精度を実現する言語モデルを構築できることを示した．