情報圧縮を用いた訓練データの重複削減

BERTモデル[1]の登場以降，大規模な事前学習を行った汎用的な公開のBERT型モデルが，文書分類や文書検索など幅広いタスクに活用されている．特定の分野や企業で利用する際は，下流タスクでの精度向上を目的として，当該ドメインの文書を用いた継続事前学習[2]を行うことがあり，医療系分野のBioBERT[3]や，科学技術分野のSciBERT[4]などが知られている．日本語のモデルとしては，Wikipediaコーパス1）の日本語記事を事前学習した東北大BERTモデル2）などが広く利用されている．また近年の研究で，訓練データから重複を除去することにより，過学習のリスクを低減して学習時の安定性を高め，同一のデータに触れる回数を減らすことで学習効率が向上するという報告がある[5]．重複の削減に限らず，訓練データをより簡潔に保つことで，学習効率の向上に加え，データ管理のコスト低減も期待できるとされる[6]．そこで本研究では，汎用的な公開モデルである東北大BERTモデルに対して，社内文書など特定ドメインの文書を継続事前学習する際に用いる，訓練1）https://huggingface.co/datasets/legacy-datasets/wikipedia2）https://github.com/cl-tohoku/bert-japaneseデータの重複削減手法を提案する．より具体的には，暫定的な訓練データの集合に対し，追加する候補の文書が付加する情報量を指標化し，閾値以上に情報量が増加する文書を加え，閾値未満の文書を除去する逐次的な処理によって，訓練データ中の重複するデータを削減する．これにより，文書内の表記揺れや語順の違いなどを吸収しつつ，多様な専門用語を含む文書を残しながら，重複する訓練データを除去することができる．本稿の構成は以下の通りである．第2章では関連研究として，訓練データの重複削減と，情報圧縮を用いた自然言語処理の先行研究について述べる．第3章では，提案法について説明する．第4章では，実験について述べる．製造機器の不具合について原因や対処を記録した実データ，および，類似した過去の不具合事例の文書を検索する類似文書検索タスク，比較手法，結果について述べる．最後に，第5章でまとめと今後の課題について述べる．