訓練データ中の頻度バイアスを解消する前処理の提案

深層ニューラルネットワークに基づく自然言語処理では，文を単語などの何かしらの基準で分割し，その分割単位に基づいて処理を行う．近年は，文を分割する単位として，サブワードを用いることが主流である．本稿では，議論を簡単にするために，単語やサブワードなど，どのような基準で分割されたかによらず分割後の各要素をトークンと表記する．いずれの場合も文を構成するトークンは少数の高頻度トークンと多数と低頻度トークンから構成されるという特徴がある．これは，サブワードなどを用いたとしても，程度の差はあれどいわゆるZipfの法則に概ね従う分布になるためである．このトークン頻度の偏り（以下，頻度バイアスと表記）が自然言語処理のモデルに影響を与え，様々なタスクの精度が低下する現象が報告されている[1]．また，この頻度バイアスの悪影響を緩和することで自然言語処理タスクの性能向上を目指す研究が報告されている[1,2,3]．本研究は，これらの先行研究と同様に，頻度バイアスを緩和する方法を考案することを目的とする．ただし，従来の方法とは違い，利便性が高く扱いやすい方法の確立を目指す．その観点から，文の前処理の段階で高頻度トークンの頻度を減らし，訓練データ中のトークン頻度分布をできるだけ均一に近づける方法を提案する．より具体的には，訓練データ中の高頻度トークンを複数の新しいトークンに分類し，高頻度トークンの出現頻度を均す操作を行う．前処理により偏りを解消することができれば，モデルの訓練方法の変更などを必要としないため，基本的にあらゆる自然言語処理タスクで利用可能という利点となる．本研究では，機械翻訳のデータを用いた実験により提案法の有効性を検証する．具体的には，提案する前処理を用いて頻度バイアスを軽減した場合に，従来法に相当する頻度バイアスの軽減をしない場合と比較して性能が向上するかを実験的に確かめる．