訓練データ中の頻度バイアスを解消する前処理の提案

訓練データ中の単語頻度の偏りは，深層ニューラルネットワークに基づく自然言語処理の性能に悪影響を及ぼすことが知られている．そのため，頻度の偏りによる影響を解消しようとする試みが報告されている．本研究では，その取り組みの一つとして，文の前処理の段階で高頻度語の頻度を減らし，訓練データ中の頻度分布を均一に近づけ，頻度バイアスを解消する手法を提案する．本稿では，提案法の有効性を機械翻訳タスクにて検証する．具体的には，提案法により前処理を施した訓練データを用いて構築した翻訳モデルと，従来通りの訓練データで構築した翻訳モデルの翻訳性能を比較する．