トークナイザーの圧縮率を用いた有害コンテンツの判定法

本研究では，大規模言語モデルの学習に用いられる大規模コーパスの有害コンテンツ除去を目的として，トークナイザーの圧縮率をもとにテキストを有害/無害に判定する方法を提案する．まず，有害コンテンツから有害語彙モデルを構築する．次に，有害語彙モデルを用いてテキストをトークン化し，圧縮率を算出する．これにより，有害なコンテンツは高い圧縮率を示し，一般的な無害なコンテンツは比較的低い圧縮率を示すため，有害コンテンツの判定に利用できると考える．本論文では，提案手法を用いて大規模なテキストにおける有害コンテンツの判定を評価し，有害コンテンツを実用的な速度で正しく判定できることを確認した．