metadata

license: apache-2.0

有害コンテンツ判定のための有害濃縮語彙モデル(32k) for NLP2024

トークナイザのテキスト圧縮率を算出するためのモデル

Model Description

mC4から抽出した有害テキストに、SentencePieceのユニグラムモードを適用して構築した有害語彙モデル

圧縮率 = 1 - (トークン数/元々のテキスト文字列長)