有害コンテンツ判定のための有害濃縮語彙モデル(32k) for NLP2024

トークナイザのテキスト圧縮率を算出するためのモデル

Model Description

SentencePieceのユニグラムモードを適用して構築した有害語彙モデル

圧縮率の算出方法

圧縮率 = 1 - (トークン数/元々のテキスト文字列長)

発表

@InProceedings{jwu:nlp2023, 
    author = {梶浦 照乃, 山内 璃乃, 小柳 響子, 東出 紗也夏, 倉光 君郎}, 
    title = {トークナイザーの圧縮率を用いた有害コンテンツの判定法},
    booktitle = {言語処理学会第30回年次大会 (NLP2024)}, 
    year      = {2024}, 
}