pain's picture
Upload 7 files
48d00d1
raw
history blame
785 Bytes
{
"clean_up_tokenization_spaces": true,
"cls_token": "[CLS]",
"do_basic_tokenize": true,
"do_lower_case": false,
"mask_token": "[MASK]",
"max_len": 512,
"model_max_length": 512,
"never_split": [
"+ูƒ",
"+ูƒู…ุง",
"ูƒ+",
"+ูˆุง",
"+ูŠู†",
"ูˆ+",
"+ูƒู†",
"+ุงู†",
"+ู‡ู…",
"+ุฉ",
"[ุจุฑูŠุฏ]",
"ู„ู„+",
"+ูŠ",
"+ุช",
"+ู†",
"ุณ+",
"ู„+",
"[ู…ุณุชุฎุฏู…]",
"+ูƒู…",
"+ุง",
"ุจ+",
"ู+",
"+ู†ุง",
"+ู‡ุง",
"+ูˆู†",
"+ู‡ู…ุง",
"ุงู„+",
"+ู‡",
"+ู‡ู†",
"+ุงุช",
"[ุฑุงุจุท]"
],
"pad_token": "[PAD]",
"sep_token": "[SEP]",
"strip_accents": null,
"tokenize_chinese_chars": true,
"tokenizer_class": "BertTokenizer",
"unk_token": "[UNK]"
}