dummy-model / tokenizer_config.json
Ebtihal's picture
add tokenizer
e4310ee
{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "max_len": 512, "do_basic_tokenize": true, "never_split": ["+ูˆุง", "ุณ+", "[ู…ุณุชุฎุฏู…]", "+ูƒ", "+ู‡ู…", "+ุฉ", "+ู†", "ู„ู„+", "[ุจุฑูŠุฏ]", "[ุฑุงุจุท]", "+ู‡", "+ูƒู†", "+ุง", "+ุงุช", "+ูŠ", "ุจ+", "+ู†ุง", "+ู‡ู†", "+ูƒู…", "ูƒ+", "+ูŠู†", "+ู‡ู…ุง", "ูˆ+", "+ูƒู…ุง", "+ุงู†", "+ุช", "+ูˆู†", "ู„+", "+ู‡ุง", "ุงู„+", "ู+"], "special_tokens_map_file": null, "full_tokenizer_file": null, "name_or_path": "aubmindlab/bert-base-arabert", "tokenizer_class": "BertTokenizer"}