{ "bos_token": "[bos]", "cls_token": "[cls]", "do_lower_case": false, "eos_token": "[eos]", "mask_token": "[mask]", "model_max_length": 1024, "pad_token": "[pad]", "tokenizer_class": "CharTokenizer", "unk_token": "[unk]", "auto_map": { "AutoTokenizer": ["char_tokenizer.CharTokenizer", null] } }