{ "bos_token": "[bos]", "do_lower_case": true, "eos_token": "[eos]", "model_max_length": 42, "pad_token": "[pad]", "tokenizer_class": "CharTokenizer", "unk_token": "[unk]", "auto_map": { "AutoTokenizer": ["char_tokenizer.CharTokenizer", null] } }