tokenizer_config.json

{"bos_token": "<|startoftext|>", "eos_token": "<|endoftext|>", "pad_token": "<|pad|>", "model_max_length": 1024}