add </s> as additional special tokens
Browse files- special_tokens_map.json +1 -1
special_tokens_map.json
CHANGED
|
@@ -1 +1 @@
|
|
| 1 |
-
{"additional_special_tokens": ["<|end_of_turn|>", "<|PAD|>"], "bos_token": {"content": "<s>", "lstrip": false, "normalized": true, "rstrip": false, "single_word": false}, "eos_token": "<|end_of_turn|>", "unk_token": {"content": "<unk>", "lstrip": false, "normalized": true, "rstrip": false, "single_word": false}}
|
|
|
|
| 1 |
+
{"additional_special_tokens": ["<|end_of_turn|>", "<|PAD|>", "</s>"], "bos_token": {"content": "<s>", "lstrip": false, "normalized": true, "rstrip": false, "single_word": false}, "eos_token": "<|end_of_turn|>", "unk_token": {"content": "<unk>", "lstrip": false, "normalized": true, "rstrip": false, "single_word": false}}
|