Fix add blank
Browse files- tokenizer.json +1 -1
tokenizer.json
CHANGED
@@ -28,7 +28,7 @@
|
|
28 |
{
|
29 |
"type": "Replace",
|
30 |
"pattern": {
|
31 |
-
"Regex": "(?:\\[SEP\\]
|
32 |
},
|
33 |
"content": "_"
|
34 |
},
|
|
|
28 |
{
|
29 |
"type": "Replace",
|
30 |
"pattern": {
|
31 |
+
"Regex": "(?:\\[SEP\\]|^|$)"
|
32 |
},
|
33 |
"content": "_"
|
34 |
},
|