Upload new GPTQs with varied parameters
Browse files- tokenizer.json +7 -7
tokenizer.json
CHANGED
|
@@ -53,7 +53,7 @@
|
|
| 53 |
"single": [
|
| 54 |
{
|
| 55 |
"SpecialToken": {
|
| 56 |
-
"id": "",
|
| 57 |
"type_id": 0
|
| 58 |
}
|
| 59 |
},
|
|
@@ -67,7 +67,7 @@
|
|
| 67 |
"pair": [
|
| 68 |
{
|
| 69 |
"SpecialToken": {
|
| 70 |
-
"id": "",
|
| 71 |
"type_id": 0
|
| 72 |
}
|
| 73 |
},
|
|
@@ -79,7 +79,7 @@
|
|
| 79 |
},
|
| 80 |
{
|
| 81 |
"SpecialToken": {
|
| 82 |
-
"id": "",
|
| 83 |
"type_id": 1
|
| 84 |
}
|
| 85 |
},
|
|
@@ -91,13 +91,13 @@
|
|
| 91 |
}
|
| 92 |
],
|
| 93 |
"special_tokens": {
|
| 94 |
-
"": {
|
| 95 |
-
"id": "",
|
| 96 |
"ids": [
|
| 97 |
-
|
| 98 |
],
|
| 99 |
"tokens": [
|
| 100 |
-
""
|
| 101 |
]
|
| 102 |
}
|
| 103 |
}
|
|
|
|
| 53 |
"single": [
|
| 54 |
{
|
| 55 |
"SpecialToken": {
|
| 56 |
+
"id": "<s>",
|
| 57 |
"type_id": 0
|
| 58 |
}
|
| 59 |
},
|
|
|
|
| 67 |
"pair": [
|
| 68 |
{
|
| 69 |
"SpecialToken": {
|
| 70 |
+
"id": "<s>",
|
| 71 |
"type_id": 0
|
| 72 |
}
|
| 73 |
},
|
|
|
|
| 79 |
},
|
| 80 |
{
|
| 81 |
"SpecialToken": {
|
| 82 |
+
"id": "<s>",
|
| 83 |
"type_id": 1
|
| 84 |
}
|
| 85 |
},
|
|
|
|
| 91 |
}
|
| 92 |
],
|
| 93 |
"special_tokens": {
|
| 94 |
+
"<s>": {
|
| 95 |
+
"id": "<s>",
|
| 96 |
"ids": [
|
| 97 |
+
1
|
| 98 |
],
|
| 99 |
"tokens": [
|
| 100 |
+
"<s>"
|
| 101 |
]
|
| 102 |
}
|
| 103 |
}
|