Commit
•
2a8a654
1
Parent(s):
4d4d200
Upload tokenizer
Browse files- tokenizer.json +0 -18
- tokenizer_config.json +2 -0
tokenizer.json
CHANGED
|
@@ -9038,12 +9038,6 @@
|
|
| 9038 |
"id": "A",
|
| 9039 |
"type_id": 0
|
| 9040 |
}
|
| 9041 |
-
},
|
| 9042 |
-
{
|
| 9043 |
-
"SpecialToken": {
|
| 9044 |
-
"id": "</s>",
|
| 9045 |
-
"type_id": 0
|
| 9046 |
-
}
|
| 9047 |
}
|
| 9048 |
],
|
| 9049 |
"pair": [
|
|
@@ -9059,12 +9053,6 @@
|
|
| 9059 |
"type_id": 0
|
| 9060 |
}
|
| 9061 |
},
|
| 9062 |
-
{
|
| 9063 |
-
"SpecialToken": {
|
| 9064 |
-
"id": "</s>",
|
| 9065 |
-
"type_id": 0
|
| 9066 |
-
}
|
| 9067 |
-
},
|
| 9068 |
{
|
| 9069 |
"SpecialToken": {
|
| 9070 |
"id": "<s>",
|
|
@@ -9076,12 +9064,6 @@
|
|
| 9076 |
"id": "B",
|
| 9077 |
"type_id": 1
|
| 9078 |
}
|
| 9079 |
-
},
|
| 9080 |
-
{
|
| 9081 |
-
"SpecialToken": {
|
| 9082 |
-
"id": "</s>",
|
| 9083 |
-
"type_id": 1
|
| 9084 |
-
}
|
| 9085 |
}
|
| 9086 |
],
|
| 9087 |
"special_tokens": {
|
|
|
|
| 9038 |
"id": "A",
|
| 9039 |
"type_id": 0
|
| 9040 |
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9041 |
}
|
| 9042 |
],
|
| 9043 |
"pair": [
|
|
|
|
| 9053 |
"type_id": 0
|
| 9054 |
}
|
| 9055 |
},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9056 |
{
|
| 9057 |
"SpecialToken": {
|
| 9058 |
"id": "<s>",
|
|
|
|
| 9064 |
"id": "B",
|
| 9065 |
"type_id": 1
|
| 9066 |
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9067 |
}
|
| 9068 |
],
|
| 9069 |
"special_tokens": {
|
tokenizer_config.json
CHANGED
|
@@ -1,4 +1,6 @@
|
|
| 1 |
{
|
|
|
|
|
|
|
| 2 |
"add_prefix_space": false,
|
| 3 |
"added_tokens_decoder": {
|
| 4 |
"0": {
|
|
|
|
| 1 |
{
|
| 2 |
+
"add_bos_token": true,
|
| 3 |
+
"add_eos_token": false,
|
| 4 |
"add_prefix_space": false,
|
| 5 |
"added_tokens_decoder": {
|
| 6 |
"0": {
|