Upload tokenizer.json
Browse files- tokenizer.json +0 -10
tokenizer.json
CHANGED
|
@@ -61,11 +61,6 @@
|
|
| 61 |
"pre_tokenizer": {
|
| 62 |
"type": "Sequence",
|
| 63 |
"pretokenizers": [
|
| 64 |
-
{
|
| 65 |
-
"type": "Metaspace",
|
| 66 |
-
"replacement": "▁",
|
| 67 |
-
"add_prefix_space": false
|
| 68 |
-
},
|
| 69 |
{
|
| 70 |
"type": "Digits",
|
| 71 |
"individual_digits": true
|
|
@@ -80,11 +75,6 @@
|
|
| 80 |
"decoder": {
|
| 81 |
"type": "Sequence",
|
| 82 |
"decoders": [
|
| 83 |
-
{
|
| 84 |
-
"type": "Metaspace",
|
| 85 |
-
"replacement": "▁",
|
| 86 |
-
"add_prefix_space": false
|
| 87 |
-
},
|
| 88 |
{
|
| 89 |
"type": "ByteFallback"
|
| 90 |
}
|
|
|
|
| 61 |
"pre_tokenizer": {
|
| 62 |
"type": "Sequence",
|
| 63 |
"pretokenizers": [
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 64 |
{
|
| 65 |
"type": "Digits",
|
| 66 |
"individual_digits": true
|
|
|
|
| 75 |
"decoder": {
|
| 76 |
"type": "Sequence",
|
| 77 |
"decoders": [
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 78 |
{
|
| 79 |
"type": "ByteFallback"
|
| 80 |
}
|