Upload tokenizer

added_tokens.json

@@ -1,4 +1,6 @@
 {
+  "[PAD]": 6369,
+  "[UNK]": 6368,
   "ã": 6398,
   "ãː": 6400,
   "ãˤ": 6408,
@@ -50,7 +52,6 @@
   "ɒ̃ː": 6422,
   "ɒ̃ˤ": 6418,
   "ɒ̰̃": 6463,
-  "ɒ̤ˠ": 6368,
   "ɔ̃": 6390,
   "ɔ̃ː": 6392,
   "ɔ̃ˤ": 6414,
@@ -98,7 +99,6 @@
   "ɶ̃ː": 6403,
   "ɶ̃ˤ": 6420,
   "ɶ̰̃": 6462,
-  "ɶ̤ˠ": 6369,
   "ɺ̩": 6479,
   "ɽ̩": 6472,
   "ɾ̩": 6474,

special_tokens_map.json

@@ -1,18 +1,6 @@
 {
   "bos_token": "<s>",
   "eos_token": "</s>",
-  "pad_token": {
-    "content": "[PAD]",
-    "lstrip": true,
-    "normalized": false,
-    "rstrip": true,
-    "single_word": false
-  },
-  "unk_token": {
-    "content": "[UNK]",
-    "lstrip": true,
-    "normalized": false,
-    "rstrip": true,
-    "single_word": false
-  }
+  "pad_token": "[PAD]",
+  "unk_token": "[UNK]"
 }

tokenizer_config.json

@@ -49121,7 +49121,7 @@
       "special": false
     },
     "6368": {
-      "content": "ɒ̤ˠ",
+      "content": "[UNK]",
       "lstrip": true,
       "normalized": false,
       "rstrip": true,
@@ -49129,7 +49129,7 @@
       "special": false
     },
     "6369": {
-      "content": "ɶ̤ˠ",
+      "content": "[PAD]",
       "lstrip": true,
       "normalized": false,
       "rstrip": true,

vocab.json

@@ -1,6 +1,6 @@
 {
-  "[PAD]": 6368,
-  "[UNK]": 6367,
+  "[PAD]": 6369,
+  "[UNK]": 6368,
   "a": 5711,
   "aˀ": 6159,
   "aː": 5729,
@@ -2587,7 +2587,7 @@
   "z̺": 2666,
   "z̻": 2692,
   "zᶣ": 2928,
-  "|": 6369,
+  "|": 6367,
   "æ": 5712,
   "æˀ": 6160,
   "æː": 5730,