Upload 4 files

special_tokens_map.json

@@ -1,5 +1,214 @@
 {
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|extra_0|>",
+    "<|extra_1|>",
+    "<|extra_2|>",
+    "<|extra_3|>",
+    "<|extra_4|>",
+    "<|extra_5|>",
+    "<|extra_6|>",
+    "<|extra_7|>",
+    "<|extra_8|>",
+    "<|extra_9|>",
+    "<|extra_10|>",
+    "<|extra_11|>",
+    "<|extra_12|>",
+    "<|extra_13|>",
+    "<|extra_14|>",
+    "<|extra_15|>",
+    "<|extra_16|>",
+    "<|extra_17|>",
+    "<|extra_18|>",
+    "<|extra_19|>",
+    "<|extra_20|>",
+    "<|extra_21|>",
+    "<|extra_22|>",
+    "<|extra_23|>",
+    "<|extra_24|>",
+    "<|extra_25|>",
+    "<|extra_26|>",
+    "<|extra_27|>",
+    "<|extra_28|>",
+    "<|extra_29|>",
+    "<|extra_30|>",
+    "<|extra_31|>",
+    "<|extra_32|>",
+    "<|extra_33|>",
+    "<|extra_34|>",
+    "<|extra_35|>",
+    "<|extra_36|>",
+    "<|extra_37|>",
+    "<|extra_38|>",
+    "<|extra_39|>",
+    "<|extra_40|>",
+    "<|extra_41|>",
+    "<|extra_42|>",
+    "<|extra_43|>",
+    "<|extra_44|>",
+    "<|extra_45|>",
+    "<|extra_46|>",
+    "<|extra_47|>",
+    "<|extra_48|>",
+    "<|extra_49|>",
+    "<|extra_50|>",
+    "<|extra_51|>",
+    "<|extra_52|>",
+    "<|extra_53|>",
+    "<|extra_54|>",
+    "<|extra_55|>",
+    "<|extra_56|>",
+    "<|extra_57|>",
+    "<|extra_58|>",
+    "<|extra_59|>",
+    "<|extra_60|>",
+    "<|extra_61|>",
+    "<|extra_62|>",
+    "<|extra_63|>",
+    "<|extra_64|>",
+    "<|extra_65|>",
+    "<|extra_66|>",
+    "<|extra_67|>",
+    "<|extra_68|>",
+    "<|extra_69|>",
+    "<|extra_70|>",
+    "<|extra_71|>",
+    "<|extra_72|>",
+    "<|extra_73|>",
+    "<|extra_74|>",
+    "<|extra_75|>",
+    "<|extra_76|>",
+    "<|extra_77|>",
+    "<|extra_78|>",
+    "<|extra_79|>",
+    "<|extra_80|>",
+    "<|extra_81|>",
+    "<|extra_82|>",
+    "<|extra_83|>",
+    "<|extra_84|>",
+    "<|extra_85|>",
+    "<|extra_86|>",
+    "<|extra_87|>",
+    "<|extra_88|>",
+    "<|extra_89|>",
+    "<|extra_90|>",
+    "<|extra_91|>",
+    "<|extra_92|>",
+    "<|extra_93|>",
+    "<|extra_94|>",
+    "<|extra_95|>",
+    "<|extra_96|>",
+    "<|extra_97|>",
+    "<|extra_98|>",
+    "<|extra_99|>",
+    "<|extra_100|>",
+    "<|extra_101|>",
+    "<|extra_102|>",
+    "<|extra_103|>",
+    "<|extra_104|>",
+    "<|extra_105|>",
+    "<|extra_106|>",
+    "<|extra_107|>",
+    "<|extra_108|>",
+    "<|extra_109|>",
+    "<|extra_110|>",
+    "<|extra_111|>",
+    "<|extra_112|>",
+    "<|extra_113|>",
+    "<|extra_114|>",
+    "<|extra_115|>",
+    "<|extra_116|>",
+    "<|extra_117|>",
+    "<|extra_118|>",
+    "<|extra_119|>",
+    "<|extra_120|>",
+    "<|extra_121|>",
+    "<|extra_122|>",
+    "<|extra_123|>",
+    "<|extra_124|>",
+    "<|extra_125|>",
+    "<|extra_126|>",
+    "<|extra_127|>",
+    "<|extra_128|>",
+    "<|extra_129|>",
+    "<|extra_130|>",
+    "<|extra_131|>",
+    "<|extra_132|>",
+    "<|extra_133|>",
+    "<|extra_134|>",
+    "<|extra_135|>",
+    "<|extra_136|>",
+    "<|extra_137|>",
+    "<|extra_138|>",
+    "<|extra_139|>",
+    "<|extra_140|>",
+    "<|extra_141|>",
+    "<|extra_142|>",
+    "<|extra_143|>",
+    "<|extra_144|>",
+    "<|extra_145|>",
+    "<|extra_146|>",
+    "<|extra_147|>",
+    "<|extra_148|>",
+    "<|extra_149|>",
+    "<|extra_150|>",
+    "<|extra_151|>",
+    "<|extra_152|>",
+    "<|extra_153|>",
+    "<|extra_154|>",
+    "<|extra_155|>",
+    "<|extra_156|>",
+    "<|extra_157|>",
+    "<|extra_158|>",
+    "<|extra_159|>",
+    "<|extra_160|>",
+    "<|extra_161|>",
+    "<|extra_162|>",
+    "<|extra_163|>",
+    "<|extra_164|>",
+    "<|extra_165|>",
+    "<|extra_166|>",
+    "<|extra_167|>",
+    "<|extra_168|>",
+    "<|extra_169|>",
+    "<|extra_170|>",
+    "<|extra_171|>",
+    "<|extra_172|>",
+    "<|extra_173|>",
+    "<|extra_174|>",
+    "<|extra_175|>",
+    "<|extra_176|>",
+    "<|extra_177|>",
+    "<|extra_178|>",
+    "<|extra_179|>",
+    "<|extra_180|>",
+    "<|extra_181|>",
+    "<|extra_182|>",
+    "<|extra_183|>",
+    "<|extra_184|>",
+    "<|extra_185|>",
+    "<|extra_186|>",
+    "<|extra_187|>",
+    "<|extra_188|>",
+    "<|extra_189|>",
+    "<|extra_190|>",
+    "<|extra_191|>",
+    "<|extra_192|>",
+    "<|extra_193|>",
+    "<|extra_194|>",
+    "<|extra_195|>",
+    "<|extra_196|>",
+    "<|extra_197|>",
+    "<|extra_198|>",
+    "<|extra_199|>",
+    "<|extra_200|>",
+    "<|extra_201|>",
+    "<|extra_202|>",
+    "<|extra_203|>",
+    "<|extra_204|>"
+  ],
   "bos_token": "<|endoftext|>",
   "eos_token": "<|endoftext|>",
   "unk_token": "<|endoftext|>"
-}
+}

tokenizer_config.json

@@ -1,10 +1,9 @@
 {
-  "model_max_length": 999999999999999999,
-  "tokenizer_class": "QWenTokenizer",
-  "auto_map": {
-    "AutoTokenizer": [
-      "tokenization_qwen.QWenTokenizer",
-      null
-      ]
-  }
-}
+  "add_prefix_space": false,
+  "bos_token": "<|endoftext|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|endoftext|>",
+  "model_max_length": 1000000000000000019884624838656,
+  "unk_token": "<|endoftext|>"
+}