Adding tokenizer ?

tokenizer.json

@@ -0,0 +1,271 @@
+{
+    "version": "1.0",
+    "truncation": null,
+    "padding": null,
+    "added_tokens": [],
+    "normalizer": null,
+    "pre_tokenizer": null,
+    "post_processor": null,
+    "decoder": null,
+    "model": {
+        "unk_id": null,
+        "vocab": [
+            ["\u0000", 0.0],
+            ["\u0001", 1.0],
+            ["\u0002", 2.0],
+            ["\u0003", 3.0],
+            ["\u0004", 4.0],
+            ["\u0005", 5.0],
+            ["\u0006", 6.0],
+            ["\u0007", 7.0],
+            ["\b", 8.0],
+            ["\t", 9.0],
+            ["\n", 10.0],
+            ["\u000b", 11.0],
+            ["\f", 12.0],
+            ["\r", 13.0],
+            ["\u000e", 14.0],
+            ["\u000f", 15.0],
+            ["\u0010", 16.0],
+            ["\u0011", 17.0],
+            ["\u0012", 18.0],
+            ["\u0013", 19.0],
+            ["\u0014", 20.0],
+            ["\u0015", 21.0],
+            ["\u0016", 22.0],
+            ["\u0017", 23.0],
+            ["\u0018", 24.0],
+            ["\u0019", 25.0],
+            ["\u001a", 26.0],
+            ["\u001b", 27.0],
+            ["\u001c", 28.0],
+            ["\u001d", 29.0],
+            ["\u001e", 30.0],
+            ["\u001f", 31.0],
+            [" ", 32.0],
+            ["!", 33.0],
+            ["\"", 34.0],
+            ["#", 35.0],
+            ["$", 36.0],
+            ["%", 37.0],
+            ["&", 38.0],
+            ["'", 39.0],
+            ["(", 40.0],
+            [")", 41.0],
+            ["*", 42.0],
+            ["+", 43.0],
+            [",", 44.0],
+            ["-", 45.0],
+            [".", 46.0],
+            ["/", 47.0],
+            ["0", 48.0],
+            ["1", 49.0],
+            ["2", 50.0],
+            ["3", 51.0],
+            ["4", 52.0],
+            ["5", 53.0],
+            ["6", 54.0],
+            ["7", 55.0],
+            ["8", 56.0],
+            ["9", 57.0],
+            [":", 58.0],
+            [";", 59.0],
+            ["<", 60.0],
+            ["=", 61.0],
+            [">", 62.0],
+            ["?", 63.0],
+            ["@", 64.0],
+            ["A", 65.0],
+            ["B", 66.0],
+            ["C", 67.0],
+            ["D", 68.0],
+            ["E", 69.0],
+            ["F", 70.0],
+            ["G", 71.0],
+            ["H", 72.0],
+            ["I", 73.0],
+            ["J", 74.0],
+            ["K", 75.0],
+            ["L", 76.0],
+            ["M", 77.0],
+            ["N", 78.0],
+            ["O", 79.0],
+            ["P", 80.0],
+            ["Q", 81.0],
+            ["R", 82.0],
+            ["S", 83.0],
+            ["T", 84.0],
+            ["U", 85.0],
+            ["V", 86.0],
+            ["W", 87.0],
+            ["X", 88.0],
+            ["Y", 89.0],
+            ["Z", 90.0],
+            ["[", 91.0],
+            ["\\", 92.0],
+            ["]", 93.0],
+            ["^", 94.0],
+            ["_", 95.0],
+            ["`", 96.0],
+            ["a", 97.0],
+            ["b", 98.0],
+            ["c", 99.0],
+            ["d", 100.0],
+            ["e", 101.0],
+            ["f", 102.0],
+            ["g", 103.0],
+            ["h", 104.0],
+            ["i", 105.0],
+            ["j", 106.0],
+            ["k", 107.0],
+            ["l", 108.0],
+            ["m", 109.0],
+            ["n", 110.0],
+            ["o", 111.0],
+            ["p", 112.0],
+            ["q", 113.0],
+            ["r", 114.0],
+            ["s", 115.0],
+            ["t", 116.0],
+            ["u", 117.0],
+            ["v", 118.0],
+            ["w", 119.0],
+            ["x", 120.0],
+            ["y", 121.0],
+            ["z", 122.0],
+            ["{", 123.0],
+            ["|", 124.0],
+            ["}", 125.0],
+            ["~", 126.0],
+            ["", 127.0],
+            ["€", 128.0],
+            ["", 129.0],
+            ["‚", 130.0],
+            ["ƒ", 131.0],
+            ["„", 132.0],
+            ["…", 133.0],
+            ["†", 134.0],
+            ["‡", 135.0],
+            ["ˆ", 136.0],
+            ["‰", 137.0],
+            ["Š", 138.0],
+            ["‹", 139.0],
+            ["Œ", 140.0],
+            ["", 141.0],
+            ["Ž", 142.0],
+            ["", 143.0],
+            ["", 144.0],
+            ["‘", 145.0],
+            ["’", 146.0],
+            ["“", 147.0],
+            ["”", 148.0],
+            ["•", 149.0],
+            ["–", 150.0],
+            ["—", 151.0],
+            ["˜", 152.0],
+            ["™", 153.0],
+            ["š", 154.0],
+            ["›", 155.0],
+            ["œ", 156.0],
+            ["", 157.0],
+            ["ž", 158.0],
+            ["Ÿ", 159.0],
+            [" ", 160.0],
+            ["¡", 161.0],
+            ["¢", 162.0],
+            ["£", 163.0],
+            ["¤", 164.0],
+            ["¥", 165.0],
+            ["¦", 166.0],
+            ["§", 167.0],
+            ["¨", 168.0],
+            ["©", 169.0],
+            ["ª", 170.0],
+            ["«", 171.0],
+            ["¬", 172.0],
+            ["­", 173.0],
+            ["®", 174.0],
+            ["¯", 175.0],
+            ["°", 176.0],
+            ["±", 177.0],
+            ["²", 178.0],
+            ["³", 179.0],
+            ["´", 180.0],
+            ["µ", 181.0],
+            ["¶", 182.0],
+            ["·", 183.0],
+            ["¸", 184.0],
+            ["¹", 185.0],
+            ["º", 186.0],
+            ["»", 187.0],
+            ["¼", 188.0],
+            ["½", 189.0],
+            ["¾", 190.0],
+            ["¿", 191.0],
+            ["À", 192.0],
+            ["Á", 193.0],
+            ["Â", 194.0],
+            ["Ã", 195.0],
+            ["Ä", 196.0],
+            ["Å", 197.0],
+            ["Æ", 198.0],
+            ["Ç", 199.0],
+            ["È", 200.0],
+            ["É", 201.0],
+            ["Ê", 202.0],
+            ["Ë", 203.0],
+            ["Ì", 204.0],
+            ["Í", 205.0],
+            ["Î", 206.0],
+            ["Ï", 207.0],
+            ["Ð", 208.0],
+            ["Ñ", 209.0],
+            ["Ò", 210.0],
+            ["Ó", 211.0],
+            ["Ô", 212.0],
+            ["Õ", 213.0],
+            ["Ö", 214.0],
+            ["×", 215.0],
+            ["Ø", 216.0],
+            ["Ù", 217.0],
+            ["Ú", 218.0],
+            ["Û", 219.0],
+            ["Ü", 220.0],
+            ["Ý", 221.0],
+            ["Þ", 222.0],
+            ["ß", 223.0],
+            ["à", 224.0],
+            ["á", 225.0],
+            ["â", 226.0],
+            ["ã", 227.0],
+            ["ä", 228.0],
+            ["å", 229.0],
+            ["æ", 230.0],
+            ["ç", 231.0],
+            ["è", 232.0],
+            ["é", 233.0],
+            ["ê", 234.0],
+            ["ë", 235.0],
+            ["ì", 236.0],
+            ["í", 237.0],
+            ["î", 238.0],
+            ["ï", 239.0],
+            ["ð", 240.0],
+            ["ñ", 241.0],
+            ["ò", 242.0],
+            ["ó", 243.0],
+            ["ô", 244.0],
+            ["õ", 245.0],
+            ["ö", 246.0],
+            ["÷", 247.0],
+            ["ø", 248.0],
+            ["ù", 249.0],
+            ["ú", 250.0],
+            ["û", 251.0],
+            ["ü", 252.0],
+            ["ý", 253.0],
+            ["þ", 254.0],
+            ["ÿ", 255.0]
+        ]
+    }
+}

tokenizer_config.json

@@ -0,0 +1 @@
+{ "model_max_length": 4 }