Tokenizer.json

"{\"class_name\": \"Tokenizer\", \"config\": {\"num_words\": null, \"filters\": \"!\\\"#$%&()*+,-./:;<=>?@[\\\\]^_`{|}~\\t\\n\", \"lower\": false, \"split\": \" \", \"char_level\": true, \"oov_token\": null, \"document_count\": 610225, \"word_counts\": \"{}\", \"word_docs\": \"{}\", \"index_docs\": \"{\\\"32\\\": 610106, \\\"45\\\": 270142, \\\"60\\\": 610225, \\\"62\\\": 610225, \\\"65\\\": 407629, \\\"67\\\": 411213, \\\"68\\\": 300712, \\\"73\\\": 389930, \\\"79\\\": 311398, \\\"82\\\": 373676, \\\"83\\\": 418863, \\\"86\\\": 140605, \\\"89\\\": 165316, \\\"92\\\": 610225, \\\"97\\\": 387504, \\\"98\\\": 156674, \\\"100\\\": 304957, \\\"101\\\": 397034, \\\"102\\\": 228107, \\\"104\\\": 257321, \\\"105\\\": 385434, \\\"108\\\": 343435, \\\"109\\\": 256816, \\\"110\\\": 387805, \\\"111\\\": 387322, \\\"114\\\": 389311, \\\"115\\\": 610225, \\\"116\\\": 383512, \\\"119\\\": 156326, \\\"121\\\": 210034, \\\"85\\\": 243510, \\\"39\\\": 77243, \\\"48\\\": 203037, \\\"49\\\": 190579, \\\"50\\\": 180955, \\\"57\\\": 97560, \\\"66\\\": 281420, \\\"69\\\": 395122, \\\"76\\\": 282906, \\\"84\\\": 316952, \\\"99\\\": 321321, \\\"107\\\": 143748, \\\"112\\\": 262553, \\\"51\\\": 121769, \\\"55\\\": 76010, \\\"71\\\": 228246, \\\"72\\\": 232032, \\\"77\\\": 338003, \\\"78\\\": 331259, \\\"88\\\": 59094, \\\"103\\\": 262131, \\\"117\\\": 308398, \\\"44\\\": 138394, \\\"56\\\": 73407, \\\"74\\\": 59782, \\\"75\\\": 91687, \\\"80\\\": 308000, \\\"70\\\": 263468, \\\"118\\\": 167895, \\\"40\\\": 68918, \\\"41\\\": 68393, \\\"52\\\": 96576, \\\"87\\\": 152536, \\\"46\\\": 233452, \\\"53\\\": 120877, \\\"54\\\": 76202, \\\"120\\\": 65368, \\\"163\\\": 630, \\\"194\\\": 11134, \\\"36\\\": 92605, \\\"47\\\": 15345, \\\"113\\\": 29708, \\\"38\\\": 31568, \\\"59\\\": 14756, \\\"81\\\": 85378, \\\"128\\\": 12298, \\\"153\\\": 7922, \\\"226\\\": 13774, \\\"90\\\": 32617, \\\"58\\\": 113155, \\\"106\\\": 15406, \\\"122\\\": 31583, \\\"63\\\": 13690, \\\"37\\\": 28458, \\\"34\\\": 4863, \\\"91\\\": 439, \\\"93\\\": 439, \\\"147\\\": 2759, \\\"33\\\": 845, \\\"156\\\": 889, \\\"157\\\": 843, \\\"43\\\": 4138, \\\"174\\\": 3020, \\\"195\\\": 1162, \\\"188\\\": 79, \\\"132\\\": 1328, \\\"162\\\": 1385, \\\"42\\\": 776, \\\"160\\\": 7459, \\\"137\\\": 154, \\\"169\\\": 384, \\\"148\\\": 716, \\\"126\\\": 438, \\\"152\\\": 620, \\\"161\\\": 58, \\\"95\\\": 854, \\\"124\\\": 1165, \\\"35\\\": 868, \\\"175\\\": 76, \\\"189\\\": 90, \\\"191\\\": 93, \\\"130\\\": 275, \\\"172\\\": 254, \\\"196\\\": 126, \\\"64\\\": 209, \\\"61\\\": 141, \\\"166\\\": 310, \\\"9\\\": 53, \\\"134\\\": 86, \\\"145\\\": 81, \\\"146\\\": 105, \\\"150\\\": 54, \\\"173\\\": 76, \\\"136\\\": 37, \\\"139\\\": 190, \\\"141\\\": 189, \\\"138\\\": 18, \\\"140\\\": 24, \\\"238\\\": 1, \\\"164\\\": 67, \\\"123\\\": 372, \\\"125\\\": 369, \\\"187\\\": 26, \\\"239\\\": 70, \\\"129\\\": 36, \\\"176\\\": 49, \\\"186\\\": 32, \\\"143\\\": 33, \\\"94\\\": 5, \\\"182\\\": 83, \\\"167\\\": 61, \\\"181\\\": 28, \\\"135\\\": 26, \\\"149\\\": 14, \\\"197\\\": 22, \\\"96\\\": 53, \\\"177\\\": 74, \\\"179\\\": 90, \\\"144\\\": 32, \\\"165\\\": 93, \\\"184\\\": 51, \\\"131\\\": 35, \\\"133\\\": 32, \\\"142\\\": 26, \\\"151\\\": 33, \\\"180\\\": 59, \\\"185\\\": 26, \\\"228\\\": 30, \\\"229\\\": 36, \\\"230\\\": 34, \\\"232\\\": 27, \\\"233\\\": 23, \\\"168\\\": 45, \\\"202\\\": 3, \\\"178\\\": 14, \\\"154\\\": 38, \\\"159\\\": 20, \\\"190\\\": 15, \\\"231\\\": 33, \\\"206\\\": 28, \\\"155\\\": 21, \\\"170\\\": 35, \\\"171\\\": 24, \\\"183\\\": 16, \\\"227\\\": 14, \\\"158\\\": 14, \\\"203\\\": 4, \\\"204\\\": 1, \\\"207\\\": 4, \\\"225\\\": 3, \\\"216\\\": 1, \\\"217\\\": 1, \\\"234\\\": 1, \\\"10\\\": 1}\", \"index_word\": \"{}\", \"word_index\": \"{\\\"9\\\": 1, \\\"10\\\": 2, \\\"32\\\": 3, \\\"33\\\": 4, \\\"34\\\": 5, \\\"35\\\": 6, \\\"36\\\": 7, \\\"37\\\": 8, \\\"38\\\": 9, \\\"39\\\": 10, \\\"40\\\": 11, \\\"41\\\": 12, \\\"42\\\": 13, \\\"43\\\": 14, \\\"44\\\": 15, \\\"45\\\": 16, \\\"46\\\": 17, \\\"47\\\": 18, \\\"48\\\": 19, \\\"49\\\": 20, \\\"50\\\": 21, \\\"51\\\": 22, \\\"52\\\": 23, \\\"53\\\": 24, \\\"54\\\": 25, \\\"55\\\": 26, \\\"56\\\": 27, \\\"57\\\": 28, \\\"58\\\": 29, \\\"59\\\": 30, \\\"60\\\": 31, \\\"61\\\": 32, \\\"62\\\": 33, \\\"63\\\": 34, \\\"64\\\": 35, \\\"65\\\": 36, \\\"66\\\": 37, \\\"67\\\": 38, \\\"68\\\": 39, \\\"69\\\": 40, \\\"70\\\": 41, \\\"71\\\": 42, \\\"72\\\": 43, \\\"73\\\": 44, \\\"74\\\": 45, \\\"75\\\": 46, \\\"76\\\": 47, \\\"77\\\": 48, \\\"78\\\": 49, \\\"79\\\": 50, \\\"80\\\": 51, \\\"81\\\": 52, \\\"82\\\": 53, \\\"83\\\": 54, \\\"84\\\": 55, \\\"85\\\": 56, \\\"86\\\": 57, \\\"87\\\": 58, \\\"88\\\": 59, \\\"89\\\": 60, \\\"90\\\": 61, \\\"91\\\": 62, \\\"92\\\": 63, \\\"93\\\": 64, \\\"94\\\": 65, \\\"95\\\": 66, \\\"96\\\": 67, \\\"97\\\": 68, \\\"98\\\": 69, \\\"99\\\": 70, \\\"100\\\": 71, \\\"101\\\": 72, \\\"102\\\": 73, \\\"103\\\": 74, \\\"104\\\": 75, \\\"105\\\": 76, \\\"106\\\": 77, \\\"107\\\": 78, \\\"108\\\": 79, \\\"109\\\": 80, \\\"110\\\": 81, \\\"111\\\": 82, \\\"112\\\": 83, \\\"113\\\": 84, \\\"114\\\": 85, \\\"115\\\": 86, \\\"116\\\": 87, \\\"117\\\": 88, \\\"118\\\": 89, \\\"119\\\": 90, \\\"120\\\": 91, \\\"121\\\": 92, \\\"122\\\": 93, \\\"123\\\": 94, \\\"124\\\": 95, \\\"125\\\": 96, \\\"126\\\": 97, \\\"128\\\": 98, \\\"129\\\": 99, \\\"130\\\": 100, \\\"131\\\": 101, \\\"132\\\": 102, \\\"133\\\": 103, \\\"134\\\": 104, \\\"135\\\": 105, \\\"136\\\": 106, \\\"137\\\": 107, \\\"138\\\": 108, \\\"139\\\": 109, \\\"140\\\": 110, \\\"141\\\": 111, \\\"142\\\": 112, \\\"143\\\": 113, \\\"144\\\": 114, \\\"145\\\": 115, \\\"146\\\": 116, \\\"147\\\": 117, \\\"148\\\": 118, \\\"149\\\": 119, \\\"150\\\": 120, \\\"151\\\": 121, \\\"152\\\": 122, \\\"153\\\": 123, \\\"154\\\": 124, \\\"155\\\": 125, \\\"156\\\": 126, \\\"157\\\": 127, \\\"158\\\": 128, \\\"159\\\": 129, \\\"160\\\": 130, \\\"161\\\": 131, \\\"162\\\": 132, \\\"163\\\": 133, \\\"164\\\": 134, \\\"165\\\": 135, \\\"166\\\": 136, \\\"167\\\": 137, \\\"168\\\": 138, \\\"169\\\": 139, \\\"170\\\": 140, \\\"171\\\": 141, \\\"172\\\": 142, \\\"173\\\": 143, \\\"174\\\": 144, \\\"175\\\": 145, \\\"176\\\": 146, \\\"177\\\": 147, \\\"178\\\": 148, \\\"179\\\": 149, \\\"180\\\": 150, \\\"181\\\": 151, \\\"182\\\": 152, \\\"183\\\": 153, \\\"184\\\": 154, \\\"185\\\": 155, \\\"186\\\": 156, \\\"187\\\": 157, \\\"188\\\": 158, \\\"189\\\": 159, \\\"190\\\": 160, \\\"191\\\": 161, \\\"194\\\": 162, \\\"195\\\": 163, \\\"196\\\": 164, \\\"197\\\": 165, \\\"202\\\": 166, \\\"203\\\": 167, \\\"204\\\": 168, \\\"206\\\": 169, \\\"207\\\": 170, \\\"216\\\": 171, \\\"217\\\": 172, \\\"225\\\": 173, \\\"226\\\": 174, \\\"227\\\": 175, \\\"228\\\": 176, \\\"229\\\": 177, \\\"230\\\": 178, \\\"231\\\": 179, \\\"232\\\": 180, \\\"233\\\": 181, \\\"234\\\": 182, \\\"238\\\": 183, \\\"239\\\": 184, \\\"0\\\": 0}\"}}"