tiny-random-glm4-moe / tokenizer.json
rkazants's picture
Upload 6 files
e97e248 verified
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "token_0",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 1,
"content": "token_1",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
},
{
"id": 2,
"content": "token_2",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": null,
"pre_tokenizer": {
"type": "Whitespace"
},
"post_processor": null,
"decoder": null,
"model": {
"type": "WordPiece",
"unk_token": "token_0",
"continuing_subword_prefix": "##",
"max_input_chars_per_word": 100,
"vocab": {
"token_0": 0,
"token_1": 1,
"token_2": 2,
"token_3": 3,
"token_4": 4,
"token_5": 5,
"token_6": 6,
"token_7": 7,
"token_8": 8,
"token_9": 9,
"token_10": 10,
"token_11": 11,
"token_12": 12,
"token_13": 13,
"token_14": 14,
"token_15": 15,
"token_16": 16,
"token_17": 17,
"token_18": 18,
"token_19": 19,
"token_20": 20,
"token_21": 21,
"token_22": 22,
"token_23": 23,
"token_24": 24,
"token_25": 25,
"token_26": 26,
"token_27": 27,
"token_28": 28,
"token_29": 29,
"token_30": 30,
"token_31": 31,
"token_32": 32,
"token_33": 33,
"token_34": 34,
"token_35": 35,
"token_36": 36,
"token_37": 37,
"token_38": 38,
"token_39": 39,
"token_40": 40,
"token_41": 41,
"token_42": 42,
"token_43": 43,
"token_44": 44,
"token_45": 45,
"token_46": 46,
"token_47": 47,
"token_48": 48,
"token_49": 49,
"token_50": 50,
"token_51": 51,
"token_52": 52,
"token_53": 53,
"token_54": 54,
"token_55": 55,
"token_56": 56,
"token_57": 57,
"token_58": 58,
"token_59": 59,
"token_60": 60,
"token_61": 61,
"token_62": 62,
"token_63": 63,
"token_64": 64,
"token_65": 65,
"token_66": 66,
"token_67": 67,
"token_68": 68,
"token_69": 69,
"token_70": 70,
"token_71": 71,
"token_72": 72,
"token_73": 73,
"token_74": 74,
"token_75": 75,
"token_76": 76,
"token_77": 77,
"token_78": 78,
"token_79": 79,
"token_80": 80,
"token_81": 81,
"token_82": 82,
"token_83": 83,
"token_84": 84,
"token_85": 85,
"token_86": 86,
"token_87": 87,
"token_88": 88,
"token_89": 89,
"token_90": 90,
"token_91": 91,
"token_92": 92,
"token_93": 93,
"token_94": 94,
"token_95": 95,
"token_96": 96,
"token_97": 97,
"token_98": 98,
"token_99": 99,
"token_100": 100,
"token_101": 101,
"token_102": 102,
"token_103": 103,
"token_104": 104,
"token_105": 105,
"token_106": 106,
"token_107": 107,
"token_108": 108,
"token_109": 109,
"token_110": 110,
"token_111": 111,
"token_112": 112,
"token_113": 113,
"token_114": 114,
"token_115": 115,
"token_116": 116,
"token_117": 117,
"token_118": 118,
"token_119": 119,
"token_120": 120,
"token_121": 121,
"token_122": 122,
"token_123": 123,
"token_124": 124,
"token_125": 125,
"token_126": 126,
"token_127": 127,
"token_128": 128,
"token_129": 129,
"token_130": 130,
"token_131": 131,
"token_132": 132,
"token_133": 133,
"token_134": 134,
"token_135": 135,
"token_136": 136,
"token_137": 137,
"token_138": 138,
"token_139": 139,
"token_140": 140,
"token_141": 141,
"token_142": 142,
"token_143": 143,
"token_144": 144,
"token_145": 145,
"token_146": 146,
"token_147": 147,
"token_148": 148,
"token_149": 149,
"token_150": 150,
"token_151": 151,
"token_152": 152,
"token_153": 153,
"token_154": 154,
"token_155": 155,
"token_156": 156,
"token_157": 157,
"token_158": 158,
"token_159": 159,
"token_160": 160,
"token_161": 161,
"token_162": 162,
"token_163": 163,
"token_164": 164,
"token_165": 165,
"token_166": 166,
"token_167": 167,
"token_168": 168,
"token_169": 169,
"token_170": 170,
"token_171": 171,
"token_172": 172,
"token_173": 173,
"token_174": 174,
"token_175": 175,
"token_176": 176,
"token_177": 177,
"token_178": 178,
"token_179": 179,
"token_180": 180,
"token_181": 181,
"token_182": 182,
"token_183": 183,
"token_184": 184,
"token_185": 185,
"token_186": 186,
"token_187": 187,
"token_188": 188,
"token_189": 189,
"token_190": 190,
"token_191": 191,
"token_192": 192,
"token_193": 193,
"token_194": 194,
"token_195": 195,
"token_196": 196,
"token_197": 197,
"token_198": 198,
"token_199": 199,
"token_200": 200,
"token_201": 201,
"token_202": 202,
"token_203": 203,
"token_204": 204,
"token_205": 205,
"token_206": 206,
"token_207": 207,
"token_208": 208,
"token_209": 209,
"token_210": 210,
"token_211": 211,
"token_212": 212,
"token_213": 213,
"token_214": 214,
"token_215": 215,
"token_216": 216,
"token_217": 217,
"token_218": 218,
"token_219": 219,
"token_220": 220,
"token_221": 221,
"token_222": 222,
"token_223": 223,
"token_224": 224,
"token_225": 225,
"token_226": 226,
"token_227": 227,
"token_228": 228,
"token_229": 229,
"token_230": 230,
"token_231": 231,
"token_232": 232,
"token_233": 233,
"token_234": 234,
"token_235": 235,
"token_236": 236,
"token_237": 237,
"token_238": 238,
"token_239": 239,
"token_240": 240,
"token_241": 241,
"token_242": 242,
"token_243": 243,
"token_244": 244,
"token_245": 245,
"token_246": 246,
"token_247": 247,
"token_248": 248,
"token_249": 249,
"token_250": 250,
"token_251": 251,
"token_252": 252,
"token_253": 253,
"token_254": 254,
"token_255": 255,
"token_256": 256,
"token_257": 257,
"token_258": 258,
"token_259": 259,
"token_260": 260,
"token_261": 261,
"token_262": 262,
"token_263": 263,
"token_264": 264,
"token_265": 265,
"token_266": 266,
"token_267": 267,
"token_268": 268,
"token_269": 269,
"token_270": 270,
"token_271": 271,
"token_272": 272,
"token_273": 273,
"token_274": 274,
"token_275": 275,
"token_276": 276,
"token_277": 277,
"token_278": 278,
"token_279": 279,
"token_280": 280,
"token_281": 281,
"token_282": 282,
"token_283": 283,
"token_284": 284,
"token_285": 285,
"token_286": 286,
"token_287": 287,
"token_288": 288,
"token_289": 289,
"token_290": 290,
"token_291": 291,
"token_292": 292,
"token_293": 293,
"token_294": 294,
"token_295": 295,
"token_296": 296,
"token_297": 297,
"token_298": 298,
"token_299": 299,
"token_300": 300,
"token_301": 301,
"token_302": 302,
"token_303": 303,
"token_304": 304,
"token_305": 305,
"token_306": 306,
"token_307": 307,
"token_308": 308,
"token_309": 309,
"token_310": 310,
"token_311": 311,
"token_312": 312,
"token_313": 313,
"token_314": 314,
"token_315": 315,
"token_316": 316,
"token_317": 317,
"token_318": 318,
"token_319": 319,
"token_320": 320,
"token_321": 321,
"token_322": 322,
"token_323": 323,
"token_324": 324,
"token_325": 325,
"token_326": 326,
"token_327": 327,
"token_328": 328,
"token_329": 329,
"token_330": 330,
"token_331": 331,
"token_332": 332,
"token_333": 333,
"token_334": 334,
"token_335": 335,
"token_336": 336,
"token_337": 337,
"token_338": 338,
"token_339": 339,
"token_340": 340,
"token_341": 341,
"token_342": 342,
"token_343": 343,
"token_344": 344,
"token_345": 345,
"token_346": 346,
"token_347": 347,
"token_348": 348,
"token_349": 349,
"token_350": 350,
"token_351": 351,
"token_352": 352,
"token_353": 353,
"token_354": 354,
"token_355": 355,
"token_356": 356,
"token_357": 357,
"token_358": 358,
"token_359": 359,
"token_360": 360,
"token_361": 361,
"token_362": 362,
"token_363": 363,
"token_364": 364,
"token_365": 365,
"token_366": 366,
"token_367": 367,
"token_368": 368,
"token_369": 369,
"token_370": 370,
"token_371": 371,
"token_372": 372,
"token_373": 373,
"token_374": 374,
"token_375": 375,
"token_376": 376,
"token_377": 377,
"token_378": 378,
"token_379": 379,
"token_380": 380,
"token_381": 381,
"token_382": 382,
"token_383": 383,
"token_384": 384,
"token_385": 385,
"token_386": 386,
"token_387": 387,
"token_388": 388,
"token_389": 389,
"token_390": 390,
"token_391": 391,
"token_392": 392,
"token_393": 393,
"token_394": 394,
"token_395": 395,
"token_396": 396,
"token_397": 397,
"token_398": 398,
"token_399": 399,
"token_400": 400,
"token_401": 401,
"token_402": 402,
"token_403": 403,
"token_404": 404,
"token_405": 405,
"token_406": 406,
"token_407": 407,
"token_408": 408,
"token_409": 409,
"token_410": 410,
"token_411": 411,
"token_412": 412,
"token_413": 413,
"token_414": 414,
"token_415": 415,
"token_416": 416,
"token_417": 417,
"token_418": 418,
"token_419": 419,
"token_420": 420,
"token_421": 421,
"token_422": 422,
"token_423": 423,
"token_424": 424,
"token_425": 425,
"token_426": 426,
"token_427": 427,
"token_428": 428,
"token_429": 429,
"token_430": 430,
"token_431": 431,
"token_432": 432,
"token_433": 433,
"token_434": 434,
"token_435": 435,
"token_436": 436,
"token_437": 437,
"token_438": 438,
"token_439": 439,
"token_440": 440,
"token_441": 441,
"token_442": 442,
"token_443": 443,
"token_444": 444,
"token_445": 445,
"token_446": 446,
"token_447": 447,
"token_448": 448,
"token_449": 449,
"token_450": 450,
"token_451": 451,
"token_452": 452,
"token_453": 453,
"token_454": 454,
"token_455": 455,
"token_456": 456,
"token_457": 457,
"token_458": 458,
"token_459": 459,
"token_460": 460,
"token_461": 461,
"token_462": 462,
"token_463": 463,
"token_464": 464,
"token_465": 465,
"token_466": 466,
"token_467": 467,
"token_468": 468,
"token_469": 469,
"token_470": 470,
"token_471": 471,
"token_472": 472,
"token_473": 473,
"token_474": 474,
"token_475": 475,
"token_476": 476,
"token_477": 477,
"token_478": 478,
"token_479": 479,
"token_480": 480,
"token_481": 481,
"token_482": 482,
"token_483": 483,
"token_484": 484,
"token_485": 485,
"token_486": 486,
"token_487": 487,
"token_488": 488,
"token_489": 489,
"token_490": 490,
"token_491": 491,
"token_492": 492,
"token_493": 493,
"token_494": 494,
"token_495": 495,
"token_496": 496,
"token_497": 497,
"token_498": 498,
"token_499": 499,
"token_500": 500,
"token_501": 501,
"token_502": 502,
"token_503": 503,
"token_504": 504,
"token_505": 505,
"token_506": 506,
"token_507": 507,
"token_508": 508,
"token_509": 509,
"token_510": 510,
"token_511": 511,
"token_512": 512,
"token_513": 513,
"token_514": 514,
"token_515": 515,
"token_516": 516,
"token_517": 517,
"token_518": 518,
"token_519": 519,
"token_520": 520,
"token_521": 521,
"token_522": 522,
"token_523": 523,
"token_524": 524,
"token_525": 525,
"token_526": 526,
"token_527": 527,
"token_528": 528,
"token_529": 529,
"token_530": 530,
"token_531": 531,
"token_532": 532,
"token_533": 533,
"token_534": 534,
"token_535": 535,
"token_536": 536,
"token_537": 537,
"token_538": 538,
"token_539": 539,
"token_540": 540,
"token_541": 541,
"token_542": 542,
"token_543": 543,
"token_544": 544,
"token_545": 545,
"token_546": 546,
"token_547": 547,
"token_548": 548,
"token_549": 549,
"token_550": 550,
"token_551": 551,
"token_552": 552,
"token_553": 553,
"token_554": 554,
"token_555": 555,
"token_556": 556,
"token_557": 557,
"token_558": 558,
"token_559": 559,
"token_560": 560,
"token_561": 561,
"token_562": 562,
"token_563": 563,
"token_564": 564,
"token_565": 565,
"token_566": 566,
"token_567": 567,
"token_568": 568,
"token_569": 569,
"token_570": 570,
"token_571": 571,
"token_572": 572,
"token_573": 573,
"token_574": 574,
"token_575": 575,
"token_576": 576,
"token_577": 577,
"token_578": 578,
"token_579": 579,
"token_580": 580,
"token_581": 581,
"token_582": 582,
"token_583": 583,
"token_584": 584,
"token_585": 585,
"token_586": 586,
"token_587": 587,
"token_588": 588,
"token_589": 589,
"token_590": 590,
"token_591": 591,
"token_592": 592,
"token_593": 593,
"token_594": 594,
"token_595": 595,
"token_596": 596,
"token_597": 597,
"token_598": 598,
"token_599": 599,
"token_600": 600,
"token_601": 601,
"token_602": 602,
"token_603": 603,
"token_604": 604,
"token_605": 605,
"token_606": 606,
"token_607": 607,
"token_608": 608,
"token_609": 609,
"token_610": 610,
"token_611": 611,
"token_612": 612,
"token_613": 613,
"token_614": 614,
"token_615": 615,
"token_616": 616,
"token_617": 617,
"token_618": 618,
"token_619": 619,
"token_620": 620,
"token_621": 621,
"token_622": 622,
"token_623": 623,
"token_624": 624,
"token_625": 625,
"token_626": 626,
"token_627": 627,
"token_628": 628,
"token_629": 629,
"token_630": 630,
"token_631": 631,
"token_632": 632,
"token_633": 633,
"token_634": 634,
"token_635": 635,
"token_636": 636,
"token_637": 637,
"token_638": 638,
"token_639": 639,
"token_640": 640,
"token_641": 641,
"token_642": 642,
"token_643": 643,
"token_644": 644,
"token_645": 645,
"token_646": 646,
"token_647": 647,
"token_648": 648,
"token_649": 649,
"token_650": 650,
"token_651": 651,
"token_652": 652,
"token_653": 653,
"token_654": 654,
"token_655": 655,
"token_656": 656,
"token_657": 657,
"token_658": 658,
"token_659": 659,
"token_660": 660,
"token_661": 661,
"token_662": 662,
"token_663": 663,
"token_664": 664,
"token_665": 665,
"token_666": 666,
"token_667": 667,
"token_668": 668,
"token_669": 669,
"token_670": 670,
"token_671": 671,
"token_672": 672,
"token_673": 673,
"token_674": 674,
"token_675": 675,
"token_676": 676,
"token_677": 677,
"token_678": 678,
"token_679": 679,
"token_680": 680,
"token_681": 681,
"token_682": 682,
"token_683": 683,
"token_684": 684,
"token_685": 685,
"token_686": 686,
"token_687": 687,
"token_688": 688,
"token_689": 689,
"token_690": 690,
"token_691": 691,
"token_692": 692,
"token_693": 693,
"token_694": 694,
"token_695": 695,
"token_696": 696,
"token_697": 697,
"token_698": 698,
"token_699": 699,
"token_700": 700,
"token_701": 701,
"token_702": 702,
"token_703": 703,
"token_704": 704,
"token_705": 705,
"token_706": 706,
"token_707": 707,
"token_708": 708,
"token_709": 709,
"token_710": 710,
"token_711": 711,
"token_712": 712,
"token_713": 713,
"token_714": 714,
"token_715": 715,
"token_716": 716,
"token_717": 717,
"token_718": 718,
"token_719": 719,
"token_720": 720,
"token_721": 721,
"token_722": 722,
"token_723": 723,
"token_724": 724,
"token_725": 725,
"token_726": 726,
"token_727": 727,
"token_728": 728,
"token_729": 729,
"token_730": 730,
"token_731": 731,
"token_732": 732,
"token_733": 733,
"token_734": 734,
"token_735": 735,
"token_736": 736,
"token_737": 737,
"token_738": 738,
"token_739": 739,
"token_740": 740,
"token_741": 741,
"token_742": 742,
"token_743": 743,
"token_744": 744,
"token_745": 745,
"token_746": 746,
"token_747": 747,
"token_748": 748,
"token_749": 749,
"token_750": 750,
"token_751": 751,
"token_752": 752,
"token_753": 753,
"token_754": 754,
"token_755": 755,
"token_756": 756,
"token_757": 757,
"token_758": 758,
"token_759": 759,
"token_760": 760,
"token_761": 761,
"token_762": 762,
"token_763": 763,
"token_764": 764,
"token_765": 765,
"token_766": 766,
"token_767": 767,
"token_768": 768,
"token_769": 769,
"token_770": 770,
"token_771": 771,
"token_772": 772,
"token_773": 773,
"token_774": 774,
"token_775": 775,
"token_776": 776,
"token_777": 777,
"token_778": 778,
"token_779": 779,
"token_780": 780,
"token_781": 781,
"token_782": 782,
"token_783": 783,
"token_784": 784,
"token_785": 785,
"token_786": 786,
"token_787": 787,
"token_788": 788,
"token_789": 789,
"token_790": 790,
"token_791": 791,
"token_792": 792,
"token_793": 793,
"token_794": 794,
"token_795": 795,
"token_796": 796,
"token_797": 797,
"token_798": 798,
"token_799": 799,
"token_800": 800,
"token_801": 801,
"token_802": 802,
"token_803": 803,
"token_804": 804,
"token_805": 805,
"token_806": 806,
"token_807": 807,
"token_808": 808,
"token_809": 809,
"token_810": 810,
"token_811": 811,
"token_812": 812,
"token_813": 813,
"token_814": 814,
"token_815": 815,
"token_816": 816,
"token_817": 817,
"token_818": 818,
"token_819": 819,
"token_820": 820,
"token_821": 821,
"token_822": 822,
"token_823": 823,
"token_824": 824,
"token_825": 825,
"token_826": 826,
"token_827": 827,
"token_828": 828,
"token_829": 829,
"token_830": 830,
"token_831": 831,
"token_832": 832,
"token_833": 833,
"token_834": 834,
"token_835": 835,
"token_836": 836,
"token_837": 837,
"token_838": 838,
"token_839": 839,
"token_840": 840,
"token_841": 841,
"token_842": 842,
"token_843": 843,
"token_844": 844,
"token_845": 845,
"token_846": 846,
"token_847": 847,
"token_848": 848,
"token_849": 849,
"token_850": 850,
"token_851": 851,
"token_852": 852,
"token_853": 853,
"token_854": 854,
"token_855": 855,
"token_856": 856,
"token_857": 857,
"token_858": 858,
"token_859": 859,
"token_860": 860,
"token_861": 861,
"token_862": 862,
"token_863": 863,
"token_864": 864,
"token_865": 865,
"token_866": 866,
"token_867": 867,
"token_868": 868,
"token_869": 869,
"token_870": 870,
"token_871": 871,
"token_872": 872,
"token_873": 873,
"token_874": 874,
"token_875": 875,
"token_876": 876,
"token_877": 877,
"token_878": 878,
"token_879": 879,
"token_880": 880,
"token_881": 881,
"token_882": 882,
"token_883": 883,
"token_884": 884,
"token_885": 885,
"token_886": 886,
"token_887": 887,
"token_888": 888,
"token_889": 889,
"token_890": 890,
"token_891": 891,
"token_892": 892,
"token_893": 893,
"token_894": 894,
"token_895": 895,
"token_896": 896,
"token_897": 897,
"token_898": 898,
"token_899": 899,
"token_900": 900,
"token_901": 901,
"token_902": 902,
"token_903": 903,
"token_904": 904,
"token_905": 905,
"token_906": 906,
"token_907": 907,
"token_908": 908,
"token_909": 909,
"token_910": 910,
"token_911": 911,
"token_912": 912,
"token_913": 913,
"token_914": 914,
"token_915": 915,
"token_916": 916,
"token_917": 917,
"token_918": 918,
"token_919": 919,
"token_920": 920,
"token_921": 921,
"token_922": 922,
"token_923": 923,
"token_924": 924,
"token_925": 925,
"token_926": 926,
"token_927": 927,
"token_928": 928,
"token_929": 929,
"token_930": 930,
"token_931": 931,
"token_932": 932,
"token_933": 933,
"token_934": 934,
"token_935": 935,
"token_936": 936,
"token_937": 937,
"token_938": 938,
"token_939": 939,
"token_940": 940,
"token_941": 941,
"token_942": 942,
"token_943": 943,
"token_944": 944,
"token_945": 945,
"token_946": 946,
"token_947": 947,
"token_948": 948,
"token_949": 949,
"token_950": 950,
"token_951": 951,
"token_952": 952,
"token_953": 953,
"token_954": 954,
"token_955": 955,
"token_956": 956,
"token_957": 957,
"token_958": 958,
"token_959": 959,
"token_960": 960,
"token_961": 961,
"token_962": 962,
"token_963": 963,
"token_964": 964,
"token_965": 965,
"token_966": 966,
"token_967": 967,
"token_968": 968,
"token_969": 969,
"token_970": 970,
"token_971": 971,
"token_972": 972,
"token_973": 973,
"token_974": 974,
"token_975": 975,
"token_976": 976,
"token_977": 977,
"token_978": 978,
"token_979": 979,
"token_980": 980,
"token_981": 981,
"token_982": 982,
"token_983": 983,
"token_984": 984,
"token_985": 985,
"token_986": 986,
"token_987": 987,
"token_988": 988,
"token_989": 989,
"token_990": 990,
"token_991": 991,
"token_992": 992,
"token_993": 993,
"token_994": 994,
"token_995": 995,
"token_996": 996,
"token_997": 997,
"token_998": 998,
"token_999": 999
}
}
}