CodeFormula / special_tokens_map.json
MatteoOmenetti's picture
Upload tokenizer
17ad632 verified
{
"additional_special_tokens": [
"<imgpad>",
"<title>",
"</title>",
"<table>",
"</table>",
"<section-header>",
"</section-header>",
"<paragraph>",
"</paragraph>",
"<page-header>",
"</page-header>",
"<page-footer>",
"</page-footer>",
"<equation>",
"</equation>",
"<caption>",
"</caption>",
"<figure>",
"</figure>",
"<list>",
"</list>",
"<footnote>",
"</footnote>",
"<ocr>",
"</ocr>",
"<code>",
"</code>",
"<doc>",
"</doc>",
"<otsl>",
"</otsl>",
"<ecel>",
"<fcel>",
"<lcel>",
"<ucel>",
"<nl>",
"<xcel>",
"<key>",
"</key>",
"<value>",
"</value>",
"<chart>",
"</chart>",
"<oscr>",
"</oscr>",
"<document-index>",
"</document-index>",
"<checkbox-selected>",
"</checkbox-selected>",
"<checkbox-unselected>",
"</checkbox-unselected>",
"<kv_region>",
"</kv_region>",
"<line-number>",
"</line-number>",
"<text-break>",
"<page-break>",
"<code_image_to_text>",
"</code_image_to_text>",
"<loc_0>",
"<loc_1>",
"<loc_2>",
"<loc_3>",
"<loc_4>",
"<loc_5>",
"<loc_6>",
"<loc_7>",
"<loc_8>",
"<loc_9>",
"<loc_10>",
"<loc_11>",
"<loc_12>",
"<loc_13>",
"<loc_14>",
"<loc_15>",
"<loc_16>",
"<loc_17>",
"<loc_18>",
"<loc_19>",
"<loc_20>",
"<loc_21>",
"<loc_22>",
"<loc_23>",
"<loc_24>",
"<loc_25>",
"<loc_26>",
"<loc_27>",
"<loc_28>",
"<loc_29>",
"<loc_30>",
"<loc_31>",
"<loc_32>",
"<loc_33>",
"<loc_34>",
"<loc_35>",
"<loc_36>",
"<loc_37>",
"<loc_38>",
"<loc_39>",
"<loc_40>",
"<loc_41>",
"<loc_42>",
"<loc_43>",
"<loc_44>",
"<loc_45>",
"<loc_46>",
"<loc_47>",
"<loc_48>",
"<loc_49>",
"<loc_50>",
"<loc_51>",
"<loc_52>",
"<loc_53>",
"<loc_54>",
"<loc_55>",
"<loc_56>",
"<loc_57>",
"<loc_58>",
"<loc_59>",
"<loc_60>",
"<loc_61>",
"<loc_62>",
"<loc_63>",
"<loc_64>",
"<loc_65>",
"<loc_66>",
"<loc_67>",
"<loc_68>",
"<loc_69>",
"<loc_70>",
"<loc_71>",
"<loc_72>",
"<loc_73>",
"<loc_74>",
"<loc_75>",
"<loc_76>",
"<loc_77>",
"<loc_78>",
"<loc_79>",
"<loc_80>",
"<loc_81>",
"<loc_82>",
"<loc_83>",
"<loc_84>",
"<loc_85>",
"<loc_86>",
"<loc_87>",
"<loc_88>",
"<loc_89>",
"<loc_90>",
"<loc_91>",
"<loc_92>",
"<loc_93>",
"<loc_94>",
"<loc_95>",
"<loc_96>",
"<loc_97>",
"<loc_98>",
"<loc_99>",
"<loc_100>",
"<loc_101>",
"<loc_102>",
"<loc_103>",
"<loc_104>",
"<loc_105>",
"<loc_106>",
"<loc_107>",
"<loc_108>",
"<loc_109>",
"<loc_110>",
"<loc_111>",
"<loc_112>",
"<loc_113>",
"<loc_114>",
"<loc_115>",
"<loc_116>",
"<loc_117>",
"<loc_118>",
"<loc_119>",
"<loc_120>",
"<loc_121>",
"<loc_122>",
"<loc_123>",
"<loc_124>",
"<loc_125>",
"<loc_126>",
"<loc_127>",
"<loc_128>",
"<loc_129>",
"<loc_130>",
"<loc_131>",
"<loc_132>",
"<loc_133>",
"<loc_134>",
"<loc_135>",
"<loc_136>",
"<loc_137>",
"<loc_138>",
"<loc_139>",
"<loc_140>",
"<loc_141>",
"<loc_142>",
"<loc_143>",
"<loc_144>",
"<loc_145>",
"<loc_146>",
"<loc_147>",
"<loc_148>",
"<loc_149>",
"<loc_150>",
"<loc_151>",
"<loc_152>",
"<loc_153>",
"<loc_154>",
"<loc_155>",
"<loc_156>",
"<loc_157>",
"<loc_158>",
"<loc_159>",
"<loc_160>",
"<loc_161>",
"<loc_162>",
"<loc_163>",
"<loc_164>",
"<loc_165>",
"<loc_166>",
"<loc_167>",
"<loc_168>",
"<loc_169>",
"<loc_170>",
"<loc_171>",
"<loc_172>",
"<loc_173>",
"<loc_174>",
"<loc_175>",
"<loc_176>",
"<loc_177>",
"<loc_178>",
"<loc_179>",
"<loc_180>",
"<loc_181>",
"<loc_182>",
"<loc_183>",
"<loc_184>",
"<loc_185>",
"<loc_186>",
"<loc_187>",
"<loc_188>",
"<loc_189>",
"<loc_190>",
"<loc_191>",
"<loc_192>",
"<loc_193>",
"<loc_194>",
"<loc_195>",
"<loc_196>",
"<loc_197>",
"<loc_198>",
"<loc_199>",
"<loc_200>",
"<loc_201>",
"<loc_202>",
"<loc_203>",
"<loc_204>",
"<loc_205>",
"<loc_206>",
"<loc_207>",
"<loc_208>",
"<loc_209>",
"<loc_210>",
"<loc_211>",
"<loc_212>",
"<loc_213>",
"<loc_214>",
"<loc_215>",
"<loc_216>",
"<loc_217>",
"<loc_218>",
"<loc_219>",
"<loc_220>",
"<loc_221>",
"<loc_222>",
"<loc_223>",
"<loc_224>",
"<loc_225>",
"<loc_226>",
"<loc_227>",
"<loc_228>",
"<loc_229>",
"<loc_230>",
"<loc_231>",
"<loc_232>",
"<loc_233>",
"<loc_234>",
"<loc_235>",
"<loc_236>",
"<loc_237>",
"<loc_238>",
"<loc_239>",
"<loc_240>",
"<loc_241>",
"<loc_242>",
"<loc_243>",
"<loc_244>",
"<loc_245>",
"<loc_246>",
"<loc_247>",
"<loc_248>",
"<loc_249>",
"<loc_250>",
"<loc_251>",
"<loc_252>",
"<loc_253>",
"<loc_254>",
"<loc_255>",
"<loc_256>",
"<loc_257>",
"<loc_258>",
"<loc_259>",
"<loc_260>",
"<loc_261>",
"<loc_262>",
"<loc_263>",
"<loc_264>",
"<loc_265>",
"<loc_266>",
"<loc_267>",
"<loc_268>",
"<loc_269>",
"<loc_270>",
"<loc_271>",
"<loc_272>",
"<loc_273>",
"<loc_274>",
"<loc_275>",
"<loc_276>",
"<loc_277>",
"<loc_278>",
"<loc_279>",
"<loc_280>",
"<loc_281>",
"<loc_282>",
"<loc_283>",
"<loc_284>",
"<loc_285>",
"<loc_286>",
"<loc_287>",
"<loc_288>",
"<loc_289>",
"<loc_290>",
"<loc_291>",
"<loc_292>",
"<loc_293>",
"<loc_294>",
"<loc_295>",
"<loc_296>",
"<loc_297>",
"<loc_298>",
"<loc_299>",
"<loc_300>",
"<loc_301>",
"<loc_302>",
"<loc_303>",
"<loc_304>",
"<loc_305>",
"<loc_306>",
"<loc_307>",
"<loc_308>",
"<loc_309>",
"<loc_310>",
"<loc_311>",
"<loc_312>",
"<loc_313>",
"<loc_314>",
"<loc_315>",
"<loc_316>",
"<loc_317>",
"<loc_318>",
"<loc_319>",
"<loc_320>",
"<loc_321>",
"<loc_322>",
"<loc_323>",
"<loc_324>",
"<loc_325>",
"<loc_326>",
"<loc_327>",
"<loc_328>",
"<loc_329>",
"<loc_330>",
"<loc_331>",
"<loc_332>",
"<loc_333>",
"<loc_334>",
"<loc_335>",
"<loc_336>",
"<loc_337>",
"<loc_338>",
"<loc_339>",
"<loc_340>",
"<loc_341>",
"<loc_342>",
"<loc_343>",
"<loc_344>",
"<loc_345>",
"<loc_346>",
"<loc_347>",
"<loc_348>",
"<loc_349>",
"<loc_350>",
"<loc_351>",
"<loc_352>",
"<loc_353>",
"<loc_354>",
"<loc_355>",
"<loc_356>",
"<loc_357>",
"<loc_358>",
"<loc_359>",
"<loc_360>",
"<loc_361>",
"<loc_362>",
"<loc_363>",
"<loc_364>",
"<loc_365>",
"<loc_366>",
"<loc_367>",
"<loc_368>",
"<loc_369>",
"<loc_370>",
"<loc_371>",
"<loc_372>",
"<loc_373>",
"<loc_374>",
"<loc_375>",
"<loc_376>",
"<loc_377>",
"<loc_378>",
"<loc_379>",
"<loc_380>",
"<loc_381>",
"<loc_382>",
"<loc_383>",
"<loc_384>",
"<loc_385>",
"<loc_386>",
"<loc_387>",
"<loc_388>",
"<loc_389>",
"<loc_390>",
"<loc_391>",
"<loc_392>",
"<loc_393>",
"<loc_394>",
"<loc_395>",
"<loc_396>",
"<loc_397>",
"<loc_398>",
"<loc_399>",
"<loc_400>",
"<loc_401>",
"<loc_402>",
"<loc_403>",
"<loc_404>",
"<loc_405>",
"<loc_406>",
"<loc_407>",
"<loc_408>",
"<loc_409>",
"<loc_410>",
"<loc_411>",
"<loc_412>",
"<loc_413>",
"<loc_414>",
"<loc_415>",
"<loc_416>",
"<loc_417>",
"<loc_418>",
"<loc_419>",
"<loc_420>",
"<loc_421>",
"<loc_422>",
"<loc_423>",
"<loc_424>",
"<loc_425>",
"<loc_426>",
"<loc_427>",
"<loc_428>",
"<loc_429>",
"<loc_430>",
"<loc_431>",
"<loc_432>",
"<loc_433>",
"<loc_434>",
"<loc_435>",
"<loc_436>",
"<loc_437>",
"<loc_438>",
"<loc_439>",
"<loc_440>",
"<loc_441>",
"<loc_442>",
"<loc_443>",
"<loc_444>",
"<loc_445>",
"<loc_446>",
"<loc_447>",
"<loc_448>",
"<loc_449>",
"<loc_450>",
"<loc_451>",
"<loc_452>",
"<loc_453>",
"<loc_454>",
"<loc_455>",
"<loc_456>",
"<loc_457>",
"<loc_458>",
"<loc_459>",
"<loc_460>",
"<loc_461>",
"<loc_462>",
"<loc_463>",
"<loc_464>",
"<loc_465>",
"<loc_466>",
"<loc_467>",
"<loc_468>",
"<loc_469>",
"<loc_470>",
"<loc_471>",
"<loc_472>",
"<loc_473>",
"<loc_474>",
"<loc_475>",
"<loc_476>",
"<loc_477>",
"<loc_478>",
"<loc_479>",
"<loc_480>",
"<loc_481>",
"<loc_482>",
"<loc_483>",
"<loc_484>",
"<loc_485>",
"<loc_486>",
"<loc_487>",
"<loc_488>",
"<loc_489>",
"<loc_490>",
"<loc_491>",
"<loc_492>",
"<loc_493>",
"<loc_494>",
"<loc_495>",
"<loc_496>",
"<loc_497>",
"<loc_498>",
"<loc_499>",
"<loc_500>",
"<img>",
"</img>"
],
"bos_token": {
"content": "</s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"eos_token": {
"content": "</s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "<pad>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "</s>",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
}
}