NTtoGT_addmoretoken_PNTx_ver2 / special_tokens_map.json
Hyeonsieun's picture
Upload tokenizer
f7e4cce verified
{
"additional_special_tokens": [
"\\",
"{",
"}",
"^",
"<",
"~",
"\\dot",
"\\ddot",
"\\acute",
"\\grave",
"\\check",
"\\breve",
"\\tilde",
"\\bar",
"\\hat",
"\\widehat",
"\\vec",
"\\exp",
"\\ln",
"\\lg",
"\\log",
"\\sin",
"\\cos",
"\\tan",
"\\cot",
"\\sec",
"\\csc",
"\\arcsin",
"\\arccos",
"\\arctan",
"\\sinh",
"\\cosh",
"\\tanh",
"\\coth",
"\\operatorname",
"\\sgn",
"\\vert",
"\\min",
"\\max",
"\\inf",
"\\sup",
"\\lim",
"\\liminf",
"\\limsup",
"\\dim",
"\\deg",
"\\det",
"\\phi",
"\\Pr",
"\\hom",
"\\lVert",
"\\arg",
"\\partial",
"\\over",
"\\hbar",
"\\circledS",
"\\equiv",
"\\pmod",
"\\nshortmid",
"\\sqrt",
"\\mathrm",
"\\dotplus",
"\\backslash",
"\\bullet",
"\\boxdot",
"\\circledast",
"\\bigodot",
"\\O",
"\\empty",
"\\varnothing",
"\\notin",
"\\ni",
"\\bigcap",
"\\biguplus",
"\\times",
"\\sqsubset",
"\\sqsupset",
"\\sqsubseteq",
"\\sqsupseteq",
"\\varsubsetneqq",
"\\varsupsetneqq",
"\\overset",
"\\underset",
"\\ncong",
"\\varpropto",
"\\lessdot",
"\\gtrdot",
"\\lvertneqq",
"\\gvertneqq",
"\\gtreqqless",
"\\eqslantless",
"\\eqslantgtr",
"\\lnapprox",
"\\gnapprox",
"\\precneqq",
"\\succneqq",
"\\curlyeqprec",
"\\curlyeqsucc",
"\\precnapprox",
"\\succnapprox",
"\\nshortparallel",
"\\circ",
"\\Diamond",
"\\bigstar",
"\\triangle",
"\\bigtriangledown",
"\\triangledown",
"\\blacktriangleright",
"\\overline",
"\\frown",
"\\nexists",
"\\And",
"\\therefore",
"\\because",
"\\or",
"\\lor",
"\\bigvee",
"\\and",
"\\land",
"\\bigwedge",
"\\lnot",
"\\top",
"\\vdash",
"\\models",
"\\Vvdash",
"\\nvdash",
"\\nVdash",
"\\nvDash",
"\\nVDash",
"\\ulcorner",
"\\urcorner",
"\\llcorner",
"\\lrcorner",
"\\Lleftarrow",
"\\Longrightarrow",
"\\implies",
"\\Longleftarrow",
"\\Longleftrightarrow",
"\\iff",
"\\Updownarrow",
"\\rightarrow",
"\\longrightarrow",
"\\leftarrow",
"\\longleftarrow",
"\\longleftrightarrow",
"\\updownarrow",
"\\searrow",
"\\longmapsto",
"\\rightharpoonup",
"\\rightharpoondown",
"\\leftharpoonup",
"\\leftharpoondown",
"\\upharpoonleft",
"\\upharpoonright",
"\\downharpoonleft",
"\\downharpoonright",
"\\rightleftharpoons",
"\\leftrightharpoons",
"\\curvearrowleft",
"\\circlearrowleft",
"\\Lsh",
"\\upuparrows",
"\\rightrightarrows",
"\\rightleftarrows",
"\\rightarrowtail",
"\\looparrowright",
"\\curvearrowright",
"\\circlearrowright",
"\\Rsh",
"\\downdownarrows",
"\\leftleftarrows",
"\\leftrightarrows",
"\\leftarrowtail",
"\\looparrowleft",
"\\hookrightarrow",
"\\hookleftarrow",
"\\multimap",
"\\leftrightsquigarrow",
"\\rightsquigarrow",
"\\twoheadrightarrow",
"\\twoheadleftarrow",
"\\amalg",
"\\P",
"\\S",
"\\dagger",
"\\ddagger",
"\\ldots",
"\\cdots",
"\\smile",
"\\wr",
"\\triangleleft",
"\\sharp",
"\\cancel",
"\\color",
"\\diagup",
"\\diagdown",
"\\centerdot",
"\\ltimes",
"\\rtimes",
"\\leftthreetimes",
"\\rightthreetimes",
"\\eqcirc",
"\\circeq",
"\\triangleq",
"\\bumpeq",
"\\Bumpeq",
"\\doteqdot",
"\\risingdotseq",
"\\fallingdotseq",
"\\intercal",
"\\barwedge",
"\\veebar",
"\\doublebarwedge",
"\\between",
"\\pitchfork",
"\\vartriangleleft",
"\\ntriangleleft",
"\\vartriangleright",
"\\ntriangleright",
"\\trianglelefteq",
"\\ntrianglelefteq",
"\\trianglerighteq",
"\\ntrianglerighteq",
"\\sum",
"\\prod",
"\\to",
"\\int",
"\\oint",
"\\frac",
"\\choose",
"\\begin",
"\\end",
"\\vdots",
"\\ddots",
"\\mbox",
"\\Alpha",
"\\Beta",
"\\Gamma",
"\\Delta",
"\\Epsilon",
"\\Zeta",
"\\Eta",
"\\Theta",
"\\Iota",
"\\Kappa",
"\\Lambda",
"\\Mu",
"\\Nu",
"\\Xi",
"\\Pi",
"\\Rho",
"\\Sigma",
"\\Tau",
"\\Upsilon",
"\\Phi",
"\\Chi",
"\\Psi",
"\\Omega",
"\\alpha",
"\\beta",
"\\gamma",
"\\delta",
"\\epsilon",
"\\zeta",
"\\eta",
"\\theta",
"\\iota",
"\\kappa",
"\\lambda",
"\\mu",
"\\nu",
"\\xi",
"\\pi",
"\\rho",
"\\sigma",
"\\tau",
"\\upsilon",
"\\chi",
"\\psi",
"\\omega",
"\\varepsilon",
"\\digamma",
"\\varkappa",
"\\varpi",
"\\varrho",
"\\varsigma",
"\\vartheta",
"\\varphi",
"\\aleph",
"\\beth",
"\\gimel",
"\\daleth",
"\\mathbb",
"\\mathbf",
"\\boldsymbol",
"\\mathit",
"\\mathsf",
"\\mathcal",
"\\mathfrak",
"\\text",
"\\left",
"\\right",
"\\langle",
"\\rfloor",
"\\quad",
"<extra_id_0>",
"<extra_id_1>",
"<extra_id_2>",
"<extra_id_3>",
"<extra_id_4>",
"<extra_id_5>",
"<extra_id_6>",
"<extra_id_7>",
"<extra_id_8>",
"<extra_id_9>",
"<extra_id_10>",
"<extra_id_11>",
"<extra_id_12>",
"<extra_id_13>",
"<extra_id_14>",
"<extra_id_15>",
"<extra_id_16>",
"<extra_id_17>",
"<extra_id_18>",
"<extra_id_19>",
"<extra_id_20>",
"<extra_id_21>",
"<extra_id_22>",
"<extra_id_23>",
"<extra_id_24>",
"<extra_id_25>",
"<extra_id_26>",
"<extra_id_27>",
"<extra_id_28>",
"<extra_id_29>",
"<extra_id_30>",
"<extra_id_31>",
"<extra_id_32>",
"<extra_id_33>",
"<extra_id_34>",
"<extra_id_35>",
"<extra_id_36>",
"<extra_id_37>",
"<extra_id_38>",
"<extra_id_39>",
"<extra_id_40>",
"<extra_id_41>",
"<extra_id_42>",
"<extra_id_43>",
"<extra_id_44>",
"<extra_id_45>",
"<extra_id_46>",
"<extra_id_47>",
"<extra_id_48>",
"<extra_id_49>",
"<extra_id_50>",
"<extra_id_51>",
"<extra_id_52>",
"<extra_id_53>",
"<extra_id_54>",
"<extra_id_55>",
"<extra_id_56>",
"<extra_id_57>",
"<extra_id_58>",
"<extra_id_59>",
"<extra_id_60>",
"<extra_id_61>",
"<extra_id_62>",
"<extra_id_63>",
"<extra_id_64>",
"<extra_id_65>",
"<extra_id_66>",
"<extra_id_67>",
"<extra_id_68>",
"<extra_id_69>",
"<extra_id_70>",
"<extra_id_71>",
"<extra_id_72>",
"<extra_id_73>",
"<extra_id_74>",
"<extra_id_75>",
"<extra_id_76>",
"<extra_id_77>",
"<extra_id_78>",
"<extra_id_79>",
"<extra_id_80>",
"<extra_id_81>",
"<extra_id_82>",
"<extra_id_83>",
"<extra_id_84>",
"<extra_id_85>",
"<extra_id_86>",
"<extra_id_87>",
"<extra_id_88>",
"<extra_id_89>",
"<extra_id_90>",
"<extra_id_91>",
"<extra_id_92>",
"<extra_id_93>",
"<extra_id_94>",
"<extra_id_95>",
"<extra_id_96>",
"<extra_id_97>",
"<extra_id_98>",
"<extra_id_99>"
],
"eos_token": {
"content": "</s>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "<pad>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "<unk>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
}
}