cmg-codereviewer-with-history / added_tokens.json
saridormi's picture
Add model and tokenizer files
eb62710
{
"<add>": 32101,
"<c>": 32213,
"<c_plus_plus>": 32215,
"<c_sharp>": 32214,
"<del>": 32102,
"<e0>": 32204,
"<e10>": 32194,
"<e11>": 32193,
"<e12>": 32192,
"<e13>": 32191,
"<e14>": 32190,
"<e15>": 32189,
"<e16>": 32188,
"<e17>": 32187,
"<e18>": 32186,
"<e19>": 32185,
"<e1>": 32203,
"<e20>": 32184,
"<e21>": 32183,
"<e22>": 32182,
"<e23>": 32181,
"<e24>": 32180,
"<e25>": 32179,
"<e26>": 32178,
"<e27>": 32177,
"<e28>": 32176,
"<e29>": 32175,
"<e2>": 32202,
"<e30>": 32174,
"<e31>": 32173,
"<e32>": 32172,
"<e33>": 32171,
"<e34>": 32170,
"<e35>": 32169,
"<e36>": 32168,
"<e37>": 32167,
"<e38>": 32166,
"<e39>": 32165,
"<e3>": 32201,
"<e40>": 32164,
"<e41>": 32163,
"<e42>": 32162,
"<e43>": 32161,
"<e44>": 32160,
"<e45>": 32159,
"<e46>": 32158,
"<e47>": 32157,
"<e48>": 32156,
"<e49>": 32155,
"<e4>": 32200,
"<e50>": 32154,
"<e51>": 32153,
"<e52>": 32152,
"<e53>": 32151,
"<e54>": 32150,
"<e55>": 32149,
"<e56>": 32148,
"<e57>": 32147,
"<e58>": 32146,
"<e59>": 32145,
"<e5>": 32199,
"<e60>": 32144,
"<e61>": 32143,
"<e62>": 32142,
"<e63>": 32141,
"<e64>": 32140,
"<e65>": 32139,
"<e66>": 32138,
"<e67>": 32137,
"<e68>": 32136,
"<e69>": 32135,
"<e6>": 32198,
"<e70>": 32134,
"<e71>": 32133,
"<e72>": 32132,
"<e73>": 32131,
"<e74>": 32130,
"<e75>": 32129,
"<e76>": 32128,
"<e77>": 32127,
"<e78>": 32126,
"<e79>": 32125,
"<e7>": 32197,
"<e80>": 32124,
"<e81>": 32123,
"<e82>": 32122,
"<e83>": 32121,
"<e84>": 32120,
"<e85>": 32119,
"<e86>": 32118,
"<e87>": 32117,
"<e88>": 32116,
"<e89>": 32115,
"<e8>": 32196,
"<e90>": 32114,
"<e91>": 32113,
"<e92>": 32112,
"<e93>": 32111,
"<e94>": 32110,
"<e95>": 32109,
"<e96>": 32108,
"<e97>": 32107,
"<e98>": 32106,
"<e99>": 32105,
"<e9>": 32195,
"<en>": 32206,
"<end>": 32104,
"<go>": 32212,
"<java>": 32208,
"<javascript>": 32209,
"<keep>": 32100,
"<msg>": 32205,
"<php>": 32211,
"<python>": 32207,
"<ruby>": 32210,
"<start>": 32103
}