jungyuko's picture
Upload tokenizer
19fc6fa verified
{
"<|endoftext|>": 50256,
"<||bos||>": 50257,
"<||pad||>": 50258,
"<||unk||>": 50259,
"<||unused10||>": 50269,
"<||unused11||>": 50270,
"<||unused12||>": 50271,
"<||unused13||>": 50272,
"<||unused14||>": 50273,
"<||unused15||>": 50274,
"<||unused16||>": 50275,
"<||unused17||>": 50276,
"<||unused18||>": 50277,
"<||unused19||>": 50278,
"<||unused1||>": 50260,
"<||unused20||>": 50279,
"<||unused21||>": 50280,
"<||unused22||>": 50281,
"<||unused23||>": 50282,
"<||unused24||>": 50283,
"<||unused25||>": 50284,
"<||unused26||>": 50285,
"<||unused27||>": 50286,
"<||unused28||>": 50287,
"<||unused29||>": 50288,
"<||unused2||>": 50261,
"<||unused30||>": 50289,
"<||unused31||>": 50290,
"<||unused32||>": 50291,
"<||unused33||>": 50292,
"<||unused34||>": 50293,
"<||unused35||>": 50294,
"<||unused36||>": 50295,
"<||unused37||>": 50296,
"<||unused38||>": 50297,
"<||unused39||>": 50298,
"<||unused3||>": 50262,
"<||unused40||>": 50299,
"<||unused41||>": 50300,
"<||unused42||>": 50301,
"<||unused43||>": 50302,
"<||unused44||>": 50303,
"<||unused4||>": 50263,
"<||unused5||>": 50264,
"<||unused6||>": 50265,
"<||unused7||>": 50266,
"<||unused8||>": 50267,
"<||unused9||>": 50268
}