xbert2 / special_tokens_map.json
tmc's picture
add tokenizer
bfbeb65
raw
history blame contribute delete
No virus
1.1 kB
{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "additional_special_tokens": ["[A47]", "[A61]", "[A62]", "[C01]", "[F16]", "[F24]", "[F28]", "[H01]", "[H04]", "[B23]", "[B41]", "[D03]", "[E03]", "[C08]", "[D01]", "[D21]", "[C07]", "[A45]", "[B01]", "[B08]", "[G04]", "[G06]", "[B65]", "[G16]", "[G01]", "[A41]", "[C23]", "[F23]", "[B25]", "[A63]", "[B28]", "[B63]", "[F04]", "[B60]", "[B32]", "[C09]", "[C02]", "[G03]", "[C10]", "[B61]", "[C21]", "[F42]", "[A23]", "[C11]", "[B29]", "[F02]", "[B62]", "[B64]", "[E21]", "[B24]", "[B22]", "[H05]", "[B27]", "[E04]", "[B21]", "[D06]", "[C04]", "[B05]", "[G02]", "[H03]", "[C06]", "[G11]", "[C12]", "[E02]", "[F15]", "[A46]", "[B66]", "[G07]", "[G08]", "[C22]", "[B44]", "[A01]", "[F03]", "[C25]", "[F22]", "[G05]", "[G21]", "[B07]", "[F41]", "[E01]", "[H02]", "[C13]", "[F01]", "[F27]", "[C14]", "[A44]", "[B67]", "[A24]", "[B02]", "[E05]", "[D05]", "[F25]", "[A43]", "[A22]", "[A21]", "[E06]", "[F21]", "[G10]", "[C03]", "[B81]", "[F17]", "[B03]", "[G09]", "[D04]", "[F26]", "[B31]"]}