File size: 399 Bytes
f766295
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
{
  "bos_token": "[BOS]",
  "eos_token": "[EOS]",
  "unk_token": "[UNK]",
  "sep_token": "[SEP]",
  "pad_token": "[PAD]",
  "cls_token": "[CLS]",
  "mask_token": "[MSK]",
  "additional_special_tokens": ["[EOD]", "[CLS]", "[PAD]", "[BOM]", "[BOS]", "[EOS]", "[BOP]", "[EOP]", "[LAT]", "[URL]", "[KRK]", "[NUM]", "[UNK]", "۰", "۱", "۲", "۳", "۴", "۵", "۶", "۷", "۸", "۹", "[MSK]", "[EOL]"]
}