| { | |
| "additional_special_tokens": [ | |
| "<pad>", | |
| "<unk>", | |
| "<s>", | |
| "</s>", | |
| "__afr__", | |
| "__amh__", | |
| "__arb__", | |
| "__ary__", | |
| "__arz__", | |
| "__asm__", | |
| "__azj__", | |
| "__bel__", | |
| "__ben__", | |
| "__bos__", | |
| "__bul__", | |
| "__cat__", | |
| "__ceb__", | |
| "__ces__", | |
| "__ckb__", | |
| "__cmn__", | |
| "__cmn_Hant__", | |
| "__cym__", | |
| "__dan__", | |
| "__deu__", | |
| "__ell__", | |
| "__eng__", | |
| "__est__", | |
| "__eus__", | |
| "__fin__", | |
| "__fra__", | |
| "__fuv__", | |
| "__gaz__", | |
| "__gle__", | |
| "__glg__", | |
| "__guj__", | |
| "__heb__", | |
| "__hin__", | |
| "__hrv__", | |
| "__hun__", | |
| "__hye__", | |
| "__ibo__", | |
| "__ind__", | |
| "__isl__", | |
| "__ita__", | |
| "__jav__", | |
| "__jpn__", | |
| "__kan__", | |
| "__kat__", | |
| "__kaz__", | |
| "__khk__", | |
| "__khm__", | |
| "__kir__", | |
| "__kor__", | |
| "__lao__", | |
| "__lit__", | |
| "__lug__", | |
| "__luo__", | |
| "__lvs__", | |
| "__mai__", | |
| "__mal__", | |
| "__mar__", | |
| "__mkd__", | |
| "__mlt__", | |
| "__mni__", | |
| "__mya__", | |
| "__nld__", | |
| "__nno__", | |
| "__nob__", | |
| "__npi__", | |
| "__nya__", | |
| "__ory__", | |
| "__pan__", | |
| "__pbt__", | |
| "__pes__", | |
| "__pol__", | |
| "__por__", | |
| "__ron__", | |
| "__rus__", | |
| "__sat__", | |
| "__slk__", | |
| "__slv__", | |
| "__sna__", | |
| "__snd__", | |
| "__som__", | |
| "__spa__", | |
| "__srp__", | |
| "__swe__", | |
| "__swh__", | |
| "__tam__", | |
| "__tel__", | |
| "__tgk__", | |
| "__tgl__", | |
| "__tha__", | |
| "__tur__", | |
| "__ukr__", | |
| "__urd__", | |
| "__uzn__", | |
| "__vie__", | |
| "__yor__", | |
| "__yue__", | |
| "__zlm__", | |
| "__zul__" | |
| ], | |
| "bos_token": "<s>", | |
| "cls_token": "<s>", | |
| "eos_token": "</s>", | |
| "pad_token": "<pad>", | |
| "sep_token": "</s>", | |
| "unk_token": "<unk>" | |
| } | |