| { | |
| "additional_special_tokens": [ | |
| "▁<extra_id_64>", | |
| "▁<extra_id_95>", | |
| "▁<extra_id_92>", | |
| "▁<extra_id_57>", | |
| "▁<extra_id_66>", | |
| "▁<extra_id_59>", | |
| "▁<extra_id_55>", | |
| "▁<extra_id_69>", | |
| "▁<extra_id_89>", | |
| "▁<extra_id_72>", | |
| "▁<extra_id_56>", | |
| "▁<extra_id_78>", | |
| "▁<extra_id_90>", | |
| "▁<extra_id_98>", | |
| "▁<extra_id_62>", | |
| "▁<extra_id_99>", | |
| "▁<extra_id_70>", | |
| "▁<extra_id_94>", | |
| "▁<extra_id_86>", | |
| "▁<extra_id_79>", | |
| "▁<extra_id_58>", | |
| "▁<extra_id_65>", | |
| "▁<extra_id_76>", | |
| "▁<extra_id_85>", | |
| "▁<extra_id_60>", | |
| "▁<extra_id_82>", | |
| "▁<extra_id_63>", | |
| "▁<extra_id_75>", | |
| "▁<extra_id_71>", | |
| "▁<extra_id_88>", | |
| "▁<extra_id_68>", | |
| "▁<extra_id_80>", | |
| "▁<extra_id_96>", | |
| "▁<extra_id_81>", | |
| "▁<extra_id_67>", | |
| "▁<extra_id_77>", | |
| "▁<extra_id_93>", | |
| "▁<extra_id_83>", | |
| "▁<extra_id_84>", | |
| "▁<extra_id_97>", | |
| "▁<extra_id_61>", | |
| "▁<extra_id_91>", | |
| "▁<extra_id_87>", | |
| "▁<extra_id_73>", | |
| "▁<extra_id_74>" | |
| ], | |
| "eos_token": { | |
| "content": "</s>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "pad_token": { | |
| "content": "<pad>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "unk_token": { | |
| "content": "<unk>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| } | |
| } | |