{ | |
"additional_special_tokens": [ | |
"<mask_1>", | |
"<unk_2>", | |
"<unk_3>", | |
"<unk_4>", | |
"<unk_5>", | |
"<unk_6>", | |
"<unk_7>", | |
"<unk_8>", | |
"<unk_9>", | |
"<unk_10>", | |
"<unk_11>", | |
"<unk_12>", | |
"<unk_13>", | |
"<unk_14>", | |
"<unk_15>", | |
"<unk_16>", | |
"<unk_17>", | |
"<unk_18>", | |
"<unk_19>", | |
"<unk_20>", | |
"<unk_21>", | |
"<unk_22>", | |
"<unk_23>", | |
"<unk_24>", | |
"<unk_25>", | |
"<unk_26>", | |
"<unk_27>", | |
"<unk_28>", | |
"<unk_29>", | |
"<unk_30>", | |
"<unk_31>", | |
"<unk_32>", | |
"<unk_33>", | |
"<unk_34>", | |
"<unk_35>", | |
"<unk_36>", | |
"<unk_37>", | |
"<unk_38>", | |
"<unk_39>", | |
"<unk_40>", | |
"<unk_41>", | |
"<unk_42>", | |
"<unk_43>", | |
"<unk_44>", | |
"<unk_45>", | |
"<unk_46>", | |
"<unk_47>", | |
"<unk_48>", | |
"<unk_49>", | |
"<unk_50>", | |
"<unk_51>", | |
"<unk_52>", | |
"<unk_53>", | |
"<unk_54>", | |
"<unk_55>", | |
"<unk_56>", | |
"<unk_57>", | |
"<unk_58>", | |
"<unk_59>", | |
"<unk_60>", | |
"<unk_61>", | |
"<unk_62>", | |
"<unk_63>", | |
"<unk_64>", | |
"<unk_65>", | |
"<unk_66>", | |
"<unk_67>", | |
"<unk_68>", | |
"<unk_69>", | |
"<unk_70>", | |
"<unk_71>", | |
"<unk_72>", | |
"<unk_73>", | |
"<unk_74>", | |
"<unk_75>", | |
"<unk_76>", | |
"<unk_77>", | |
"<unk_78>", | |
"<unk_79>", | |
"<unk_80>", | |
"<unk_81>", | |
"<unk_82>", | |
"<unk_83>", | |
"<unk_84>", | |
"<unk_85>", | |
"<unk_86>", | |
"<unk_87>", | |
"<unk_88>", | |
"<unk_89>", | |
"<unk_90>", | |
"<unk_91>", | |
"<unk_92>", | |
"<unk_93>", | |
"<unk_94>", | |
"<unk_95>", | |
"<unk_96>", | |
"<unk_97>", | |
"<unk_98>", | |
"<unk_99>", | |
"<unk_100>", | |
"<unk_101>", | |
"<unk_102>" | |
], | |
"eos_token": { | |
"content": "</s>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
}, | |
"mask_token": { | |
"content": "<mask_2>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
}, | |
"pad_token": "</s>", | |
"unk_token": { | |
"content": "<unk>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
} | |
} | |