File size: 1,981 Bytes
7e55318 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 |
{
"additional_special_tokens": [
"<mask_1>",
"<unk_2>",
"<unk_3>",
"<unk_4>",
"<unk_5>",
"<unk_6>",
"<unk_7>",
"<unk_8>",
"<unk_9>",
"<unk_10>",
"<unk_11>",
"<unk_12>",
"<unk_13>",
"<unk_14>",
"<unk_15>",
"<unk_16>",
"<unk_17>",
"<unk_18>",
"<unk_19>",
"<unk_20>",
"<unk_21>",
"<unk_22>",
"<unk_23>",
"<unk_24>",
"<unk_25>",
"<unk_26>",
"<unk_27>",
"<unk_28>",
"<unk_29>",
"<unk_30>",
"<unk_31>",
"<unk_32>",
"<unk_33>",
"<unk_34>",
"<unk_35>",
"<unk_36>",
"<unk_37>",
"<unk_38>",
"<unk_39>",
"<unk_40>",
"<unk_41>",
"<unk_42>",
"<unk_43>",
"<unk_44>",
"<unk_45>",
"<unk_46>",
"<unk_47>",
"<unk_48>",
"<unk_49>",
"<unk_50>",
"<unk_51>",
"<unk_52>",
"<unk_53>",
"<unk_54>",
"<unk_55>",
"<unk_56>",
"<unk_57>",
"<unk_58>",
"<unk_59>",
"<unk_60>",
"<unk_61>",
"<unk_62>",
"<unk_63>",
"<unk_64>",
"<unk_65>",
"<unk_66>",
"<unk_67>",
"<unk_68>",
"<unk_69>",
"<unk_70>",
"<unk_71>",
"<unk_72>",
"<unk_73>",
"<unk_74>",
"<unk_75>",
"<unk_76>",
"<unk_77>",
"<unk_78>",
"<unk_79>",
"<unk_80>",
"<unk_81>",
"<unk_82>",
"<unk_83>",
"<unk_84>",
"<unk_85>",
"<unk_86>",
"<unk_87>",
"<unk_88>",
"<unk_89>",
"<unk_90>",
"<unk_91>",
"<unk_92>",
"<unk_93>",
"<unk_94>",
"<unk_95>",
"<unk_96>",
"<unk_97>",
"<unk_98>",
"<unk_99>",
"<unk_100>",
"<unk_101>",
"<unk_102>"
],
"clean_up_tokenization_spaces": true,
"eos_token": "</s>",
"full_tokenizer_file": null,
"mask_token": "<mask_2>",
"mask_token_sent": "<mask_1>",
"model_max_length": 1024,
"offset": 103,
"pad_token": "<pad>",
"sp_model_kwargs": {},
"tokenizer_class": "PegasusTokenizer",
"unk_token": "<unk>"
}
|