butterflytech commited on
Commit
4e4fdb8
1 Parent(s): b5ca689

Upload extra_ids.json

Browse files

this file contains the additional special tokens for tokenizer_config.json file.

Files changed (1) hide show
  1. extra_ids.json +37 -0
extra_ids.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ "additional_special_tokens": [
2
+ "<extra_id_0>",
3
+ "<extra_id_1>",
4
+ "<extra_id_2>",
5
+ "<extra_id_3>",
6
+ "<extra_id_4>",
7
+ "<extra_id_5>",
8
+ "<extra_id_6>",
9
+ "<extra_id_7>",
10
+ "<extra_id_8>",
11
+ "<extra_id_9>",
12
+ "<extra_id_10>",
13
+ "<extra_id_11>",
14
+ "<extra_id_12>",
15
+ "<extra_id_13>",
16
+ "<extra_id_14>",
17
+ "<extra_id_15>",
18
+ "<extra_id_16>",
19
+ "<extra_id_17>",
20
+ "<extra_id_18>",
21
+ "<extra_id_19>",
22
+ "<extra_id_20>",
23
+ "<extra_id_21>",
24
+ "<extra_id_22>",
25
+ "<extra_id_23>",
26
+ "<extra_id_24>",
27
+ "<extra_id_25>",
28
+ "<extra_id_26>",
29
+ "<extra_id_27>",
30
+ "<extra_id_28>",
31
+ "<extra_id_29>",
32
+ "<extra_id_30>",
33
+ "<extra_id_31>",
34
+ "<extra_id_32>",
35
+ "<extra_id_33>",
36
+ "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>"
37
+ ],