Savannah120 commited on
Commit
240cab5
•
1 Parent(s): 18bd77f

Upload 7 files

Browse files
added_tokens.json ADDED
@@ -0,0 +1,103 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "[unused100]": 21128,
3
+ "[unused101]": 21129,
4
+ "[unused102]": 21130,
5
+ "[unused103]": 21131,
6
+ "[unused104]": 21132,
7
+ "[unused105]": 21133,
8
+ "[unused106]": 21134,
9
+ "[unused107]": 21135,
10
+ "[unused108]": 21136,
11
+ "[unused109]": 21137,
12
+ "[unused110]": 21138,
13
+ "[unused111]": 21139,
14
+ "[unused112]": 21140,
15
+ "[unused113]": 21141,
16
+ "[unused114]": 21142,
17
+ "[unused115]": 21143,
18
+ "[unused116]": 21144,
19
+ "[unused117]": 21145,
20
+ "[unused118]": 21146,
21
+ "[unused119]": 21147,
22
+ "[unused120]": 21148,
23
+ "[unused121]": 21149,
24
+ "[unused122]": 21150,
25
+ "[unused123]": 21151,
26
+ "[unused124]": 21152,
27
+ "[unused125]": 21153,
28
+ "[unused126]": 21154,
29
+ "[unused127]": 21155,
30
+ "[unused128]": 21156,
31
+ "[unused129]": 21157,
32
+ "[unused130]": 21158,
33
+ "[unused131]": 21159,
34
+ "[unused132]": 21160,
35
+ "[unused133]": 21161,
36
+ "[unused134]": 21162,
37
+ "[unused135]": 21163,
38
+ "[unused136]": 21164,
39
+ "[unused137]": 21165,
40
+ "[unused138]": 21166,
41
+ "[unused139]": 21167,
42
+ "[unused140]": 21168,
43
+ "[unused141]": 21169,
44
+ "[unused142]": 21170,
45
+ "[unused143]": 21171,
46
+ "[unused144]": 21172,
47
+ "[unused145]": 21173,
48
+ "[unused146]": 21174,
49
+ "[unused147]": 21175,
50
+ "[unused148]": 21176,
51
+ "[unused149]": 21177,
52
+ "[unused150]": 21178,
53
+ "[unused151]": 21179,
54
+ "[unused152]": 21180,
55
+ "[unused153]": 21181,
56
+ "[unused154]": 21182,
57
+ "[unused155]": 21183,
58
+ "[unused156]": 21184,
59
+ "[unused157]": 21185,
60
+ "[unused158]": 21186,
61
+ "[unused159]": 21187,
62
+ "[unused160]": 21188,
63
+ "[unused161]": 21189,
64
+ "[unused162]": 21190,
65
+ "[unused163]": 21191,
66
+ "[unused164]": 21192,
67
+ "[unused165]": 21193,
68
+ "[unused166]": 21194,
69
+ "[unused167]": 21195,
70
+ "[unused168]": 21196,
71
+ "[unused169]": 21197,
72
+ "[unused170]": 21198,
73
+ "[unused171]": 21199,
74
+ "[unused172]": 21200,
75
+ "[unused173]": 21201,
76
+ "[unused174]": 21202,
77
+ "[unused175]": 21203,
78
+ "[unused176]": 21204,
79
+ "[unused177]": 21205,
80
+ "[unused178]": 21206,
81
+ "[unused179]": 21207,
82
+ "[unused180]": 21208,
83
+ "[unused181]": 21209,
84
+ "[unused182]": 21210,
85
+ "[unused183]": 21211,
86
+ "[unused184]": 21212,
87
+ "[unused185]": 21213,
88
+ "[unused186]": 21214,
89
+ "[unused187]": 21215,
90
+ "[unused188]": 21216,
91
+ "[unused189]": 21217,
92
+ "[unused190]": 21218,
93
+ "[unused191]": 21219,
94
+ "[unused192]": 21220,
95
+ "[unused193]": 21221,
96
+ "[unused194]": 21222,
97
+ "[unused195]": 21223,
98
+ "[unused196]": 21224,
99
+ "[unused197]": 21225,
100
+ "[unused198]": 21226,
101
+ "[unused199]": 21227,
102
+ "[unused200]": 21228
103
+ }
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "BertForMaskedLM"
4
+ ],
5
+ "attention_probs_dropout_prob": 0.1,
6
+ "bos_token_id": 0,
7
+ "directionality": "bidi",
8
+ "eos_token_id": 2,
9
+ "hidden_act": "gelu",
10
+ "hidden_dropout_prob": 0.1,
11
+ "hidden_size": 1024,
12
+ "initializer_range": 0.02,
13
+ "intermediate_size": 4096,
14
+ "layer_norm_eps": 1e-12,
15
+ "max_position_embeddings": 512,
16
+ "model_type": "bert",
17
+ "num_attention_heads": 16,
18
+ "num_hidden_layers": 24,
19
+ "output_past": true,
20
+ "pad_token_id": 1,
21
+ "pooler_fc_size": 768,
22
+ "pooler_num_attention_heads": 12,
23
+ "pooler_num_fc_layers": 3,
24
+ "pooler_size_per_head": 128,
25
+ "pooler_type": "first_token_transform",
26
+ "type_vocab_size": 2,
27
+ "vocab_size": 21229
28
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:da6af3be11de8b519454f8f2eced9a905d9d5cfd23e39696aa701e90106d5cf5
3
+ size 1302772395
special_tokens_map.json ADDED
@@ -0,0 +1,209 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "[unused1]",
4
+ "[unused2]",
5
+ "[unused3]",
6
+ "[unused4]",
7
+ "[unused5]",
8
+ "[unused6]",
9
+ "[unused7]",
10
+ "[unused8]",
11
+ "[unused9]",
12
+ "[unused10]",
13
+ "[unused11]",
14
+ "[unused12]",
15
+ "[unused13]",
16
+ "[unused14]",
17
+ "[unused15]",
18
+ "[unused16]",
19
+ "[unused17]",
20
+ "[unused18]",
21
+ "[unused19]",
22
+ "[unused20]",
23
+ "[unused21]",
24
+ "[unused22]",
25
+ "[unused23]",
26
+ "[unused24]",
27
+ "[unused25]",
28
+ "[unused26]",
29
+ "[unused27]",
30
+ "[unused28]",
31
+ "[unused29]",
32
+ "[unused30]",
33
+ "[unused31]",
34
+ "[unused32]",
35
+ "[unused33]",
36
+ "[unused34]",
37
+ "[unused35]",
38
+ "[unused36]",
39
+ "[unused37]",
40
+ "[unused38]",
41
+ "[unused39]",
42
+ "[unused40]",
43
+ "[unused41]",
44
+ "[unused42]",
45
+ "[unused43]",
46
+ "[unused44]",
47
+ "[unused45]",
48
+ "[unused46]",
49
+ "[unused47]",
50
+ "[unused48]",
51
+ "[unused49]",
52
+ "[unused50]",
53
+ "[unused51]",
54
+ "[unused52]",
55
+ "[unused53]",
56
+ "[unused54]",
57
+ "[unused55]",
58
+ "[unused56]",
59
+ "[unused57]",
60
+ "[unused58]",
61
+ "[unused59]",
62
+ "[unused60]",
63
+ "[unused61]",
64
+ "[unused62]",
65
+ "[unused63]",
66
+ "[unused64]",
67
+ "[unused65]",
68
+ "[unused66]",
69
+ "[unused67]",
70
+ "[unused68]",
71
+ "[unused69]",
72
+ "[unused70]",
73
+ "[unused71]",
74
+ "[unused72]",
75
+ "[unused73]",
76
+ "[unused74]",
77
+ "[unused75]",
78
+ "[unused76]",
79
+ "[unused77]",
80
+ "[unused78]",
81
+ "[unused79]",
82
+ "[unused80]",
83
+ "[unused81]",
84
+ "[unused82]",
85
+ "[unused83]",
86
+ "[unused84]",
87
+ "[unused85]",
88
+ "[unused86]",
89
+ "[unused87]",
90
+ "[unused88]",
91
+ "[unused89]",
92
+ "[unused90]",
93
+ "[unused91]",
94
+ "[unused92]",
95
+ "[unused93]",
96
+ "[unused94]",
97
+ "[unused95]",
98
+ "[unused96]",
99
+ "[unused97]",
100
+ "[unused98]",
101
+ "[unused99]",
102
+ "[unused100]",
103
+ "[unused101]",
104
+ "[unused102]",
105
+ "[unused103]",
106
+ "[unused104]",
107
+ "[unused105]",
108
+ "[unused106]",
109
+ "[unused107]",
110
+ "[unused108]",
111
+ "[unused109]",
112
+ "[unused110]",
113
+ "[unused111]",
114
+ "[unused112]",
115
+ "[unused113]",
116
+ "[unused114]",
117
+ "[unused115]",
118
+ "[unused116]",
119
+ "[unused117]",
120
+ "[unused118]",
121
+ "[unused119]",
122
+ "[unused120]",
123
+ "[unused121]",
124
+ "[unused122]",
125
+ "[unused123]",
126
+ "[unused124]",
127
+ "[unused125]",
128
+ "[unused126]",
129
+ "[unused127]",
130
+ "[unused128]",
131
+ "[unused129]",
132
+ "[unused130]",
133
+ "[unused131]",
134
+ "[unused132]",
135
+ "[unused133]",
136
+ "[unused134]",
137
+ "[unused135]",
138
+ "[unused136]",
139
+ "[unused137]",
140
+ "[unused138]",
141
+ "[unused139]",
142
+ "[unused140]",
143
+ "[unused141]",
144
+ "[unused142]",
145
+ "[unused143]",
146
+ "[unused144]",
147
+ "[unused145]",
148
+ "[unused146]",
149
+ "[unused147]",
150
+ "[unused148]",
151
+ "[unused149]",
152
+ "[unused150]",
153
+ "[unused151]",
154
+ "[unused152]",
155
+ "[unused153]",
156
+ "[unused154]",
157
+ "[unused155]",
158
+ "[unused156]",
159
+ "[unused157]",
160
+ "[unused158]",
161
+ "[unused159]",
162
+ "[unused160]",
163
+ "[unused161]",
164
+ "[unused162]",
165
+ "[unused163]",
166
+ "[unused164]",
167
+ "[unused165]",
168
+ "[unused166]",
169
+ "[unused167]",
170
+ "[unused168]",
171
+ "[unused169]",
172
+ "[unused170]",
173
+ "[unused171]",
174
+ "[unused172]",
175
+ "[unused173]",
176
+ "[unused174]",
177
+ "[unused175]",
178
+ "[unused176]",
179
+ "[unused177]",
180
+ "[unused178]",
181
+ "[unused179]",
182
+ "[unused180]",
183
+ "[unused181]",
184
+ "[unused182]",
185
+ "[unused183]",
186
+ "[unused184]",
187
+ "[unused185]",
188
+ "[unused186]",
189
+ "[unused187]",
190
+ "[unused188]",
191
+ "[unused189]",
192
+ "[unused190]",
193
+ "[unused191]",
194
+ "[unused192]",
195
+ "[unused193]",
196
+ "[unused194]",
197
+ "[unused195]",
198
+ "[unused196]",
199
+ "[unused197]",
200
+ "[unused198]",
201
+ "[unused199]",
202
+ "[unused200]"
203
+ ],
204
+ "cls_token": "[CLS]",
205
+ "mask_token": "[MASK]",
206
+ "pad_token": "[PAD]",
207
+ "sep_token": "[SEP]",
208
+ "unk_token": "[UNK]"
209
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,219 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "[unused1]",
4
+ "[unused2]",
5
+ "[unused3]",
6
+ "[unused4]",
7
+ "[unused5]",
8
+ "[unused6]",
9
+ "[unused7]",
10
+ "[unused8]",
11
+ "[unused9]",
12
+ "[unused10]",
13
+ "[unused11]",
14
+ "[unused12]",
15
+ "[unused13]",
16
+ "[unused14]",
17
+ "[unused15]",
18
+ "[unused16]",
19
+ "[unused17]",
20
+ "[unused18]",
21
+ "[unused19]",
22
+ "[unused20]",
23
+ "[unused21]",
24
+ "[unused22]",
25
+ "[unused23]",
26
+ "[unused24]",
27
+ "[unused25]",
28
+ "[unused26]",
29
+ "[unused27]",
30
+ "[unused28]",
31
+ "[unused29]",
32
+ "[unused30]",
33
+ "[unused31]",
34
+ "[unused32]",
35
+ "[unused33]",
36
+ "[unused34]",
37
+ "[unused35]",
38
+ "[unused36]",
39
+ "[unused37]",
40
+ "[unused38]",
41
+ "[unused39]",
42
+ "[unused40]",
43
+ "[unused41]",
44
+ "[unused42]",
45
+ "[unused43]",
46
+ "[unused44]",
47
+ "[unused45]",
48
+ "[unused46]",
49
+ "[unused47]",
50
+ "[unused48]",
51
+ "[unused49]",
52
+ "[unused50]",
53
+ "[unused51]",
54
+ "[unused52]",
55
+ "[unused53]",
56
+ "[unused54]",
57
+ "[unused55]",
58
+ "[unused56]",
59
+ "[unused57]",
60
+ "[unused58]",
61
+ "[unused59]",
62
+ "[unused60]",
63
+ "[unused61]",
64
+ "[unused62]",
65
+ "[unused63]",
66
+ "[unused64]",
67
+ "[unused65]",
68
+ "[unused66]",
69
+ "[unused67]",
70
+ "[unused68]",
71
+ "[unused69]",
72
+ "[unused70]",
73
+ "[unused71]",
74
+ "[unused72]",
75
+ "[unused73]",
76
+ "[unused74]",
77
+ "[unused75]",
78
+ "[unused76]",
79
+ "[unused77]",
80
+ "[unused78]",
81
+ "[unused79]",
82
+ "[unused80]",
83
+ "[unused81]",
84
+ "[unused82]",
85
+ "[unused83]",
86
+ "[unused84]",
87
+ "[unused85]",
88
+ "[unused86]",
89
+ "[unused87]",
90
+ "[unused88]",
91
+ "[unused89]",
92
+ "[unused90]",
93
+ "[unused91]",
94
+ "[unused92]",
95
+ "[unused93]",
96
+ "[unused94]",
97
+ "[unused95]",
98
+ "[unused96]",
99
+ "[unused97]",
100
+ "[unused98]",
101
+ "[unused99]",
102
+ "[unused100]",
103
+ "[unused101]",
104
+ "[unused102]",
105
+ "[unused103]",
106
+ "[unused104]",
107
+ "[unused105]",
108
+ "[unused106]",
109
+ "[unused107]",
110
+ "[unused108]",
111
+ "[unused109]",
112
+ "[unused110]",
113
+ "[unused111]",
114
+ "[unused112]",
115
+ "[unused113]",
116
+ "[unused114]",
117
+ "[unused115]",
118
+ "[unused116]",
119
+ "[unused117]",
120
+ "[unused118]",
121
+ "[unused119]",
122
+ "[unused120]",
123
+ "[unused121]",
124
+ "[unused122]",
125
+ "[unused123]",
126
+ "[unused124]",
127
+ "[unused125]",
128
+ "[unused126]",
129
+ "[unused127]",
130
+ "[unused128]",
131
+ "[unused129]",
132
+ "[unused130]",
133
+ "[unused131]",
134
+ "[unused132]",
135
+ "[unused133]",
136
+ "[unused134]",
137
+ "[unused135]",
138
+ "[unused136]",
139
+ "[unused137]",
140
+ "[unused138]",
141
+ "[unused139]",
142
+ "[unused140]",
143
+ "[unused141]",
144
+ "[unused142]",
145
+ "[unused143]",
146
+ "[unused144]",
147
+ "[unused145]",
148
+ "[unused146]",
149
+ "[unused147]",
150
+ "[unused148]",
151
+ "[unused149]",
152
+ "[unused150]",
153
+ "[unused151]",
154
+ "[unused152]",
155
+ "[unused153]",
156
+ "[unused154]",
157
+ "[unused155]",
158
+ "[unused156]",
159
+ "[unused157]",
160
+ "[unused158]",
161
+ "[unused159]",
162
+ "[unused160]",
163
+ "[unused161]",
164
+ "[unused162]",
165
+ "[unused163]",
166
+ "[unused164]",
167
+ "[unused165]",
168
+ "[unused166]",
169
+ "[unused167]",
170
+ "[unused168]",
171
+ "[unused169]",
172
+ "[unused170]",
173
+ "[unused171]",
174
+ "[unused172]",
175
+ "[unused173]",
176
+ "[unused174]",
177
+ "[unused175]",
178
+ "[unused176]",
179
+ "[unused177]",
180
+ "[unused178]",
181
+ "[unused179]",
182
+ "[unused180]",
183
+ "[unused181]",
184
+ "[unused182]",
185
+ "[unused183]",
186
+ "[unused184]",
187
+ "[unused185]",
188
+ "[unused186]",
189
+ "[unused187]",
190
+ "[unused188]",
191
+ "[unused189]",
192
+ "[unused190]",
193
+ "[unused191]",
194
+ "[unused192]",
195
+ "[unused193]",
196
+ "[unused194]",
197
+ "[unused195]",
198
+ "[unused196]",
199
+ "[unused197]",
200
+ "[unused198]",
201
+ "[unused199]",
202
+ "[unused200]"
203
+ ],
204
+ "cls_token": "[CLS]",
205
+ "do_basic_tokenize": true,
206
+ "do_lower_case": true,
207
+ "full_tokenizer_file": null,
208
+ "mask_token": "[MASK]",
209
+ "model_max_length": 4096,
210
+ "name_or_path": "/cognitive_comp/fanyuchen/model/macbert_large",
211
+ "never_split": null,
212
+ "pad_token": "[PAD]",
213
+ "sep_token": "[SEP]",
214
+ "special_tokens_map_file": null,
215
+ "strip_accents": null,
216
+ "tokenize_chinese_chars": true,
217
+ "tokenizer_class": "BertTokenizer",
218
+ "unk_token": "[UNK]"
219
+ }
vocab.txt ADDED
The diff for this file is too large to render. See raw diff