LTEnjoy commited on
Commit
bf74671
1 Parent(s): 037a34b

Upload 5 files

Browse files
config.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "EsmForMaskedLM"
4
+ ],
5
+ "attention_probs_dropout_prob": 0.0,
6
+ "classifier_dropout": null,
7
+ "emb_layer_norm_before": false,
8
+ "hidden_act": "gelu",
9
+ "hidden_dropout_prob":0.0,
10
+ "hidden_size": 480,
11
+ "initializer_range": 0.02,
12
+ "intermediate_size": 1920,
13
+ "layer_norm_eps": 1e-05,
14
+ "mask_token_id": 4,
15
+ "max_position_embeddings": 1026,
16
+ "model_type": "esm",
17
+ "num_attention_heads": 20,
18
+ "num_hidden_layers": 12,
19
+ "pad_token_id": 1,
20
+ "position_embedding_type": "rotary",
21
+ "token_dropout": true,
22
+ "torch_dtype": "float32",
23
+ "transformers_version": "4.23.0.dev0",
24
+ "use_cache": true,
25
+ "vocab_size": 446
26
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8b96c3ae2b12cc2d7a263d02c5ab53bbeb703d83dfcd30445c7d89d405c20975
3
+ size 136862061
special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "<cls>",
3
+ "eos_token": "<eos>",
4
+ "mask_token": "<mask>",
5
+ "pad_token": "<pad>",
6
+ "unk_token": "<unk>"
7
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ {
2
+ "tokenizer_class": "EsmTokenizer"
3
+ }
vocab.txt ADDED
@@ -0,0 +1,446 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <cls>
2
+ <pad>
3
+ <eos>
4
+ <unk>
5
+ <mask>
6
+ Ap
7
+ Ay
8
+ An
9
+ Aw
10
+ Ar
11
+ Aq
12
+ Ah
13
+ Ag
14
+ Ad
15
+ Al
16
+ Av
17
+ At
18
+ Am
19
+ Af
20
+ As
21
+ Aa
22
+ Ae
23
+ Ai
24
+ Ak
25
+ Ac
26
+ A#
27
+ Cp
28
+ Cy
29
+ Cn
30
+ Cw
31
+ Cr
32
+ Cq
33
+ Ch
34
+ Cg
35
+ Cd
36
+ Cl
37
+ Cv
38
+ Ct
39
+ Cm
40
+ Cf
41
+ Cs
42
+ Ca
43
+ Ce
44
+ Ci
45
+ Ck
46
+ Cc
47
+ C#
48
+ Dp
49
+ Dy
50
+ Dn
51
+ Dw
52
+ Dr
53
+ Dq
54
+ Dh
55
+ Dg
56
+ Dd
57
+ Dl
58
+ Dv
59
+ Dt
60
+ Dm
61
+ Df
62
+ Ds
63
+ Da
64
+ De
65
+ Di
66
+ Dk
67
+ Dc
68
+ D#
69
+ Ep
70
+ Ey
71
+ En
72
+ Ew
73
+ Er
74
+ Eq
75
+ Eh
76
+ Eg
77
+ Ed
78
+ El
79
+ Ev
80
+ Et
81
+ Em
82
+ Ef
83
+ Es
84
+ Ea
85
+ Ee
86
+ Ei
87
+ Ek
88
+ Ec
89
+ E#
90
+ Fp
91
+ Fy
92
+ Fn
93
+ Fw
94
+ Fr
95
+ Fq
96
+ Fh
97
+ Fg
98
+ Fd
99
+ Fl
100
+ Fv
101
+ Ft
102
+ Fm
103
+ Ff
104
+ Fs
105
+ Fa
106
+ Fe
107
+ Fi
108
+ Fk
109
+ Fc
110
+ F#
111
+ Gp
112
+ Gy
113
+ Gn
114
+ Gw
115
+ Gr
116
+ Gq
117
+ Gh
118
+ Gg
119
+ Gd
120
+ Gl
121
+ Gv
122
+ Gt
123
+ Gm
124
+ Gf
125
+ Gs
126
+ Ga
127
+ Ge
128
+ Gi
129
+ Gk
130
+ Gc
131
+ G#
132
+ Hp
133
+ Hy
134
+ Hn
135
+ Hw
136
+ Hr
137
+ Hq
138
+ Hh
139
+ Hg
140
+ Hd
141
+ Hl
142
+ Hv
143
+ Ht
144
+ Hm
145
+ Hf
146
+ Hs
147
+ Ha
148
+ He
149
+ Hi
150
+ Hk
151
+ Hc
152
+ H#
153
+ Ip
154
+ Iy
155
+ In
156
+ Iw
157
+ Ir
158
+ Iq
159
+ Ih
160
+ Ig
161
+ Id
162
+ Il
163
+ Iv
164
+ It
165
+ Im
166
+ If
167
+ Is
168
+ Ia
169
+ Ie
170
+ Ii
171
+ Ik
172
+ Ic
173
+ I#
174
+ Kp
175
+ Ky
176
+ Kn
177
+ Kw
178
+ Kr
179
+ Kq
180
+ Kh
181
+ Kg
182
+ Kd
183
+ Kl
184
+ Kv
185
+ Kt
186
+ Km
187
+ Kf
188
+ Ks
189
+ Ka
190
+ Ke
191
+ Ki
192
+ Kk
193
+ Kc
194
+ K#
195
+ Lp
196
+ Ly
197
+ Ln
198
+ Lw
199
+ Lr
200
+ Lq
201
+ Lh
202
+ Lg
203
+ Ld
204
+ Ll
205
+ Lv
206
+ Lt
207
+ Lm
208
+ Lf
209
+ Ls
210
+ La
211
+ Le
212
+ Li
213
+ Lk
214
+ Lc
215
+ L#
216
+ Mp
217
+ My
218
+ Mn
219
+ Mw
220
+ Mr
221
+ Mq
222
+ Mh
223
+ Mg
224
+ Md
225
+ Ml
226
+ Mv
227
+ Mt
228
+ Mm
229
+ Mf
230
+ Ms
231
+ Ma
232
+ Me
233
+ Mi
234
+ Mk
235
+ Mc
236
+ M#
237
+ Np
238
+ Ny
239
+ Nn
240
+ Nw
241
+ Nr
242
+ Nq
243
+ Nh
244
+ Ng
245
+ Nd
246
+ Nl
247
+ Nv
248
+ Nt
249
+ Nm
250
+ Nf
251
+ Ns
252
+ Na
253
+ Ne
254
+ Ni
255
+ Nk
256
+ Nc
257
+ N#
258
+ Pp
259
+ Py
260
+ Pn
261
+ Pw
262
+ Pr
263
+ Pq
264
+ Ph
265
+ Pg
266
+ Pd
267
+ Pl
268
+ Pv
269
+ Pt
270
+ Pm
271
+ Pf
272
+ Ps
273
+ Pa
274
+ Pe
275
+ Pi
276
+ Pk
277
+ Pc
278
+ P#
279
+ Qp
280
+ Qy
281
+ Qn
282
+ Qw
283
+ Qr
284
+ Qq
285
+ Qh
286
+ Qg
287
+ Qd
288
+ Ql
289
+ Qv
290
+ Qt
291
+ Qm
292
+ Qf
293
+ Qs
294
+ Qa
295
+ Qe
296
+ Qi
297
+ Qk
298
+ Qc
299
+ Q#
300
+ Rp
301
+ Ry
302
+ Rn
303
+ Rw
304
+ Rr
305
+ Rq
306
+ Rh
307
+ Rg
308
+ Rd
309
+ Rl
310
+ Rv
311
+ Rt
312
+ Rm
313
+ Rf
314
+ Rs
315
+ Ra
316
+ Re
317
+ Ri
318
+ Rk
319
+ Rc
320
+ R#
321
+ Sp
322
+ Sy
323
+ Sn
324
+ Sw
325
+ Sr
326
+ Sq
327
+ Sh
328
+ Sg
329
+ Sd
330
+ Sl
331
+ Sv
332
+ St
333
+ Sm
334
+ Sf
335
+ Ss
336
+ Sa
337
+ Se
338
+ Si
339
+ Sk
340
+ Sc
341
+ S#
342
+ Tp
343
+ Ty
344
+ Tn
345
+ Tw
346
+ Tr
347
+ Tq
348
+ Th
349
+ Tg
350
+ Td
351
+ Tl
352
+ Tv
353
+ Tt
354
+ Tm
355
+ Tf
356
+ Ts
357
+ Ta
358
+ Te
359
+ Ti
360
+ Tk
361
+ Tc
362
+ T#
363
+ Vp
364
+ Vy
365
+ Vn
366
+ Vw
367
+ Vr
368
+ Vq
369
+ Vh
370
+ Vg
371
+ Vd
372
+ Vl
373
+ Vv
374
+ Vt
375
+ Vm
376
+ Vf
377
+ Vs
378
+ Va
379
+ Ve
380
+ Vi
381
+ Vk
382
+ Vc
383
+ V#
384
+ Wp
385
+ Wy
386
+ Wn
387
+ Ww
388
+ Wr
389
+ Wq
390
+ Wh
391
+ Wg
392
+ Wd
393
+ Wl
394
+ Wv
395
+ Wt
396
+ Wm
397
+ Wf
398
+ Ws
399
+ Wa
400
+ We
401
+ Wi
402
+ Wk
403
+ Wc
404
+ W#
405
+ Yp
406
+ Yy
407
+ Yn
408
+ Yw
409
+ Yr
410
+ Yq
411
+ Yh
412
+ Yg
413
+ Yd
414
+ Yl
415
+ Yv
416
+ Yt
417
+ Ym
418
+ Yf
419
+ Ys
420
+ Ya
421
+ Ye
422
+ Yi
423
+ Yk
424
+ Yc
425
+ Y#
426
+ #p
427
+ #y
428
+ #n
429
+ #w
430
+ #r
431
+ #q
432
+ #h
433
+ #g
434
+ #d
435
+ #l
436
+ #v
437
+ #t
438
+ #m
439
+ #f
440
+ #s
441
+ #a
442
+ #e
443
+ #i
444
+ #k
445
+ #c
446
+ ##