matiusX commited on
Commit
1f5c2f3
1 Parent(s): b9d95c6

Upload 2 files

Browse files

Add tokenizer model and vocab

tinyshakespeare_model.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9a0fa06f29248b12be262bf64b00b520f387aa325b09fe01949993c14d182ae2
3
+ size 239089
tinyshakespeare_model.vocab ADDED
@@ -0,0 +1,130 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <pad> 0
2
+ <unk> 0
3
+ <s> 0
4
+ </s> 0
5
+ ▁t -0
6
+ he -1
7
+ ▁a -2
8
+ ou -3
9
+ ▁s -4
10
+ ▁m -5
11
+ ▁w -6
12
+ in -7
13
+ re -8
14
+ ha -9
15
+ ▁the -10
16
+ nd -11
17
+ ▁b -12
18
+ is -13
19
+ or -14
20
+ ▁f -15
21
+ ▁I -16
22
+ er -17
23
+ ll -18
24
+ it -19
25
+ on -20
26
+ ▁d -21
27
+ ▁c -22
28
+ ▁n -23
29
+ ▁l -24
30
+ ▁y -25
31
+ es -26
32
+ en -27
33
+ ▁th -28
34
+ ar -29
35
+ ▁h -30
36
+ ▁o -31
37
+ ▁to -32
38
+ ▁you -33
39
+ ▁p -34
40
+ ▁T -35
41
+ hat -36
42
+ ▁A -37
43
+ ▁he -38
44
+ st -39
45
+ ve -40
46
+ ot -41
47
+ ▁and -42
48
+ ow -43
49
+ ing -44
50
+ ▁of -45
51
+ an -46
52
+ om -47
53
+ ▁g -48
54
+ at -49
55
+ ▁be -50
56
+ ▁W -51
57
+ se -52
58
+ ▁my -53
59
+ ▁in -54
60
+ ▁ha -55
61
+ ce -56
62
+ le -57
63
+ ay -58
64
+ ld -59
65
+ ir -60
66
+ et -61
67
+ ▁ -62
68
+ e -63
69
+ t -64
70
+ o -65
71
+ a -66
72
+ h -67
73
+ s -68
74
+ r -69
75
+ n -70
76
+ i -71
77
+ l -72
78
+ d -73
79
+ u -74
80
+ m -75
81
+ y -76
82
+ , -77
83
+ w -78
84
+ f -79
85
+ c -80
86
+ g -81
87
+ I -82
88
+ b -83
89
+ p -84
90
+ : -85
91
+ . -86
92
+ A -87
93
+ v -88
94
+ k -89
95
+ T -90
96
+ ' -91
97
+ E -92
98
+ O -93
99
+ N -94
100
+ R -95
101
+ S -96
102
+ L -97
103
+ C -98
104
+ ; -99
105
+ W -100
106
+ U -101
107
+ H -102
108
+ M -103
109
+ B -104
110
+ ? -105
111
+ G -106
112
+ ! -107
113
+ D -108
114
+ - -109
115
+ F -110
116
+ Y -111
117
+ P -112
118
+ K -113
119
+ V -114
120
+ j -115
121
+ q -116
122
+ x -117
123
+ z -118
124
+ J -119
125
+ Q -120
126
+ Z -121
127
+ X -122
128
+ 3 -123
129
+ & -124
130
+ $ -125