Demosthene-OR commited on
Commit
e753237
1 Parent(s): 4764028

Ajout des fichiers vocab_*.txt

Browse files
Files changed (3) hide show
  1. data/vocab_en.txt +201 -0
  2. data/vocab_fr.txt +340 -0
  3. main_dl.py +0 -1
data/vocab_en.txt ADDED
@@ -0,0 +1,201 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ is
2
+ in
3
+ it
4
+ during
5
+ the
6
+ but
7
+ and
8
+ sometimes
9
+ usually
10
+ never
11
+ favorite
12
+ least
13
+ fruit
14
+ most
15
+ loved
16
+ liked
17
+ new
18
+ paris
19
+ jersey
20
+ california
21
+ india
22
+ united
23
+ states
24
+ france
25
+ china
26
+ she
27
+ he
28
+ grapefruit
29
+ her
30
+ his
31
+ my
32
+ your
33
+ january
34
+ winter
35
+ summer
36
+ october
37
+ march
38
+ autumn
39
+ september
40
+ july
41
+ june
42
+ may
43
+ fall
44
+ spring
45
+ nice
46
+ their
47
+ snowy
48
+ freezing
49
+ december
50
+ our
51
+ april
52
+ november
53
+ pleasant
54
+ warm
55
+ beautiful
56
+ february
57
+ busy
58
+ dry
59
+ cold
60
+ chilly
61
+ rainy
62
+ august
63
+ relaxing
64
+ wonderful
65
+ mild
66
+ quiet
67
+ wet
68
+ hot
69
+ likes
70
+ dislikes
71
+ peaches
72
+ lemons
73
+ grapes
74
+ bananas
75
+ oranges
76
+ pears
77
+ limes
78
+ strawberries
79
+ apples
80
+ mangoes
81
+ to
82
+ banana
83
+ mango
84
+ pear
85
+ apple
86
+ orange
87
+ lime
88
+ grape
89
+ peach
90
+ lemon
91
+ strawberry
92
+ like
93
+ dislike
94
+ they
95
+ that
96
+ i
97
+ we
98
+ you
99
+ animal
100
+ truck
101
+ a
102
+ automobile
103
+ car
104
+ was
105
+ next
106
+ go
107
+ driving
108
+ visit
109
+ big
110
+ little
111
+ yellow
112
+ shiny
113
+ green
114
+ black
115
+ blue
116
+ white
117
+ rusty
118
+ red
119
+ old
120
+ are
121
+ last
122
+ this
123
+ animals
124
+ feared
125
+ plan
126
+ going
127
+ drove
128
+ disliked
129
+ drives
130
+ saw
131
+ between
132
+ translate
133
+ plans
134
+ went
135
+ were
136
+ wanted
137
+ thinks
138
+ might
139
+ french
140
+ spanish
141
+ chinese
142
+ portuguese
143
+ english
144
+ translating
145
+ difficult
146
+ wants
147
+ fun
148
+ easy
149
+ its
150
+ why
151
+ think
152
+ bear
153
+ did
154
+ mouse
155
+ bird
156
+ cat
157
+ rabbit
158
+ shark
159
+ lion
160
+ snake
161
+ horse
162
+ monkey
163
+ elephant
164
+ dog
165
+ when
166
+ want
167
+ do
168
+ horses
169
+ snakes
170
+ sharks
171
+ didnt
172
+ birds
173
+ monkeys
174
+ elephants
175
+ cats
176
+ how
177
+ rabbits
178
+ bears
179
+ mice
180
+ lions
181
+ tower
182
+ store
183
+ grocery
184
+ eiffel
185
+ dogs
186
+ school
187
+ lake
188
+ football
189
+ field
190
+ would
191
+ been
192
+ arent
193
+ weather
194
+ has
195
+ does
196
+ isnt
197
+ am
198
+ have
199
+ where
200
+ [start]
201
+ [end]
data/vocab_fr.txt ADDED
@@ -0,0 +1,340 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ est
2
+ en
3
+ il
4
+ les
5
+ mais
6
+ et
7
+ la
8
+ parfois
9
+ jamais
10
+ le
11
+ l
12
+ généralement
13
+ moins
14
+ aimé
15
+ au
16
+ fruit
17
+ préféré
18
+ agréable
19
+ froid
20
+ son
21
+ chaud
22
+ a
23
+ de
24
+ plus
25
+ automne
26
+ mois
27
+ elle
28
+ citrons
29
+ paris
30
+ inde
31
+ étatsunis
32
+ jersey
33
+ france
34
+ new
35
+ chine
36
+ pendant
37
+ pamplemousse
38
+ mon
39
+ votre
40
+ janvier
41
+ été
42
+ hiver
43
+ octobre
44
+ mars
45
+ septembre
46
+ juillet
47
+ juin
48
+ mai
49
+ printemps
50
+ décembre
51
+ avril
52
+ novembre
53
+ février
54
+ aime
55
+ août
56
+ merveilleux
57
+ relaxant
58
+ doux
59
+ humide
60
+ notre
61
+ californie
62
+ sec
63
+ leur
64
+ occupé
65
+ pluvieux
66
+ calme
67
+ beau
68
+ habituellement
69
+ pêches
70
+ bananes
71
+ oranges
72
+ poires
73
+ raisins
74
+ verts
75
+ fraises
76
+ pommes
77
+ mangues
78
+ d
79
+ mangue
80
+ gel
81
+ banane
82
+ poire
83
+ pomme
84
+ lorange
85
+ chaux
86
+ raisin
87
+ pêche
88
+ citron
89
+ fraise
90
+ pas
91
+ enneigée
92
+ favori
93
+ déteste
94
+ fruits
95
+ gèle
96
+ voiture
97
+ lautomne
98
+ ils
99
+ naime
100
+ california
101
+ neige
102
+ fait
103
+ ne
104
+ belle
105
+ vous
106
+ nous
107
+ des
108
+ animal
109
+ camion
110
+ cours
111
+ neigeux
112
+ conduit
113
+ prochain
114
+ ce
115
+ je
116
+ tranquille
117
+ cher
118
+ une
119
+ cette
120
+ aller
121
+ était
122
+ naiment
123
+ chaude
124
+ aimons
125
+ aiment
126
+ naimez
127
+ aimez
128
+ leurs
129
+ sont
130
+ détestons
131
+ jaune
132
+ jaime
133
+ visiter
134
+ rouge
135
+ occupée
136
+ sèche
137
+ frisquet
138
+ dernier
139
+ animaux
140
+ préférée
141
+ un
142
+ aimait
143
+ que
144
+ conduisait
145
+ vu
146
+ verte
147
+ nos
148
+ nouvelle
149
+ vieille
150
+ brillant
151
+ petite
152
+ noire
153
+ redouté
154
+ blanche
155
+ naimait
156
+ pense
157
+ pleut
158
+ pamplemousses
159
+ entre
160
+ nouveau
161
+ traduire
162
+ bleu
163
+ grande
164
+ bleue
165
+ rouillée
166
+ rouillé
167
+ se
168
+ ses
169
+ quil
170
+ aux
171
+ blanc
172
+ préférés
173
+ pluies
174
+ brillante
175
+ va
176
+ noir
177
+ étaient
178
+ envisage
179
+ vert
180
+ rendre
181
+ petit
182
+ français
183
+ espagnol
184
+ glaciales
185
+ vieux
186
+ chinois
187
+ portugais
188
+ mes
189
+ anglais
190
+ cet
191
+ comme
192
+ automobile
193
+ mouillé
194
+ gros
195
+ difficile
196
+ traduction
197
+ souris
198
+ veut
199
+ amusant
200
+ voulait
201
+ facile
202
+ pourquoi
203
+ prévoyons
204
+ aimés
205
+ prévois
206
+ pourrait
207
+ intention
208
+ vos
209
+ chat
210
+ ours
211
+ allé
212
+ ont
213
+ lapin
214
+ clémentes
215
+ requin
216
+ lion
217
+ serpent
218
+ redoutés
219
+ cheval
220
+ singe
221
+ maillot
222
+ avez
223
+ trop
224
+ monde
225
+ grosse
226
+ i
227
+ chien
228
+ pluie
229
+ vont
230
+ volant
231
+ allés
232
+ allée
233
+ quand
234
+ oiseau
235
+ veulent
236
+ voulaient
237
+ éléphant
238
+ pourraient
239
+ magnifique
240
+ aimée
241
+ gelé
242
+ lautomobile
243
+ détendre
244
+ naimons
245
+ grand
246
+ détestait
247
+ prévoit
248
+ lui
249
+ bien
250
+ vers
251
+ chevaux
252
+ serpents
253
+ visite
254
+ prévoient
255
+ lours
256
+ requins
257
+ oiseaux
258
+ loiseau
259
+ lanimal
260
+ éléphants
261
+ singes
262
+ légère
263
+ chats
264
+ cépage
265
+ comment
266
+ lapins
267
+ léléphant
268
+ lions
269
+ tour
270
+ lépicerie
271
+ eiffel
272
+ chiens
273
+ lécole
274
+ lac
275
+ terrain
276
+ football
277
+ pensez
278
+ allons
279
+ pousse
280
+ nest
281
+ du
282
+ allez
283
+ peu
284
+ rouille
285
+ êtesvous
286
+ temps
287
+ at
288
+ quelle
289
+ sur
290
+ petites
291
+ voudrait
292
+ frais
293
+ dernière
294
+ cest
295
+ avons
296
+ t
297
+ proches
298
+ vais
299
+ manguiers
300
+ détestez
301
+ préférées
302
+ dans
303
+ porcelaine
304
+ grandes
305
+ voulez
306
+ plaît
307
+ petits
308
+ na
309
+ congélation
310
+ estce
311
+ envisagent
312
+ aimeraient
313
+
314
+ limes
315
+ durant
316
+ aimentils
317
+ douce
318
+ conduite
319
+ grands
320
+ gelés
321
+ enneigé
322
+ moindres
323
+ grosses
324
+ tout
325
+ bénigne
326
+ traduis
327
+ nêtes
328
+ etatsunis
329
+ vit
330
+ trouvé
331
+ souvent
332
+ ressort
333
+ redoutée
334
+ qui
335
+ mouillée
336
+ moteur
337
+ favoris
338
+ détend
339
+ [start]
340
+ [end]
main_dl.py CHANGED
@@ -30,7 +30,6 @@ def custom_standardization(input_string):
30
  return tf.strings.regex_replace(
31
  lowercase, f"[{re.escape(strip_chars)}]", "")
32
 
33
- @st.cache_data
34
  def load_vocab(file_path):
35
  with open(file_path, "r", encoding="utf-8") as file:
36
  return file.read().split('\n')[:-1]
 
30
  return tf.strings.regex_replace(
31
  lowercase, f"[{re.escape(strip_chars)}]", "")
32
 
 
33
  def load_vocab(file_path):
34
  with open(file_path, "r", encoding="utf-8") as file:
35
  return file.read().split('\n')[:-1]