ybelkada commited on
Commit
962f352
1 Parent(s): b689250

Upload tokenizer

Browse files
Files changed (5) hide show
  1. merges.txt +647 -0
  2. special_tokens_map.json +6 -0
  3. tokenizer.json +1740 -0
  4. tokenizer_config.json +32 -0
  5. vocab.json +1 -0
merges.txt ADDED
@@ -0,0 +1,647 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ #version: 0.2
2
+ Ġ t
3
+ Ġt h
4
+ Ġ a
5
+ Ġth e</w>
6
+ i n
7
+ Ġ o
8
+ Ġ ,</w>
9
+ Ġ s
10
+ e d</w>
11
+ Ġ w
12
+ e r
13
+ Ġ .</w>
14
+ Ġ i
15
+ r e
16
+ Ġ c
17
+ n d</w>
18
+ Ġ f
19
+ Ġ b
20
+ a t
21
+ Ġo f</w>
22
+ e r</w>
23
+ e n
24
+ a r
25
+ o r
26
+ i t
27
+ Ġ p
28
+ Ġ h
29
+ Ġa nd</w>
30
+ o n
31
+ in g</w>
32
+ a n
33
+ r o
34
+ Ġ m
35
+ Ġ d
36
+ e s</w>
37
+ Ġi n</w>
38
+ o n</w>
39
+ Ġt o</w>
40
+ o u
41
+ i s
42
+ Ġ a</w>
43
+ i c
44
+ Ġ T
45
+ a l
46
+ Ġ l
47
+ Ġ =</w>
48
+ Ġ re
49
+ Ġ "</w>
50
+ e s
51
+ Ġ S
52
+ a s</w>
53
+ a l</w>
54
+ i l
55
+ e l
56
+ i on</w>
57
+ Ġ A
58
+ Ġ C
59
+ Ġ 1
60
+ Ġ Ċ</w>
61
+ u r
62
+ ĠT h
63
+ Ġ n
64
+ a s
65
+ Ġ @
66
+ e c
67
+ o m
68
+ a c
69
+ Ġ e
70
+ Ġw as</w>
71
+ Ġ M
72
+ o r</w>
73
+ a n</w>
74
+ a m
75
+ e n</w>
76
+ o l
77
+ Ġ in
78
+ Ġ g
79
+ Ġ '</w>
80
+ Ġ B
81
+ l y</w>
82
+ a t</w>
83
+ i v
84
+ t s</w>
85
+ ĠTh e</w>
86
+ u s
87
+ - @</w>
88
+ Ġ@ -@</w>
89
+ i s</w>
90
+ Ġ I
91
+ Ġw h
92
+ i g
93
+ Ġ H
94
+ Ġs t
95
+ o s
96
+ u n
97
+ t h
98
+ Ġ P
99
+ Ġw it
100
+ Ġth at</w>
101
+ i r
102
+ Ġa s</w>
103
+ e m
104
+ Ġo n</w>
105
+ r a
106
+ Ġf or</w>
107
+ Ġ R
108
+ e t
109
+ o w
110
+ Ġ 2
111
+ i d
112
+ Ġ D
113
+ l e</w>
114
+ Ġwit h</w>
115
+ l a
116
+ en t</w>
117
+ i m
118
+ Ġ F
119
+ e a
120
+ i on
121
+ Ġb y</w>
122
+ Ġ )</w>
123
+ Ġ (</w>
124
+ Ġa l
125
+ Ġc on
126
+ en t
127
+ Ġ W
128
+ Ġi s</w>
129
+ er e</w>
130
+ Ġ G
131
+ Ġ N
132
+ Ġ L
133
+ Ġh a
134
+ er s</w>
135
+ r i
136
+ t h</w>
137
+ t ed</w>
138
+ u c
139
+ Ġ J
140
+ Ġ1 9
141
+ e v
142
+ u l
143
+ Ġ v
144
+ c e</w>
145
+ at ion</w>
146
+ ro m</w>
147
+ Ġb e
148
+ Ġ E
149
+ i n</w>
150
+ Ġth e
151
+ Ġf rom</w>
152
+ Ġ O
153
+ t er</w>
154
+ Ġp ro
155
+ Ġa r
156
+ a d
157
+ Ġc om
158
+ i c</w>
159
+ a g
160
+ Ġh is</w>
161
+ Ġs h
162
+ Ġa t</w>
163
+ o v
164
+ i es</w>
165
+ o o
166
+ p p
167
+ s t
168
+ c h
169
+ Ġ r
170
+ Ġ2 0
171
+ a y</w>
172
+ i f
173
+ Ġw ere</w>
174
+ Ġc h
175
+ u t</w>
176
+ s t</w>
177
+ u t
178
+ d s</w>
179
+ o p
180
+ u m
181
+ Ġi t</w>
182
+ o c
183
+ t er
184
+ l e
185
+ ig h
186
+ u d
187
+ Ġe x
188
+ ion s</w>
189
+ at e</w>
190
+ it y</w>
191
+ at ed</w>
192
+ Ġ un
193
+ e p
194
+ q u
195
+ Ġn o
196
+ Ġ K
197
+ iv e</w>
198
+ is t
199
+ Ġo n
200
+ am e</w>
201
+ ou n
202
+ i r</w>
203
+ a b
204
+ Ġ â
205
+ in g
206
+ Ġh e</w>
207
+ l d</w>
208
+ u g
209
+ ic h</w>
210
+ Ġa n</w>
211
+ e d
212
+ Ġ k
213
+ Ġâ Ģ
214
+ Ġha d</w>
215
+ v e</w>
216
+ a in
217
+ Ġs e
218
+ t ion</w>
219
+ or e</w>
220
+ re s
221
+ Ġwh ich</w>
222
+ ĠI n</w>
223
+ o d
224
+ th er</w>
225
+ a k
226
+ Ġs p
227
+ a r</w>
228
+ Ġ y
229
+ ĠC h
230
+ on g</w>
231
+ Ġa c
232
+ es t</w>
233
+ Ġ U
234
+ a p
235
+ f f
236
+ al ly</w>
237
+ r it
238
+ ĠS t
239
+ u b
240
+ g e</w>
241
+ b er</w>
242
+ e t</w>
243
+ Ġb e</w>
244
+ e ar
245
+ Ġre c
246
+ er s
247
+ Ġf ir
248
+ o t
249
+ Ġar e</w>
250
+ Ġa n
251
+ c h</w>
252
+ o g
253
+ i a</w>
254
+ es t
255
+ in e</w>
256
+ il l
257
+ an d
258
+ e l</w>
259
+ ar y</w>
260
+ e w</w>
261
+ i d</w>
262
+ Ġf or
263
+ Ġ ;</w>
264
+ Ġcom p
265
+ Ġ V
266
+ Ġin c
267
+ t r
268
+ Ġ20 0
269
+ Ġthe ir</w>
270
+ u s</w>
271
+ Ġb ut</w>
272
+ r an
273
+ ic al</w>
274
+ Ġfir st</w>
275
+ Ġd e
276
+ Ġin t
277
+ Ġ ro
278
+ s o</w>
279
+ ĠâĢ ĵ</w>
280
+ Ġno t</w>
281
+ d ing</w>
282
+ f ter</w>
283
+ ur e</w>
284
+ Ġp ar
285
+ Ġ :</w>
286
+ i an</w>
287
+ Ġt w
288
+ ou ld</w>
289
+ Ġal so</w>
290
+ Ġi ts</w>
291
+ Ġw or
292
+ u m</w>
293
+ Ġo r</w>
294
+ os t</w>
295
+ 0 0</w>
296
+ ou r
297
+ ar d</w>
298
+ Ġre s
299
+ m p
300
+ u e</w>
301
+ Ġa b
302
+ is h</w>
303
+ Ġcon t
304
+ Ġa d
305
+ ow n</w>
306
+ al l</w>
307
+ ou g
308
+ Ġh er</w>
309
+ as t</w>
310
+ Ġ en
311
+ om e</w>
312
+ al l
313
+ d ed</w>
314
+ o w</w>
315
+ Ġha ve</w>
316
+ Ġ us
317
+ ea r</w>
318
+ ac k</w>
319
+ d uc
320
+ i al</w>
321
+ s s
322
+ en ts</w>
323
+ a in</w>
324
+ t ing</w>
325
+ Ġon e</w>
326
+ es s
327
+ Ġh as</w>
328
+ igh t</w>
329
+ a v
330
+ Ġe v
331
+ ou t</w>
332
+ a y
333
+ en ce</w>
334
+ Ġbe en</w>
335
+ e w
336
+ Ġtw o</w>
337
+ Ġc l
338
+ d er</w>
339
+ im e</w>
340
+ k s</w>
341
+ es s</w>
342
+ is h
343
+ . @</w>
344
+ Ġ@ .@</w>
345
+ Ġp la
346
+ Ġp l
347
+ Ġo r
348
+ u p</w>
349
+ m ent</w>
350
+ ur ing</w>
351
+ ol l
352
+ ĠI n
353
+ Ġth is</w>
354
+ Ġb ec
355
+ Ġcom m
356
+ Ġd is
357
+ at er</w>
358
+ ag e</w>
359
+ Ġa pp
360
+ ou s</w>
361
+ e y</w>
362
+ i l</w>
363
+ p er
364
+ ĠA l
365
+ ion al</w>
366
+ l ud
367
+ el y</w>
368
+ t t
369
+ il e</w>
370
+ i z
371
+ Ġ j
372
+ Ġwh o</w>
373
+ Ġa g
374
+ i b
375
+ Ġthe y</w>
376
+ f or
377
+ Ġo v
378
+ at h
379
+ e g
380
+ Ġs c
381
+ i p
382
+ Ġ20 1
383
+ Ġ 3
384
+ Ġp er
385
+ or y</w>
386
+ Ġd es
387
+ id e</w>
388
+ Ġs er
389
+ s e</w>
390
+ ĠH e</w>
391
+ la nd</w>
392
+ at ions</w>
393
+ r ic
394
+ i t</w>
395
+ re s</w>
396
+ er ed</w>
397
+ Ġp re
398
+ ĠS h
399
+ an ce</w>
400
+ or t</w>
401
+ an t</w>
402
+ , @</w>
403
+ Ġ@ ,@</w>
404
+ el l</w>
405
+ Ġ Y
406
+ n ed</w>
407
+ el l
408
+ it e</w>
409
+ Ġinc lud
410
+ Ġre p
411
+ Ġa fter</w>
412
+ Ġs uc
413
+ re e</w>
414
+ an y</w>
415
+ i m</w>
416
+ or t
417
+ Ġ1 8
418
+ Ġs u
419
+ ad e</w>
420
+ ou r</w>
421
+ ĠU n
422
+ ĠI t</w>
423
+ i k
424
+ ĠM ar
425
+ em ber</w>
426
+ Ġ 1</w>
427
+ e en</w>
428
+ a nd</w>
429
+ Ġs ec
430
+ ic e</w>
431
+ Ġt ime</w>
432
+ ĠA n
433
+ Ġint o</w>
434
+ Ġf in
435
+ Ġo ther</w>
436
+ Ġa tt
437
+ il l</w>
438
+ re n
439
+ ac h
440
+ as s
441
+ er al</w>
442
+ es e</w>
443
+ s h
444
+ al s</w>
445
+ it ion</w>
446
+ oug h</w>
447
+ l es</w>
448
+ am p
449
+ Ġw ould</w>
450
+ Ġm ore</w>
451
+ ro ug
452
+ ri b
453
+ er y</w>
454
+ ac e</w>
455
+ Ġ A</w>
456
+ Ġpla y
457
+ it ed</w>
458
+ k ed</w>
459
+ is t</w>
460
+ i ed</w>
461
+ Ġ 2</w>
462
+ as ed</w>
463
+ ing s</w>
464
+ an g
465
+ a m</w>
466
+ i p</w>
467
+ Ġb o
468
+ ab le</w>
469
+ t y</w>
470
+ Ġch ar
471
+ Ġc ent
472
+ et w
473
+ at es</w>
474
+ ro p
475
+ Ġ I</w>
476
+ u nd</w>
477
+ ĠA m
478
+ c es</w>
479
+ o in
480
+ Ġin ter
481
+ u p
482
+ c t
483
+ on e</w>
484
+ Ġt ra
485
+ an t
486
+ ec t
487
+ Ġal l</w>
488
+ e f
489
+ Ġcon s
490
+ ub l
491
+ n ing</w>
492
+ an s</w>
493
+ Ġf e
494
+ us t</w>
495
+ Ġ 0
496
+ Ġre m
497
+ as e</w>
498
+ on g
499
+ Ġwh en</w>
500
+ e b
501
+ ĠW h
502
+ Ġe ar
503
+ ev er</w>
504
+ Ġov er</w>
505
+ Ġk n
506
+ a us
507
+ Ġp os
508
+ a d</w>
509
+ er m
510
+ Ġsh e</w>
511
+ Ġ ra
512
+ Ġd uring</w>
513
+ as on</w>
514
+ v i
515
+ Ġex p
516
+ Ġl ea
517
+ Ġ el
518
+ Ġ 4
519
+ Ġon ly</w>
520
+ o nd</w>
521
+ Ġd ec
522
+ Ġac c
523
+ Ġo ff
524
+ is s
525
+ Ġf l
526
+ ĠE n
527
+ o t</w>
528
+ en s
529
+ os e</w>
530
+ ak e</w>
531
+ o m</w>
532
+ Ġs ev
533
+ ac h</w>
534
+ etw een</w>
535
+ er n
536
+ Ġ 3</w>
537
+ Ġp r
538
+ Ġg ro
539
+ r uc
540
+ Ġd i
541
+ Ġ19 9
542
+ ĠA r
543
+ Ġg ame</w>
544
+ Ġh im</w>
545
+ oo k</w>
546
+ Ġ up</w>
547
+ Ġab out</w>
548
+ Ġre l
549
+ for m
550
+ Ġth ree</w>
551
+ at t
552
+ ĠC om
553
+ Ġs a
554
+ ear s</w>
555
+ Ġ 5
556
+ r y</w>
557
+ Ġi mp
558
+ Ġm ost</w>
559
+ f er
560
+ Ġp res
561
+ Ġf il
562
+ Ġb etween</w>
563
+ Ġbe g
564
+ p h
565
+ or s</w>
566
+ Ġth an</w>
567
+ Ġrec or
568
+ o b
569
+ er ic
570
+ at ing</w>
571
+ Ġth roug
572
+ k ing</w>
573
+ Ġo ut</w>
574
+ Ġn um
575
+ oo d</w>
576
+ oll ow
577
+ ac t
578
+ u il
579
+ Ġc re
580
+ ol og
581
+ at ional</w>
582
+ Ġpro duc
583
+ Ġwh ile</w>
584
+ Ġl ater</w>
585
+ Ġw rit
586
+ e x
587
+ Ġst ar
588
+ Ġsp ec
589
+ e e
590
+ ish ed</w>
591
+ Ġre g
592
+ is ion</w>
593
+ ou th</w>
594
+ Ġre le
595
+ Ġa ss
596
+ Ġse ason</w>
597
+ Ġm ade</w>
598
+ il y</w>
599
+ r u
600
+ o y
601
+ t ur
602
+ t e</w>
603
+ Ġ qu
604
+ Ġm ov
605
+ ur y</w>
606
+ ĠAm eric
607
+ em ent</w>
608
+ c c
609
+ ou nd</w>
610
+ Ġl ar
611
+ Ġfor m
612
+ ec t</w>
613
+ Ġde f
614
+ Ġm us
615
+ ĠP ar
616
+ Ġm e
617
+ Ġs ub
618
+ w ay</w>
619
+ o p</w>
620
+ o h
621
+ el d</w>
622
+ i e</w>
623
+ em p
624
+ am es</w>
625
+ er n</w>
626
+ Ġn or
627
+ iv ed</w>
628
+ ev el
629
+ Ġsuc h</w>
630
+ ar ds</w>
631
+ Ġin d
632
+ ik e</w>
633
+ Ġg en
634
+ er t
635
+ Ġy ear</w>
636
+ Ġus ed</w>
637
+ Ġn ew</w>
638
+ Ġ 5</w>
639
+ Ġal b
640
+ s p
641
+ y p
642
+ Ġwit h
643
+ Ġwh ere</w>
644
+ ic s</w>
645
+ ĠTh is</w>
646
+ Ġthe m</w>
647
+ w n</w>
special_tokens_map.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "<|startoftext|>",
3
+ "eos_token": "<|endoftext|>",
4
+ "pad_token": "<|endoftext|>",
5
+ "unk_token": "<|endoftext|>"
6
+ }
tokenizer.json ADDED
@@ -0,0 +1,1740 @@