Narsil HF staff commited on
Commit
76a7440
1 Parent(s): 12ceb59

Removing all merges.

Browse files
Files changed (1) hide show
  1. tokenizer.json +1 -648
tokenizer.json CHANGED
@@ -147,653 +147,6 @@
147
  "¤": 98,
148
  "¥": 99
149
  },
150
- "merges": [
151
- "Ġ t",
152
- "Ġt h",
153
- "Ġ a",
154
- "Ġth e</w>",
155
- "i n",
156
- "Ġ o",
157
- "Ġ ,</w>",
158
- "Ġ s",
159
- "e d</w>",
160
- "Ġ w",
161
- "e r",
162
- "Ġ .</w>",
163
- "Ġ i",
164
- "r e",
165
- "Ġ c",
166
- "n d</w>",
167
- "Ġ f",
168
- "Ġ b",
169
- "a t",
170
- "Ġo f</w>",
171
- "e r</w>",
172
- "e n",
173
- "a r",
174
- "o r",
175
- "i t",
176
- "Ġ p",
177
- "Ġ h",
178
- "Ġa nd</w>",
179
- "o n",
180
- "in g</w>",
181
- "a n",
182
- "r o",
183
- "Ġ m",
184
- "Ġ d",
185
- "e s</w>",
186
- "Ġi n</w>",
187
- "o n</w>",
188
- "Ġt o</w>",
189
- "o u",
190
- "i s",
191
- "Ġ a</w>",
192
- "i c",
193
- "Ġ T",
194
- "a l",
195
- "Ġ l",
196
- "Ġ =</w>",
197
- "Ġ re",
198
- "Ġ \"</w>",
199
- "e s",
200
- "Ġ S",
201
- "a s</w>",
202
- "a l</w>",
203
- "i l",
204
- "e l",
205
- "i on</w>",
206
- "Ġ A",
207
- "Ġ C",
208
- "Ġ 1",
209
- "Ġ Ċ</w>",
210
- "u r",
211
- "ĠT h",
212
- "Ġ n",
213
- "a s",
214
- "Ġ @",
215
- "e c",
216
- "o m",
217
- "a c",
218
- "Ġ e",
219
- "Ġw as</w>",
220
- "Ġ M",
221
- "o r</w>",
222
- "a n</w>",
223
- "a m",
224
- "e n</w>",
225
- "o l",
226
- "Ġ in",
227
- "Ġ g",
228
- "Ġ '</w>",
229
- "Ġ B",
230
- "l y</w>",
231
- "a t</w>",
232
- "i v",
233
- "t s</w>",
234
- "ĠTh e</w>",
235
- "u s",
236
- "- @</w>",
237
- "Ġ@ -@</w>",
238
- "i s</w>",
239
- "Ġ I",
240
- "Ġw h",
241
- "i g",
242
- "Ġ H",
243
- "Ġs t",
244
- "o s",
245
- "u n",
246
- "t h",
247
- "Ġ P",
248
- "Ġw it",
249
- "Ġth at</w>",
250
- "i r",
251
- "Ġa s</w>",
252
- "e m",
253
- "Ġo n</w>",
254
- "r a",
255
- "Ġf or</w>",
256
- "Ġ R",
257
- "e t",
258
- "o w",
259
- "Ġ 2",
260
- "i d",
261
- "Ġ D",
262
- "l e</w>",
263
- "Ġwit h</w>",
264
- "l a",
265
- "en t</w>",
266
- "i m",
267
- "Ġ F",
268
- "e a",
269
- "i on",
270
- "Ġb y</w>",
271
- "Ġ )</w>",
272
- "Ġ (</w>",
273
- "Ġa l",
274
- "Ġc on",
275
- "en t",
276
- "Ġ W",
277
- "Ġi s</w>",
278
- "er e</w>",
279
- "Ġ G",
280
- "Ġ N",
281
- "Ġ L",
282
- "Ġh a",
283
- "er s</w>",
284
- "r i",
285
- "t h</w>",
286
- "t ed</w>",
287
- "u c",
288
- "Ġ J",
289
- "Ġ1 9",
290
- "e v",
291
- "u l",
292
- "Ġ v",
293
- "c e</w>",
294
- "at ion</w>",
295
- "ro m</w>",
296
- "Ġb e",
297
- "Ġ E",
298
- "i n</w>",
299
- "Ġth e",
300
- "Ġf rom</w>",
301
- "Ġ O",
302
- "t er</w>",
303
- "Ġp ro",
304
- "Ġa r",
305
- "a d",
306
- "Ġc om",
307
- "i c</w>",
308
- "a g",
309
- "Ġh is</w>",
310
- "Ġs h",
311
- "Ġa t</w>",
312
- "o v",
313
- "i es</w>",
314
- "o o",
315
- "p p",
316
- "s t",
317
- "c h",
318
- "Ġ r",
319
- "Ġ2 0",
320
- "a y</w>",
321
- "i f",
322
- "Ġw ere</w>",
323
- "Ġc h",
324
- "u t</w>",
325
- "s t</w>",
326
- "u t",
327
- "d s</w>",
328
- "o p",
329
- "u m",
330
- "Ġi t</w>",
331
- "o c",
332
- "t er",
333
- "l e",
334
- "ig h",
335
- "u d",
336
- "Ġe x",
337
- "ion s</w>",
338
- "at e</w>",
339
- "it y</w>",
340
- "at ed</w>",
341
- "Ġ un",
342
- "e p",
343
- "q u",
344
- "Ġn o",
345
- "Ġ K",
346
- "iv e</w>",
347
- "is t",
348
- "Ġo n",
349
- "am e</w>",
350
- "ou n",
351
- "i r</w>",
352
- "a b",
353
- "Ġ â",
354
- "in g",
355
- "Ġh e</w>",
356
- "l d</w>",
357
- "u g",
358
- "ic h</w>",
359
- "Ġa n</w>",
360
- "e d",
361
- "Ġ k",
362
- "Ġâ Ģ",
363
- "Ġha d</w>",
364
- "v e</w>",
365
- "a in",
366
- "Ġs e",
367
- "t ion</w>",
368
- "or e</w>",
369
- "re s",
370
- "Ġwh ich</w>",
371
- "ĠI n</w>",
372
- "o d",
373
- "th er</w>",
374
- "a k",
375
- "Ġs p",
376
- "a r</w>",
377
- "Ġ y",
378
- "ĠC h",
379
- "on g</w>",
380
- "Ġa c",
381
- "es t</w>",
382
- "Ġ U",
383
- "a p",
384
- "f f",
385
- "al ly</w>",
386
- "r it",
387
- "ĠS t",
388
- "u b",
389
- "g e</w>",
390
- "b er</w>",
391
- "e t</w>",
392
- "Ġb e</w>",
393
- "e ar",
394
- "Ġre c",
395
- "er s",
396
- "Ġf ir",
397
- "o t",
398
- "Ġar e</w>",
399
- "Ġa n",
400
- "c h</w>",
401
- "o g",
402
- "i a</w>",
403
- "es t",
404
- "in e</w>",
405
- "il l",
406
- "an d",
407
- "e l</w>",
408
- "ar y</w>",
409
- "e w</w>",
410
- "i d</w>",
411
- "Ġf or",
412
- "Ġ ;</w>",
413
- "Ġcom p",
414
- "Ġ V",
415
- "Ġin c",
416
- "t r",
417
- "Ġ20 0",
418
- "Ġthe ir</w>",
419
- "u s</w>",
420
- "Ġb ut</w>",
421
- "r an",
422
- "ic al</w>",
423
- "Ġfir st</w>",
424
- "Ġd e",
425
- "Ġin t",
426
- "Ġ ro",
427
- "s o</w>",
428
- "ĠâĢ ĵ</w>",
429
- "Ġno t</w>",
430
- "d ing</w>",
431
- "f ter</w>",
432
- "ur e</w>",
433
- "Ġp ar",
434
- "Ġ :</w>",
435
- "i an</w>",
436
- "Ġt w",
437
- "ou ld</w>",
438
- "Ġal so</w>",
439
- "Ġi ts</w>",
440
- "Ġw or",
441
- "u m</w>",
442
- "Ġo r</w>",
443
- "os t</w>",
444
- "0 0</w>",
445
- "ou r",
446
- "ar d</w>",
447
- "Ġre s",
448
- "m p",
449
- "u e</w>",
450
- "Ġa b",
451
- "is h</w>",
452
- "Ġcon t",
453
- "Ġa d",
454
- "ow n</w>",
455
- "al l</w>",
456
- "ou g",
457
- "Ġh er</w>",
458
- "as t</w>",
459
- "Ġ en",
460
- "om e</w>",
461
- "al l",
462
- "d ed</w>",
463
- "o w</w>",
464
- "Ġha ve</w>",
465
- "Ġ us",
466
- "ea r</w>",
467
- "ac k</w>",
468
- "d uc",
469
- "i al</w>",
470
- "s s",
471
- "en ts</w>",
472
- "a in</w>",
473
- "t ing</w>",
474
- "Ġon e</w>",
475
- "es s",
476
- "Ġh as</w>",
477
- "igh t</w>",
478
- "a v",
479
- "Ġe v",
480
- "ou t</w>",
481
- "a y",
482
- "en ce</w>",
483
- "Ġbe en</w>",
484
- "e w",
485
- "Ġtw o</w>",
486
- "Ġc l",
487
- "d er</w>",
488
- "im e</w>",
489
- "k s</w>",
490
- "es s</w>",
491
- "is h",
492
- ". @</w>",
493
- "Ġ@ .@</w>",
494
- "Ġp la",
495
- "Ġp l",
496
- "Ġo r",
497
- "u p</w>",
498
- "m ent</w>",
499
- "ur ing</w>",
500
- "ol l",
501
- "ĠI n",
502
- "Ġth is</w>",
503
- "Ġb ec",
504
- "Ġcom m",
505
- "Ġd is",
506
- "at er</w>",
507
- "ag e</w>",
508
- "Ġa pp",
509
- "ou s</w>",
510
- "e y</w>",
511
- "i l</w>",
512
- "p er",
513
- "ĠA l",
514
- "ion al</w>",
515
- "l ud",
516
- "el y</w>",
517
- "t t",
518
- "il e</w>",
519
- "i z",
520
- "Ġ j",
521
- "Ġwh o</w>",
522
- "Ġa g",
523
- "i b",
524
- "Ġthe y</w>",
525
- "f or",
526
- "Ġo v",
527
- "at h",
528
- "e g",
529
- "Ġs c",
530
- "i p",
531
- "Ġ20 1",
532
- "Ġ 3",
533
- "Ġp er",
534
- "or y</w>",
535
- "Ġd es",
536
- "id e</w>",
537
- "Ġs er",
538
- "s e</w>",
539
- "ĠH e</w>",
540
- "la nd</w>",
541
- "at ions</w>",
542
- "r ic",
543
- "i t</w>",
544
- "re s</w>",
545
- "er ed</w>",
546
- "Ġp re",
547
- "ĠS h",
548
- "an ce</w>",
549
- "or t</w>",
550
- "an t</w>",
551
- ", @</w>",
552
- "Ġ@ ,@</w>",
553
- "el l</w>",
554
- "Ġ Y",
555
- "n ed</w>",
556
- "el l",
557
- "it e</w>",
558
- "Ġinc lud",
559
- "Ġre p",
560
- "Ġa fter</w>",
561
- "Ġs uc",
562
- "re e</w>",
563
- "an y</w>",
564
- "i m</w>",
565
- "or t",
566
- "Ġ1 8",
567
- "Ġs u",
568
- "ad e</w>",
569
- "ou r</w>",
570
- "ĠU n",
571
- "ĠI t</w>",
572
- "i k",
573
- "ĠM ar",
574
- "em ber</w>",
575
- "Ġ 1</w>",
576
- "e en</w>",
577
- "a nd</w>",
578
- "Ġs ec",
579
- "ic e</w>",
580
- "Ġt ime</w>",
581
- "ĠA n",
582
- "Ġint o</w>",
583
- "Ġf in",
584
- "Ġo ther</w>",
585
- "Ġa tt",
586
- "il l</w>",
587
- "re n",
588
- "ac h",
589
- "as s",
590
- "er al</w>",
591
- "es e</w>",
592
- "s h",
593
- "al s</w>",
594
- "it ion</w>",
595
- "oug h</w>",
596
- "l es</w>",
597
- "am p",
598
- "Ġw ould</w>",
599
- "Ġm ore</w>",
600
- "ro ug",
601
- "ri b",
602
- "er y</w>",
603
- "ac e</w>",
604
- "Ġ A</w>",
605
- "Ġpla y",
606
- "it ed</w>",
607
- "k ed</w>",
608
- "is t</w>",
609
- "i ed</w>",
610
- "Ġ 2</w>",
611
- "as ed</w>",
612
- "ing s</w>",
613
- "an g",
614
- "a m</w>",
615
- "i p</w>",
616
- "Ġb o",
617
- "ab le</w>",
618
- "t y</w>",
619
- "Ġch ar",
620
- "Ġc ent",
621
- "et w",
622
- "at es</w>",
623
- "ro p",
624
- "Ġ I</w>",
625
- "u nd</w>",
626
- "ĠA m",
627
- "c es</w>",
628
- "o in",
629
- "Ġin ter",
630
- "u p",
631
- "c t",
632
- "on e</w>",
633
- "Ġt ra",
634
- "an t",
635
- "ec t",
636
- "Ġal l</w>",
637
- "e f",
638
- "Ġcon s",
639
- "ub l",
640
- "n ing</w>",
641
- "an s</w>",
642
- "Ġf e",
643
- "us t</w>",
644
- "Ġ 0",
645
- "Ġre m",
646
- "as e</w>",
647
- "on g",
648
- "Ġwh en</w>",
649
- "e b",
650
- "ĠW h",
651
- "Ġe ar",
652
- "ev er</w>",
653
- "Ġov er</w>",
654
- "Ġk n",
655
- "a us",
656
- "Ġp os",
657
- "a d</w>",
658
- "er m",
659
- "Ġsh e</w>",
660
- "Ġ ra",
661
- "Ġd uring</w>",
662
- "as on</w>",
663
- "v i",
664
- "Ġex p",
665
- "Ġl ea",
666
- "Ġ el",
667
- "Ġ 4",
668
- "Ġon ly</w>",
669
- "o nd</w>",
670
- "Ġd ec",
671
- "Ġac c",
672
- "Ġo ff",
673
- "is s",
674
- "Ġf l",
675
- "ĠE n",
676
- "o t</w>",
677
- "en s",
678
- "os e</w>",
679
- "ak e</w>",
680
- "o m</w>",
681
- "Ġs ev",
682
- "ac h</w>",
683
- "etw een</w>",
684
- "er n",
685
- "Ġ 3</w>",
686
- "Ġp r",
687
- "Ġg ro",
688
- "r uc",
689
- "Ġd i",
690
- "Ġ19 9",
691
- "ĠA r",
692
- "Ġg ame</w>",
693
- "Ġh im</w>",
694
- "oo k</w>",
695
- "Ġ up</w>",
696
- "Ġab out</w>",
697
- "Ġre l",
698
- "for m",
699
- "Ġth ree</w>",
700
- "at t",
701
- "ĠC om",
702
- "Ġs a",
703
- "ear s</w>",
704
- "Ġ 5",
705
- "r y</w>",
706
- "Ġi mp",
707
- "Ġm ost</w>",
708
- "f er",
709
- "Ġp res",
710
- "Ġf il",
711
- "Ġb etween</w>",
712
- "Ġbe g",
713
- "p h",
714
- "or s</w>",
715
- "Ġth an</w>",
716
- "Ġrec or",
717
- "o b",
718
- "er ic",
719
- "at ing</w>",
720
- "Ġth roug",
721
- "k ing</w>",
722
- "Ġo ut</w>",
723
- "Ġn um",
724
- "oo d</w>",
725
- "oll ow",
726
- "ac t",
727
- "u il",
728
- "Ġc re",
729
- "ol og",
730
- "at ional</w>",
731
- "Ġpro duc",
732
- "Ġwh ile</w>",
733
- "Ġl ater</w>",
734
- "Ġw rit",
735
- "e x",
736
- "Ġst ar",
737
- "Ġsp ec",
738
- "e e",
739
- "ish ed</w>",
740
- "Ġre g",
741
- "is ion</w>",
742
- "ou th</w>",
743
- "Ġre le",
744
- "Ġa ss",
745
- "Ġse ason</w>",
746
- "Ġm ade</w>",
747
- "il y</w>",
748
- "r u",
749
- "o y",
750
- "t ur",
751
- "t e</w>",
752
- "Ġ qu",
753
- "Ġm ov",
754
- "ur y</w>",
755
- "ĠAm eric",
756
- "em ent</w>",
757
- "c c",
758
- "ou nd</w>",
759
- "Ġl ar",
760
- "Ġfor m",
761
- "ec t</w>",
762
- "Ġde f",
763
- "Ġm us",
764
- "ĠP ar",
765
- "Ġm e",
766
- "Ġs ub",
767
- "w ay</w>",
768
- "o p</w>",
769
- "o h",
770
- "el d</w>",
771
- "i e</w>",
772
- "em p",
773
- "am es</w>",
774
- "er n</w>",
775
- "Ġn or",
776
- "iv ed</w>",
777
- "ev el",
778
- "Ġsuc h</w>",
779
- "ar ds</w>",
780
- "Ġin d",
781
- "ik e</w>",
782
- "Ġg en",
783
- "er t",
784
- "Ġy ear</w>",
785
- "Ġus ed</w>",
786
- "Ġn ew</w>",
787
- "Ġ 5</w>",
788
- "Ġal b",
789
- "s p",
790
- "y p",
791
- "Ġwit h",
792
- "Ġwh ere</w>",
793
- "ic s</w>",
794
- "ĠTh is</w>",
795
- "Ġthe m</w>",
796
- "w n</w>"
797
- ]
798
  }
799
  }
 
147
  "¤": 98,
148
  "¥": 99
149
  },
150
+ "merges": []
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
151
  }
152
  }