Hugging Face's logo

abletobetable
/
word-stress-tokenizer

Model card Files Community
abletobetable commited on
Commit
cdce4ea
•
1 Parent(s): 4aecdb3

Upload tokenizer

Browse files
Files changed (3) hide show
  1. special_tokens_map.json +5 -0
  2. tokenizer.json +1113 -0
  3. tokenizer_config.json +9 -0
special_tokens_map.json ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "<cls>",
3
+ "pad_token": "<pad>",
4
+ "unk_token": "<unk>"
5
+ }
tokenizer.json ADDED
@@ -0,0 +1,1113 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "version": "1.0",
3
+ "truncation": null,
4
+ "padding": null,
5
+ "added_tokens": [
6
+ {
7
+ "id": 0,
8
+ "content": "<cls>",
9
+ "single_word": false,
10
+ "lstrip": false,
11
+ "rstrip": false,
12
+ "normalized": false,
13
+ "special": true
14
+ },
15
+ {
16
+ "id": 1,
17
+ "content": "<unk>",
18
+ "single_word": false,
19
+ "lstrip": false,
20
+ "rstrip": false,
21
+ "normalized": false,
22
+ "special": true
23
+ },
24
+ {
25
+ "id": 2,
26
+ "content": "<pad>",
27
+ "single_word": false,
28
+ "lstrip": false,
29
+ "rstrip": false,
30
+ "normalized": false,
31
+ "special": true
32
+ }
33
+ ],
34
+ "normalizer": null,
35
+ "pre_tokenizer": null,
36
+ "post_processor": {
37
+ "type": "TemplateProcessing",
38
+ "single": [
39
+ {
40
+ "SpecialToken": {
41
+ "id": "<cls>",
42
+ "type_id": 0
43
+ }
44
+ },
45
+ {
46
+ "Sequence": {
47
+ "id": "A",
48
+ "type_id": 0
49
+ }
50
+ }
51
+ ],
52
+ "pair": [
53
+ {
54
+ "Sequence": {
55
+ "id": "A",
56
+ "type_id": 0
57
+ }
58
+ },
59
+ {
60
+ "Sequence": {
61
+ "id": "B",
62
+ "type_id": 1
63
+ }
64
+ }
65
+ ],
66
+ "special_tokens": {
67
+ "<cls>": {
68
+ "id": "<cls>",
69
+ "ids": [
70
+ 0
71
+ ],
72
+ "tokens": [
73
+ "<cls>"
74
+ ]
75
+ }
76
+ }
77
+ },
78
+ "decoder": {
79
+ "type": "Metaspace",
80
+ "replacement": "▁",
81
+ "add_prefix_space": true
82
+ },
83
+ "model": {
84
+ "type": "Unigram",
85
+ "unk_id": 1,
86
+ "vocab": [
87
+ [
88
+ "<cls>",
89
+ 0.0
90
+ ],
91
+ [
92
+ "<unk>",
93
+ 0.0
94
+ ],
95
+ [
96
+ "<pad>",
97
+ 0.0
98
+ ],
99
+ [
100
+ "е",
101
+ -3.1636796363706257
102
+ ],
103
+ [
104
+ "с",
105
+ -3.359173210921515
106
+ ],
107
+ [
108
+ "м",
109
+ -3.476731179390411
110
+ ],
111
+ [
112
+ "в",
113
+ -3.605386252605541
114
+ ],
115
+ [
116
+ "и",
117
+ -3.651066013791489
118
+ ],
119
+ [
120
+ "о",
121
+ -3.715245522180407
122
+ ],
123
+ [
124
+ "л",
125
+ -3.817479263617182
126
+ ],
127
+ [
128
+ "а",
129
+ -3.903019620887452
130
+ ],
131
+ [
132
+ "т",
133
+ -3.9199928379587927
134
+ ],
135
+ [
136
+ "у",
137
+ -3.930405667964292
138
+ ],
139
+ [
140
+ "й",
141
+ -4.0541895018570315
142
+ ],
143
+ [
144
+ "к",
145
+ -4.102994397537689
146
+ ],
147
+ [
148
+ "х",
149
+ -4.103691610663567
150
+ ],
151
+ [
152
+ "р",
153
+ -4.16366378424714
154
+ ],
155
+ [
156
+ "я",
157
+ -4.185170395178137
158
+ ],
159
+ [
160
+ "д",
161
+ -4.293637726858794
162
+ ],
163
+ [
164
+ "по",
165
+ -4.318874404725774
166
+ ],
167
+ [
168
+ "н",
169
+ -4.319659895767661
170
+ ],
171
+ [
172
+ "ра",
173
+ -4.326548476322561
174
+ ],
175
+ [
176
+ "ли",
177
+ -4.463338075253289
178
+ ],
179
+ [
180
+ "на",
181
+ -4.548396485176252
182
+ ],
183
+ [
184
+ "ка",
185
+ -4.557609822166175
186
+ ],
187
+ [
188
+ "г",
189
+ -4.578202766924266
190
+ ],
191
+ [
192
+ "п",
193
+ -4.5948832974279
194
+ ],
195
+ [
196
+ "ла",
197
+ -4.6224297246247685
198
+ ],
199
+ [
200
+ "з",
201
+ -4.668711901804954
202
+ ],
203
+ [
204
+ "за",
205
+ -4.679470001112351
206
+ ],
207
+ [
208
+ "ж",
209
+ -4.692888448272972
210
+ ],
211
+ [
212
+ "ны",
213
+ -4.717019931310669
214
+ ],
215
+ [
216
+ "ни",
217
+ -4.717178138341594
218
+ ],
219
+ [
220
+ "б",
221
+ -4.724329749814941
222
+ ],
223
+ [
224
+ "ре",
225
+ -4.81794062496984
226
+ ],
227
+ [
228
+ "ся",
229
+ -4.837228337071681
230
+ ],
231
+ [
232
+ "не",
233
+ -4.8478842031513585
234
+ ],
235
+ [
236
+ "ч",
237
+ -4.887512861290738
238
+ ],
239
+ [
240
+ "ро",
241
+ -4.926997101838513
242
+ ],
243
+ [
244
+ "ло",
245
+ -4.974133703658508
246
+ ],
247
+ [
248
+ "та",
249
+ -5.03710813523057
250
+ ],
251
+ [
252
+ "ми",
253
+ -5.050561901133183
254
+ ],
255
+ [
256
+ "вы",
257
+ -5.066939597672462
258
+ ],
259
+ [
260
+ "ю",
261
+ -5.073388771984658
262
+ ],
263
+ [
264
+ "ва",
265
+ -5.113926274278537
266
+ ],
267
+ [
268
+ "ш",
269
+ -5.117244871533595
270
+ ],
271
+ [
272
+ "ки",
273
+ -5.119883285875997
274
+ ],
275
+ [
276
+ "но",
277
+ -5.1228343148009206
278
+ ],
279
+ [
280
+ "ль",
281
+ -5.140078050336989
282
+ ],
283
+ [
284
+ "во",
285
+ -5.172027764098098
286
+ ],
287
+ [
288
+ "ет",
289
+ -5.177442189854446
290
+ ],
291
+ [
292
+ "про",
293
+ -5.180757178756538
294
+ ],
295
+ [
296
+ "до",
297
+ -5.195432996961143
298
+ ],
299
+ [
300
+ "го",
301
+ -5.202898545471494
302
+ ],
303
+ [
304
+ "ы",
305
+ -5.220288580282355
306
+ ],
307
+ [
308
+ "те",
309
+ -5.223318808225277
310
+ ],
311
+ [
312
+ "да",
313
+ -5.258319969867447
314
+ ],
315
+ [
316
+ "сь",
317
+ -5.296768127931532
318
+ ],
319
+ [
320
+ "при",
321
+ -5.300719847408466
322
+ ],
323
+ [
324
+ "ст",
325
+ -5.312071600207292
326
+ ],
327
+ [
328
+ "об",
329
+ -5.321440340809565
330
+ ],
331
+ [
332
+ "ри",
333
+ -5.351944024735443
334
+ ],
335
+ [
336
+ "ру",
337
+ -5.382717583024739
338
+ ],
339
+ [
340
+ "де",
341
+ -5.423357093765036
342
+ ],
343
+ [
344
+ "ти",
345
+ -5.430152754589945
346
+ ],
347
+ [
348
+ "от",
349
+ -5.452013842602504
350
+ ],
351
+ [
352
+ "па",
353
+ -5.461349448256415
354
+ ],
355
+ [
356
+ "ди",
357
+ -5.462112441879385
358
+ ],
359
+ [
360
+ "со",
361
+ -5.470733756935259
362
+ ],
363
+ [
364
+ "ку",
365
+ -5.474588929119926
366
+ ],
367
+ [
368
+ "ко",
369
+ -5.504473412608787
370
+ ],
371
+ [
372
+ "то",
373
+ -5.504860293985371
374
+ ],
375
+ [
376
+ "га",
377
+ -5.682461175015034
378
+ ],
379
+ [
380
+ "бо",
381
+ -5.702286932153874
382
+ ],
383
+ [
384
+ "ля",
385
+ -5.707186880493858
386
+ ],
387
+ [
388
+ "чи",
389
+ -5.72614960880744
390
+ ],
391
+ [
392
+ "ры",
393
+ -5.758139810477672
394
+ ],
395
+ [
396
+ "ь",
397
+ -5.769722615320581
398
+ ],
399
+ [
400
+ "раз",
401
+ -5.777657793853892
402
+ ],
403
+ [
404
+ "ин",
405
+ -5.783559540075617
406
+ ],
407
+ [
408
+ "ной",
409
+ -5.792938114764205
410
+ ],
411
+ [
412
+ "ен",
413
+ -5.810652857528926
414
+ ],
415
+ [
416
+ "под",
417
+ -5.843061465852913
418
+ ],
419
+ [
420
+ "ан",
421
+ -5.865100339367238
422
+ ],
423
+ [
424
+ "пи",
425
+ -5.879046574282175
426
+ ],
427
+ [
428
+ "ар",
429
+ -5.893862057404115
430
+ ],
431
+ [
432
+ "ть",
433
+ -5.897306442912062
434
+ ],
435
+ [
436
+ "ф",
437
+ -5.9022291272716805
438
+ ],
439
+ [
440
+ "жи",
441
+ -5.925370546484605
442
+ ],
443
+ [
444
+ "ци",
445
+ -5.9281007525137515
446
+ ],
447
+ [
448
+ "че",
449
+ -5.945348977901575
450
+ ],
451
+ [
452
+ "ты",
453
+ -5.97216676011774
454
+ ],
455
+ [
456
+ "ба",
457
+ -5.977038105260875
458
+ ],
459
+ [
460
+ "вер",
461
+ -5.9834285662208355
462
+ ],
463
+ [
464
+ "ная",
465
+ -5.990849208890617
466
+ ],
467
+ [
468
+ "ча",
469
+ -6.013202406107327
470
+ ],
471
+ [
472
+ "пе",
473
+ -6.032341480893758
474
+ ],
475
+ [
476
+ "са",
477
+ -6.034450309096375
478
+ ],
479
+ [
480
+ "ем",
481
+ -6.037807542535029
482
+ ],
483
+ [
484
+ "ще",
485
+ -6.03837094183477
486
+ ],
487
+ [
488
+ "ше",
489
+ -6.062354644467768
490
+ ],
491
+ [
492
+ "из",
493
+ -6.066288952500397
494
+ ],
495
+ [
496
+ "ств",
497
+ -6.069384268201751
498
+ ],
499
+ [
500
+ "ного",
501
+ -6.082294432517263
502
+ ],
503
+ [
504
+ "ско",
505
+ -6.08231914970808
506
+ ],
507
+ [
508
+ "э",
509
+ -6.100856930219237
510
+ ],
511
+ [
512
+ "ком",
513
+ -6.103344547667655
514
+ ],
515
+ [
516
+ "ски",
517
+ -6.106879466116212
518
+ ],
519
+ [
520
+ "ё",
521
+ -6.119189253137697
522
+ ],
523
+ [
524
+ "ов",
525
+ -6.13781755905177
526
+ ],
527
+ [
528
+ "би",
529
+ -6.178944074692677
530
+ ],
531
+ [
532
+ "ста",
533
+ -6.185855399748315
534
+ ],
535
+ [
536
+ "пу",
537
+ -6.204423533569656
538
+ ],
539
+ [
540
+ "ков",
541
+ -6.213633369881909
542
+ ],
543
+ [
544
+ "рас",
545
+ -6.2157363291207215
546
+ ],
547
+ [
548
+ "пере",
549
+ -6.217680605082459
550
+ ],
551
+ [
552
+ "ши",
553
+ -6.237591353842032
554
+ ],
555
+ [
556
+ "ить",
557
+ -6.252525660416676
558
+ ],
559
+ [
560
+ "ну",
561
+ -6.263488690915467
562
+ ],
563
+ [
564
+ "ду",
565
+ -6.272614811909405
566
+ ],
567
+ [
568
+ "це",
569
+ -6.29024569911721
570
+ ],
571
+ [
572
+ "сто",
573
+ -6.298801808923643
574
+ ],
575
+ [
576
+ "енны",
577
+ -6.302090293473123
578
+ ],
579
+ [
580
+ "ц",
581
+ -6.308440789473085
582
+ ],
583
+ [
584
+ "сти",
585
+ -6.334320371974204
586
+ ],
587
+ [
588
+ "же",
589
+ -6.335635473316212
590
+ ],
591
+ [
592
+ "ал",
593
+ -6.358520860862261
594
+ ],
595
+ [
596
+ "му",
597
+ -6.364234522588494
598
+ ],
599
+ [
600
+ "ров",
601
+ -6.383232073647163
602
+ ],
603
+ [
604
+ "кон",
605
+ -6.39040970858249
606
+ ],
607
+ [
608
+ "нов",
609
+ -6.403321122273848
610
+ ],
611
+ [
612
+ "ном",
613
+ -6.404496872419564
614
+ ],
615
+ [
616
+ "мен",
617
+ -6.406441341803423
618
+ ],
619
+ [
620
+ "су",
621
+ -6.409942213032795
622
+ ],
623
+ [
624
+ "ги",
625
+ -6.410630152721249
626
+ ],
627
+ [
628
+ "ное",
629
+ -6.420773351327054
630
+ ],
631
+ [
632
+ "ск",
633
+ -6.445759163556909
634
+ ],
635
+ [
636
+ "тор",
637
+ -6.446487040563172
638
+ ],
639
+ [
640
+ "щи",
641
+ -6.448299737869269
642
+ ],
643
+ [
644
+ "тер",
645
+ -6.4611993948600475
646
+ ],
647
+ [
648
+ "ке",
649
+ -6.476807169306805
650
+ ],
651
+ [
652
+ "пред",
653
+ -6.480919764600883
654
+ ],
655
+ [
656
+ "ту",
657
+ -6.510780721409588
658
+ ],
659
+ [
660
+ "ша",
661
+ -6.5168657798038625
662
+ ],
663
+ [
664
+ "бу",
665
+ -6.5276731424438506
666
+ ],
667
+ [
668
+ "ения",
669
+ -6.5389266142007925
670
+ ],
671
+ [
672
+ "ную",
673
+ -6.552064033974945
674
+ ],
675
+ [
676
+ "пре",
677
+ -6.553167434011976
678
+ ],
679
+ [
680
+ "вал",
681
+ -6.55725656498766
682
+ ],
683
+ [
684
+ "ом",
685
+ -6.568516369824358
686
+ ],
687
+ [
688
+ "ать",
689
+ -6.576879449964455
690
+ ],
691
+ [
692
+ "кой",
693
+ -6.586751821830784
694
+ ],
695
+ [
696
+ "ным",
697
+ -6.594442363464129
698
+ ],
699
+ [
700
+ "ей",
701
+ -6.599767946641586
702
+ ],
703
+ [
704
+ "ил",
705
+ -6.621395002677157
706
+ ],
707
+ [
708
+ "лю",
709
+ -6.623376951115417
710
+ ],
711
+ [
712
+ "ня",
713
+ -6.630620647600898
714
+ ],
715
+ [
716
+ "фи",
717
+ -6.631450294454989
718
+ ],
719
+ [
720
+ "щ",
721
+ -6.652009873573955
722
+ ],
723
+ [
724
+ "лен",
725
+ -6.671904516820074
726
+ ],
727
+ [
728
+ "ой",
729
+ -6.698990150040521
730
+ ],
731
+ [
732
+ "ение",
733
+ -6.701814987349789
734
+ ],
735
+ [
736
+ "тра",
737
+ -6.7350151247990135
738
+ ],
739
+ [
740
+ "зна",
741
+ -6.7628336982097625
742
+ ],
743
+ [
744
+ "нны",
745
+ -6.7636883592262285
746
+ ],
747
+ [
748
+ "став",
749
+ -6.77706314032819
750
+ ],
751
+ [
752
+ "ают",
753
+ -6.781120088269674
754
+ ],
755
+ [
756
+ "ща",
757
+ -6.801003632576516
758
+ ],
759
+ [
760
+ "нул",
761
+ -6.833802047509301
762
+ ],
763
+ [
764
+ "ят",
765
+ -6.83599763637482
766
+ ],
767
+ [
768
+ "ца",
769
+ -6.841362171180942
770
+ ],
771
+ [
772
+ "вать",
773
+ -6.8454722753654105
774
+ ],
775
+ [
776
+ "гу",
777
+ -6.855305485842227
778
+ ],
779
+ [
780
+ "тель",
781
+ -6.865088978982656
782
+ ],
783
+ [
784
+ "дер",
785
+ -6.869778946510175
786
+ ],
787
+ [
788
+ "ую",
789
+ -6.8832869290382055
790
+ ],
791
+ [
792
+ "зы",
793
+ -6.887226954371978
794
+ ],
795
+ [
796
+ "ого",
797
+ -6.9096408817435835
798
+ ],
799
+ [
800
+ "ды",
801
+ -6.917300681629015
802
+ ],
803
+ [
804
+ "вали",
805
+ -6.92359862414774
806
+ ],
807
+ [
808
+ "воз",
809
+ -6.924974892692155
810
+ ],
811
+ [
812
+ "сту",
813
+ -6.938330038589572
814
+ ],
815
+ [
816
+ "вши",
817
+ -6.944084484532088
818
+ ],
819
+ [
820
+ "мер",
821
+ -6.949151102970278
822
+ ],
823
+ [
824
+ "стр",
825
+ -6.964299475320226
826
+ ],
827
+ [
828
+ "вед",
829
+ -6.973302237822134
830
+ ],
831
+ [
832
+ "вод",
833
+ -7.007964932291481
834
+ ],
835
+ [
836
+ "ская",
837
+ -7.0120720777731504
838
+ ],
839
+ [
840
+ "лов",
841
+ -7.0172910864921105
842
+ ],
843
+ [
844
+ "зи",
845
+ -7.018282598482371
846
+ ],
847
+ [
848
+ "мат",
849
+ -7.03229387976162
850
+ ],
851
+ [
852
+ "сы",
853
+ -7.045030730480992
854
+ ],
855
+ [
856
+ "вает",
857
+ -7.061487717557232
858
+ ],
859
+ [
860
+ "фе",
861
+ -7.061960024820603
862
+ ],
863
+ [
864
+ "ность",
865
+ -7.062069414670493
866
+ ],
867
+ [
868
+ "альны",
869
+ -7.066007981330634
870
+ ],
871
+ [
872
+ "тельны",
873
+ -7.070899992884045
874
+ ],
875
+ [
876
+ "ически",
877
+ -7.074910446308691
878
+ ],
879
+ [
880
+ "кор",
881
+ -7.077010664573003
882
+ ],
883
+ [
884
+ "стро",
885
+ -7.082808344718579
886
+ ],
887
+ [
888
+ "бы",
889
+ -7.089034041901165
890
+ ],
891
+ [
892
+ "енно",
893
+ -7.092846340929073
894
+ ],
895
+ [
896
+ "ально",
897
+ -7.106798401325548
898
+ ],
899
+ [
900
+ "жен",
901
+ -7.1158283656810495
902
+ ],
903
+ [
904
+ "пер",
905
+ -7.140652274256048
906
+ ],
907
+ [
908
+ "нь",
909
+ -7.146275463065722
910
+ ],
911
+ [
912
+ "ство",
913
+ -7.191344050847165
914
+ ],
915
+ [
916
+ "лени",
917
+ -7.192798006712744
918
+ ],
919
+ [
920
+ "ками",
921
+ -7.223665578070645
922
+ ],
923
+ [
924
+ "сер",
925
+ -7.273427212354388
926
+ ],
927
+ [
928
+ "ция",
929
+ -7.309302043202202
930
+ ],
931
+ [
932
+ "пы",
933
+ -7.311239771943472
934
+ ],
935
+ [
936
+ "ическ",
937
+ -7.362626913781076
938
+ ],
939
+ [
940
+ "ман",
941
+ -7.372506880655842
942
+ ],
943
+ [
944
+ "цы",
945
+ -7.380877909236976
946
+ ],
947
+ [
948
+ "лось",
949
+ -7.388421354263927
950
+ ],
951
+ [
952
+ "фа",
953
+ -7.396928557939997
954
+ ],
955
+ [
956
+ "полн",
957
+ -7.404319309649212
958
+ ],
959
+ [
960
+ "бес",
961
+ -7.411486081472564
962
+ ],
963
+ [
964
+ "ания",
965
+ -7.424202557681504
966
+ ],
967
+ [
968
+ "бер",
969
+ -7.440982773293648
970
+ ],
971
+ [
972
+ "итель",
973
+ -7.461792961820359
974
+ ],
975
+ [
976
+ "вес",
977
+ -7.467919044018315
978
+ ],
979
+ [
980
+ "мол",
981
+ -7.4733081240141805
982
+ ],
983
+ [
984
+ "ант",
985
+ -7.478987381298584
986
+ ],
987
+ [
988
+ "фор",
989
+ -7.484167266702335
990
+ ],
991
+ [
992
+ "ключ",
993
+ -7.498912525005471
994
+ ],
995
+ [
996
+ "ности",
997
+ -7.505175854659576
998
+ ],
999
+ [
1000
+ "ешь",
1001
+ -7.508768160872985
1002
+ ],
1003
+ [
1004
+ "авто",
1005
+ -7.538910090995354
1006
+ ],
1007
+ [
1008
+ "теле",
1009
+ -7.540809540515366
1010
+ ],
1011
+ [
1012
+ "тур",
1013
+ -7.54197419421619
1014
+ ],
1015
+ [
1016
+ "без",
1017
+ -7.575807709091022
1018
+ ],
1019
+ [
1020
+ "вид",
1021
+ -7.5878148311125475
1022
+ ],
1023
+ [
1024
+ "пле",
1025
+ -7.60349359078537
1026
+ ],
1027
+ [
1028
+ "клад",
1029
+ -7.615845269944962
1030
+ ],
1031
+ [
1032
+ "нуть",
1033
+ -7.641275309552204
1034
+ ],
1035
+ [
1036
+ "ость",
1037
+ -7.646320761168187
1038
+ ],
1039
+ [
1040
+ "ание",
1041
+ -7.662126846510478
1042
+ ],
1043
+ [
1044
+ "очны",
1045
+ -7.664907785029915
1046
+ ],
1047
+ [
1048
+ "луч",
1049
+ -7.718489513949257
1050
+ ],
1051
+ [
1052
+ "олог",
1053
+ -7.732846447649656
1054
+ ],
1055
+ [
1056
+ "ительно",
1057
+ -7.74534876568144
1058
+ ],
1059
+ [
1060
+ "вел",
1061
+ -7.818080089048796
1062
+ ],
1063
+ [
1064
+ "твор",
1065
+ -7.820857524203315
1066
+ ],
1067
+ [
1068
+ "ющих",
1069
+ -7.874749841019598
1070
+ ],
1071
+ [
1072
+ "ичны",
1073
+ -7.924801361025125
1074
+ ],
1075
+ [
1076
+ "плат",
1077
+ -7.96084116450813
1078
+ ],
1079
+ [
1080
+ "ировать",
1081
+ -7.963776371734232
1082
+ ],
1083
+ [
1084
+ "благо",
1085
+ -7.988391122025848
1086
+ ],
1087
+ [
1088
+ "ющий",
1089
+ -8.024543177208486
1090
+ ],
1091
+ [
1092
+ "сход",
1093
+ -8.135419072857303
1094
+ ],
1095
+ [
1096
+ "смотр",
1097
+ -8.146977660829759
1098
+ ],
1099
+ [
1100
+ "следова",
1101
+ -8.638979587708413
1102
+ ],
1103
+ [
1104
+ "электро",
1105
+ -8.735356690654438
1106
+ ],
1107
+ [
1108
+ "ъ",
1109
+ -9.097443078286028
1110
+ ]
1111
+ ]
1112
+ }
1113
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "clean_up_tokenization_spaces": true,
3
+ "cls_token": "<cls>",
4
+ "model_max_length": 24,
5
+ "pad_token": "<pad>",
6
+ "padding_side": "right",
7
+ "tokenizer_class": "PreTrainedTokenizerFast",
8
+ "unk_token": "<unk>"
9
+ }