{ | |
"version": "1.0", | |
"truncation": null, | |
"padding": null, | |
"added_tokens": [ | |
{ | |
"id": 0, | |
"content": "<cls>", | |
"single_word": false, | |
"lstrip": false, | |
"rstrip": false, | |
"normalized": false, | |
"special": true | |
}, | |
{ | |
"id": 1, | |
"content": "<unk>", | |
"single_word": false, | |
"lstrip": false, | |
"rstrip": false, | |
"normalized": false, | |
"special": true | |
}, | |
{ | |
"id": 2, | |
"content": "<pad>", | |
"single_word": false, | |
"lstrip": false, | |
"rstrip": false, | |
"normalized": false, | |
"special": true | |
} | |
], | |
"normalizer": null, | |
"pre_tokenizer": null, | |
"post_processor": { | |
"type": "TemplateProcessing", | |
"single": [ | |
{ | |
"SpecialToken": { | |
"id": "<cls>", | |
"type_id": 0 | |
} | |
}, | |
{ | |
"Sequence": { | |
"id": "A", | |
"type_id": 0 | |
} | |
} | |
], | |
"pair": [ | |
{ | |
"Sequence": { | |
"id": "A", | |
"type_id": 0 | |
} | |
}, | |
{ | |
"Sequence": { | |
"id": "B", | |
"type_id": 1 | |
} | |
} | |
], | |
"special_tokens": { | |
"<cls>": { | |
"id": "<cls>", | |
"ids": [ | |
0 | |
], | |
"tokens": [ | |
"<cls>" | |
] | |
} | |
} | |
}, | |
"decoder": { | |
"type": "Metaspace", | |
"replacement": "▁", | |
"add_prefix_space": true | |
}, | |
"model": { | |
"type": "Unigram", | |
"unk_id": 1, | |
"vocab": [ | |
[ | |
"<cls>", | |
0.0 | |
], | |
[ | |
"<unk>", | |
0.0 | |
], | |
[ | |
"<pad>", | |
0.0 | |
], | |
[ | |
"е", | |
-3.163679636370631 | |
], | |
[ | |
"с", | |
-3.359173210921522 | |
], | |
[ | |
"м", | |
-3.4767311793904145 | |
], | |
[ | |
"в", | |
-3.605386252605541 | |
], | |
[ | |
"и", | |
-3.651066013791484 | |
], | |
[ | |
"о", | |
-3.715245522180412 | |
], | |
[ | |
"л", | |
-3.817479263617191 | |
], | |
[ | |
"а", | |
-3.9030196208874433 | |
], | |
[ | |
"т", | |
-3.919992837958796 | |
], | |
[ | |
"у", | |
-3.9304056679642905 | |
], | |
[ | |
"й", | |
-4.054189501857026 | |
], | |
[ | |
"к", | |
-4.102994397537691 | |
], | |
[ | |
"х", | |
-4.103691610663567 | |
], | |
[ | |
"р", | |
-4.1636637842471345 | |
], | |
[ | |
"я", | |
-4.185170395178135 | |
], | |
[ | |
"д", | |
-4.293637726858799 | |
], | |
[ | |
"по", | |
-4.318874404725774 | |
], | |
[ | |
"н", | |
-4.319659895767664 | |
], | |
[ | |
"ра", | |
-4.3265484763225555 | |
], | |
[ | |
"ли", | |
-4.463338075253286 | |
], | |
[ | |
"на", | |
-4.548396485176249 | |
], | |
[ | |
"ка", | |
-4.557609822166176 | |
], | |
[ | |
"г", | |
-4.578202766924266 | |
], | |
[ | |
"п", | |
-4.594883297427902 | |
], | |
[ | |
"ла", | |
-4.622429724624767 | |
], | |
[ | |
"з", | |
-4.668711901804953 | |
], | |
[ | |
"за", | |
-4.679470001112352 | |
], | |
[ | |
"ж", | |
-4.6928884482729725 | |
], | |
[ | |
"ны", | |
-4.71701993131067 | |
], | |
[ | |
"ни", | |
-4.717178138341593 | |
], | |
[ | |
"б", | |
-4.724329749814936 | |
], | |
[ | |
"ре", | |
-4.817940624969842 | |
], | |
[ | |
"ся", | |
-4.837228337071681 | |
], | |
[ | |
"не", | |
-4.847884203151357 | |
], | |
[ | |
"ч", | |
-4.887512861290739 | |
], | |
[ | |
"ро", | |
-4.926997101838511 | |
], | |
[ | |
"ло", | |
-4.97413370365851 | |
], | |
[ | |
"та", | |
-5.03710813523057 | |
], | |
[ | |
"ми", | |
-5.050561901133183 | |
], | |
[ | |
"вы", | |
-5.066939597672463 | |
], | |
[ | |
"ю", | |
-5.0733887719846535 | |
], | |
[ | |
"ва", | |
-5.113926274278541 | |
], | |
[ | |
"ш", | |
-5.117244871533597 | |
], | |
[ | |
"ки", | |
-5.119883285875998 | |
], | |
[ | |
"но", | |
-5.122834314800927 | |
], | |
[ | |
"ль", | |
-5.140078050336987 | |
], | |
[ | |
"во", | |
-5.172027764098099 | |
], | |
[ | |
"ет", | |
-5.177442189854445 | |
], | |
[ | |
"про", | |
-5.180757178756542 | |
], | |
[ | |
"до", | |
-5.195432996961143 | |
], | |
[ | |
"го", | |
-5.202898545471495 | |
], | |
[ | |
"ы", | |
-5.220288580282356 | |
], | |
[ | |
"те", | |
-5.223318808225276 | |
], | |
[ | |
"да", | |
-5.258319969867447 | |
], | |
[ | |
"сь", | |
-5.296768127931532 | |
], | |
[ | |
"при", | |
-5.300719847408466 | |
], | |
[ | |
"ст", | |
-5.312071600207288 | |
], | |
[ | |
"об", | |
-5.321440340809566 | |
], | |
[ | |
"ри", | |
-5.3519440247354435 | |
], | |
[ | |
"ру", | |
-5.38271758302474 | |
], | |
[ | |
"де", | |
-5.423357093765034 | |
], | |
[ | |
"ти", | |
-5.430152754589945 | |
], | |
[ | |
"от", | |
-5.452013842602504 | |
], | |
[ | |
"па", | |
-5.461349448256417 | |
], | |
[ | |
"ди", | |
-5.462112441879383 | |
], | |
[ | |
"со", | |
-5.470733756935259 | |
], | |
[ | |
"ку", | |
-5.474588929119926 | |
], | |
[ | |
"ко", | |
-5.504473412608789 | |
], | |
[ | |
"то", | |
-5.504860293985374 | |
], | |
[ | |
"га", | |
-5.682461175015034 | |
], | |
[ | |
"бо", | |
-5.702286932153873 | |
], | |
[ | |
"ля", | |
-5.7071868804938575 | |
], | |
[ | |
"чи", | |
-5.726149608807441 | |
], | |
[ | |
"ры", | |
-5.758139810477674 | |
], | |
[ | |
"ь", | |
-5.769722615320585 | |
], | |
[ | |
"раз", | |
-5.777657793853893 | |
], | |
[ | |
"ин", | |
-5.783559540075616 | |
], | |
[ | |
"ной", | |
-5.792938114764205 | |
], | |
[ | |
"ен", | |
-5.810652857528926 | |
], | |
[ | |
"под", | |
-5.843061465852911 | |
], | |
[ | |
"ан", | |
-5.865100339367234 | |
], | |
[ | |
"пи", | |
-5.879046574282176 | |
], | |
[ | |
"ар", | |
-5.893862057404111 | |
], | |
[ | |
"ть", | |
-5.897306442912066 | |
], | |
[ | |
"ф", | |
-5.902229127271679 | |
], | |
[ | |
"жи", | |
-5.925370546484604 | |
], | |
[ | |
"ци", | |
-5.928100752513752 | |
], | |
[ | |
"че", | |
-5.945348977901572 | |
], | |
[ | |
"ты", | |
-5.972166760117739 | |
], | |
[ | |
"ба", | |
-5.977038105260875 | |
], | |
[ | |
"вер", | |
-5.9834285662208355 | |
], | |
[ | |
"ная", | |
-5.990849208890615 | |
], | |
[ | |
"ча", | |
-6.013202406107328 | |
], | |
[ | |
"пе", | |
-6.032341480893757 | |
], | |
[ | |
"са", | |
-6.034450309096376 | |
], | |
[ | |
"ем", | |
-6.037807542535018 | |
], | |
[ | |
"ще", | |
-6.038370941834769 | |
], | |
[ | |
"ше", | |
-6.06235464446777 | |
], | |
[ | |
"из", | |
-6.066288952500396 | |
], | |
[ | |
"ств", | |
-6.069384268201751 | |
], | |
[ | |
"ного", | |
-6.082294432517263 | |
], | |
[ | |
"ско", | |
-6.08231914970808 | |
], | |
[ | |
"э", | |
-6.100856930219237 | |
], | |
[ | |
"ком", | |
-6.103344547667656 | |
], | |
[ | |
"ски", | |
-6.106879466116212 | |
], | |
[ | |
"ё", | |
-6.119189253137697 | |
], | |
[ | |
"ов", | |
-6.137817559051778 | |
], | |
[ | |
"би", | |
-6.1789440746926765 | |
], | |
[ | |
"ста", | |
-6.1858553997483146 | |
], | |
[ | |
"пу", | |
-6.204423533569656 | |
], | |
[ | |
"ков", | |
-6.213633369881909 | |
], | |
[ | |
"рас", | |
-6.215736329120723 | |
], | |
[ | |
"пере", | |
-6.21768060508246 | |
], | |
[ | |
"ши", | |
-6.237591353842034 | |
], | |
[ | |
"ить", | |
-6.252525660416676 | |
], | |
[ | |
"ну", | |
-6.2634886909154694 | |
], | |
[ | |
"ду", | |
-6.272614811909405 | |
], | |
[ | |
"це", | |
-6.290245699117209 | |
], | |
[ | |
"сто", | |
-6.298801808923641 | |
], | |
[ | |
"енны", | |
-6.302090293473122 | |
], | |
[ | |
"ц", | |
-6.308440789473089 | |
], | |
[ | |
"сти", | |
-6.334320371974204 | |
], | |
[ | |
"же", | |
-6.335635473316212 | |
], | |
[ | |
"ал", | |
-6.358520860862261 | |
], | |
[ | |
"му", | |
-6.364234522588496 | |
], | |
[ | |
"ров", | |
-6.3832320736471635 | |
], | |
[ | |
"кон", | |
-6.390409708582491 | |
], | |
[ | |
"нов", | |
-6.40332112227385 | |
], | |
[ | |
"ном", | |
-6.404496872419564 | |
], | |
[ | |
"мен", | |
-6.406441341803423 | |
], | |
[ | |
"су", | |
-6.409942213032796 | |
], | |
[ | |
"ги", | |
-6.410630152721249 | |
], | |
[ | |
"ное", | |
-6.420773351327053 | |
], | |
[ | |
"ск", | |
-6.44575916355691 | |
], | |
[ | |
"тор", | |
-6.446487040563172 | |
], | |
[ | |
"щи", | |
-6.448299737869268 | |
], | |
[ | |
"тер", | |
-6.461199394860048 | |
], | |
[ | |
"ке", | |
-6.476807169306805 | |
], | |
[ | |
"пред", | |
-6.480919764600884 | |
], | |
[ | |
"ту", | |
-6.510780721409588 | |
], | |
[ | |
"ша", | |
-6.516865779803863 | |
], | |
[ | |
"бу", | |
-6.52767314244385 | |
], | |
[ | |
"ения", | |
-6.538926614200792 | |
], | |
[ | |
"ную", | |
-6.552064033974945 | |
], | |
[ | |
"пре", | |
-6.553167434011976 | |
], | |
[ | |
"вал", | |
-6.557256564987661 | |
], | |
[ | |
"ом", | |
-6.568516369824362 | |
], | |
[ | |
"ать", | |
-6.576879449964456 | |
], | |
[ | |
"кой", | |
-6.586751821830785 | |
], | |
[ | |
"ным", | |
-6.594442363464133 | |
], | |
[ | |
"ей", | |
-6.599767946641585 | |
], | |
[ | |
"ил", | |
-6.621395002677158 | |
], | |
[ | |
"лю", | |
-6.623376951115417 | |
], | |
[ | |
"ня", | |
-6.630620647600898 | |
], | |
[ | |
"фи", | |
-6.6314502944549885 | |
], | |
[ | |
"щ", | |
-6.652009873573954 | |
], | |
[ | |
"лен", | |
-6.671904516820077 | |
], | |
[ | |
"ой", | |
-6.698990150040525 | |
], | |
[ | |
"ение", | |
-6.7018149873497865 | |
], | |
[ | |
"тра", | |
-6.735015124799016 | |
], | |
[ | |
"зна", | |
-6.7628336982097625 | |
], | |
[ | |
"нны", | |
-6.763688359226228 | |
], | |
[ | |
"став", | |
-6.77706314032819 | |
], | |
[ | |
"ают", | |
-6.781120088269673 | |
], | |
[ | |
"ща", | |
-6.801003632576517 | |
], | |
[ | |
"нул", | |
-6.833802047509301 | |
], | |
[ | |
"ят", | |
-6.83599763637482 | |
], | |
[ | |
"ца", | |
-6.8413621711809425 | |
], | |
[ | |
"вать", | |
-6.8454722753654105 | |
], | |
[ | |
"гу", | |
-6.855305485842227 | |
], | |
[ | |
"тель", | |
-6.865088978982655 | |
], | |
[ | |
"дер", | |
-6.8697789465101735 | |
], | |
[ | |
"ую", | |
-6.883286929038205 | |
], | |
[ | |
"зы", | |
-6.887226954371979 | |
], | |
[ | |
"ого", | |
-6.9096408817435835 | |
], | |
[ | |
"ды", | |
-6.917300681629014 | |
], | |
[ | |
"вали", | |
-6.923598624147741 | |
], | |
[ | |
"воз", | |
-6.924974892692155 | |
], | |
[ | |
"сту", | |
-6.938330038589572 | |
], | |
[ | |
"вши", | |
-6.944084484532089 | |
], | |
[ | |
"мер", | |
-6.949151102970277 | |
], | |
[ | |
"стр", | |
-6.964299475320227 | |
], | |
[ | |
"вед", | |
-6.973302237822135 | |
], | |
[ | |
"вод", | |
-7.007964932291482 | |
], | |
[ | |
"ская", | |
-7.0120720777731504 | |
], | |
[ | |
"лов", | |
-7.017291086492111 | |
], | |
[ | |
"зи", | |
-7.018282598482372 | |
], | |
[ | |
"мат", | |
-7.032293879761621 | |
], | |
[ | |
"сы", | |
-7.045030730480989 | |
], | |
[ | |
"вает", | |
-7.061487717557232 | |
], | |
[ | |
"фе", | |
-7.061960024820602 | |
], | |
[ | |
"ность", | |
-7.062069414670493 | |
], | |
[ | |
"альны", | |
-7.0660079813306345 | |
], | |
[ | |
"тельны", | |
-7.070899992884044 | |
], | |
[ | |
"ически", | |
-7.074910446308692 | |
], | |
[ | |
"кор", | |
-7.0770106645730015 | |
], | |
[ | |
"стро", | |
-7.082808344718579 | |
], | |
[ | |
"бы", | |
-7.089034041901165 | |
], | |
[ | |
"енно", | |
-7.092846340929074 | |
], | |
[ | |
"ально", | |
-7.106798401325548 | |
], | |
[ | |
"жен", | |
-7.1158283656810495 | |
], | |
[ | |
"пер", | |
-7.1406522742560465 | |
], | |
[ | |
"нь", | |
-7.146275463065721 | |
], | |
[ | |
"ство", | |
-7.191344050847165 | |
], | |
[ | |
"лени", | |
-7.192798006712745 | |
], | |
[ | |
"ками", | |
-7.223665578070645 | |
], | |
[ | |
"сер", | |
-7.273427212354388 | |
], | |
[ | |
"ция", | |
-7.309302043202202 | |
], | |
[ | |
"пы", | |
-7.311239771943472 | |
], | |
[ | |
"ическ", | |
-7.362626913781075 | |
], | |
[ | |
"ман", | |
-7.372506880655845 | |
], | |
[ | |
"цы", | |
-7.380877909236976 | |
], | |
[ | |
"лось", | |
-7.388421354263927 | |
], | |
[ | |
"фа", | |
-7.396928557939996 | |
], | |
[ | |
"полн", | |
-7.404319309649212 | |
], | |
[ | |
"бес", | |
-7.411486081472565 | |
], | |
[ | |
"ания", | |
-7.424202557681505 | |
], | |
[ | |
"бер", | |
-7.440982773293648 | |
], | |
[ | |
"итель", | |
-7.461792961820361 | |
], | |
[ | |
"вес", | |
-7.467919044018315 | |
], | |
[ | |
"мол", | |
-7.473308124014181 | |
], | |
[ | |
"ант", | |
-7.478987381298587 | |
], | |
[ | |
"фор", | |
-7.484167266702336 | |
], | |
[ | |
"ключ", | |
-7.498912525005471 | |
], | |
[ | |
"ности", | |
-7.505175854659576 | |
], | |
[ | |
"ешь", | |
-7.508768160872984 | |
], | |
[ | |
"авто", | |
-7.538910090995356 | |
], | |
[ | |
"теле", | |
-7.540809540515366 | |
], | |
[ | |
"тур", | |
-7.54197419421619 | |
], | |
[ | |
"без", | |
-7.575807709091022 | |
], | |
[ | |
"вид", | |
-7.587814831112549 | |
], | |
[ | |
"пле", | |
-7.603493590785371 | |
], | |
[ | |
"клад", | |
-7.615845269944963 | |
], | |
[ | |
"нуть", | |
-7.641275309552204 | |
], | |
[ | |
"ость", | |
-7.646320761168187 | |
], | |
[ | |
"ание", | |
-7.662126846510476 | |
], | |
[ | |
"очны", | |
-7.664907785029915 | |
], | |
[ | |
"луч", | |
-7.718489513949258 | |
], | |
[ | |
"олог", | |
-7.732846447649656 | |
], | |
[ | |
"ительно", | |
-7.745348765681441 | |
], | |
[ | |
"вел", | |
-7.818080089048796 | |
], | |
[ | |
"твор", | |
-7.820857524203315 | |
], | |
[ | |
"ющих", | |
-7.874749841019598 | |
], | |
[ | |
"ичны", | |
-7.924801361025126 | |
], | |
[ | |
"плат", | |
-7.960841164508129 | |
], | |
[ | |
"ировать", | |
-7.963776371734232 | |
], | |
[ | |
"благо", | |
-7.988391122025849 | |
], | |
[ | |
"ющий", | |
-8.024543177208486 | |
], | |
[ | |
"сход", | |
-8.135419072857303 | |
], | |
[ | |
"смотр", | |
-8.146977660829759 | |
], | |
[ | |
"следова", | |
-8.638979587708416 | |
], | |
[ | |
"электро", | |
-8.735356690654438 | |
], | |
[ | |
"ъ", | |
-9.097443078286028 | |
] | |
] | |
} | |
} |