lang/tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
е 3
▁с 4
т 5
▁в 6
▁ 7
с 8
н 9
м 10
▁и 11
и 12
р 13
▁на 14
▁по 15
д 16
в 17
у 18
л 19
▁не 20
к 21
й 22
я 23
а 24
ра 25
▁у 26
ли 27
но 28
ла 29
ка 30
х 31
ч 32
о 33
▁за 34
з 35
ю 36
ло 37
ни 38
▁а 39
то 40
ст 41
ва 42
г 43
ы 44
▁что 45
ш 46
ть 47
ь 48
ль 49
▁к 50
▁я 51
го 52
▁это 53
ж 54
на 55
ро 56
▁о 57
ти 58
▁то 59
ле 60
во 61
ре 62
ки 63
п 64
да 65
▁вы 66
б 67
та 68
▁до 69
ри 70
▁при 71
▁как 72
▁от 73
▁но 74
▁про 75
▁так 76
ко 77
▁да 78
▁д 79
ви 80
не 81
те 82
ет 83
ру 84
▁со 85
▁об 86
ди 87
▁все 88
▁ко 89
ми 90
ой 91
ве 92
▁мо 93
чи 94
ля 95
- 96
▁он 97
ё 98
ку 99
ов 100
ом 101
до 102
че 103
▁п 104
ма 105
ча 106
▁го 107
ту 108
де 109
ся 110
▁ма 111
лу 112
же 113
ц 114
▁т 115
▁г 116
▁м 117
▁из 118
ем 119
ан 120
▁вот 121
▁во 122
▁раз 123
жи 124
ста 125
по 126
ши 127
ный 128
▁есть 129
▁б 130
ше 131
▁ли 132
за 133
▁з 134
бо 135
га 136
▁ка 137
▁мы 138
мо 139
▁де 140
сти 141
▁те 142
ну 143
▁под 144
тор 145
ить 146
▁бы 147
▁ни 148
▁ф 149
▁э 150
▁ре 151
ные 152
ать 153
ры 154
мен 155
▁мне 156
ение 157
ей 158
ня 159
па 160
▁же 161
му 162
пе 163
ения 164
ду 165
ги 166
ф 167
сь 168
об 169
ны 170
ется 171
ты 172
▁пере 173
со 174
ую 175
ал 176
▁его 177
ого 178
лю 179
це 180
▁ну 181
вер 182
ной 183
ци 184
жа 185
им 186
щи 187
▁па 188
би 189
ят 190
▁ро 191
▁если 192
ного 193
ёт 194
ск 195
ных 196
ход 197
щ 198
ще 199
ая 200
ров 201
▁меня 202
▁ш 203
▁она 204
жд 205
▁ты 206
бе 207
▁ку 208
▁рас 209
мер 210
▁для 211
ца 212
ря 213
ень 214
▁бо 215
▁бе 216
си 217
тель 218
ная 219
ным 220
он 221
▁ещё 222
▁будет 223
▁хо 224
вы 225
▁ми 226
са 227
▁там 228
лы 229
ша 230
▁ле 231
▁они 232
пу 233
зна 234
нов 235
пи 236
ое 237
ба 238
ил 239
дел 240
▁был 241
ско 242
▁ба 243
ите 244
▁друг 245
▁че 246
▁вам 247
▁х 248
ый 249
▁вид 250
лов 251
▁час 252
▁было 253
▁только 254
▁вас 255
ке 256
тер 257
э 258
▁или 259
▁когда 260
▁сто 261
▁уже 262
▁нас 263
вать 264
▁пред 265
▁может 266
▁включи 267
▁очень 268
хо 269
лись 270
ха 271
▁ра 272
сть 273
ство 274
▁пре 275
ное 276
ков 277
▁кон 278
▁ис 279
ами 280
▁оп 281
▁е 282
▁тебя 283
лась 284
▁сам 285
ания 286
раз 287
ник 288
зы 289
▁фильм 290
▁один 291
▁эти 292
ним 293
▁чтобы 294
ание 295
ции 296
чно 297
▁сейчас 298
▁бу 299
▁нет 300
ком 301
▁просто 302
ём 303
ён 304
лось 305
фи 306
▁три 307
из 308
аться 309
гу 310
смотр 311
▁воз 312
вор 313
▁ком 314
▁пер 315
зи 316
▁ж 317
▁ос 318
▁можно 319
▁её 320
пол 321
▁два 322
▁оста 323
▁вер 324
нул 325
▁сер 326
ент 327
▁люб 328
ых 329
ную 330
пис 331
▁чем 332
▁после 333
▁сказал 334
▁пу 335
тов 336
айте 337
▁му 338
▁человек 339
▁кар 340
кой 341
ешь 342
ится 343
▁сезон 344
ают 345
бы 346
▁тв 347
ился 348
ально 349
▁могу 350
▁мест 351
▁две 352
тро 353
пра 354
▁боль 355
ался 356
▁где 357
сси 358
▁пи 359
ща 360
форм 361
▁потому 362
▁быть 363
▁двадцать 364
▁ваш 365
ёл 366
про 367
ность 368
▁без 369
▁дела 370
▁та 371
ъ 372
ически 373
▁пе 374
▁которые 375
▁пожалуйста 376
▁само 377
▁одно 378
▁работ 379
▁пять 380
ский 381
▁прав 382
▁время 383
▁даже 384
▁смотрешке 385
ция 386
▁здесь 387
▁четыре 388
ской 389
ственно 390
▁этого 391
▁гр 392
▁нужно 393
▁билет 394
▁рук 395
ности 396
иться 397
▁чи 398
▁какой 399
▁тре 400
▁ему 401
ются 402
ительно 403
▁стан 404
▁который 405
▁свои 406
▁семь 407
▁стар 408
▁себя 409
▁хочу 410
▁сколько 411
▁теперь 412
▁буду 413
▁какие 414
▁салют 415
▁больше 416
▁кино 417
▁потом 418
▁восемь 419
▁ничего 420
▁след 421
▁минут 422
ская 423
▁поезд 424
▁сериал 425
▁вопрос 426
▁спасибо 427
▁канал 428
▁говорит 429
▁хорошо 430
▁жив 431
▁девять 432
▁через 433
▁шесть 434
▁конечно 435
▁тогда 436
▁покажи 437
▁стал 438
▁вообще 439
ывает 440
▁интерес 441
▁себе 442
▁крас 443
▁тридцать 444
▁сегодня 445
▁действ 446
▁сторон 447
▁чу 448
ении 449
▁почему 450
▁более 451
▁поэтому 452
▁десят 453
▁отправ 454
▁знаю 455
ских 456
▁тысяч 457
▁всё 458
▁можешь 459
▁значит 460
▁против 461
▁ответ 462
▁найди 463
▁люди 464
▁одна 465
▁начал 466
▁серия 467
▁между 468
▁свет 469
▁именно 470
▁телефон 471
нибудь 472
▁пятьдесят 473
очка 474
▁времени 475
▁цел 476
▁возможно 477
▁сказать 478
▁глаза 479
▁называ 480
▁хотел 481
▁сорок 482
▁поставь 483
▁первый 484
▁связ 485
▁которая 486
▁электр 487
▁например 488
▁ведь 489
▁сделать 490
▁говорил 491
▁благо 492
ировать 493
▁посмотреть 494
▁всегда 495
▁несколько 496
▁людей 497
▁случае 498
▁гарри 499
#0 500
#1 501