Upload hindi_tokens.txt with huggingface_hub

hindi_tokens.txt

@@ -0,0 +1,512 @@
+<unk> 0
+<pad> 1
+▁क 2
+▁ह 3
+▁म 4
+▁आ 5
+▁स 6
+▁आप 7
+▁है 8
+▁ज 9
+▁कर 10
+ता 11
+▁ब 12
+▁अ 13
+या 14
+▁s 15
+▁आपक 16
+ें 17
+▁प 18
+ना 19
+ने 20
+ार 21
+▁मै 22
+▁मैं 23
+ूं 24
+▁c 25
+▁सक 26
+ते 27
+▁र 28
+▁न 29
+▁जी 30
+्या 31
+▁p 32
+▁के 33
+▁द 34
+▁si 35
+▁च 36
+▁क्या 37
+▁हैं 38
+▁ल 39
+▁कि 40
+▁में 41
+▁e 42
+▁sir 43
+▁हूं 44
+्र 45
+ाह 46
+er 47
+▁त 48
+िए 49
+▁जा 50
+्य 51
+ही 52
+वा 53
+▁a 54
+▁को 55
+▁चाह 56
+▁m 57
+▁t 58
+▁से 59
+हा 60
+an 61
+on 62
+▁अप 63
+▁की 64
+in 65
+ar 66
+▁सकते 67
+▁तो 68
+हीं 69
+▁ek 70
+▁आपको 71
+▁व 72
+गा 73
+▁बता 74
+से 75
+▁d 76
+re 77
+▁मु 78
+▁मे 79
+▁नहीं 80
+▁मुझ 81
+▁भ 82
+▁मुझे 83
+ां 84
+▁मेर 85
+▁हो 86
+▁हम 87
+▁हां 88
+न्य 89
+▁n 90
+▁ध 91
+▁b 92
+वाद 93
+en 94
+▁धन्य 95
+▁धन्यवाद 96
+▁ma 97
+▁अपने 98
+▁इ 99
+ll 100
+▁का 101
+▁जान 102
+▁औ 103
+▁और 104
+गे 105
+▁h 106
+▁आपकी 107
+at 108
+ुर 109
+am 110
+ेज 111
+▁उ 112
+▁लिए 113
+कार 114
+▁य 115
+▁बार 116
+ou 117
+ती 118
+▁अन 119
+▁आपका 120
+स् 121
+▁इस 122
+यता 123
+▁सहा 124
+▁सहायता 125
+▁अनुर 126
+ोध 127
+▁दे 128
+▁अनुरोध 129
+▁f 130
+▁थ 131
+▁प्र 132
+ay 133
+▁o 134
+ीक 135
+ीफ 136
+्रेज 137
+▁रीफ 138
+▁रीफ्रेज 139
+▁ना 140
+▁ch 141
+ेंगे 142
+िर 143
+▁सकता 144
+▁जो 145
+ैसे 146
+il 147
+▁ठ 148
+▁ठीक 149
+um 150
+▁ख 151
+▁ग 152
+▁फ 153
+▁पर 154
+ber 155
+▁भी 156
+▁नम 157
+one 158
+▁नमस् 159
+ro 160
+▁फिर 161
+ah 162
+के 163
+▁बा 164
+गी 165
+▁l 166
+it 167
+▁num 168
+▁number 169
+▁रह 170
+▁उस 171
+मा 172
+is 173
+िल 174
+all 175
+▁th 176
+▁do 177
+▁जानकार 178
+िक 179
+▁मेरा 180
+▁करना 181
+es 182
+▁कैसे 183
+▁जानकारी 184
+▁वो 185
+भी 186
+ent 187
+or 188
+▁श 189
+▁आपके 190
+▁करने 191
+ch 192
+om 193
+च् 194
+ic 195
+aar 196
+ों 197
+▁बारे 198
+▁चाहूं 199
+ine 200
+au 201
+च्छ 202
+▁दि 203
+ct 204
+ail 205
+▁ok 206
+ूर 207
+▁ले 208
+▁था 209
+ले 210
+▁अभी 211
+▁अच्छ 212
+▁बताना 213
+▁नमस्ते 214
+▁चाहेंगे 215
+▁पा 216
+▁pa 217
+▁call 218
+▁जानना 219
+▁किस 220
+▁मेरे 221
+ीज 222
+oun 223
+▁यह 224
+▁ph 225
+▁pro 226
+्त 227
+▁अच्छा 228
+▁सम 229
+▁ए 230
+▁कोई 231
+▁बात 232
+▁g 233
+et 234
+▁w 235
+▁कृ 236
+▁ही 237
+▁okay 238
+▁कृप 239
+▁रहा 240
+▁re 241
+al 242
+mail 243
+▁बह 244
+▁phone 245
+▁कृपया 246
+ing 247
+नी 248
+▁पे 249
+▁अपना 250
+ion 251
+▁नाम 252
+ve 253
+mm 254
+एं 255
+▁देख 256
+▁बहु 257
+as 258
+ig 259
+▁hmm 260
+▁सकती 261
+ount 262
+री 263
+▁aah 264
+▁बहुत 265
+▁आपसे 266
+▁सं 267
+सा 268
+र् 269
+▁मेरी 270
+ment 271
+un 272
+हां 273
+▁कु 274
+ell 275
+▁y 276
+ित 277
+▁email 278
+▁te 279
+कि 280
+▁ये 281
+▁कुछ 282
+ty 283
+ank 284
+▁ac 285
+ce 286
+▁गया 287
+का 288
+▁सा 289
+ोल 290
+▁पता 291
+▁pay 292
+count 293
+ीजिए 294
+▁tw 295
+दा 296
+te 297
+ello 298
+▁hello 299
+▁चाहती 300
+▁car 301
+▁किया 302
+le 303
+▁जाए 304
+▁account 305
+▁हमार 306
+▁या 307
+▁i 308
+ck 309
+▁पूर 310
+▁in 311
+▁se 312
+ुल 313
+▁po 314
+▁r 315
+▁रहें 316
+▁हु 317
+वश 318
+▁खा 319
+▁अग 320
+igh 321
+▁पह 322
+वश्य 323
+▁मिल 324
+▁sh 325
+▁sau 326
+▁com 327
+us 328
+▁two 329
+ate 330
+▁मैंने 331
+▁पास 332
+▁चाहता 333
+में 334
+्ष 335
+▁fi 336
+▁वि 337
+▁teen 338
+ge 339
+▁आपने 340
+ad 341
+▁st 342
+▁होगा 343
+▁दीजिए 344
+▁one 345
+ति 346
+▁चाहूंगी 347
+▁चाहूंगा 348
+▁बोल 349
+ss 350
+लब 351
+ree 352
+▁भेज 353
+▁तक 354
+▁कित 355
+lic 356
+anch 357
+▁bank 358
+▁payment 359
+ला 360
+वे 361
+ur 362
+▁nine 363
+ight 364
+▁chaar 365
+ance 366
+our 367
+प्त 368
+▁वा 369
+▁ha 370
+गता 371
+▁करें 372
+▁lo 373
+▁मा 374
+▁paanch 375
+im 376
+्म 377
+▁समय 378
+▁पूरा 379
+▁चाहिए 380
+▁ता 381
+▁क्य 382
+▁नमस्कार 383
+▁प्रकार 384
+▁दिया 385
+▁अगर 386
+▁जमा 387
+▁पहले 388
+िया 389
+ीमा 390
+्ट 391
+स्त 392
+▁करवा 393
+ill 394
+▁जाएगा 395
+▁बताएं 396
+od 397
+▁अं 398
+▁दिन 399
+रा 400
+▁क्यों 401
+की 402
+▁three 403
+▁थी 404
+▁रहे 405
+▁प्रा 406
+▁polic 407
+क्ष 408
+डा 409
+▁किसी 410
+दद 411
+्व 412
+▁four 413
+per 414
+▁प्राप्त 415
+▁card 416
+▁pl 417
+▁मदद 418
+▁छ 419
+▁इसके 420
+▁policy 421
+▁हमारे 422
+red 423
+▁भु 424
+ter 425
+▁ 426
+ा 427
+क 428
+े 429
+ह 430
+र 431
+ं 432
+ी 433
+न 434
+a 435
+प 436
+e 437
+त 438
+म 439
+स 440
+ै 441
+् 442
+ो 443
+r 444
+ि 445
+i 446
+य 447
+आ 448
+n 449
+ज 450
+o 451
+t 452
+s 453
+m 454
+ब 455
+c 456
+l 457
+h 458
+ल 459
+द 460
+ग 461
+ु 462
+अ 463
+व 464
+u 465
+p 466
+ू 467
+d 468
+ए 469
+k 470
+च 471
+y 472
+ध 473
+b 474
+भ 475
+g 476
+फ 477
+ख 478
+झ 479
+f 480
+श 481
+इ 482
+थ 483
+v 484
+w 485
+छ 486
+औ 487
+उ 488
+' 489
+ई 490
+ठ 491
+ट 492
+ष 493
+ड 494
+ृ 495
+z 496
+j 497
+x 498
+ण 499
+ौ 500
+घ 501
+ढ 502
+q 503
+ऐ 504
+ओ 505
+ऊ 506
+। 507
+ः 508
+ञ 509
+ऋ 510
+ळ 511