| from tokenizers import Tokenizer | |
| tokenizer = Tokenizer.from_file("tokenizer.json") | |
| text = "गेल्या अनेक दिवसांपासून केंद्र सरकरा विरुद्ध ट्विटर इंडिया यांच्यामध्ये सरकारच्या नव्या मार्गदर्शक सूचना किंवा नियमावलीवरून वाद सुरू आहे." | |
| output = tokenizer.encode(text) | |
| print(tokenizer.decode(output.ids)) | |