File size: 539 Bytes
77beea9 41593c6 |
1 2 3 4 5 6 7 8 9 |
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("tokenizer.json")
text = "गेल्या अनेक दिवसांपासून केंद्र सरकरा विरुद्ध ट्विटर इंडिया यांच्यामध्ये सरकारच्या नव्या मार्गदर्शक सूचना किंवा नियमावलीवरून वाद सुरू आहे."
output = tokenizer.encode(text)
print(tokenizer.decode(output.ids))
|