test_mr_tokenizer.py

from tokenizers import Tokenizer

tokenizer = Tokenizer.from_file("tokenizer.json")

text = "गेल्या अनेक दिवसांपासून केंद्र सरकरा विरुद्ध ट्विटर इंडिया यांच्यामध्ये सरकारच्या नव्या मार्गदर्शक सूचना किंवा नियमावलीवरून वाद सुरू आहे."

output = tokenizer.encode(text)
print(tokenizer.decode(output.ids))