BNEN Sentencepiece Tokenizer

Tokenizer details is here: https://hishab.atlassian.net/wiki/spaces/ML/pages/3411247168/Sentencepice+BPE+vocab+building+for+mixed+data
from transformers import AutoTokenizer

tokenzier = AutoTokenizer.from_pretrained("hishab/titulm-sentencepiece-72k", trust_remote_code=True)

text = """প্রশ্ন 3: ই-পাসপোর্ট প্রদানের জন্য কি কি কাগজপত্র প্রয়োজন?
উত্তর: ই-পাসপোর্ট প্রদানের জন্য নিম্নলিখিত কাগজপত্র প্রয়োজন:
অপলোড স্টেটাস এর কপি (যেহেতু আপনার ই-পাসপোর্ট আবেদন অনলাইনে হবে, তাহলে এই কপি টি অনলাইনে আপলোড করতে হবে)।
জাতীয় পরিচয়পত্র এর কপি এবং অরিজিনাল।
জন্ম সনদ (যদি জাতীয় পরিচয়পত্রে জন্ম তারিখ উল্লিখিত না থাকে)।
বৈবাহিক স্থিতি নিশ্চিত করার জন্য বৈবাহিক সনদ (যদি প্রয়োজন হয়)।
যদি প্রয়োজন হয় তাহলে ব্যক্তিগত অন্যান্য কাগজপত্র (উদাহরণস্বরূপ, মৃত্যু সনদ, নাগরিকত্ব সনদ, বাংলাদেশ সেনা সেবা প্রমাণপত্র, ড্রাইভিং লাইসেন্স, বাংলাদেশ স্থায়ী ঠিকানা প্রমাণপত্র) সঙ্গে নিয়ে যেতে পারেন।
Q: How to apply for e-passport?
Answer: You need to follow five steps to get e-passport.
Step-1: Check whether the e-passport process has started in your current area of residence or not.
Step-2: You have to fill the e-passport application form online.
Step-3: You have to pay the passport application fee online or offline.
Step-4: Go to the passport office of your current residence and give your photograph and finger print, and ensure that you have taken the necessary documents with you before going to the passport"""

tokens = tokenzier.tokenize(text)
print(tokens)