app.py

import gradio as gr
from hinditokenizer import DevanagariTokenizer

def inference(text):
    tokenizer = DevanagariTokenizer()
    tokenizer.load("hindi.model")
    tokens = tokenizer.encode(text)
    count = len(tokens)
    return count, tokens




title = "Devanagari script tokenizer."
description = "A simple Gradio interface to demo tokenizer for devanagari script"
examples = [["अंतरराष्ट्रीय महिला दिवस की शुरुआत 1908 में हुई थी, जब न्यूयॉर्क शहर की सड़को पर हजारों महिलाएं घंटों काम के लिए बेहतर वेतन और सम्मान तथा समानता के अधिकार को प्राप्त करने के लिए उतरी थीं"],
            ["इस नीति में समयबद्ध तरीके से स्वास्थ्य देखभाल व्यय को वर्तमान के 2.1 प्रतिशत के स्तर से 2025 तक सकल घरेलू उत्पाद के 2.5 प्रतिशत तक बढ़ाना है जिसमें कुल आवंटन का दो तिहाई से अधिक प्राथमिक स्वास्थ्य देखभाल पर व्यय किया जाएगा"],
            ["सूक्ष्म पोषक तत्वों की कमी से बच्चे कुपोषण का शिकार हो जाते हैं जिससे उनकी उत्तरजीविता, वृद्धि और विकास में बाधा उत्त्पन्न होती है। जिससे वयस्क होने होने पर उनकी उत्पादन क्षमता में कमी आती है और देश को कुशल मानव संसाधन नहीं मिल पाता है। "
             "इस बात को ध्यान में रखते हुए नीति में यह कहा गया है कि सूक्ष्म पोषक तत्वों को संपूरित करने वाले आहार, फोर्टिफिकेशन, रक्ताल्पता की जाँच और जन जागरूकता जैसे पहलुओं में बढ़ोतरी करने पर जोर दिया जाएगा। "
             "वहीं, गर्भवस्था के दौरान आयरन और फोलिक एसिड, आयोडीन युक्त नमक, जिंक तथा ओरल रिहाइड्रेशन साल्ट्स और विटामिन-ए उपलब्ध कराने के लिए किए जा रहे प्रयासों में तेजी लाने की ज़रूरत है। "
             "समाधान के तौर पर आंगनवाड़ी केंद्र और स्कूलों के जरिए पौष्टिक आहार और सूक्ष्म पोषक तत्वों को उपलब्ध कराने की बात की गयी है। सरकार ने इस दिशा में तेजी से कदम उठाए हैं और कई योजनाओं की शुरुआत की है।"]]
demo = gr.Interface(
    inference,
    inputs=[
        gr.TextArea(label="Enter text")
    ],
    outputs=[
        gr.Textbox(label="Token count"),
        gr.TextArea(label="Tokens")
    ],
    title=title,
    description=description,
    examples=examples,
    cache_examples=False,
    live=True
)
demo.launch()