Update app.py
Browse files
app.py
CHANGED
@@ -91,21 +91,19 @@ description = "A simple Gradio interface to infer urdu tokenizer"
|
|
91 |
|
92 |
tokenizer = Tokenizer()
|
93 |
temp = Tokenizer()
|
94 |
-
with open('merges.pkl', 'rb') as files:
|
95 |
-
tokenizer.vocab = pickle.load(files)
|
96 |
with open('vocab.pkl', 'rb') as files:
|
|
|
|
|
97 |
tokenizer.merges = pickle.load(files)
|
98 |
|
99 |
def inference(text):
|
100 |
-
print(len(tokenizer.merges))
|
101 |
-
print(len(tokenizer.vocab))
|
102 |
print(len(temp.encode(text)) / len(tokenizer.encode(text)))
|
103 |
return tokenizer.encode(text)
|
104 |
|
105 |
iface = gr.Interface(
|
106 |
inference,
|
107 |
inputs = ["text"],
|
108 |
-
outputs = ["text"],
|
109 |
examples=["سفید رنگ ہیں آخر سیاہ مو کرتے لٹاتے دولت دنیا کو میکدے میں ہم طلائی ساغر مے نقرئی سبو کرتے ہمیشہ میں نے گریباں کو چاک چاک کیا",
|
110 |
" دل کہ آتے ہیں جس کو دھیان بہت خود بھی آتا ہے اپنے دھیان میں کیاوہ ملے تو یہ پوچھنا ہے مجھےاب بھی ہوں میں تری امان میں کیا"],
|
111 |
title = title,
|
|
|
91 |
|
92 |
tokenizer = Tokenizer()
|
93 |
temp = Tokenizer()
|
|
|
|
|
94 |
with open('vocab.pkl', 'rb') as files:
|
95 |
+
tokenizer.vocab = pickle.load(files)
|
96 |
+
with open('merges.pkl', 'rb') as files:
|
97 |
tokenizer.merges = pickle.load(files)
|
98 |
|
99 |
def inference(text):
|
|
|
|
|
100 |
print(len(temp.encode(text)) / len(tokenizer.encode(text)))
|
101 |
return tokenizer.encode(text)
|
102 |
|
103 |
iface = gr.Interface(
|
104 |
inference,
|
105 |
inputs = ["text"],
|
106 |
+
outputs = ["text", "text"],
|
107 |
examples=["سفید رنگ ہیں آخر سیاہ مو کرتے لٹاتے دولت دنیا کو میکدے میں ہم طلائی ساغر مے نقرئی سبو کرتے ہمیشہ میں نے گریباں کو چاک چاک کیا",
|
108 |
" دل کہ آتے ہیں جس کو دھیان بہت خود بھی آتا ہے اپنے دھیان میں کیاوہ ملے تو یہ پوچھنا ہے مجھےاب بھی ہوں میں تری امان میں کیا"],
|
109 |
title = title,
|