909ahmed commited on
Commit
7b6dbcc
1 Parent(s): 1f29464

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -5
app.py CHANGED
@@ -91,21 +91,19 @@ description = "A simple Gradio interface to infer urdu tokenizer"
91
 
92
  tokenizer = Tokenizer()
93
  temp = Tokenizer()
94
- with open('merges.pkl', 'rb') as files:
95
- tokenizer.vocab = pickle.load(files)
96
  with open('vocab.pkl', 'rb') as files:
 
 
97
  tokenizer.merges = pickle.load(files)
98
 
99
  def inference(text):
100
- print(len(tokenizer.merges))
101
- print(len(tokenizer.vocab))
102
  print(len(temp.encode(text)) / len(tokenizer.encode(text)))
103
  return tokenizer.encode(text)
104
 
105
  iface = gr.Interface(
106
  inference,
107
  inputs = ["text"],
108
- outputs = ["text"],
109
  examples=["سفید رنگ ہیں آخر سیاہ مو کرتے لٹاتے دولت دنیا کو میکدے میں ہم طلائی ساغر مے نقرئی سبو کرتے ہمیشہ میں نے گریباں کو چاک چاک کیا",
110
  " دل کہ آتے ہیں جس کو دھیان بہت خود بھی آتا ہے اپنے دھیان میں کیاوہ ملے تو یہ پوچھنا ہے مجھےاب بھی ہوں میں تری امان میں کیا"],
111
  title = title,
 
91
 
92
  tokenizer = Tokenizer()
93
  temp = Tokenizer()
 
 
94
  with open('vocab.pkl', 'rb') as files:
95
+ tokenizer.vocab = pickle.load(files)
96
+ with open('merges.pkl', 'rb') as files:
97
  tokenizer.merges = pickle.load(files)
98
 
99
  def inference(text):
 
 
100
  print(len(temp.encode(text)) / len(tokenizer.encode(text)))
101
  return tokenizer.encode(text)
102
 
103
  iface = gr.Interface(
104
  inference,
105
  inputs = ["text"],
106
+ outputs = ["text", "text"],
107
  examples=["سفید رنگ ہیں آخر سیاہ مو کرتے لٹاتے دولت دنیا کو میکدے میں ہم طلائی ساغر مے نقرئی سبو کرتے ہمیشہ میں نے گریباں کو چاک چاک کیا",
108
  " دل کہ آتے ہیں جس کو دھیان بہت خود بھی آتا ہے اپنے دھیان میں کیاوہ ملے تو یہ پوچھنا ہے مجھےاب بھی ہوں میں تری امان میں کیا"],
109
  title = title,