Spaces:
Build error
Build error
Tahsin-Mayeesha
commited on
Commit
•
cb4650d
1
Parent(s):
64bf3c7
Update app.py
Browse files
app.py
CHANGED
@@ -1,6 +1,10 @@
|
|
1 |
import torch
|
2 |
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
|
3 |
import gradio as gr
|
|
|
|
|
|
|
|
|
4 |
|
5 |
example_context = "ফলস্বরূপ, ১৯৭৯ সালে, সনি এবং ফিলিপস একটি নতুন ডিজিটাল অডিও ডিস্ক ডিজাইন করার জন্য প্রকৌশলীদের একটি যৌথ টাস্ক ফোর্স গঠন করে। ইঞ্জিনিয়ার কিস শুহামার ইমমিনক এবং তোশিতাদা দোই এর নেতৃত্বে, গবেষণাটি লেজার এবং অপটিক্যাল ডিস্ক প্রযুক্তিকে এগিয়ে নিয়ে যায়। এক বছর পরীক্ষা-নিরীক্ষা ও আলোচনার পর টাস্ক ফোর্স রেড বুক সিডি-ডিএ স্ট্যান্ডার্ড তৈরি করে। প্রথম প্রকাশিত হয় ১৯৮০ সালে। আইইসি কর্তৃক ১৯৮৭ সালে আন্তর্জাতিক মান হিসেবে আনুষ্ঠানিকভাবে এই মান গৃহীত হয় এবং ১৯৯৬ সালে বিভিন্ন সংশোধনী মানের অংশ হয়ে ওঠে।'"
|
6 |
example_answer = "১৯৮০"
|
@@ -39,7 +43,14 @@ def generate_questions(model_choice,context,answer,numReturnSequences=1,num_beam
|
|
39 |
for id in generated_ids:
|
40 |
text.append(tokenizer.decode(id,skip_special_tokens=True,clean_up_tokenization_spaces=True).replace('question: ',' '))
|
41 |
|
42 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
43 |
|
44 |
|
45 |
demo = gr.Interface(fn=generate_questions, inputs=[gr.Dropdown(label="Model", choices=["mt5-small","mt5-base","banglat5"],value="banglat5"),
|
@@ -55,7 +66,8 @@ demo = gr.Interface(fn=generate_questions, inputs=[gr.Dropdown(label="Model", ch
|
|
55 |
gr.Slider(0, 1, value=None, label="Top P/Nucleus Sampling"),
|
56 |
gr.Slider(0, 1, value=None, label="Temperature") ] ,
|
57 |
# output
|
58 |
-
outputs=gr.Textbox(label='Question'),
|
|
|
59 |
examples=[["banglat5",example_context,example_answer]],
|
60 |
cache_examples=False,
|
61 |
title="Bangla Question Generation")
|
|
|
1 |
import torch
|
2 |
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
|
3 |
import gradio as gr
|
4 |
+
import pickle
|
5 |
+
|
6 |
+
vectorizer = pickle.load(open("tfidf.pickle", "rb"))
|
7 |
+
clf = pickle.load(open("classifier.pickle", "rb"))
|
8 |
|
9 |
example_context = "ফলস্বরূপ, ১৯৭৯ সালে, সনি এবং ফিলিপস একটি নতুন ডিজিটাল অডিও ডিস্ক ডিজাইন করার জন্য প্রকৌশলীদের একটি যৌথ টাস্ক ফোর্স গঠন করে। ইঞ্জিনিয়ার কিস শুহামার ইমমিনক এবং তোশিতাদা দোই এর নেতৃত্বে, গবেষণাটি লেজার এবং অপটিক্যাল ডিস্ক প্রযুক্তিকে এগিয়ে নিয়ে যায়। এক বছর পরীক্ষা-নিরীক্ষা ও আলোচনার পর টাস্ক ফোর্স রেড বুক সিডি-ডিএ স্ট্যান্ডার্ড তৈরি করে। প্রথম প্রকাশিত হয় ১৯৮০ সালে। আইইসি কর্তৃক ১৯৮৭ সালে আন্তর্জাতিক মান হিসেবে আনুষ্ঠানিকভাবে এই মান গৃহীত হয় এবং ১৯৯৬ সালে বিভিন্ন সংশোধনী মানের অংশ হয়ে ওঠে।'"
|
10 |
example_answer = "১৯৮০"
|
|
|
43 |
for id in generated_ids:
|
44 |
text.append(tokenizer.decode(id,skip_special_tokens=True,clean_up_tokenization_spaces=True).replace('question: ',' '))
|
45 |
|
46 |
+
question = " ".join(text)
|
47 |
+
correctness_pred = clf.predict(vectorizer.transform([question]))[0]
|
48 |
+
if correctness_pred == 1:
|
49 |
+
correctness = "Correct"
|
50 |
+
else :
|
51 |
+
correctness = "Incorrect"
|
52 |
+
|
53 |
+
return question, correctness
|
54 |
|
55 |
|
56 |
demo = gr.Interface(fn=generate_questions, inputs=[gr.Dropdown(label="Model", choices=["mt5-small","mt5-base","banglat5"],value="banglat5"),
|
|
|
66 |
gr.Slider(0, 1, value=None, label="Top P/Nucleus Sampling"),
|
67 |
gr.Slider(0, 1, value=None, label="Temperature") ] ,
|
68 |
# output
|
69 |
+
outputs=[gr.Textbox(label='Question'),
|
70 |
+
gr.Textbox(label='Grammatical Correctness')],
|
71 |
examples=[["banglat5",example_context,example_answer]],
|
72 |
cache_examples=False,
|
73 |
title="Bangla Question Generation")
|