Update app.py

app.py

@@ -2,12 +2,12 @@ import pandas as pd
 import spacy
 import gradio as gr
 import re
+import json
+import random
 
-
-dataset = pd.read_excel('Dataset-Verse-by-Verse.xlsx')
-dataset.rename(columns={'ArabicText': 'text'}, inplace=True)
+dataset = pd.read_csv('hatith_all.csv')
 nlp = spacy.load('aravec_model')
-all_docs = [nlp(doc) for doc in dataset['text']]
+all_docs = [nlp(doc) for doc in dataset['hadith']]
 
 def clean_text(text):
     # remove tashkeel
@@ -31,21 +31,25 @@ def get_similar_sentences(text):
     text = clean_text(text)
     ref_sentence = nlp(text)
     similar_sentences = []
-    for i,doc in enumerate(all_docs):
-        similar_sentences.append((doc, ref_sentence.similarity(doc) , i))
-    similar_sentences.sort(key=lambda x: x[1], reverse=True)
+    sampled_docs = random.sample(all_docs , 15000)
+    for i, doc in enumerate(sampled_docs):
+        similarity_score = ref_sentence.similarity(doc)
+        similar_sentences.append({
+            "similar_sentence": str(doc),
+            "similarity_score": similarity_score,
+        })
+    similar_sentences.sort(key=lambda x: x['similarity_score'], reverse=True)
     top_10 = similar_sentences[:10]
-    # add the surahnamearabic to text
-    return dict(zip([' [ ' + dataset['SurahNameArabic'][i] + ' ] ' + doc.text for doc, _, i in top_10], [similarity for _, similarity, _ in top_10]))
+    return json.dumps(top_10)
 
 text_input = gr.inputs.Textbox(lines = 1 , label = "Enter a Quran Verse" )
 
-label = gr.outputs.Label()
+output_text = gr.outputs.Textbox(label="Output Text")
 examples = ['الحمدلله رب العالمين',
             'مثلهم كمثل الذي استوقد نارًا فلما أضاءت ما حوله ذهب الله بنورهم وتركهم في ظلماتٍ لا يبصرون',
             'إن الذين كفروا سواء عليهم أأنذرتهم أم لم تنذرهم لا يؤمنون',
             'ونادى أصحاب الجنة أصحاب النار أن قد وجدنا ما وعدنا ربنا حقا فهل وجدتم ما وعد ربكم حقا ۖ قالوا نعم ۚ فأذن مؤذن بينهم أن لعنة الله على الظالمين'
             ]
 
-intf = gr.Interface(fn = get_similar_sentences , inputs = text_input , outputs = label , examples=examples )
-intf.launch()
+intf = gr.Interface(fn = get_similar_sentences , inputs = text_input , outputs = "json", examples=examples )
+intf.launch(debug = True)