Update app.py

app.py

@@ -2,91 +2,142 @@ import gradio as gr
 from transformers import pipeline
 import pandas as pd
 import json
+import nltk
+from sentence_transformers import SentenceTransformer, util
+import numpy as np
+import LexRank
 
-pipe = pipeline("summarization", model="Gabriel/bart-base-cnn-xsum-swe")
+nltk.download('punkt')
 
-def generate(in_text):
+
+def lex_rank(in_text, threshold=None , model_in = 'KBLab/sentence-bert-swedish-cased', language='swedish' ):
+    if threshold == 'None':
+      threshold=None
+
+    model = SentenceTransformer(model_in)
+    #Split the document into sentences
+    sentences = nltk.sent_tokenize(document, language=language)
+    print("1")
+    #Compute the sentence embeddings
+    embeddings = model.encode(sentences, convert_to_tensor=True)
+    cos_scores = util.cos_sim(embeddings, embeddings).cpu().numpy()
+    print("2")
+
+    #Compute the centrality for each sentence
+    centrality_scores = degree_centrality_scores(cos_scores, threshold=threshold)
+
+    most_central_sentence_indices = np.argsort(-centrality_scores)
+    sent_list= []
+    for idx in most_central_sentence_indices[0:4]:
+        sent_list.append(sentences[idx])
+    return ' '.join(sent_list)
+
+
+def generate(in_text, num_beams, min_len, max_len, model_in):
   print(in_text)
-  answer = pipe(in_text, num_beams=5 ,min_length=20, max_length=120)
+  pipe = pipeline("summarization", model=model_in)
+  answer = pipe(in_text, num_beams=num_beams ,min_length=min_len, max_length=max_len)
   print(answer)
   return answer[0]["summary_text"]
+
   
-def update_history(df, in_text, gen_text ,generation_type, parameters):
+def update_history(df, in_text, gen_text ,model_in, sum_typ ,parameters):
     # get rid of first seed phrase
     new_row = [{"In_text": in_text,
                 "Gen_text": gen_text,
-                "Generation Type": generation_type,
+                "Sum_type": sum_typ ,
+                "Gen_model": model_in,
                 "Parameters": json.dumps(parameters)}]
     return pd.concat([df, pd.DataFrame(new_row)]) 
     
-def generate_transformer(in_text, num_beams ,history):
-    gen_text= generate(in_text)
-    return gen_text, update_history(history, in_text, gen_text, "Transformer", {"num_beams": num_beams})
- 
+def generate_transformer(in_text, num_beams, min_len, max_len, model_in,history):
+    gen_text= generate(in_text,num_beams, min_len, max_len, model_in)
+    return gen_text, update_history(history, in_text, gen_text, "Abstractive" ,model_in, {"num_beams": num_beams, 
+                                                                                "min_len": min_len,
+                                                                                "max_len": max_len})
 
-with gr.Blocks() as demo:
-    gr.Markdown("""# Summarization Engine!""")
+def generate_lexrank(in_text, threshold, model_in, language, history):
+    gen_text= lex_rank(in_text, threshold, model_in, language)
+    return gen_text, update_history(history, in_text, gen_text, "Extractive" ,model_in, {"threshold": threshold, 
+                                                                                "language": language})
 
-    with gr.Accordion("See Details", open=False):
-        gr.Markdown("lorem ipsum")
 
+with gr.Blocks() as demo:
+    gr.Markdown("""# Swedish Summarization Engine!""")
+    with gr.Accordion("Read here for details about the app", open=False): 
+        with gr.Tabs():
+            with gr.TabItem("Summarization app"):
+                gr.Markdown("""
+                <h3>Blabla works like this.<h3>
+                <p>lorem ipsum bl
+                Blabla
+                bl <p>
+                """)              
+            with gr.TabItem("Abstractive vs Extractive"):
+                gr.Markdown("""
+                <h3>Abstractive vs Extractive.<h3>
+                  <p>blablaba<p>""")
+            with gr.TabItem("Training and Data"):
+                gr.Markdown("""
+                <h3>Abstractive vs Extractive.<h3>
+                  <p>blablaba<p>""")
 
     with gr.Tabs():
-        with gr.TabItem("Transformer Generation"):
+        with gr.TabItem("Abstractive Generation for Summarization"):
             gr.Markdown(
-                      """The default parameters for distilgpt2 work well to generate moves. Use this tab as 
-                      a baseline for your experiments.""")
-
+                      """The default parameters for this transformer based model work well to generate summarization.
+                         Use this tab to experiment summarization task of text for different types Abstractive models.""")
             with gr.Row():
                 with gr.Column(scale=4):
-                    text_baseline_transformer= gr.Textbox(lines=4,label="Input Text", placeholder="hej hej",)
+                    text_baseline_transformer= gr.TextArea(label="Input text to summarize", placeholder="Input summarization",)
+                    transformer_button = gr.Button("Summarize!")            
                 with gr.Column(scale=3):
                     with gr.Row():
-                        num_beams = gr.Slider(minimum=2, maximum=10, value=2, step=1, label="Number of Beams2")
+                        num_beams = gr.Slider(minimum=2, maximum=10, value=2, step=1, label="Number of Beams")
+                        min_len = gr.Slider(minimum=10, maximum=50, value=25, step=5, label="Min length")
+                        max_len = gr.Slider(minimum=50, maximum=130, value=120, step=10, label="Max length")
+                    model_in = gr.Dropdown(["Gabriel/bart-base-cnn-swe", "Gabriel/bart-base-cnn-xsum-swe", "Gabriel/bart-base-cnn-xsum-wiki-swe"], value="Gabriel/bart-base-cnn-xsum-swe", label="Model")
                     output_basline_transformer = gr.Textbox(label="Output Text")
-            transformer_button = gr.Button("Summarize!")            
-
-        # with gr.TabItem("Strong Baseline"):
-        #     gr.Markdown(
-        #               """The default parameters for distilgpt2 work well to generate moves. Use this tab as 
-        #               a baseline for your experiments.""")
-        #     with gr.Row():
-        #         with gr.Column(scale=4):
-        #             text_baseline= gr.Textbox(lines=4,label="Input Text", placeholder="hej hej",)
-        #         with gr.Column(scale=3):
-        #             with gr.Row():
-        #                 num_beams2 = gr.Slider(minimum=2, maximum=10, value=2, step=1, label="Number of Beams2")
-        #                 num_beams3 = gr.Slider(minimum=2, maximum=10, value=2, step=1, label="Number of Beams3")
-        #             output_basline = gr.Textbox(label="Output Text")
-        #     baseline_button = gr.Button("Summarize!")
-
-        # with gr.TabItem("LexRank"):
-        #     gr.Markdown(
-        #               """The default parameters for distilgpt2 work well to generate moves. Use this tab as 
-        #               a baseline for your experiments.""")
-        #     with gr.Row():
-        #               label="Number of Beams")
-        #         text_baseline= gr.Textbox(label="Input Text", placeholder="hej hej",)
-        #         output_basline = gr.Textbox(label="Output Text")
-        #     baseline_button = gr.Button("Summarize!")
-
-    gr.Examples([["hi", 5]], [text_baseline_transformer, num_beams])       
-    
-    with gr.Box():
-        gr.Markdown("<h3> Generation History <h3>")
-        # Displays a dataframe with the history of moves generated, with parameters
-        history = gr.Dataframe(headers=["In_text", "Gen_text", "Generation Type", "Parameters"], overflow_row_behaviour="show_ends", wrap=True)
 
+            with gr.Row():
+                with gr.Accordion("Here are some examples you can use:", open=False): 
+                    gr.Markdown("<h3>Press one of the test examples below.<h3>")
+                    gr.Markdown("NOTE: First time inference for a new model will take time, since a new model has to downloaded before inference.")
+                    gr.Examples([["""Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands Simon Shaw under lördagens VM semifinal i Paris. Simon Shaw lastar av trots att Raphael Ibanez, vänster, och Sebastien Chabal. Sale Sharks framåt kommer att ställas inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra-rower Shaw noterades genom att citera kommissionär Dennis Wheelahan. Chabal började matchen på ersättningsbänken, men kom i 26: e minuten att ersätta den skadade Fabien Pelous under värd Frankrikes 14-9 nederlag. Om han blir avstängd missar Chabal fredagens tredje och fjärde match på Parc des Princes. Samtidigt, Frankrike tränare Bernard Laporte sade att nederlaget var svårare att ta än Englands 24-7 seger i 2003 semifinalen. "År 2003 var de bättre än oss. I själva verket var de bättre än alla", sade Laporte, som lämnar sin roll att tillträda posten som junior idrottsminister i den franska regeringen. "De var som Nya Zeeland i denna turnering - favoriten, förutom att de gick hela vägen. Den här gången är det svårare för igår var det 50-50." Samtidigt, England -- försöker bli den första nationen att försvara VM-titeln -- avslöjade att stjärna kicker Jonny Wilkinson återigen hade problem med matchbollarna under semifinalen. Flughalvan, som uttryckte sin oro efter att ha kämpat med stöveln mot Australien, avvisade en boll innan han sparkade en vital trepoängare mot Frankrike. "Vi sa det inte förra veckan men en icke-match bollen kom ut på fältet i Marseille som Jonny sparkade," chef för rugby Rob Andrew sade. "Han tänkte inte på det när han sparkade det. Matchbollarna är märkta, numrerade ett till sex. Igår kväll hade de "World Cup semifinal England vs Frankrike" skrivet på dem. På matchkvällen var Jonny vaksam när han sparkade för mål att de faktiskt var matchbollar han sparkade. "Träningsbollarna förlorar tryck och form. Hela frågan förra veckan, arrangörerna accepterade alla sex matchbollar bör användas av båda sidor på torsdagen före matchen. " E-post till en vän."""
+                    , 5,25,120, "Gabriel/bart-base-cnn-swe"],
+                    ["""Man enades om målet för ett stimulanspaket värt nästan 39 miljoner pund som en del av den walesiska regeringens budgetavtal med liberaldemokraterna. Finansminister Jane Hutt sa att det skulle bidra till att skapa omedelbara fördelar för ekonomin. Men Plaid Cymru sade att det var "helt otillräckligt" och de konservativa sade att det skulle gå till rådet skattebetalare. Labour och Lib Dems tillkännagav ett budgetavtal på fredag kväll och avslutade veckor av förhandlingar mellan ministrar och oppositionspartier. Med 30 av församlingens 60 platser behöver Labour hjälp av minst en annan part för att godkänna sina utgiftsplaner. Den 38,9 miljoner pund stora nedgången - som skulle tillbringas över två år - utgjorde också en del av budgetdiskussionerna. Pengarna kommer från statskassan till följd av ett skattestopp i England. Ett program för att hjälpa företag att anställa unga rekryter finns bland projekt som får finansiering. Regeringen sa att en extra £4.9m skulle skapa 1800 fler lärlingsplatser. Omkring 9 miljoner pund kommer att gå till att uppgradera skolbyggnader, med samma belopp som spenderas på att leverera ytterligare 130 bostäder. Regeringen kommer att spendera £3.5 förbättra vägar på platser där den planerar att skapa företagsområden. Fem delar av Wales har öronmärkts som områden där företag kommer att få hjälp att växa. Förste minister Carwyn Jones har sagt att kopiera den brittiska regeringen genom att använda pengarna för att hålla nere rådets skatt skulle inte i någon större utsträckning gynna ekonomin, tillägger att skatteräkningar för band D hem var lägre i genomsnitt i Wales. Labour har kritiserats av motståndare, särskilt Plaid Cymru, för att inte göra tillräckligt för att reagera på en försämrad ekonomisk situation. Hutt pekade på andra åtaganden från regeringens sida som syftar till att främja tillväxten. Hon sa att hon hade övervägt förslag om att spendera pengarna från hela regeringen. Hon sade: "Detta paket bygger på dessa åtgärder för att stimulera ekonomin och utveckla offentliga tjänster, vilket ger omedelbara fördelar för vår ekonomi samtidigt som det kompletterar våra långsiktiga mål." Konservativ skuggfinansminister Paul Davies sade att han var besviken ministrar använde ytterligare resurser för att "stoppa upp" befintlig politik. Han sade: "Det finns inget nytt i detta paket annat än ett nytt försök av walesiska arbetsmarknadsministrar att agera på ekonomin, samtidigt som man spenderar pengar som skulle användas bättre av skattebetalarna själva." Welsh Lib Dem ledare Kirsty Williams sade att hennes parti kommer också att arbeta med regeringen om hur man ska spendera eventuella pengar som tilldelats Wales som ett resultat av tisdagens höst uttalande av förbundskansler George Osborne. "Wales Liberal Democrats strategi kommer att vara att fortsätta att få vår ekonomi i rörelse och förbättra livskvaliteten för människor i Wales", sade hon. Plaid Cymru ekonomi talesman Alun Ffred Jones sade: " I över sex månader har Labour lutat sig tillbaka och inte gjort någonting - utsätta Wales för den fulla kraften i denna ekonomiska kris. "Nu försöker de desperat att skapa intrycket att denna lilla summa pengar kommer att göra vad som behövs. Helt enkelt kommer det inte att göra det."""
+                    , 5,25,120, "Gabriel/bart-base-cnn-xsum-swe"]
+                    ], [text_baseline_transformer, num_beams, min_len, max_len, model_in])       
 
 
-    with gr.Box():
-      	gr.Markdown("<h3>How did you make this?<h3>")
-        # gr.Markdown("""hej bottom.""")
-    transformer_button.click(generate_transformer, inputs=[text_baseline_transformer, num_beams ,history], outputs=[output_basline_transformer , history] )
+        with gr.TabItem("Extractive Ranking Graph for Summarization"):
+            gr.Markdown(
+                      """Use this tab to experiment summarization task of text with a graph based method (LexRank).""")
+            with gr.Row():
+                with gr.Column(scale=4):
+                    text_extract= gr.TextArea(label="Input Text", placeholder="Input text to summarize")
+                    extract_button = gr.Button("Summarize!")
+                with gr.Column(scale=3):
+                    with gr.Row():
+                        ex_threshold = gr.Dropdown(['None',0.1,0.2,0.3,0.4,0.5], value='None', label="Similar Threshold")
+                        ex_language = gr.Dropdown(["swedish","english"], value="swedish", label="Language")
+                    model_in_ex = gr.Dropdown(["KBLab/sentence-bert-swedish-cased","sentence-transformers/all-MiniLM-L6-v2"], value="KBLab/sentence-bert-swedish-cased", label="Model")
+                    output_extract = gr.Textbox(label="Output Text")
 
+            with gr.Row():
+              with gr.Accordion("Here are some examples you can use:", open=False): 
+                  gr.Markdown("<h3>Press one of the test examples below.<h3>")
+                  gr.Markdown("NOTE: First time inference for a new model will take time, since a new model has to downloaded before inference.")
+                  gr.Examples([["""Man enades om målet för ett stimulanspaket värt nästan 39 miljoner pund som en del av den walesiska regeringens budgetavtal med liberaldemokraterna. Finansminister Jane Hutt sa att det skulle bidra till att skapa omedelbara fördelar för ekonomin. Men Plaid Cymru sade att det var "helt otillräckligt" och de konservativa sade att det skulle gå till rådet skattebetalare. Labour och Lib Dems tillkännagav ett budgetavtal på fredag kväll och avslutade veckor av förhandlingar mellan ministrar och oppositionspartier. Med 30 av församlingens 60 platser behöver Labour hjälp av minst en annan part för att godkänna sina utgiftsplaner. Den 38,9 miljoner pund stora nedgången - som skulle tillbringas över två år - utgjorde också en del av budgetdiskussionerna. Pengarna kommer från statskassan till följd av ett skattestopp i England. Ett program för att hjälpa företag att anställa unga rekryter finns bland projekt som får finansiering. Regeringen sa att en extra £4.9m skulle skapa 1800 fler lärlingsplatser. Omkring 9 miljoner pund kommer att gå till att uppgradera skolbyggnader, med samma belopp som spenderas på att leverera ytterligare 130 bostäder. Regeringen kommer att spendera £3.5 förbättra vägar på platser där den planerar att skapa företagsområden. Fem delar av Wales har öronmärkts som områden där företag kommer att få hjälp att växa. Förste minister Carwyn Jones har sagt att kopiera den brittiska regeringen genom att använda pengarna för att hålla nere rådets skatt skulle inte i någon större utsträckning gynna ekonomin, tillägger att skatteräkningar för band D hem var lägre i genomsnitt i Wales. Labour har kritiserats av motståndare, särskilt Plaid Cymru, för att inte göra tillräckligt för att reagera på en försämrad ekonomisk situation. Hutt pekade på andra åtaganden från regeringens sida som syftar till att främja tillväxten. Hon sa att hon hade övervägt förslag om att spendera pengarna från hela regeringen. Hon sade: "Detta paket bygger på dessa åtgärder för att stimulera ekonomin och utveckla offentliga tjänster, vilket ger omedelbara fördelar för vår ekonomi samtidigt som det kompletterar våra långsiktiga mål." Konservativ skuggfinansminister Paul Davies sade att han var besviken ministrar använde ytterligare resurser för att "stoppa upp" befintlig politik. Han sade: "Det finns inget nytt i detta paket annat än ett nytt försök av walesiska arbetsmarknadsministrar att agera på ekonomin, samtidigt som man spenderar pengar som skulle användas bättre av skattebetalarna själva." Welsh Lib Dem ledare Kirsty Williams sade att hennes parti kommer också att arbeta med regeringen om hur man ska spendera eventuella pengar som tilldelats Wales som ett resultat av tisdagens höst uttalande av förbundskansler George Osborne. "Wales Liberal Democrats strategi kommer att vara att fortsätta att få vår ekonomi i rörelse och förbättra livskvaliteten för människor i Wales", sade hon. Plaid Cymru ekonomi talesman Alun Ffred Jones sade: " I över sex månader har Labour lutat sig tillbaka och inte gjort någonting - utsätta Wales för den fulla kraften i denna ekonomiska kris. "Nu försöker de desperat att skapa intrycket att denna lilla summa pengar kommer att göra vad som behövs. Helt enkelt kommer det inte att göra det."""
+                  , 'None','swedish', "KBLab/sentence-bert-swedish-cased"]], [text_extract, ex_threshold, ex_language, model_in_ex])     
 
+    with gr.Box():
+        gr.Markdown("<h3> Generation History <h3>")
+        # Displays a dataframe with the history of moves generated, with parameters
+        history = gr.Dataframe(headers=["In_text", "Gen_text","Sum_type" ,"Gen_model", "Parameters"], overflow_row_behaviour="show_ends", wrap=True)
 
-   # baseline_button.click(generate_transformer, inputs=[text_baseline, num_beams2 ,history], outputs=[output_basline,history] )
+    transformer_button.click(generate_transformer, inputs=[text_baseline_transformer, num_beams, min_len, max_len, model_in ,history], outputs=[output_basline_transformer , history] )
+    extract_button.click(generate_lexrank, inputs=[text_extract, ex_threshold, model_in_ex, ex_language ,history], outputs=[output_extract , history] )
 
 
 demo.launch()