init

app.py

@@ -0,0 +1,119 @@
+# Import libraries
+import spacy
+from spacy import displacy
+import gradio as gr
+import re
+from huggingface_hub import hf_hub_download
+               
+# Spacy.load().
+nlp = spacy.load("de_pipeline")
+
+# Define examples to be displayed below the textbox
+examples = ["""Zur gleichen Zeit wurde das Olympiastadion gebaut, leicht und transparent. Damals wollte man eines unbedingt vermeiden: Monumentalität. Die spiegelt ein ungeliebtes Denkmal: Die Kongresshalle in Nürnberg, der größte erhaltene Bau des Nationalsozialismus. Auch sie gehört zu unserer Geschichte.""",
+            """Ich bin jetzt noch in Zivil, ab Montag habe ich auch Uniform an. Das ist wieder ein neues Gefühl. Aber ich freue mich auf die neue Aufgabe, die bei der Polizeistation Waldmünchen anfängt. Tolle Sache.""",
+            """Der Schyrenplatz ist nach dem Ort Scheyern benannt, wo die Stammburg der Wittelsbacher stand. Es gibt hier gleich um die Ecke von der Wittelsbacher Brücke zwei Kioske auf engstem Raum.""",
+            """Nun steht es aber erstmal da, Berlins neuestes "Möbelstück", am Boulevard Unter den Linden. Am 20. Juli wird das Humboldt Forum für ein größeres Publikum geöffnet und mehrere Ausstellungen können erstmals betrachtet werden.""",
+            """Der Bauherr Ludwig II. / und Schloss Neuschwanstein / sind in der Kulturgeschichte / so eng miteinander verzahnt / wie kaum ein anderes Bauwerk / mit dem Bauherrn.""",
+            """Das Verfahren gegen die zehn Rechtsextremisten findet ausgerechnet im Saal A101 statt, also jenem Saal des Münchner Justizzentrums, in dem fünf Jahre lang der sogenannte NSU-Prozess verhandelt wurde.""",
+            """Vor knapp einem Monat wurde das Würzburger Mozartfest im Kaisersaal der Residenz eröffnet.""",
+            """Würzburg war schon immer ein wichtiges politisches Zentrum, ehemals fürstbischöfliche Residenz, heute Sitz der Regierung von Unterfranken.""",
+            """Was ein Hotel für diese stolze Summe bietet, das schauen wir uns jetzt einmal an - und öffnen ehrfürchtig die Türen zur Ludwig-Suite im Hotel Vier Jahreszeiten, wo Royals und Celebrities nächtigen.""",
+            """Das Münchner Hofbräuhaus hat das Dresdner Hofbrauhaus wegen der Verletzung von Rechten verklagt. Am Montag beschäftigt sich das Münchner Landgericht mit dem Streit, der um die Frage kreist, ob "au" dasselbe ist wie "äu".""",
+            """Einer der schönsten Märkte im Dachauer Land  / ist Altomünster mit seiner Klosterkirche. / Gleich daneben steht der Kapplerbräu mit seinem Brauereimuseum."""
+            ]
+ # Add title, description
+title = "LandmarkNER"
+description = """<center>
+Named Entity Recognition (NER) Modell zur Erkennung bayerischer Landmarken, trainiert mit Untertiteln von Videos des Bayerischen Rundfunks. Ausgabe der Wikipedia Titel mit  <a href="https://huggingface.co/facebook/mgenre-wiki">mGENRE</a>.
+</center></p>"""
+
+# Define Landmark NER function to be implemented in gradio
+def ner(Eingabe):
+    # remove separators
+    Eingabe = Eingabe.replace(" / ", " ")
+    # remove timecodes and special character lines
+    regex_tc = r"^\*.*\*$|^♪.*\.$|(?!^.*[a-zA-Z].*$)^.+"
+    Eingabe_1 = re.sub(regex_tc, " ", Eingabe, 0, re.MULTILINE)
+    # remove all whitespace characters (space, tab, newline, return, formfeed)
+    Eingabe_2 = " ".join(Eingabe_1.split())
+    doc = nlp(Eingabe_2)
+    #ents = [(e.text) for e in doc.ents]
+    output = displacy.render(doc, style="ent")
+    return '<br>' + output +'<br>'
+           
+           
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+import pickle
+# or a memory efficient but a bit slower prefix tree (trie) -- it is implemented with `marisa_trie` from
+# https://huggingface.co/facebook/mgenre-wiki/blob/main/
+file_path_marisa_trie = hf_hub_download("facebook/mgenre-wiki", "titles_lang_all105_marisa_trie_with_redirect.pkl")
+
+from genre.trie import MarisaTrie
+with open(file_path_marisa_trie, "rb") as f:
+    trie = pickle.load(f)
+
+tokenizer = AutoTokenizer.from_pretrained("facebook/mgenre-wiki")
+model = AutoModelForSeq2SeqLM.from_pretrained("facebook/mgenre-wiki").eval()
+
+def entity_linking_custom(Eingabe):
+    # remove separators
+    Eingabe = Eingabe.replace(" / ", " ")
+    # remove timecodes and special character lines
+    regex_tc = r"^\*.*\*$|^♪.*\.$|(?!^.*[a-zA-Z].*$)^.+"
+    Eingabe_1 = re.sub(regex_tc, " ", Eingabe, 0, re.MULTILINE)
+    # remove all whitespace characters (space, tab, newline, return, formfeed)
+    Eingabe_2 = " ".join(Eingabe_1.split())
+    doc = nlp(Eingabe_2)
+    reshaped_text = []
+    for ent in doc.ents:
+      reshaped_text.append(doc.text.replace(ent.text, '[START]' + ent.text + '[END]'))
+    generated_text = []
+    for sent in reshaped_text:
+      outputs = model.generate(
+        **tokenizer(sent, return_tensors="pt"),
+        num_beams=5,
+        num_return_sequences=5,
+        # OPTIONAL: use constrained beam search
+        prefix_allowed_tokens_fn=lambda batch_id, sent: trie.get(sent.tolist()),
+        )
+      generated_text.append(tokenizer.batch_decode(outputs, skip_special_tokens=True))
+    output = []
+    re_lang = r" >> [a-z]+"
+    for el in generated_text:
+      gen_text = el[0]
+      shortened_text = re.sub(re_lang, "", gen_text, 0, re.MULTILINE)
+      if shortened_text:
+         output.append(shortened_text)
+    return "\n".join(output)
+    
+# So sorry about this, but it did not work otherwise    
+def update(input):
+    return input
+def clear(input):
+  input = ' ' + ' '
+  return input   
+
+# Define blocks
+demo = gr.Blocks()
+
+with demo:
+    gr.Markdown("<h1 style='text-align: center; margin-bottom: 1rem'>"
+                + title
+                + "</h1>")
+    gr.Markdown(description)
+    with gr.Column():
+        inp = gr.Textbox(placeholder="Füge einen eigenen Text ein oder wähle eines der Beispiele unten aus. Lass dir dann Landmarken im Text markieren oder deren Wikipedia Titel anzeigen.", label = "Eingabe", lines=3)
+        butt1 = gr.Button("Landmarken markieren")
+        out_ner = gr.HTML(label="Ausgabe des Textes mit markierten Landmarken", show_label=True)
+        butt1.click(ner, inputs=inp, outputs=out_ner)
+        butt2 = gr.Button("Wikipedia Titel anzeigen")
+        out_rs = gr.Textbox(label = "Ausgabe Wikipedia Titel", show_label=True)
+        butt2.click(entity_linking_custom, inputs=inp, outputs=out_rs)
+        gr.Markdown("""
+        ### Beispiele""")
+        example = gr.Radio(choices = examples, value=0,label = "Beispiel auswählen", show_label=True)
+        example.change(update, inputs = example, outputs=inp)
+        example.change(clear, inputs = inp, outputs=[out_ner,out_rs])   
+        
+demo.launch()      
+