Spaces:
Runtime error
Runtime error
File size: 3,497 Bytes
b6f573e 8556303 b6f573e 79963ed b6f573e e974d88 b6f573e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 |
# Turkish POS Tagging with XLM-RoBERTa Model
from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer
import sentencepiece
import streamlit as st
import pandas as pd
text_1 = "Mustafa Kemal Atatürk 1881 yılında Selanik'te doğdu."
text_2 = """Dünya çapında 40 milyondan fazla insana bulaşan ve 1.1 milyondan fazla insanın ölümüne sebep olan \
corona virüsüne karşı Pfizer ile BioNTech'in geliştirdiği aşının ilk görüntüleri ortaya çıktı. Aşının fabrikadaki \
ilk görüntülerini değerlendiren Pfizer'ın Birleşik Krallık CEO'su, "Üretim bandında aşıyı görmek beni neşelendirdi" \
dedi. ABD merkezli çokuluslu ilaç şirketi Pfizer ile Türk bilim insanlarının kurduğu BioNTech’in geliştirdiği corona \
virüsü aşısında sona gelindi. Pfizer, paylaştığı video ile bütün dünyayı heyecanlandıran gelişmeyi duyurdu. Şirket, \
Belçika’daki Puurs’ta geliştirilen Covid-19 aşılarının seri üretim bandındaki üretim aşamasını uluslararası kamuoyu \
ile paylaştı. Almanya’nın Mainz kentinde Türk profesör Uğur Şahin ile eşi Özlem Türeci’nin kurduğu ve yönettiği \
biyoteknoloji şirketi BioNTech ile aşı sürecini sürdüren Pfizer’ın küçük şişelerde binlerce corona virüsü aşısı \
üretmeye başladığı belirtildi. Pfizer, aşının güvenli ve etkili olduğunun klinik olarak da kanıtlanması ve resmi \
mercilerden de onay alınması durumunda üretilen aşının dağıtılacağını duyurdu."""
st.title("Demo for Turkish POS Tagging with XLM-RoBERTa")
st.sidebar.write("Model : XLM-RoBERTa base Universal Dependencies v2.8 POS tagging: Turkish")
st.sidebar.write("For details of model: 'https://huggingface.co/wietsedv/xlm-roberta-base-ft-udpos28-tr/")
# st.sidebar.write("Please refer 'https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html' for entity grouping with aggregation_strategy parameter.")
st.sidebar.write("For explanation of POS tags: https://universaldependencies.org/u/pos/")
model_checkpoint = "wietsedv/xlm-roberta-base-ft-udpos28-tr"
aggregation = "simple"
st.subheader("Select Text")
context_1 = st.text_area("Text #1", text_1, height=128)
context_2 = st.text_area("Text #2", text_2, height=128)
context_3 = st.text_area("New Text", value="", height=128)
context = st.radio("Select Text", ("Text #1", "Text #2", "New Text"))
if context == "Text #1":
input_text = context_1
elif context == "Text #2":
input_text = context_2
elif context == "New Text":
input_text = context_3
@st.cache(allow_output_mutation=True)
def setModel(model_checkpoint, aggregation):
model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
return pipeline('token-classification', model=model, tokenizer=tokenizer, aggregation_strategy=aggregation)
Run_Button = st.button("Run", key=None)
if Run_Button == True:
ner_pipeline = setModel(model_checkpoint, aggregation)
output = ner_pipeline(input_text)
df = pd.DataFrame.from_dict(output)
if aggregation != "none":
df.rename(index=str,columns={'entity_group':'POS Tag'},inplace=True)
else:
df.rename(index=str,columns={'entity_group':'POS Tag'},inplace=True)
cols_to_keep = ['word','POS Tag','score','start','end']
df_final = df[cols_to_keep]
st.subheader("POS Tags")
st.dataframe(df_final)
|