Spaces:
Runtime error
Runtime error
| # Turkish POS Tagging with XLM-RoBERTa Model | |
| from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer | |
| import sentencepiece | |
| import streamlit as st | |
| import pandas as pd | |
| text_1 = "Mustafa Kemal Atatürk 1881 yılında Selanik'te doğdu." | |
| text_2 = """Dünya çapında 40 milyondan fazla insana bulaşan ve 1.1 milyondan fazla insanın ölümüne sebep olan \ | |
| corona virüsüne karşı Pfizer ile BioNTech'in geliştirdiği aşının ilk görüntüleri ortaya çıktı. Aşının fabrikadaki \ | |
| ilk görüntülerini değerlendiren Pfizer'ın Birleşik Krallık CEO'su, "Üretim bandında aşıyı görmek beni neşelendirdi" \ | |
| dedi. ABD merkezli çokuluslu ilaç şirketi Pfizer ile Türk bilim insanlarının kurduğu BioNTech’in geliştirdiği corona \ | |
| virüsü aşısında sona gelindi. Pfizer, paylaştığı video ile bütün dünyayı heyecanlandıran gelişmeyi duyurdu. Şirket, \ | |
| Belçika’daki Puurs’ta geliştirilen Covid-19 aşılarının seri üretim bandındaki üretim aşamasını uluslararası kamuoyu \ | |
| ile paylaştı. Almanya’nın Mainz kentinde Türk profesör Uğur Şahin ile eşi Özlem Türeci’nin kurduğu ve yönettiği \ | |
| biyoteknoloji şirketi BioNTech ile aşı sürecini sürdüren Pfizer’ın küçük şişelerde binlerce corona virüsü aşısı \ | |
| üretmeye başladığı belirtildi. Pfizer, aşının güvenli ve etkili olduğunun klinik olarak da kanıtlanması ve resmi \ | |
| mercilerden de onay alınması durumunda üretilen aşının dağıtılacağını duyurdu.""" | |
| st.title("Demo for Turkish POS Tagging with XLM-RoBERTa") | |
| st.sidebar.write("Model : XLM-RoBERTa base Universal Dependencies v2.8 POS tagging: Turkish") | |
| st.sidebar.write("For details of model: 'https://huggingface.co/wietsedv/xlm-roberta-base-ft-udpos28-tr/") | |
| # st.sidebar.write("Please refer 'https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html' for entity grouping with aggregation_strategy parameter.") | |
| st.sidebar.write("For explanation of POS tags: https://universaldependencies.org/u/pos/") | |
| model_checkpoint = "wietsedv/xlm-roberta-base-ft-udpos28-tr" | |
| aggregation = "simple" | |
| st.subheader("Select Text") | |
| context_1 = st.text_area("Text #1", text_1, height=128) | |
| context_2 = st.text_area("Text #2", text_2, height=128) | |
| context_3 = st.text_area("New Text", value="", height=128) | |
| context = st.radio("Select Text", ("Text #1", "Text #2", "New Text")) | |
| if context == "Text #1": | |
| input_text = context_1 | |
| elif context == "Text #2": | |
| input_text = context_2 | |
| elif context == "New Text": | |
| input_text = context_3 | |
| def setModel(model_checkpoint, aggregation): | |
| model = AutoModelForTokenClassification.from_pretrained(model_checkpoint) | |
| tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) | |
| return pipeline('token-classification', model=model, tokenizer=tokenizer, aggregation_strategy=aggregation) | |
| Run_Button = st.button("Run", key=None) | |
| if Run_Button == True: | |
| ner_pipeline = setModel(model_checkpoint, aggregation) | |
| output = ner_pipeline(input_text) | |
| df = pd.DataFrame.from_dict(output) | |
| if aggregation != "none": | |
| df.rename(index=str,columns={'entity_group':'POS Tag'},inplace=True) | |
| else: | |
| df.rename(index=str,columns={'entity_group':'POS Tag'},inplace=True) | |
| cols_to_keep = ['word','POS Tag','score','start','end'] | |
| df_final = df[cols_to_keep] | |
| st.subheader("POS Tags") | |
| st.dataframe(df_final) | |