# Turkish Q&A with XLM-RoBERTa from transformers import AutoTokenizer, AutoModelForQuestionAnswering, pipeline import sentencepiece import torch import streamlit as st import pandas as pd import os text_1 = """Mustafa Kemal Atatürk, 1881 yılında Selanik'te Kocakasım Mahallesi, Islahhane Caddesi'ndeki üç katlı pembe evde doğdu. \ Babası Ali Rıza Efendi, annesi Zübeyde Hanım'dır. Baba tarafından dedesi Hafız Ahmet Efendi, 14-15. yüzyıllarda Konya ve Aydın'dan \ Makedonya'ya yerleştirilmiş Kocacık Yörüklerindendir. Annesi Zübeyde Hanım ise Selanik yakınlarındaki Langaza kasabasına yerleşmiş \ eski bir Türk ailesinin kızıdır. Ali Rıza Efendi, 1871 yılında Zübeyde Hanım'la evlendi. Atatürk'ün beş kardeşinden dördü küçük \ yaşlarda öldü, sadece Makbule (Atadan) Hanım 1956 yılına değin yaşadı.""" text_2 = """Dünya çapında 40 milyondan fazla insana bulaşan ve 1.1 milyondan fazla insanın ölümüne sebep olan \ corona virüsüne karşı Pfizer ile BioNTech'in geliştirdiği aşının ilk görüntüleri ortaya çıktı. Aşının fabrikadaki \ ilk görüntülerini değerlendiren Pfizer'ın Birleşik Krallık CEO'su, "Üretim bandında aşıyı görmek beni neşelendirdi" \ dedi. ABD merkezli çokuluslu ilaç şirketi Pfizer ile Türk bilim insanlarının kurduğu BioNTech’in geliştirdiği corona \ virüsü aşısında sona gelindi. Pfizer, paylaştığı video ile bütün dünyayı heyecanlandıran gelişmeyi duyurdu. Şirket, \ Belçika’daki Puurs’ta geliştirilen Covid-19 aşılarının seri üretim bandındaki üretim aşamasını uluslararası kamuoyu \ ile paylaştı. Almanya’nın Mainz kentinde Türk profesör Uğur Şahin ile eşi Özlem Türeci’nin kurduğu ve yönettiği \ biyoteknoloji şirketi BioNTech ile aşı sürecini sürdüren Pfizer’ın küçük şişelerde binlerce corona virüsü aşısı \ üretmeye başladığı belirtildi. Pfizer, aşının güvenli ve etkili olduğunun klinik olarak da kanıtlanması ve resmi \ mercilerden de onay alınması durumunda üretilen aşının dağıtılacağını duyurdu.""" question_list_1 = ["Mustafa Kemal hangi yıl doğdu?", "Mustafa Kemal'in dedesi kimdir?"] question_list_2 = ["Corona virüsü dünya çapında kaç kişiye bulaştı?", "BioNTech nerededir?" ] st.set_page_config(layout="wide") st.title("Turkish Q&A with Multilingual \ XLM-RoBERTa Models") model_list = ['alon-albalak/xlm-roberta-large-xquad', 'deepset/xlm-roberta-large-squad2', ] st.sidebar.header("Select Model") model_checkpoint = st.sidebar.radio("", model_list) st.sidebar.write("For details of models:") st.sidebar.write("https://huggingface.co/alon-albalak") st.sidebar.write("https://huggingface.co/deepset") st.sidebar.write("For XQUAD Dataset:") st.sidebar.write("https://huggingface.co/datasets/xquad") st.subheader("Select Context and Question") context_1 = st.text_area("Context #1", text_1, height=128) context_2 = st.text_area("Context #2", text_2, height=128) context_3 = st.text_area("New Context", value="", height=128) context = st.radio("Select Context", ("Context #1", "Context #2", "New Context")) if context == "Context #1": selected_context = context_1 selected_question = st.radio("Select Question", question_list_1) elif context == "Context #2": selected_context = context_2 selected_question = st.radio("Select Question", question_list_2) elif context == "New Context": selected_context = context_3 selected_question = st.text_area("New Question", value="", height=64) @st.cache_resource def setModel(model_checkpoint): model = AutoModelForQuestionAnswering.from_pretrained(model_checkpoint) tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) return pipeline("question-answering", model=model, tokenizer=tokenizer) Run_Button = st.button("Run", key=None) if Run_Button == True: qna_pipeline = setModel(model_checkpoint) output = qna_pipeline(question=selected_question, context=selected_context) st.header("Answer") st.write(output)