Telugu Comprehension Demo

app.py

@@ -0,0 +1,69 @@
+"""Telugu question answering demo."""
+import streamlit as st
+from transformers.pipelines import (pipeline, AutoModelForQuestionAnswering,
+                                    AutoTokenizer)
+
+st.header("Telugu (Tydiqa) Demo (కాంప్రహెన్షన్ డెమో)")
+
+
+@st.cache(allow_output_mutation=True)
+def load_model():
+    """Load model, tokenizer and pipeline."""
+    model = AutoModelForQuestionAnswering.from_pretrained(
+        "kuppuluri/telugu_bertu_tydiqa")
+    tokenizer = AutoTokenizer.from_pretrained("kuppuluri/telugu_bertu_tydiqa",
+                                              clean_text=False,
+                                              handle_chinese_chars=False,
+                                              strip_accents=False,
+                                              wordpieces_prefix='##')
+    nlp = pipeline('question-answering', model=model, tokenizer=tokenizer)
+    return nlp
+
+
+def get_answer(nlp, context, question):
+    """Get answer for a given question and paragraph."""
+    return nlp({'question': question, 'context': context})
+
+
+def main():
+    """Telugu Comprehension Demo."""
+    st.sidebar.title("""
+        Telugu Question-Answering Demo.
+        Examples:
+        Paragraph: భీమనపల్లి, విశాఖపట్నం జిల్లా, చింతపల్లి మండలానికి చెందిన గ్రామము.[1] భీమనుపల్లి ఆంధ్ర ప్రదేశ్ రాష్ట్రం, విశాఖపట్నం జిల్లా, చింతపల్లి మండలంలోని గ్రామం. ఇది మండల కేంద్రమైన చింతపల్లి నుండి 40 కి. మీ. దూరం లోను, సమీప పట్టణమైన అనకాపల్లి నుండి 110 కి. మీ. దూరంలోనూ ఉంది. 2011 భారత జనగణన గణాంకాల ప్రకారం ఈ గ్రామం 26 ఇళ్లతో, 103 జనాభాతో 25 హెక్టార్లలో విస్తరించి ఉంది. గ్రామంలో మగవారి సంఖ్య 49, ఆడవారి సంఖ్య 54. షెడ్యూల్డ్ కులాల సంఖ్య 0 కాగా షెడ్యూల్డ్ తెగల సంఖ్య 102. గ్రామం యొక్క జనగణన లొకేషన్ కోడ్ 585166[2].పిన్ కోడ్: 531111.
+        Question: భీమనుపల్లి గ్రామ విస్తీర్ణం ఎంత?
+        Paragraph: వెంకటాద్రి అప్పారావుపురం, పశ్చిమ గోదావరి జిల్లా, ఉంగుటూరు మండలానికి చెందిన గ్రామము.[1] ఇది మండల కేంద్రమైన ఉంగుటూరు నుండి 7 కి. మీ. దూరం లోను, సమీప పట్టణమైన తాడేపల్లిగూడెం నుండి 8 కి. మీ. దూరంలోనూ ఉంది. 2011 భారత జనగణన గణాంకాల ప్రకారం ఈ గ్రామం 303 ఇళ్లతో, 976 జనాభాతో 190 హెక్టార్లలో విస్తరించి ఉంది. గ్రామంలో మగవారి సంఖ్య 488, ఆడవారి సంఖ్య 488. షెడ్యూల్డ్ కులాల సంఖ్య 341 కాగా షెడ్యూల్డ్ తెగల సంఖ్య 7. గ్రామం యొక్క జనగణన లొకేషన్ కోడ్ 588353[2].పిన్ కోడ్: 534166. ఒక సంచార వైద్య శాలలో డాక్టర్లు లేరు. ముగ్గురు పారామెడికల్ సిబ్బంది ఉన్నారు. గ్రామంలో ప్రభుత్వ ప్రాథమిక పాఠశాల ఒకటి ఉంది. గ్రామానికి సమీప ప్రాంతాల నుండి ప్రభుత్వ రవాణా సంస్థ బస్సులు తిరుగుతున్నాయి. సమీప గ్రామాల నుండి ఆటో సౌకర్యం కూడా ఉంది. వ్యవసాయం కొరకు వాడేందుకు గ్రామంలో ట్రాక్టర్లున్నాయి. జిల్లా రహదారి గ్రామం గుండా పోతోంది.  . గ్రామంలో తారు రోడ్లు, కంకర రోడ్లు ఉన్నాయి.
+        Question: 2011 నాటికి వెంకటాద్రి అప్పారావుపురం గ్రామ జనాభా ఎంత?
+        Paragraph: 2007 ఏప్రిల్ లో  ఆంధ్రప్రదేశ్ రాష్ట్ర ��ాసన మండలిని పునఃస్థాపించబడింది. రాష్ట్రంలోని ప్రధాన ప్రతిపక్ష పార్టీ అయిన తెలుగుదేశం పార్టీ, రాష్ట్రంలో తాము అధికారంలోకి వచ్చినట్లయితే మళ్లీ కౌన్సిల్‌ను రద్దు చేస్తామని ప్రకటించింది.
+        Question: ఆంధ్రప్రదేశ్ రాష్ట్ర శాసన మండలి ఎప్పుడు పునఃస్థాపించబడింది?
+        Paragraph: గీతా రాయ్ తన కెరీర్‌లో భాగంగా దాదాపు 1500 పాటలను పాడడమే కాకుండా, బంగ్లా, గుజరాతీ మరియు పంజాబీ లాంటి ప్రాంతీయ భాషల వారికీ తన గానామృతాన్ని రుచి చూపించారు. 1946 మరియు 1949ల మధ్య ఆమె పాడిన పాటల గురించి మనం తెలుసుకున్నాం. గీతా రాయ్ పాడిన సోలో పాటలను పక్కనపెడితే, నలభైల్లో, ఆ తర్వాతి దశాబ్దాల్లో ఆమె తన ప్రధాన సహ నేపథ్య గాయకులతో కలిసి పాడిన యుగళ గీతాల వివరాలను కింద పేర్కొనడం జరిగింది:
+        Question: గీతా దత్ మొత్తం ఎన్ని పాటలను పాడారు?
+        Paragraph: ఈ దేవాలయం విశాలంగా ఉండి 12800 చదరపు అడుగుల విస్తీర్ణాన్ని కలిగి ఉంది. అజితనాథ విగ్రహాలలో ముఖ్యమైన ఆకర్షణలు శ్రుతదేవి (సరస్వతి) కుడివైపున 5 అడుగుల ఎత్తుగానూ మరియు ఆమె రెండు దళాలు గల కమలంపై లలితాసనంలో కూర్చున్నట్లు ఉంది.  అజితనాథ విగ్రహానికి ఎడమవైపు నీలమణి పార్శ్వనాథుని విగ్రహం 6 అడుగుల ఎత్తుగానూ ఉంది. ఈ రెండు విగ్రహాలు గర్భగృహ ప్రవేశద్వారానికి ఇరువైపుల ఉన్నాయి. ఆలయంలో గల శాసనాలను బట్టి ఈ ప్రవేశద్వారానికి ఇరువైపుల గల విగ్రహాలను శ్రీ మఘనంది సిద్ధాంత చక్రవర్తి యొక్క ఆరాధకులైన శ్రీ కరనాధికార ప్రతిష్టించారు.
+        Question: అజితనాథ దిగంబర జైన దేవాలయం యొక్క విస్తీర్ణం ఎంత?
+        Paragraph: ఐదు మహాసముద్రాలు అని చెప్పబడుతున్నా గాని ఇవన్నీ ఒకదానితో ఒకటి కలిసిపోయిన పెద్ద నీటి భాగాలు. కనుక దీనిని ప్రపంచ మహాసముద్రం అని చెప్పవచ్చును.[1][2]. ఈ విషయం జలావరణ శాస్త్రం అధ్యయనంలో ప్రధానమైన అంశం.[3]
+        Question: మహా సముద్రాలు మొత్తం ఎన్ని?
+        Paragraph: విటమిన్ D3 చర్మానికి సూర్యరశ్మి (ముఖ్యముగా అతినీలలోహిత కిరణాలు) సోకినపుడు తయారుచేయబడుతుంది. విటమిన్ డి లోపం వల్ల రికెట్స్ అనే వ్యాధి వస్తుంది.
+        Question: సూర్యుడి నుండి ఏ విటమిన్ వస్తుంది?
+        Paragraph: బెంజీన్ ద్రవీభవన స్థానం 5.53°C (41.95°F; 278.68K)
+        Question: బెంజీన్ ద్రవీభవన ఉష్ణోగ్రత ఎంత?
+        """)
+    context = st.text_area(
+        "passage (ప్రకరణము)",
+        "మలేరియా వ్యాప్తి సాధారణంగా దోమకాటు వలన జరుగుతుంది. తన జీవిత చక్రాన్ని పూర్తి చేసుకోవడం కోసం మలేరియా పరాన్నజీవికి మనుషులు అవసరం. మనిషిని కుట్టినప్పుడు లాలాజలాన్ని వదులుతుంది. ఆ లాలాజలములో స్పోరోజాయిట్స్ ఉంటాయి. అవి మనిషి శరీరములోకి ప్రవేశిస్తాయి, అక్కడ నుండి అవి మీరోజాయిట్స్ గా కాలేయము, ఎర్ర రక్త కణాలలో పరిణతి చెందుతాయి. ఇలా పరిణతి చెందిన మీరోజాయిట్స్ వల్ల వ్యాధి లక్షణాలు కనిపిస్తాయి. అయితే అన్ని దోమలూ మలేరియాను వ్యాప్తి చేయవు. కేవలం అనోఫిలస్ (anopheles)  అనే జాతిలోని ఆడ దోమల వల్ల మాత్రమే మనుషులకు వ్యాధి సోకుతుంది.",
+        height=100)
+    question = st.text_input("question (ప్రశ్న)",
+                             "మలేరియా ఏ దోమ వలన వస్తుంది?")
+
+    nlp = load_model()
+    if st.button('సమాధానం'):
+        result = get_answer(nlp, context, question)
+        context = "<p>" + context.replace(
+            context[result['start']:result['end']],
+            "<strong><span style='color: #FF0000;'>" +
+            context[result['start']:result['end']] +
+            "</span></strong>") + "</p>"
+        st.markdown(context, unsafe_allow_html=True)
+
+
+if __name__ == '__main__':
+    main()

requirements.txt

@@ -0,0 +1,3 @@
+transformers
+streamlit
+torch