Demo.py

import streamlit as st
import sparknlp
import os
import pandas as pd

from sparknlp.base import *
from sparknlp.annotator import *
from pyspark.ml import Pipeline
from sparknlp.pretrained import PretrainedPipeline
from annotated_text import annotated_text

# Page configuration
st.set_page_config(
    layout="wide", 
    initial_sidebar_state="auto"
)

# CSS for styling
st.markdown("""
    <style>
        .main-title {
            font-size: 36px;
            color: #4A90E2;
            font-weight: bold;
            text-align: center;
        }
        .section {
            background-color: #f9f9f9;
            padding: 10px;
            border-radius: 10px;
            margin-top: 10px;
        }
        .section p, .section ul {
            color: #666666;
        }
    </style>
""", unsafe_allow_html=True)

@st.cache_resource
def init_spark():
    return sparknlp.start()

@st.cache_resource
def create_pipeline(model):
    documentAssembler = DocumentAssembler() \
        .setInputCol("text") \
        .setOutputCol("document")

    sentenceDetector = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "xx") \
        .setInputCols(["document"]) \
        .setOutputCol("sentence")

    tokenizer = Tokenizer() \
        .setInputCols(["sentence"]) \
        .setOutputCol("token")

    tokenClassifier = BertForTokenClassification.pretrained("bert_ner_bert_base_arabic_camelbert_mix_ner", "ar") \
        .setInputCols(["sentence", "token"]) \
        .setOutputCol("ner")

    ner_converter = NerConverter()\
        .setInputCols(["document", "token", "ner"])\
        .setOutputCol("ner_chunk")

    pipeline = Pipeline(stages=[documentAssembler, sentenceDetector, tokenizer, tokenClassifier, ner_converter])
    return pipeline

def fit_data(pipeline, data):
  empty_df = spark.createDataFrame([['']]).toDF('text')
  pipeline_model = pipeline.fit(empty_df)
  model = LightPipeline(pipeline_model)
  result = model.fullAnnotate(data)
  return result

def annotate(data):
    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
    annotated_words = []
    for chunk, label in zip(chunks, labels):
        parts = document.split(chunk, 1)
        if parts[0]:
            annotated_words.append(parts[0])
        annotated_words.append((chunk, label))
        document = parts[1]
    if document:
        annotated_words.append(document)
    annotated_text(*annotated_words)

# Set up the page layout
st.markdown('<div class="main-title">Recognize entities in Arabic text</div>', unsafe_allow_html=True)
st.markdown('<div class="section"><p>Recognize Persons, Locations an Organization entities using an out of the box pretrained Deep Learning model.</p></div>', unsafe_allow_html=True)

# Sidebar content
model = st.sidebar.selectbox(
    "Choose the pretrained model",
    ["bert_ner_bert_base_arabic_camelbert_mix_ner"],
    help="For more info about the models visit: https://sparknlp.org/models"
)

# Reference notebook link in sidebar
link = """
<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/public/NER_AR.ipynb">
    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
</a>
"""
st.sidebar.markdown('Reference notebook:')
st.sidebar.markdown(link, unsafe_allow_html=True)

# Load examples
examples = [
    """كانت مدينة بغداد، العاصمة الحالية للعراق، مركزاً ثقافياً وحضارياً عظيماً في العصور الوسطى. تأسست في القرن الثامن الميلادي على يد الخليفة العباسي أبو جعفر المنصور. كانت بغداد مدينة المعرفة والعلم، حيث توافد إليها العلماء والفلاسفة من كل أنحاء العالم الإسلامي للدراسة في بيت الحكمة. كانت مكتباتها تحتوي على آلاف المخطوطات النادرة، وكانت تشتهر بمدارسها العلمية والطبية والفلكية. في عام 1258، سقطت بغداد في يد المغول بقيادة هولاكو خان، مما أدى إلى تدمير جزء كبير من المدينة وخسارة العديد من النفائس.يُعتبر نهر النيل أطول نهر في العالم، حيث يمتد من وسط إفريقيا إلى شمالها ليصب في البحر الأبيض المتوسط. يمر النيل عبر العديد من الدول الأفريقية مثل أوغندا، إثيوبيا، السودان، ومصر.يعتبر النيل شريان الحياة في مصر منذ آلاف السنين، حيث يعتمد المصريون على مياهه في الزراعة والصناعة والاستخدامات اليومية. بالإضافة إلى ذلك، لعب النيل دوراً كبيراً في نشوء الحضارات القديمة في مصر، مثل الحضارة الفرعونية التي ازدهرت في عهد الملك رمسيس الثاني والملكة نفرتيتي. يعد سد أسوان العالي الذي بُني في الستينيات من القرن العشرين من أهم المشاريع الهندسية على النيل.""",
    """يُعد المسجد الحرام في مكة المكرمة من أقدس الأماكن في الإسلام، حيث يأتي المسلمون من جميع أنحاء العالم لأداء فريضة الحج والعمرة. يحيط بالمسجد الحرام الكعبة المشرفة، والتي تعتبر القبلة التي يتوجه نحوها المسلمون في صلاتهم. يقع المسجد الحرام في وسط مكة، وتحيط به العديد من الفنادق والأسواق التي تخدم الحجاج والزوار. تقوم الحكومة السعودية بتوسيع وتطوير المسجد الحرام بشكل مستمر لاستيعاب الأعداد المتزايدة من الزوار. في عام 2019، وصل عدد الحجاج إلى أكثر من مليوني حاج من مختلف الدول.تُعد دمشق، عاصمة سوريا، واحدة من أقدم المدن المأهولة في العالم. يعود تاريخها إلى آلاف السنين قبل الميلاد، وقد شهدت تعاقب العديد من الحضارات العظيمة مثل الآرامية والرومانية والإسلامية.تُعتبر دمشق مركزاً ثقافياً وفنياً مهماً في الشرق الأوسط، حيث تضم العديد من المعالم التاريخية مثل المسجد الأموي وسوق الحميدية. كما تشتهر دمشق بصناعاتها التقليدية مثل صناعة الحلويات الدمشقية والنسيج. خلال فترة الحروب الصليبية، كانت دمشق مركزاً للمقاومة بقيادة صلاح الدين الأيوبي.""",
    """في عام 1971، تأسست دولة الإمارات العربية المتحدة بقيادة الشيخ زايد بن سلطان آل نهيان. تتألف الإمارات من سبع إمارات هي أبوظبي، دبي، الشارقة، عجمان، أم القيوين، رأس الخيمة، والفجيرة. حققت الإمارات تطوراً اقتصادياً كبيراً بفضل ثرواتها النفطية، بالإضافة إلى تنويع الاقتصاد من خلال الاستثمار في قطاعات السياحة والتجارة والطيران. تُعد مدينة دبي مركزاً عالمياً للأعمال والسياحة، وتشتهر بمعالمها الرائعة مثل برج خليفة، أطول برج في العالم، وبرج العرب. في عام 2020، استضافت دبي معرض إكسبو 2020 الذي جذب ملايين الزوار من جميع أنحاء العالم.""",
    """يُعتبر الفيلسوف ابن سينا، المعروف في الغرب باسم "Avicenna"، واحداً من أعظم العلماء في التاريخ الإسلامي. وُلِد في بخارى، التي تقع في أوزبكستان الحالية، عام 980 ميلادية. ألَّف ابن سينا أكثر من 450 كتاباً في مجالات متعددة، من بينها الطب والفلسفة والعلوم الطبيعية. يُعتبر كتابه "القانون في الطب" مرجعاً مهماً في تاريخ الطب، وقد استخدم في الجامعات الأوروبية لعدة قرون. عاش ابن سينا في فترة الدولة السامانية، وقضى معظم حياته متنقلاً بين المدن الكبرى في العالم الإسلامي، مثل الري وأصفهان.""",
    """تُعد شركة أرامكو السعودية واحدة من أكبر شركات النفط في العالم. تأسست الشركة في الثلاثينيات من القرن العشرين، وأصبحت اليوم عملاقاً في صناعة النفط والطاقة. تتولى أرامكو عمليات التنقيب والإنتاج والتكرير والتوزيع، ولديها شبكة واسعة من المنشآت والمشاريع في المملكة العربية السعودية وحول العالم. في عام 2019، قامت الشركة بطرح عام أولي (IPO) وجمعت مليارات الدولارات من المستثمرين العالميين. تعتبر أرامكو لاعباً رئيسياً في سوق الطاقة العالمي، وتساهم بشكل كبير في اقتصاد المملكة.""",
    """في عام 2022، أعلنت منظمة الصحة العالمية (WHO) عن اكتشاف فيروس جديد يسبب مرضاً تنفسياً حاداً، أُطلق عليه اسم "كوفيد-19". انتشر الفيروس بسرعة في جميع أنحاء العالم، مما أدى إلى إعلان جائحة عالمية. عملت الدول على تطوير لقاحات للحد من انتشار الفيروس، وكان من أبرز هذه اللقاحات لقاح "فايزر-بيونتيك" ولقاح "موديرنا". أثرت الجائحة على جميع جوانب الحياة، مما دفع الحكومات إلى فرض إجراءات احترازية مثل الإغلاق والتباعد الاجتماعي.""",
    """تأسست منظمة الأمم المتحدة (UN) في عام 1945 بعد نهاية الحرب العالمية الثانية، بهدف الحفاظ على السلام والأمن الدوليين وتعزيز التعاون الدولي. تضم المنظمة اليوم 193 دولة عضواً، وتعمل من خلال وكالاتها المتعددة مثل اليونسكو (UNESCO) ومنظمة الصحة العالمية (WHO) وبرنامج الأمم المتحدة الإنمائي (UNDP). يقع مقر الأمم المتحدة الرئيسي في نيويورك، وتقوم المنظمة بعقد مؤتمرات وقمم دولية لمناقشة القضايا العالمية مثل تغير المناخ وحقوق الإنسان والتنمية المستدامة.""",
    """يُعد الكاتب المصري نجيب محفوظ واحداً من أشهر الأدباء في العالم العربي. وُلِد في القاهرة عام 1911، وحصل على جائزة نوبل للأدب في عام 1988. كتب محفوظ العديد من الروايات الشهيرة التي تناولت قضايا المجتمع المصري والتحولات التي شهدها خلال القرن العشرين. من أبرز أعماله "الثلاثية" التي تضم روايات "بين القصرين"، "قصر الشوق"، و"السكرية". تُرجمَت أعماله إلى العديد من اللغات، وأثرت بشكل كبير على الأدب العربي والعالمي."""
]

selected_text = st.selectbox("Select an example", examples)
custom_input = st.text_input("Try it with your own Sentence!")

text_to_analyze = custom_input if custom_input else selected_text

st.subheader('Full example text')
HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)

# Initialize Spark and create pipeline
spark = init_spark()
pipeline = create_pipeline(model)
output = fit_data(pipeline, text_to_analyze)

# Display matched sentence
st.subheader("Processed output:")

results = {
    'Document': output[0]['document'][0].result,
    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
}

annotate(results)

with st.expander("View DataFrame"):
    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
    df.index += 1
    st.dataframe(df)