app.py

import streamlit as st
import pandas as pd
import numpy as np
import re
import json
import joblib
from sklearn.feature_extraction.text import TfidfVectorizer

# Impor library tambahan
import matplotlib.pyplot as plt
import seaborn as sns
from wordcloud import WordCloud


# Set judul situs web
st.set_page_config(page_title="naufalnashif-ML")

# Fungsi untuk membersihkan teks dengan ekspresi reguler
def clean_text(text):
    # Tahap-1: Menghapus karakter non-ASCII
    text = re.sub(r'[^\x00-\x7F]+', '', text)

    # Tahap-2: Menghapus URL
    text = re.sub(r'http[s]?://.[a-zA-Z0-9./_?=%&#+!]+', '', text)
    text = re.sub(r'pic.twitter.com?.[a-zA-Z0-9./_?=%&#+!]+', '', text)

    # Tahap-3: Menghapus mentions
    text = re.sub(r'@[\w]+', '', text)

    # Tahap-4: Menghapus hashtag
    text = re.sub(r'#([\w]+)', '', text)

    # Tahap-5: Menghapus karakter khusus (simbol)
    text = re.sub(r'[!$%^&*@#()_+|~=`{}\[\]%\-:";\'<>?,./]', '', text)

    # Tahap-6: Menghapus angka
    text = re.sub(r'[0-9]+', '', text)

    # Tahap-7: Menggabungkan spasi ganda menjadi satu spasi
    text = re.sub(' +', ' ', text)

    # Tahap-8: Menghapus spasi di awal dan akhir kalimat
    text = text.strip()

    # Tahap-9: Konversi teks ke huruf kecil
    text = text.lower()

    return text

# Membaca kamus kata gaul Salsabila
kamus_path = '_json_colloquial-indonesian-lexicon (1).txt'  # Ganti dengan path yang benar
with open(kamus_path) as f:
    data = f.read()
lookp_dict = json.loads(data)

# Dict kata gaul saya sendiri yang tidak masuk di dict Salsabila
kamus_sendiri_path = 'kamus_gaul_custom.txt'
with open(kamus_sendiri_path) as f:
    kamus_sendiri = f.read()
kamus_gaul_baru = json.loads(kamus_sendiri)

# Menambahkan dict kata gaul baru ke kamus yang sudah ada
lookp_dict.update(kamus_gaul_baru)

# Fungsi untuk normalisasi kata gaul
def normalize_slang(text, slang_dict):
    words = text.split()
    normalized_words = [slang_dict.get(word, word) for word in words]
    return ' '.join(normalized_words)

# Fungsi untuk ekstraksi fitur TF-IDF
def extract_tfidf_features(texts, tfidf_vectorizer):
    tfidf_matrix = tfidf_vectorizer.transform(texts)
    return tfidf_matrix

# Memuat model TF-IDF dengan joblib (pastikan path-nya benar)
tfidf_model_path = 'X_tfidf_model.joblib'
tfidf_vectorizer = joblib.load(tfidf_model_path)

# Fungsi untuk memilih model berdasarkan pilihan pengguna
def select_sentiment_model(selected_model):
    if selected_model == "Random Forest":
        model_path = 'best_rf_model_smote.joblib'
    elif selected_model == "Ensemble":
        model_path = 'ensemble_clf_soft_smote.joblib'
    elif selected_model == "Naive Bayes":
        model_path = 'naive_bayes_model_smote.joblib'
    elif selected_model == "Logistic Regression":
        model_path = 'logreg_model_smote.joblib'
    else:
        # Fallback ke model default jika pilihan tidak valid
        model_path = 'ensemble_clf_soft_smote.joblib'

    model = joblib.load(model_path)
    return model

# Memilih model sentimen berdasarkan pilihan pengguna
sentiment_model = select_sentiment_model(selected_model)


# Fungsi untuk prediksi sentimen
def predict_sentiment(text, model, tfidf_vectorizer, slang_dict):
    # Tahap-1: Membersihkan dan normalisasi teks
    cleaned_text = clean_text(text)
    norm_slang_text = normalize_slang(cleaned_text, slang_dict)

    # Tahap-2: Ekstraksi fitur TF-IDF
    tfidf_matrix = tfidf_vectorizer.transform([norm_slang_text])

    # Tahap-3: Lakukan prediksi sentimen
    sentiment = model.predict(tfidf_matrix)

    # Tahap-4: Menggantikan indeks dengan label sentimen
    labels = {0: "Negatif", 1: "Netral", 2: "Positif"}
    sentiment_label = labels[int(sentiment)]

    return sentiment_label

def get_emoticon(sentiment):
    if sentiment == "Positif":
        emoticon = "😄"  # Emotikon untuk sentimen positif
    elif sentiment == "Negatif":
        emoticon = "😞"  # Emotikon untuk sentimen negatif
    else:
        emoticon = "😐"  # Emotikon untuk sentimen netral

    return emoticon

# Fungsi untuk membuat tautan unduhan
def get_table_download_link(df, download_format):
    if download_format == "XLSX":
        df.to_excel("hasil_sentimen.xlsx", index=False)
        return f'<a href="hasil_sentimen.xlsx" download="hasil_sentimen.xlsx">Unduh File XLSX</a>'
    else:
        csv = df.to_csv(index=False)
        return f'<a href="data:file/csv;base64,{b64encode(csv.encode()).decode()}" download="hasil_sentimen.csv">Unduh File CSV</a>'


# Judul
st.title("Aplikasi ML Analisis Sentimen based on data Biskita Transpakuan")

# Tambahkan widget untuk memilih model
selected_model = st.selectbox("Pilih Model Sentimen:", ("Random Forest", "Ensemble", "Naive Bayes", "Logistic Regression"))

# Pilihan input teks manual atau berkas XLSX
input_option = st.radio("Pilih metode input:", ("Teks Manual", "Unggah Berkas XLSX"))

if input_option == "Teks Manual":
    # Input teks dari pengguna
    user_input = st.text_area("Masukkan teks:", "")
else:
    # Input berkas XLSX
    uploaded_file = st.file_uploader("Unggah berkas XLSX", type=["xlsx"])
    st.write("**Pastikan berkas XLSX Anda memiliki kolom yang bernama 'Text'.**")

    if uploaded_file is not None:
        df = pd.read_excel(uploaded_file)

        if 'Text' not in df.columns:
            st.warning("Berkas XLSX harus memiliki kolom bernama 'Text' untuk analisis sentimen.")
        else:
            texts = df['Text']  # Sesuaikan dengan nama kolom di berkas XLSX Anda

# Analisis sentimen
results = []

if input_option == "Teks Manual" and user_input:
    # Pisahkan teks yang dimasukkan pengguna menjadi baris-baris terpisah
    user_texts = user_input.split('\n')
    for text in user_texts:
        sentiment_label = predict_sentiment(text, sentiment_model, tfidf_vectorizer, lookp_dict)
        emoticon = get_emoticon(sentiment_label)
        cleaned_text = clean_text(text)
        norm_slang_text = normalize_slang(cleaned_text, lookp_dict)
        results.append((text, cleaned_text, norm_slang_text, sentiment_label, emoticon))

elif input_option == "Unggah Berkas XLSX" and uploaded_file is not None:
    if 'Text' in df.columns:
        for text in texts:
            sentiment_label = predict_sentiment(text, sentiment_model, tfidf_vectorizer, lookp_dict)
            emoticon = get_emoticon(sentiment_label)
            cleaned_text = clean_text(text)
            norm_slang_text = normalize_slang(cleaned_text, lookp_dict)
            results.append((text, cleaned_text, norm_slang_text, sentiment_label, emoticon))
    else:
        st.warning("Berkas XLSX harus memiliki kolom bernama 'Text' untuk analisis sentimen.")


# Membagi tampilan menjadi dua kolom
columns = st.columns(2)

# Kolom pertama untuk Word Cloud
with columns[0]:
    if results:
        all_texts = [result[2] for result in results if result[2] is not None and not pd.isna(result[2])]
        all_texts = " ".join(all_texts)

        st.subheader("Word Cloud")

        if all_texts:
            wordcloud = WordCloud(width=800, height=660, background_color='white',
                                  colormap='Purples',   # Warna huruf
                                  contour_color='black',  # Warna kontur
                                  contour_width=2,       # Lebar kontur
                                  mask=None,             # Gunakan mask untuk bentuk kustom
                                  ).generate(all_texts)
            st.image(wordcloud.to_array())
        else:
            st.write("Tidak ada data untuk ditampilkan dalam Word Cloud.")

# Kolom kedua untuk Bar Chart
with columns[1]:
    st.subheader("Chart")
    if results:
        df_results = pd.DataFrame(results, columns=["Teks", "Cleaned Text", "Norm Text", "Hasil Analisis Sentimen", "Emotikon"])
        sns.set_style("whitegrid")

        # Menyiapkan label kelas
        class_labels = ["Negatif", "Netral", "Positif"]

        # Menghitung nilai hitungan per label
        value_counts = df_results["Hasil Analisis Sentimen"].value_counts()

        # Mengurutkan nilai hitungan berdasarkan label
        value_counts = value_counts.reindex(class_labels)

        fig, ax = plt.subplots()  # Buat objek Figure
        sns.barplot(x=value_counts.index, y=value_counts.values, ax=ax)  # Gunakan ax= untuk plot
        plt.xticks(rotation=45)

        st.pyplot(fig)  # Tampilkan plot menggunakan st.pyplot(fig)

# Menampilkan hasil analisis sentimen dalam kotak yang dapat diperluas
with st.expander("Hasil Analisis Sentimen"):
    # Tampilkan tabel hasil analisis sentimen
    st.table(pd.DataFrame(results, columns=["Teks", "Cleaned Text", "Norm Text", "Hasil Analisis Sentimen", "Emotikon"]))


# Tautan untuk mengunduh hasil dalam format XLSX atau CSV
st.subheader("Unduh Hasil")
download_format = st.selectbox("Pilih format unduhan:", ["XLSX", "CSV"])
if results:
    if download_format == "XLSX":
        # Simpan DataFrame ke dalam file XLSX
        df = pd.DataFrame(results, columns=["Teks", "Cleaned Text", "Norm Text", "Hasil Analisis Sentimen", "Emotikon"])
        df.to_excel("hasil_sentimen.xlsx", index=False)

        # Tampilkan tombol unduh XLSX
        st.download_button(label="Unduh XLSX", data=open("hasil_sentimen.xlsx", "rb").read(), key="xlsx_download", file_name="hasil_sentimen.xlsx")

    else:  # Jika CSV
        # Simpan DataFrame ke dalam file CSV
        df = pd.DataFrame(results, columns=["Teks", "Cleaned Text", "Norm Text", "Hasil Analisis Sentimen", "Emotikon"])
        csv = df.to_csv(index=False)

        # Tampilkan tombol unduh CSV
        st.download_button(label="Unduh CSV", data=csv, key="csv_download", file_name="hasil_sentimen.csv")
else:
    st.write("Tidak ada data untuk diunduh.")


# Garis pemisah
st.divider()

# Tautan ke GitHub
github_link = "https://github.com/naufalnashif/"
st.markdown(f"GitHub: [{github_link}]({github_link})")

# Tautan ke Instagram
instagram_link = "https://www.instagram.com/naufal.nashif/"
st.markdown(f"Instagram: [{instagram_link}]({instagram_link})")

# Pesan penutup
st.write('Thank you for trying the demo!')
st.write('Best regards, Naufal Nashif')