Update app.py

Update Chatbot

app.py

@@ -1,3 +1,4 @@
+%%writefile app.py
 import streamlit as st
 import cv2
 import numpy as np
@@ -6,43 +7,48 @@ import os
 import pandas as pd
 from PIL import Image
 import time
-from ultralytics import YOLO
 from paddleocr import PaddleOCR, draw_ocr
+from openai import OpenAI
 
+# # --- Set Background Wallpaper ---
+# st.markdown(
+#     """
+#     <style>
+#     .stApp {
+#         background: url("/content/wallpaper.jpg");
+#         background-size: cover;
+#         background-attachment: fixed;
+#         background-position: center;
+#         filter: brightness(0.75);
+#     }
+#     </style>
+#     """,
+#     unsafe_allow_html=True
+# )
+
+# Title dan Deskripsi
 st.title("Nutri-Grade Label Detection & Grade Calculator")
+st.caption("Selamat Datang di aplikasi prototype kami. Terinspirasi dari NutriGrade Singapura, kami berharap aplikasi ini dapat membantu teman-teman dalam memilih produk makanan yang lebih sehat.")
 
 # -----------------------------------------------
 # Info & Petunjuk Penggunaan
 # -----------------------------------------------
-with st.expander("Info & Petunjuk Penggunaan"):
+with st.expander("Petunjuk Penggunaan"):
     st.markdown("""
-    **Deskripsi Aplikasi:**
-
-    Aplikasi ini membantu Anda mendeteksi dan mengekstrak informasi tabel gizi dari gambar label nutrisi, melakukan normalisasi nilai nutrisi per 100 g/ml, dan menghitung Nutri-Grade sesuai dengan standar resmi (Rev. Juni 2023).
-
-    **Fitur Utama:**
-    - Deteksi objek label nutrisi dengan YOLO.
-    - Ekstraksi teks dengan PaddleOCR, mendukung format "key: value".
-    - Normalisasi nilai nutrisi (Gula dan Lemak Jenuh) per 100 g/ml.
-    - Perhitungan grade berdasarkan threshold:
-         • Gula: Grade A ≤ 1g, B: >1-5g, C: >5-10g, D: >10g per 100 ml.
-         • Lemak Jenuh: Grade A ≤ 0.7g, B: >0.7-1.2g, C: >1.2-2.8g, D: >2.8g per 100 ml.
-         • **Grade akhir diambil dari nilai terburuk antara gula dan lemak jenuh.**
-
     **Cara Penggunaan:**
     1. Upload gambar label nutrisi (JPG/PNG).
-    2. Sistem mendeteksi objek dan mengekstrak nilai nutrisi.
+    2. Sistem mendeteksi teks pada gambar menggunakan OCR.
     3. Periksa dan koreksi nilai secara manual jika diperlukan.
-    4. Klik *Hitung* untuk melihat tabel normalisasi dan grade.
+    4. Klik *Hitung* untuk melihat tabel normalisasi, grade, dan saran nutrisi.
     """)
-
+    
 with st.expander("!! Tolong Diperhatikan !!"):
     st.markdown("""
-    Labelisasi di bawah hanya sebagai gambaran umum. Perlu riset lebih lanjut untuk akurasi.
-
-    **Pengembangan:**
-    - Konsultasi dengan nutritionist untuk parameter yang lebih tepat.
-    - Integrasi informasi halal, kalori, dan fitur interaktif (misal: chatbot).
+    1. Aplikasi ini masih dalam Pengembangan.
+    2. Hasil ekstraksi hanya sebagai gambaran; silakan koreksi bila diperlukan.
+    3. Hosting gratisan, jadi mungkin ada beberapa kendala.
+    4. Kode dapat diakses di Hugging Face untuk kontribusi atau feedback.
+    5. Referensi kami dari [Health Promotion Board Singapura](https://www.hpb.gov.sg/docs/default-source/pdf/nutri-grade-ci-guide_eng-only67e4e36349ad4274bfdb22236872336d.pdf)
     """)
 
 # Fungsi untuk membersihkan nilai numerik (contoh: "15g" → 15.0)
@@ -53,10 +59,8 @@ def parse_numeric_value(text):
     except ValueError:
         return 0.0
 
-# Inisialisasi model YOLO dan PaddleOCR
-trained_model_path = "best.pt"  # Pastikan file model YOLO ada di working directory
-yolo_model = YOLO(trained_model_path)
-ocr_model = PaddleOCR(use_gpu=True, lang='en', cls=True)
+# Inisialisasi model PaddleOCR
+ocr_model = PaddleOCR(use_gpu=True, lang='id', cls=True)
 
 # --- STEP 1: Upload Gambar ---
 uploaded_file = st.file_uploader("Upload Gambar (JPG/PNG)", type=["jpg", "jpeg", "png"])
@@ -67,24 +71,8 @@ if uploaded_file is not None:
     img_path = "uploaded_image.jpg"
     cv2.imwrite(img_path, img)
 
-    # --- STEP 2: Object Detection & Crop dengan YOLO ---
-    st.write("Melakukan object detection dengan YOLO dan crop region...")
-    yolo_results = yolo_model.predict(source=img_path, conf=0.5)
-    crop_images = []
-    boxes = yolo_results[0].boxes
-    for i, box in enumerate(boxes):
-        x1, y1, x2, y2 = box.xyxy[0].cpu().numpy().astype(int)
-        cropped = img[y1:y2, x1:x2]
-        crop_filename = f"crop_{i}.jpg"
-        cv2.imwrite(crop_filename, cropped)
-        crop_images.append((crop_filename, cropped))
-    st.success("Proses crop bounding box selesai!")
-    st.write("Jumlah crop yang ditemukan:", len(crop_images))
-    for crop_filename, cropped in crop_images:
-        st.image(cv2.cvtColor(cropped, cv2.COLOR_BGR2RGB), caption=f"Crop: {crop_filename}", use_column_width=True)
-
-    # --- STEP 3: OCR pada Gambar Penuh ---
-    st.write("Melakukan OCR pada gambar penuh dengan PaddleOCR...")
+    # --- STEP 2: OCR pada Gambar Penuh ---
+    st.write("Melakukan OCR pada gambar...")
     start_time = time.time()
     ocr_result = ocr_model.ocr(img_path, cls=True)
     ocr_time = time.time() - start_time
@@ -112,18 +100,16 @@ if uploaded_file is not None:
                 "center_y": center_y,
                 "height": max(ys) - min(ys)
             })
-        # Urutkan berdasarkan posisi vertikal
         ocr_list = sorted(ocr_list, key=lambda x: x["center_y"])
 
         # Ekstrak pasangan key-value dengan format "key: value"
-        # Hanya ekstrak gula, takaran saji, dan lemak jenuh
         target_keys = {
             "gula": ["gula"],
             "takaran saji": ["takaran saji", "serving size"],
             "lemak jenuh": ["lemak jenuh"]
         }
         extracted = {}
-        # Pass 1: Ekstraksi menggunakan tanda titik dua
+        # Pass 1: Ekstraksi dengan tanda titik dua
         for item in ocr_list:
             txt_lower = item["text"].lower()
             if ":" in txt_lower:
@@ -131,12 +117,13 @@ if uploaded_file is not None:
                 key_candidate = parts[0].strip()
                 value_candidate = parts[-1].strip()
                 for canonical, variants in target_keys.items():
-                    for variant in variants:
-                        if variant in key_candidate and canonical not in extracted:
-                            clean_value = re.sub(r"[^\d\.\-]", "", value_candidate)
-                            if clean_value and clean_value != ".":
-                                extracted[canonical.capitalize()] = clean_value
-                            break
+                    if canonical not in extracted:
+                        for variant in variants:
+                            if variant in key_candidate:
+                                clean_value = re.sub(r"[^\d\.\-]", "", value_candidate)
+                                if clean_value and clean_value != ".":
+                                    extracted[canonical.capitalize()] = clean_value
+                                break
         # Pass 2: Fallback untuk key yang belum diekstrak
         for item in ocr_list:
             txt_lower = item["text"].lower()
@@ -178,90 +165,153 @@ if uploaded_file is not None:
         im_show = Image.fromarray(im_show)
         st.image(im_show, caption="Hasil OCR dengan Bounding Boxes", use_column_width=True)
 
-    # --- Koreksi Manual dengan st.form ---
-    with st.form("correction_form"):
-        st.write("Silakan koreksi nilai jika diperlukan (hanya angka, tanpa satuan):")
-        corrected_data = {}
-        for key in target_keys.keys():
-            key_cap = key.capitalize()
-            current_val = str(parse_numeric_value(extracted.get(key_cap, ""))) if key_cap in extracted else ""
-            new_val = st.text_input(f"{key_cap}", value=current_val)
-            corrected_data[key_cap] = new_val
-        submit_button = st.form_submit_button("Hitung")
+        # --- Koreksi Manual dengan st.form ---
+        with st.form("correction_form"):
+            st.write("Silakan koreksi nilai jika diperlukan (hanya angka, tanpa satuan):")
+            corrected_data = {}
+            for key in target_keys.keys():
+                key_cap = key.capitalize()
+                current_val = str(parse_numeric_value(extracted.get(key_cap, ""))) if key_cap in extracted else ""
+                new_val = st.text_input(f"{key_cap}", value=current_val)
+                corrected_data[key_cap] = new_val
+            submit_button = st.form_submit_button("Hitung")
 
-    if submit_button:
-        try:
-            serving_size = parse_numeric_value(corrected_data.get("Takaran saji", "100"))
-        except:
-            serving_size = 0.0
+        if submit_button:
+            try:
+                serving_size = parse_numeric_value(corrected_data.get("Takaran saji", "100"))
+            except:
+                serving_size = 0.0
 
-        # Ambil nilai nutrisi (hanya gula dan lemak jenuh)
-        sugar_value = parse_numeric_value(corrected_data.get("Gula", "0"))
-        fat_value   = parse_numeric_value(corrected_data.get("Lemak jenuh", "0"))
+            sugar_value = parse_numeric_value(corrected_data.get("Gula", "0"))
+            fat_value   = parse_numeric_value(corrected_data.get("Lemak jenuh", "0"))
 
-        if serving_size > 0:
-            sugar_norm = (sugar_value / serving_size) * 100
-            fat_norm   = (fat_value / serving_size) * 100
-        else:
-            st.error("Takaran saji tidak valid untuk normalisasi.")
-            sugar_norm, fat_norm = sugar_value, fat_value
+            if serving_size > 0:
+                sugar_norm = (sugar_value / serving_size) * 100
+                fat_norm   = (fat_value / serving_size) * 100
+            else:
+                st.error("Takaran saji tidak valid untuk normalisasi.")
+                sugar_norm, fat_norm = sugar_value, fat_value
 
-        st.write("**Tabel Hasil Normalisasi per 100 g/ml**")
-        data_tabel = {
-            "Nutrisi": ["Gula", "Lemak jenuh"],
-            "Nilai (per 100 g/ml)": [sugar_norm, fat_norm]
-        }
-        df_tabel = pd.DataFrame(data_tabel)
-        st.table(df_tabel)
+            st.write("**Tabel Hasil Normalisasi per 100 g/ml**")
+            data_tabel = {
+                "Nutrisi": ["Gula", "Lemak jenuh"],
+                "Nilai (per 100 g/ml)": [sugar_norm, fat_norm]
+            }
+            df_tabel = pd.DataFrame(data_tabel)
+            st.table(df_tabel)
 
-        # Fungsi untuk menghitung grade berdasarkan threshold
-        def grade_from_value(value, thresholds):
-            if value <= thresholds["A"]:
-                return "Grade A"
-            elif value <= thresholds["B"]:
-                return "Grade B"
-            elif value <= thresholds["C"]:
-                return "Grade C"
-            else:
-                return "Grade D"
+            # Hitung Grade
+            def grade_from_value(value, thresholds):
+                if value <= thresholds["A"]:
+                    return "Grade A"
+                elif value <= thresholds["B"]:
+                    return "Grade B"
+                elif value <= thresholds["C"]:
+                    return "Grade C"
+                else:
+                    return "Grade D"
 
-        # Threshold sesuai panduan Nutri-Grade (g/100ml)
-        thresholds_sugar = {"A": 1.0, "B": 5.0, "C": 10.0}
-        thresholds_fat   = {"A": 0.7, "B": 1.2, "C": 2.8}
+            thresholds_sugar = {"A": 1.0, "B": 5.0, "C": 10.0}
+            thresholds_fat   = {"A": 0.7, "B": 1.2, "C": 2.8}
 
-        sugar_grade = grade_from_value(sugar_norm, thresholds_sugar)
-        fat_grade   = grade_from_value(fat_norm, thresholds_fat)
+            sugar_grade = grade_from_value(sugar_norm, thresholds_sugar)
+            fat_grade   = grade_from_value(fat_norm, thresholds_fat)
 
-        # Grade akhir diambil dari nilai terburuk (nilai maksimum skor)
-        grade_scores = {"Grade A": 1, "Grade B": 2, "Grade C": 3, "Grade D": 4}
-        worst_score = max(grade_scores[sugar_grade], grade_scores[fat_grade])
-        inverse_scores = {v: k for k, v in grade_scores.items()}
-        final_grade = inverse_scores[worst_score]
+            grade_scores = {"Grade A": 1, "Grade B": 2, "Grade C": 3, "Grade D": 4}
+            worst_score = max(grade_scores[sugar_grade], grade_scores[fat_grade])
+            inverse_scores = {v: k for k, v in grade_scores.items()}
+            final_grade = inverse_scores[worst_score]
 
-        st.write(f"**Grade Gula:** {sugar_grade}")
-        st.write(f"**Grade Lemak Jenuh:** {fat_grade}")
-        st.write(f"**Grade Akhir:** {final_grade}")
+            st.write(f"**Grade Gula:** {sugar_grade}")
+            st.write(f"**Grade Lemak Jenuh:** {fat_grade}")
+            st.write(f"**Grade Akhir:** {final_grade}")
 
-        def color_grade(grade_text):
-            if grade_text == "Grade A":
-                bg_color = "#2ecc71"
-            elif grade_text == "Grade B":
-                bg_color = "#f1c40f"
-            elif grade_text == "Grade C":
-                bg_color = "#e67e22"
-            else:
-                bg_color = "#e74c3c"
-            return f"""
-            <div style="
-                background-color: {bg_color};
-                padding: 10px;
-                border-radius: 5px;
-                margin-top: 10px;
-                font-weight: bold;
-                color: white;
-                text-align: center;
-            ">
-            {grade_text}
-            </div>
+            def color_grade(grade_text):
+                if grade_text == "Grade A":
+                    bg_color = "#2ecc71"
+                elif grade_text == "Grade B":
+                    bg_color = "#f1c40f"
+                elif grade_text == "Grade C":
+                    bg_color = "#e67e22"
+                else:
+                    bg_color = "#e74c3c"
+                return f"""
+                <div style="
+                    background-color: {bg_color};
+                    padding: 10px;
+                    border-radius: 5px;
+                    margin-top: 10px;
+                    font-weight: bold;
+                    color: white;
+                    text-align: center;
+                ">
+                {grade_text}
+                </div>
+                """
+            st.markdown(color_grade(final_grade), unsafe_allow_html=True)
+
+            # --- Integrasi Qwen Satu Kali untuk Saran Nutrisi ---
+                       # --- Integrasi Qwen Satu Kali untuk Saran Nutrisi ---
+            nutrition_prompt = f"""
+            Anda adalah ahli gizi yang ramah, komunikatif, dan berpengalaman.
+            Data nutrisi:
+            - Takaran saji: {serving_size} g/ml
+            - Kandungan Gula (per 100 g/ml): {sugar_norm} g
+            - Kandungan Lemak Jenuh (per 100 g/ml): {fat_norm} g
+            - Grade Gula: {sugar_grade}
+            - Grade Lemak Jenuh: {fat_grade}
+            - Grade Akhir: {final_grade}
+            Berdasarkan data tersebut, berikan saran nutrisi yang informatif dalam satu paragraf pendek (50-100 kata). 
+            Jelaskan secara ringkas dengan mengulang data nutrisi lalu dampak kesehatan dari nilai-nilai tersebut dan berikan tips praktis untuk menjaga pola makan seimbang dengan bahasa yang bersahabat.
             """
-        st.markdown(color_grade(final_grade), unsafe_allow_html=True)
+            print("\n")
+            st.write("Tunggu sebentar, Qwen si AI nutritionist sedang memproses penjelasannya... 🤖")
+            client = OpenAI(
+                base_url="https://openrouter.ai/api/v1",
+                api_key="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"
+            )
+            try:
+                completion = client.chat.completions.create(
+                    extra_headers={
+                        "HTTP-Referer": "<YOUR_SITE_URL>",
+                        "X-Title": "<YOUR_SITE_NAME>"
+                    },
+                    extra_body={},
+                    model="qwen/qwen2.5-vl-72b-instruct:free",
+                    messages=[
+                        {
+                            "role": "user",
+                            "content": [
+                                {
+                                    "type": "text",
+                                    "text": nutrition_prompt
+                                }
+                            ]
+                        }
+                    ]
+                )
+                nutrition_advice = completion.choices[0].message.content
+                st.write("**Saran Nutrisi dari Qwen:**")
+                st.write(nutrition_advice)
+            except Exception as e:
+                st.error(f"Gagal mendapatkan saran dari Qwen: {e}")
+
+# --- Tampilan Tim Pengembang ---
+st.markdown("""
+<div style="border: 2px solid #007BFF; padding: 10px; border-radius: 8px; margin-top: 20px;">
+  <h4>Tim Pengembang</h4>
+  <p><strong>Nicholas Dominic</strong>, Mentor - <a href="https://www.linkedin.com/in/nicholas-dominic">LinkedIn</a></p>
+  <p><strong>Tata Aditya Pamungkas</strong>, Machine Learning - <a href="https://www.linkedin.com/in/tata-aditya-pamungkas">LinkedIn</a></p>
+  <p><strong>Firzah Marhamah</strong>, Web Dev - <a href="https://www.linkedin.com/in/m-raihan-hafiz-91a368186">LinkedIn</a></p>
+</div> <br>
+""", unsafe_allow_html=True)
+
+print("\n")
+
+with st.expander("Ide inovasi kami kedepannya untuk pengembangan"):
+    st.markdown("""
+    1. Memakai server berbayar agar lebih banyak pengguna yang bisa mengakses.
+    2. Recall asupan berdasarkan makanan real food sehari-hari. Kami sudah berkonsultasi dengan kak Firzah Marhamah [nutritionist](https://www.linkedin.com/in/firza-marhamah)
+       dan ini akan sangat membantu masyarakat untuk mengetahui asupan gizi seimbang.
+    3. Penghitung kalori harian yang terpersonalisasi.
+    """)