Update app.py

app.py

@@ -3,104 +3,284 @@ from streamlit_option_menu import option_menu
 from dataclasses import dataclass
 
 import google.generativeai as genai
+from gtts import gTTS
+from io import BytesIO
 
+from langdetect import detect
+import pycountry
+from googletrans import Translator, LANGUAGES
+import torchaudio
+
+from transformers import VitsModel, AutoTokenizer, pipeline
+import torch
+
+import scipy.io.wavfile
+import numpy as np
+
+import base64
+
+from PIL import Image
+
+
+model = VitsModel.from_pretrained("facebook/mms-tts-spa")
+tokenizer = AutoTokenizer.from_pretrained("facebook/mms-tts-spa")
+
+
+model_name_zero_shot_classification = "openai/clip-vit-large-patch14-336"
+classifier_zero_shot_classification = pipeline(
+    "zero-shot-image-classification", model=model_name_zero_shot_classification
+)
 
 # Configuration de la page
 st.set_page_config(page_title="Application Avancée", layout="wide")
 
+# Options Menu
+with st.sidebar:
+    menu = option_menu(
+        "Onyx AI",
+        ["Acceuil", "A propos"],
+        icons=["play-btn", "info-circle"],
+        menu_icon="intersect",
+        default_index=0,
+    )
 
-# Contenu de la navbar avec des icônes appropriées
-selected = option_menu(
-    menu_title=None,  # Aucun titre pour le menu
-    options=[
-        "Chatbot intelligent",
-        "Text to speech",
-        "Zero shot image classification",
-        "Image to text",
-    ],
-    icons=["robot", "volume-up", "camera", "file-text"],  # Icônes pour chaque option
-    menu_icon="cast",  # Icône du menu
-    default_index=0,  # Option par défaut
-    orientation="horizontal",
-)  # Orientation du menu
 
+# Intro Page
+if menu == "Acceuil":
+    # Header
 
-# Affichage du contenu basé sur le choix de la navbar avec st.markdown pour une meilleure intégration
-if selected == "Chatbot intelligent":
+    # Contenu de la navbar avec des icônes appropriées
+    selected = option_menu(
+        menu_title=None,  # Aucun titre pour le menu
+        options=[
+            "Chatbot",
+            "Text to speech",
+            "Classification",
+            "Image to text",
+        ],
+        icons=[
+            "robot",
+            "volume-up",
+            "camera",
+            "file-text",
+        ],  # Icônes pour chaque option
+        menu_icon="cast",  # Icône du menu
+        default_index=0,  # Option par défaut
+        orientation="horizontal",
+    )  # Orientation du menu
 
-    # Affichage du titre et du message de bienvenue
-    st.markdown(
-        """
-            <div class='content'>
-                <h1>Chatbot intelligent</h1>
-                <p>Bienvenue dans la section Chatbot intelligent.</p>
-            </div>
-        """,
-        unsafe_allow_html=True,
-    )
+    # Affichage du contenu basé sur le choix de la navbar avec st.markdown pour une meilleure intégration
+    if selected == "Chatbot":
 
-    genai.configure(api_key="AIzaSyDQ9e-O5oWqo-toEZN19y4zzp9A61oZpTU")
+        # Affichage du titre et du message de bienvenue
+        st.markdown(
+            """
+                <div class='content'>
+                    <h1>Chatbot intelligent</h1>
+                    <p>Bienvenue dans la section Chatbot intelligent.</p>
+                </div>
+            """,
+            unsafe_allow_html=True,
+        )
 
-    model = genai.GenerativeModel("gemini-pro")
+        genai.configure(api_key="AIzaSyDQ9e-O5oWqo-toEZN19y4zzp9A61oZpTU")
 
-    @dataclass
-    class Message:
-        actor: str
-        payload: str
+        model = genai.GenerativeModel("gemini-pro")
 
-    USER = "user"
-    ASSISTANT = "ai"
-    MESSAGES = "messages"
+        @dataclass
+        class Message:
+            actor: str
+            payload: str
 
-    if MESSAGES not in st.session_state:
-        st.session_state[MESSAGES] = [
-            Message(actor=ASSISTANT, payload="Salut! Comment puis-je vous aider ? 😎")
-        ]
+        USER = "user"
+        ASSISTANT = "ai"
+        MESSAGES = "messages"
 
-    msg: Message
-    for msg in st.session_state[MESSAGES]:
-        st.chat_message(msg.actor).write(msg.payload)
+        if MESSAGES not in st.session_state:
+            st.session_state[MESSAGES] = [
+                Message(
+                    actor=ASSISTANT, payload="Salut! Comment puis-je vous aider ? 😎"
+                )
+            ]
 
-    prompt: str = st.chat_input("Enter a prompt here")
+        msg: Message
+        for msg in st.session_state[MESSAGES]:
+            st.chat_message(msg.actor).write(msg.payload)
 
-    if prompt:
-        st.session_state[MESSAGES].append(Message(actor=USER, payload=prompt))
-        st.chat_message(USER).write(prompt)
-        generate = model.generate_content(prompt)
-        response: str = generate.text
-        st.session_state[MESSAGES].append(Message(actor=ASSISTANT, payload=response))
-        st.chat_message(ASSISTANT).write(response)
+        prompt: str = st.chat_input("Enter a prompt here")
 
+        if prompt:
+            st.session_state[MESSAGES].append(Message(actor=USER, payload=prompt))
+            st.chat_message(USER).write(prompt)
+            generate = model.generate_content(prompt)
+            response: str = generate.text
+            st.session_state[MESSAGES].append(
+                Message(actor=ASSISTANT, payload=response)
+            )
+            st.chat_message(ASSISTANT).write(response)
 
-elif selected == "Text to speech":
-    st.markdown(
-        """
-            <div class='content'>
-                <h1>Text to speech</h1>
-                <p>Explorez notre fonctionnalité de conversion de texte en parole.</p>
-            </div>
-        """,
-        unsafe_allow_html=True,
-    )
+    elif selected == "Text to speech":
 
-elif selected == "Zero shot image classification":
-    st.markdown(
-        """
-            <div class='content'>
-                <h1>Zero shot image classification</h1>
-                <p>Découvrez la classification d'images avec zéro exemple.</p>
-            </div>
-        """,
-        unsafe_allow_html=True,
-    )
+        # Affichage du titre et du message de bienvenue
+        st.markdown(
+            """
+                <div class='content'>
+                    <h1>Text to speech</h1>
+                    <p>Bienvenue dans la section Text to speech en espagnol.</p>
+                </div>
+            """,
+            unsafe_allow_html=True,
+        )
+
+        @dataclass
+        class Message:
+            actor: str
+            payload: str
+
+        USER = "user"
+        ASSISTANT = "ai"
+        MESSAGES = "messages_audio"
+
+        if MESSAGES not in st.session_state:
+            st.session_state[MESSAGES] = [
+                Message(
+                    actor=ASSISTANT,
+                    payload="Salut! Quelle phrase (peut importe la langue) souhaitez-vous prononcer en espagnol ? 😎",
+                )
+            ]
+
+        # msg: Message
+        for msg in st.session_state[MESSAGES]:
+            st.chat_message(msg.actor).write(msg.payload)
+
+        prompt: str = st.chat_input("Entrez le texte à prononcer :")
+
+        translator = Translator()
+
+        if prompt:
+            st.session_state[MESSAGES].append(Message(actor=USER, payload=prompt))
+            st.chat_message(USER).write(prompt)
+
+            lang = pycountry.languages.get(alpha_2=detect(prompt))
+
+            lang_name = lang.name if lang else "Langue inconnue"
+
+            translated = translator.translate(prompt, dest="es")
+
+            st.chat_message(ASSISTANT).write(
+                f"Langue détecté {lang_name} \n \n {translated.text} \n \n Génération de l'audio ..."
+            )
+
+            inputs = tokenizer(translated.text, return_tensors="pt")
+
+            # Créer un buffer en mémoire
+            buffer = BytesIO()
+
+            with torch.no_grad():
+                output = model(**inputs).waveform
+
+                # Sauvegarder l'audio généré dans le buffer
+                torchaudio.save(
+                    buffer,
+                    src=output,
+                    sample_rate=model.config.sampling_rate,
+                    format="wav",  # Spécifiez explicitement le format si nécessaire
+                )
+
+                buffer.seek(0)
+
+            st.chat_message(ASSISTANT).audio(data=buffer, format="audio/wav")
+
+    elif selected == "Classification":
+        st.markdown(
+            """
+                    <div class='content'>
+                        <h1>Zero shot image classification</h1>
+                        <p>Découvrez la classification d'images avec zéro exemple.</p>
+                    </div>
+                """,
+            unsafe_allow_html=True,
+        )
+
+        @dataclass
+        class Message:
+            actor: str
+            payload: str
+
+        USER = "user"
+        ASSISTANT = "ai"
+
+        def classify_image(image, labels):
+            image_to_classify = image
+
+            labels = labels.split(",")
+
+            labels_for_classification = labels
+            scores = classifier_zero_shot_classification(
+                image_to_classify, candidate_labels=labels_for_classification
+            )
+
+            return f"The highest score is {scores[0]['score']:.3f} for the label {scores[0]['label']}"
+
+        # Interface utilisateur pour l'entrée de l'image et du libellé
+        uploaded_image = st.file_uploader(
+            "Upload an image", type=["jpg", "png", "jpeg"]
+        )
+
+        label = st.text_input(placeholder="apple, banana, car, dog, elephant")
+
+        # Bouton pour envoyer l'image et le libellé
+        if st.button("Send"):
+            if uploaded_image is not None and label:
+                # Lire et stocker l'image temporairement
+                image = Image.open(uploaded_image)
+
+                st.chat_message(USER).image(image)
+
+                st.chat_message(ASSISTANT).text(classify_image(image, label))
+
+                # # Appeler la fonction add_message pour afficher l'image, le libellé et la réponse
+                # add_message(image, label)
+
+            else:
+                st.write("Please upload an image and enter a label.")
+
+    elif selected == "Image to text":
+        st.markdown(
+            """
+                            <div class='content'>
+                                <h1>Image to text</h1>
+                                <p>Convertissez des images en texte grâce à notre outil.</p>
+                            </div>
+                        """,
+            unsafe_allow_html=True,
+        )
+
+
+elif menu == "A propos":
 
-elif selected == "Image to text":
+    # Lorsque "About" est sélectionné, afficher le contenu À propos dans le corps principal
     st.markdown(
         """
-            <div class='content'>
-                <h1>Image to text</h1>
-                <p>Convertissez des images en texte grâce à notre outil.</p>
-            </div>
+        # À propos de cette application
+        
+        Cette application est conçue pour démontrer diverses fonctionnalités intéressantes telles que le chatbot intelligent, la conversion de texte en parole, la classification d'images sans exemples et la conversion d'images en texte. Elle est construite en utilisant Streamlit, une bibliothèque incroyable pour créer des applications web en Python facilement et rapidement.
+        
+        ## Créateur
+        
+        - [James Olongo](https://jamesolongo.vercel.app/)
+        
+        ## Technologies utilisées
+        
+        - Streamlit
+        - PyTorch
+        - Transformers
+        - torchaudio
+        - gTTS
+        - Langdetect
+        - Googletrans
+        - Pycountry
+        - Google Generative AI
         """,
         unsafe_allow_html=True,
     )