first commit

app.py

@@ -1,48 +1,73 @@
 import streamlit as st
 from streamlit_option_menu import option_menu
+
 from dataclasses import dataclass
 
 import google.generativeai as genai
-from gtts import gTTS
-from io import BytesIO
 
 from langdetect import detect
 import pycountry
 from deep_translator import GoogleTranslator
 
-import torchaudio
-
-from transformers import VitsModel, AutoTokenizer, pipeline
-import torch
-
-import scipy.io.wavfile
-import numpy as np
 
 import base64
 
 from PIL import Image
 
+import requests
 
-model = VitsModel.from_pretrained("facebook/mms-tts-spa")
-tokenizer = AutoTokenizer.from_pretrained("facebook/mms-tts-spa")
+from dotenv import load_dotenv
+import os
 
+# Charger les variables d'environnement
+load_dotenv()
 
-model_name_zero_shot_classification = "openai/clip-vit-large-patch14-336"
-classifier_zero_shot_classification = pipeline(
-    "zero-shot-image-classification", model=model_name_zero_shot_classification
-)
+HUGGINGFACE_API_KEY = os.getenv("HUGGINGFACE_API_KEY")
+GOOGLE_GENAI_API_KEY = os.getenv("GOOGLE_GENAI_API_KEY")
+
+headers = {"Authorization": f"Bearer {HUGGINGFACE_API_KEY}"}
+
+genai.configure(api_key=GOOGLE_GENAI_API_KEY)
 
 # Configuration de la page
-st.set_page_config(page_title="Application Avancée", layout="wide")
+st.set_page_config(page_title="Application IA", layout="wide")
+
+
+st.markdown(
+    """
+    <style>
+        .content{
+            border-radius: 8px;
+            box-shadow: 0 1px 3px rgba(65,65,65,.492);
+            background: #fbfafa;
+            padding : 0 10px 0 20px
+        }
+        .stChatMessage .markdown-text-container {
+            word-wrap: break-word;
+        }
+    </style>
+    """,
+    unsafe_allow_html=True,
+)
 
 # Options Menu
 with st.sidebar:
     menu = option_menu(
         "Onyx AI",
-        ["Acceuil", "A propos"],
+        ["Acceuil", "Documentation"],
         icons=["play-btn", "info-circle"],
         menu_icon="intersect",
         default_index=0,
+        styles={
+            "icon": {"color": "#374151", "font-size": "17px"},
+            "nav-link": {
+                "font-size": "17px",
+                "text-align": "left",
+                "margin": "0px",
+                "--hover-color": "#eee",
+            },
+            "nav-link-selected": {"background-color": "#519ba7"},
+        },
     )
 
 
@@ -50,12 +75,12 @@ with st.sidebar:
 if menu == "Acceuil":
     # Header
 
-    # Contenu de la navbar avec des icônes appropriées
+    # # Contenu de la navbar avec des icônes appropriées
     selected = option_menu(
         menu_title=None,  # Aucun titre pour le menu
         options=[
             "Chatbot",
-            "Text to speech",
+            "TextToSpeech",
             "Classification",
             "Image to text",
         ],
@@ -68,6 +93,16 @@ if menu == "Acceuil":
         menu_icon="cast",  # Icône du menu
         default_index=0,  # Option par défaut
         orientation="horizontal",
+        styles={
+            "container": {"background-color": "#fafafa"},
+            "icon": {"color": "#374151", "font-size": "17px"},
+            "nav-link": {
+                "font-size": "17px",
+                "text-align": "left",
+                "--hover-color": "#eee",
+            },
+            "nav-link-selected": {"background-color": "#519ba7"},
+        },
     )  # Orientation du menu
 
     # Affichage du contenu basé sur le choix de la navbar avec st.markdown pour une meilleure intégration
@@ -78,14 +113,13 @@ if menu == "Acceuil":
             """
                 <div class='content'>
                     <h1>Chatbot intelligent</h1>
-                    <p>Bienvenue dans la section Chatbot intelligent.</p>
                 </div>
+                <br/>
+                 <p>Bienvenue dans la section Chatbot intelligent.</p>
             """,
             unsafe_allow_html=True,
         )
 
-        genai.configure(api_key="AIzaSyDQ9e-O5oWqo-toEZN19y4zzp9A61oZpTU")
-
         model = genai.GenerativeModel("gemini-pro")
 
         @dataclass
@@ -120,19 +154,23 @@ if menu == "Acceuil":
             )
             st.chat_message(ASSISTANT).write(response)
 
-    elif selected == "Text to speech":
+    elif selected == "TextToSpeech":
 
         # Affichage du titre et du message de bienvenue
         st.markdown(
             """
                 <div class='content'>
                     <h1>Text to speech</h1>
-                    <p>Bienvenue dans la section Text to speech en espagnol.</p>
                 </div>
+                <br/>
+                <p>Bienvenue dans la section Text to speech en espagnol.</p>
+
             """,
             unsafe_allow_html=True,
         )
 
+        API_URL = "https://api-inference.huggingface.co/models/facebook/mms-tts-spa"
+
         @dataclass
         class Message:
             actor: str
@@ -150,6 +188,10 @@ if menu == "Acceuil":
                 )
             ]
 
+        def query(payload):
+            response = requests.post(API_URL, headers=headers, json=payload)
+            return response.content
+
         # msg: Message
         for msg in st.session_state[MESSAGES]:
             st.chat_message(msg.actor).write(msg.payload)
@@ -167,40 +209,37 @@ if menu == "Acceuil":
             translated = GoogleTranslator(source="auto", target="es").translate(prompt)
 
             st.chat_message(ASSISTANT).write(
-                f"Langue détecté {lang_name} \n \n {translated.text} \n \n Génération de l'audio ..."
+                f"Langue détecté {lang_name} \n \n {translated} \n \n Génération de l'audio ..."
             )
 
-            inputs = tokenizer(translated.text, return_tensors="pt")
-
-            # Créer un buffer en mémoire
-            buffer = BytesIO()
+            parameters = {"inputs": translated}
 
-            with torch.no_grad():
-                output = model(**inputs).waveform
+            audio = query(parameters)
 
-                # Sauvegarder l'audio généré dans le buffer
-                torchaudio.save(
-                    buffer,
-                    src=output,
-                    sample_rate=model.config.sampling_rate,
-                    format="wav",  # Spécifiez explicitement le format si nécessaire
-                )
-
-                buffer.seek(0)
-
-            st.chat_message(ASSISTANT).audio(data=buffer, format="audio/wav")
+            st.chat_message(ASSISTANT).audio(data=audio)
 
     elif selected == "Classification":
         st.markdown(
             """
                     <div class='content'>
                         <h1>Zero shot image classification</h1>
-                        <p>Découvrez la classification d'images avec zéro exemple.</p>
                     </div>
+                    <br/>
+                    <p>Découvrez la classification d'images avec zerp shot.</p>
+
                 """,
             unsafe_allow_html=True,
         )
 
+        API_URL = "https://api-inference.huggingface.co/models/openai/clip-vit-large-patch14-336"
+
+        def query(image_bytes, parameters):
+            # Encode the image bytes in base64
+            encoded_image = base64.b64encode(image_bytes).decode("utf-8")
+            payload = {"parameters": parameters, "inputs": encoded_image}
+            response = requests.post(API_URL, headers=headers, json=payload)
+            return response.json()
+
         @dataclass
         class Message:
             actor: str
@@ -209,37 +248,53 @@ if menu == "Acceuil":
         USER = "user"
         ASSISTANT = "ai"
 
-        def classify_image(image, labels):
-            image_to_classify = image
-
-            labels = labels.split(",")
-
-            labels_for_classification = labels
-            scores = classifier_zero_shot_classification(
-                image_to_classify, candidate_labels=labels_for_classification
+        if "default_label" not in st.session_state:
+            st.session_state["default_label"] = (
+                "voiture,ananas,pastèque,tomate,bouteille"
             )
 
-            return f"The highest score is {scores[0]['score']:.3f} for the label {scores[0]['label']}"
-
         # Interface utilisateur pour l'entrée de l'image et du libellé
         uploaded_image = st.file_uploader(
             "Upload an image", type=["jpg", "png", "jpeg"]
         )
 
-        label = st.text_input(value="apple, banana, car, dog, elephant")
+        st.markdown(
+            "Veuillez entrer les labels séparés par des virgules (exemple : voiture,ananas,pastèque,tomate,bouteille):"
+        )
+
+        label = st.chat_input("Entrez le label séparé des virgules")
 
         # Bouton pour envoyer l'image et le libellé
-        if st.button("Send"):
+        if label:
             if uploaded_image is not None and label:
                 # Lire et stocker l'image temporairement
                 image = Image.open(uploaded_image)
 
+                image_bytes = uploaded_image.getvalue()
+
                 st.chat_message(USER).image(image)
 
-                st.chat_message(ASSISTANT).text(classify_image(image, label))
+                st.chat_message(ASSISTANT).text("Classification en cours...")
+
+                convert_label_to_english = GoogleTranslator(
+                    source="auto", target="en"
+                ).translate(label)
+
+                labels = convert_label_to_english.split(
+                    ","
+                )  # Splitting the input label string into a list
+
+                print(labels)
 
-                # # Appeler la fonction add_message pour afficher l'image, le libellé et la réponse
-                # add_message(image, label)
+                parameters = {"candidate_labels": labels}
+
+                response = query(image_bytes, parameters)
+
+                translated = GoogleTranslator(source="auto", target="fr").translate(
+                    f"The highest score is {response[0]['score']:.3f} for the label {response[0]['label']}"
+                )
+
+                st.chat_message(ASSISTANT).text(translated)
 
             else:
                 st.write("Please upload an image and enter a label.")
@@ -247,39 +302,139 @@ if menu == "Acceuil":
     elif selected == "Image to text":
         st.markdown(
             """
-                            <div class='content'>
-                                <h1>Image to text</h1>
-                                <p>Convertissez des images en texte grâce à notre outil.</p>
-                            </div>
+            <div class='content'>
+                <h1>Image to text</h1>
+            </div>
+            <br/>
+            <p>Convertissez des images en texte grâce à notre outil.</p>
+
                         """,
             unsafe_allow_html=True,
         )
 
+        model_pro_vision = genai.GenerativeModel("gemini-pro-vision")
 
-elif menu == "A propos":
+        @dataclass
+        class Message:
+            actor: str
+            payload: str
+
+        USER = "user"
+        ASSISTANT = "ai"
+
+        # Interface utilisateur pour l'entrée de l'image et du libellé
+        uploaded_image_ImgTText = st.file_uploader(
+            "Upload an image", type=["jpg", "png", "jpeg"]
+        )
+
+        # Bouton pour envoyer l'image et le libellé
+        if st.button("Send"):
+            if uploaded_image_ImgTText is not None:
+                # Lire et stocker l'image temporairement
+                image = Image.open(uploaded_image_ImgTText)
+
+                st.chat_message(USER).image(image)
+
+                st.chat_message(ASSISTANT).text("Génération en cours...")
+
+                response = model_pro_vision.generate_content(
+                    ["Write a short description of the image", image],
+                    stream=True,
+                )
+
+                response.resolve()
+
+                print(response.text)
+
+                translated = GoogleTranslator(source="auto", target="fr").translate(
+                    response.text
+                )
+
+                st.chat_message(ASSISTANT).text(translated)
+
+            else:
+                st.write("Please upload an image and enter a label.")
+
+
+elif menu == "Documentation":
 
     # Lorsque "About" est sélectionné, afficher le contenu À propos dans le corps principal
     st.markdown(
         """
         # À propos de cette application
-        
-        Cette application est conçue pour démontrer diverses fonctionnalités intéressantes telles que le chatbot intelligent, la conversion de texte en parole, la classification d'images sans exemples et la conversion d'images en texte. Elle est construite en utilisant Streamlit, une bibliothèque incroyable pour créer des applications web en Python facilement et rapidement.
-        
+
+        Cette application Streamlit démontre l'utilisation avancée de l'intelligence artificielle pour fournir une variété de services, y compris un chatbot intelligent, la conversion de texte en parole, la classification d'images sans exemples préalables, et la conversion d'images en texte. Cette application est un exemple de comment les technologies de pointe peuvent être intégrées dans des applications web modernes.
+
         ## Créateur
-        
+
         - [James Olongo](https://jamesolongo.vercel.app/)
-        
+
         ## Technologies utilisées
+
+        - **Streamlit**: Un framework pour la création rapide d'applications web pour la science des données et le machine learning.
+        - **PyTorch & Transformers**: Utilisés pour les opérations de traitement du langage naturel et de génération de texte.
+        - **torchaudio & gTTS**: Pour la génération de parole et le traitement audio.
+        - **Langdetect & Pycountry**: Pour la détection de la langue et le traitement basé sur la langue.
+        - **Deep Translator**: Un puissant outil de traduction, utilisé en remplacement de Googletrans.
+        - **Google Generative AI**: Pour le chatbot intelligent, utilisant le modèle "gemini-pro" pour générer des réponses textuelles.
+        - **VITS**: Un modèle de synthèse vocale de pointe de Facebook pour la conversion de texte en parole en espagnol.
+        - **OpenAI CLIP**: Pour la classification d'images sans exemples, utilisant le modèle "clip-vit-large-patch14-336" pour la classification d'image en zero-shot.
+
+        ## Détails des Applications
+
+        ### Chatbot Intelligent
+        Utilise le modèle "gemini-pro" de Google Generative AI pour répondre aux requêtes des utilisateurs. Ce modèle est capable de comprendre et de générer des réponses à une grande variété de questions.
+        ```python
+        import google.generativeai as genai
+
+        genai.configure(api_key="API_KEY")
+
+        model = genai.GenerativeModel("gemini-pro")
+        
+        generate = model.generate_content("Comment déclarer une variable python")
+
+        response = generate.text   
+
+        ```
+
+
+        ### Texte en Parole
+        Emploie le modèle "facebook/mms-tts-spa" pour convertir du texte en parole en espagnol, démontrant la capacité de transformer le texte en un fichier audio naturel.
+        ```python
+        model = VitsModel.from_pretrained("facebook/mms-tts-spa")
+        
+        tokenizer = AutoTokenizer.from_pretrained("facebook/mms-tts-spa")
+
+        inputs = tokenizer(translated, return_tensors="pt")
+
+        with torch.no_grad():
+            output = model(**inputs).waveform
+        ```
+
+
+        ### Zero shot image classification
+        Utilise le modèle "openai/clip-vit-large-patch14-336" d'OpenAI pour classifier des images sans exemples préalables, illustrant comment une IA peut comprendre et catégoriser le contenu visuel.
+        ```python
+
+
+        model_name_zero_shot_classification = "openai/clip-vit-large-patch14-336"
         
-        - Streamlit
-        - PyTorch
-        - Transformers
-        - torchaudio
-        - gTTS
-        - Langdetect
-        - Googletrans
-        - Pycountry
-        - Google Generative AI
+        classifier_zero_shot_classification = pipeline(
+            "zero-shot-image-classification", model=model_name_zero_shot_classification
+        )
+        
+        scores = classifier_zero_shot_classification(
+            image_to_classify, candidate_labels="YOUR_LABEL"
+        )
+
+        print f"The highest score is {scores[0]['score']:.3f} for the label {scores[0]['label']}"
+
+        ```
+
+        ### Conversion d'Images en Texte
+
+
+
         """,
         unsafe_allow_html=True,
     )

requirements.txt

@@ -1,5 +1,6 @@
 altair==5.2.0
 annotated-types==0.6.0
+asttokens==2.4.1
 attrs==23.2.0
 beautifulsoup4==4.12.3
 blinker==1.7.0
@@ -8,7 +9,9 @@ certifi==2024.2.2
 chardet==3.0.4
 charset-normalizer==3.3.2
 click==8.1.7
+decorator==5.1.1
 deep-translator==1.11.4
+executing==2.0.1
 filelock==3.13.1
 fsspec==2024.2.0
 gitdb==4.0.11
@@ -31,6 +34,8 @@ httpx==0.13.3
 huggingface-hub==0.21.4
 hyperframe==5.2.0
 idna==2.10
+ipython==8.22.2
+jedi==0.19.1
 Jinja2==3.1.3
 jsonschema==4.21.1
 jsonschema-specifications==2023.12.1
@@ -38,15 +43,21 @@ langcodes==3.3.0
 langdetect==1.0.9
 markdown-it-py==3.0.0
 MarkupSafe==2.1.5
+matplotlib-inline==0.1.6
 mdurl==0.1.2
 mpmath==1.3.0
 networkx==3.2.1
 numpy==1.26.4
 packaging==23.2
 pandas==2.2.1
+parso==0.8.3
+pexpect==4.9.0
 pillow==10.2.0
+prompt-toolkit==3.0.43
 proto-plus==1.23.0
 protobuf==4.25.3
+ptyprocess==0.7.0
+pure-eval==0.2.2
 pyarrow==15.0.1
 pyasn1==0.5.1
 pyasn1-modules==0.3.0
@@ -56,6 +67,7 @@ pydantic_core==2.16.3
 pydeck==0.8.1b0
 Pygments==2.17.2
 python-dateutil==2.9.0.post0
+python-dotenv==1.0.1
 pytz==2024.1
 PyYAML==6.0.1
 referencing==0.33.0
@@ -71,6 +83,7 @@ six==1.16.0
 smmap==5.0.1
 sniffio==1.3.1
 soupsieve==2.5
+stack-data==0.6.3
 streamlit==1.32.0
 streamlit-option-menu==0.3.12
 sympy==1.12
@@ -82,7 +95,9 @@ torch==2.2.1
 torchaudio==2.2.1
 tornado==6.4
 tqdm==4.66.2
+traitlets==5.14.2
 transformers==4.38.2
 typing_extensions==4.10.0
 tzdata==2024.1
 urllib3==2.2.1
+wcwidth==0.2.13