Add video and audio

.gitignore

@@ -1,5 +1,13 @@
 .idea/
 .venv/
 .env
+__pycache__/
 
-tests.ipynb
+tests.ipynb
+example_questions.pdf
+
+data.json
+audio.wav
+video.mp4
+
+prompts/

README.md

@@ -4,7 +4,7 @@ emoji: 💻
 colorFrom: yellow
 colorTo: blue
 sdk: gradio
-sdk_version: 4.13.0
+sdk_version: 4.2.0
 app_file: app.py
 pinned: false
 ---

app.py

@@ -1,143 +1,69 @@
-import os
-import pinecone
-import gradio as gr
-from openai import OpenAI
+from functions import *
 from dotenv import load_dotenv
 
 load_dotenv()
 
-openai_client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))
-pinecone.init(api_key=os.getenv("PINECONE_API_TOKEN"), environment=os.getenv("PINECONE_ENVIRONMENT"))
-index = pinecone.Index(os.getenv("PINECONE_INDEX"))
 
-
-def init_prompt(type_prompt: str) -> str:
-    if type_prompt == "main":
-        name_file = 'main_prompt.txt'
-    else:
-        name_file = 'standalone_question.txt'
-
-    with open(f"prompts/{name_file}", mode='r', encoding='utf-8') as infile:
-        prompt = infile.read()
-
-    return prompt
-
-
-def get_embedding(text: str) -> list[float]:
-    response = openai_client.embeddings.create(
-        input=text,
-        model='text-embedding-ada-002'
+with (gr.Blocks() as app):
+    user_id = gr.State('')  # id used to find the chat into the database
+
+    with gr.Tab('Test Chats'):
+        with gr.Row() as select_author:
+            chat_btn = gr.Button(value='Start chat')
+
+        # ------------------------------------- Chat -------------------------------------------
+        with gr.Row(visible=False) as chatbot:
+            with gr.Column():
+                with gr.Row():
+                    video = gr.Video(interactive=False, label='Video', autoplay=True)
+                with gr.Row():
+                    output_audio = gr.Audio(interactive=False, label='Audio', autoplay=True)
+                with gr.Row():
+                    checkbox_video = gr.Checkbox(
+                        label='Get video', info='Remember that this has a cost'
+                    )
+                    checkbox_audio = gr.Checkbox(
+                        label='Get only audio', info='This is free but makes API slower'
+                    )
+                    radio = gr.Radio(
+                        choices=['local', 'remote'], value='remote', label='Backend used', visible=False
+                    )
+
+            with gr.Column():
+                with gr.Row():
+                    chat = gr.Chatbot(label='Chat')
+                with gr.Row():
+                    with gr.Column():
+                        text = gr.Text(label='Write your question')
+                    with gr.Column():
+                        audio = gr.Audio(sources=['microphone'], type='filepath', label='Tell me your question')
+                        button_audio = gr.Button(value='Submit audio')
+
+    # -------------------------------------- Actions -----------------------------------------
+    chat_btn.click(
+        make_invisible, None, select_author
+    ).then(
+        make_visible, None, chatbot
+    ).then(
+        init_chatbot, [chat, radio], [video, chat, user_id]
     )
-    return response.data[0].embedding
-
 
-def call_api(message_history: list[dict]) -> str:
-    response = openai_client.chat.completions.create(
-        model='gpt-4-1106-preview',
-        temperature=0.7,
-        messages=message_history
+    text.submit(
+        get_answer_text,
+        [text, chat, user_id, checkbox_video, checkbox_audio, radio],
+        [video, output_audio, chat, text]
     )
-    return response.choices[0].message.content
-
-
-def get_standalone_question(question: str, message_history: list[dict], prompt_q: str) -> str:
-    # Format the message history like: Human: blablablá \nAssistant: blablablá
-    history = ''
-    for i, msg in enumerate(message_history):
-        if i == 0:
-            continue  # Omit the prompt
-        if i % 2 == 0:
-            history += f'Human: {msg["content"]}\n'
-        else:
-            history += f'Assistant: {msg["content"]}\n'
-
-    # Add history and question to the prompt and call chatgpt
-    prompt = [{'role': 'system', 'content': ''}]
-    content = prompt_q.replace('HISTORY', history).replace('QUESTION', question)
-    prompt[0]['content'] = content
-
-    return call_api(prompt)
-
-
-def get_context(question: str) -> str:
-    q_embedding = get_embedding(question)
-
-    # Get most similar vectors
-    result = index.query(
-        vector=q_embedding,
-        top_k=10,
-        include_metadata=True
-    )['matches']
-
-    # Crete a string based on the text of each vector
-    context = ''
-    for r in result:
-        context += r['metadata']['Text'] + '\n'
-    return context
-
-
-def get_answer(context: str, message_history: list[dict], question: str, prompt_m: str) -> str:
-    message_history[0]['content'] = prompt_m.replace('CONTEXT', context)
-    message_history.append({'role': 'user', 'content': question})
-    return call_api(message_history)
-
-
-def ask_query(
-        msg: str, chat_history: list[list[str | None]], message_history: list[dict], prompt_q: str, prompt_m: str
-) -> tuple[str, list[list[str | None]], list[dict]]:
-
-    if len(chat_history) == 5:
-        answer = 'Un placer haberte ayudado, hasta luego!'
-
-    else:
-        question = get_standalone_question(msg, message_history, prompt_q)
-        print(question)
-        context = get_context(question)
-        print(context)
-        answer = get_answer(context, message_history, question, prompt_m)
-
-    message_history.append({'role': 'assistant', 'content': answer})
-    chat_history.append([msg, answer])
-
-    return "", chat_history, message_history
-
-
-def start_chat(chat_history: list[list[str | None]], prompt_m: str):
-    greeting = ('Hola 👋, ¡estoy encantada de conversar contigo! Antes de empezar, quiero asegurarte algo '
-                'importante: tu privacidad y confidencialidad son mi máxima prioridad. Puedes estar '
-                'tranquila sabiendo que nuestras conversaciones son completamente seguras y nunca '
-                'serán compartidas con terceros. ¿En qué puedo ayudarte hoy?')
-
-    message_history = [
-        {'role': 'system', 'content': prompt_m},
-        {'role': 'assistant', 'content': greeting}
-    ]
-
-    chat_history.append(['', greeting])
-
-    return message_history, chat_history, gr.Button(visible=False), gr.Text(visible=True)
-
-
-with gr.Blocks() as app:
-    prompt_questions = gr.State(init_prompt('questions'))
-    prompt_main = gr.State(init_prompt('main'))
-    msg_history = gr.State([])
-
-    chatbot = gr.Chatbot(label='Bella Nosotras')
-    start_button = gr.Button()
-    message = gr.Textbox(visible=False)
 
-    start_button.click(
-        start_chat,
-        [chatbot, prompt_main],
-        [msg_history, chatbot, start_button, message]
+    button_audio.click(
+        get_answer_audio,
+        [audio, chat, user_id, checkbox_video, checkbox_audio, radio],
+        [video, output_audio, chat, audio]
     )
 
-    message.submit(
-        ask_query,
-        [message, chatbot, msg_history, prompt_questions, prompt_main],
-        [message, chatbot, msg_history]
+    output_audio.stop(
+        lambda: None, None, output_audio
     )
 
 
-app.launch(debug=True, auth=(os.environ.get("SPACE_USERNAME"), os.environ.get("SPACE_PASSWORD")))
+app.queue()
+app.launch(debug=True, auth=(os.environ.get('SPACE_USERNAME'), os.environ.get('SPACE_PASSWORD')))

functions.py

@@ -0,0 +1,123 @@
+import os
+import base64
+import shutil
+import requests
+import gradio as gr
+from datetime import datetime
+
+
+def make_invisible():
+    """
+    Makes visible a row
+    """
+    return gr.Row.update(visible=False)
+
+
+def make_visible():
+    """
+    Makes visibles a rows
+    """
+    return gr.Row.update(visible=True)
+
+
+def _query(payload, backend_location: str, type_query: str):
+    """
+    Returns the json from a post request. It is done to the BellaAPI
+    """
+    API_TOKEN = os.getenv(f'API_TOKEN')
+    API_URL = os.getenv(f'API_URL_{backend_location}') + f'{type_query}/'
+
+    headers = {
+        "Authorization": f"Bearer {API_TOKEN}",
+        "Content-Type": "application/json"
+    }
+
+    response = requests.post(API_URL, headers=headers, json=payload)
+    return response.json()
+
+
+def _download_media(url: str, type_media: str) -> None:
+    """
+    Downloads a video or audio (depending on the type_media) that can be
+    used inside a gr.Video or gr.Audio
+    """
+    name = 'video.mp4' if type_media == 'video' else 'audio.wav'
+    with requests.get(url, stream=True) as r, open(name, "wb") as f:
+        shutil.copyfileobj(r.raw, f)
+
+
+def init_chatbot(chatbot: list[tuple[str, str]],  backend_location: str):
+    """
+    Returns a greeting video, with its transcription and the user_id that
+    will be used later in the other requests
+    """
+    l = 'es'
+
+    # Call API with the following json
+    inputs = {
+        "date": datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
+        'language': l,
+        'get_video': True
+    }
+    output = _query(inputs, backend_location, 'start_chat')
+
+    chatbot.append(('', output['answer']))
+    _download_media(output['link_media'], 'video')
+
+    return 'video.mp4', chatbot, output['user_id']
+
+
+def get_answer_text(
+        question: str, chatbot: list[tuple[str, str]], user_id: str, checkbox_video: bool, checkbox_audio: bool,
+        backend_location: str
+):
+    """
+    Gets the answer of the chatbot
+    """
+
+    # Create json and send it to the API
+    inputs = {
+        'text': question, 'user_id': user_id, 'get_video': checkbox_video, 'get_audio': checkbox_audio,
+    }
+    output = _query(inputs, backend_location, 'get_answer')
+    return _update_elements(question, chatbot, output, checkbox_video, checkbox_audio, '')
+
+
+def get_answer_audio(
+        audio_path, chatbot: list[tuple[str, str]], user_id: str, checkbox_video: bool, checkbox_audio: bool,
+        backend_location: str
+):
+    """
+    Gets the answer of the chatbot
+    """
+    # Encode audio data to Base64
+    with open(audio_path, 'rb') as audio_file:
+        audio_data = audio_file.read()
+    encoded_audio = base64.b64encode(audio_data).decode('utf-8')
+
+    # Create json and send it to the API
+    inputs = {
+        'is_audio': True, 'audio': encoded_audio, 'user_id': user_id, 'get_video': checkbox_video,
+        'get_audio': checkbox_audio
+    }
+    output = _query(inputs, backend_location, 'get_answer')
+
+    # Transcription of the audio
+    question = output['question']
+    return _update_elements(question, chatbot, output, checkbox_video, checkbox_audio, None)
+
+
+def _update_elements(question, chatbot, output, checkbox_video, checkbox_audio, clean):
+    """
+    Adds the video, output audio, interaction and cleans the text or audio
+    """
+    chatbot.append((question, output['answer']))
+    link_media = output['link_media']
+    if checkbox_video:
+        _download_media(link_media, 'video')
+        return 'video.mp4', None, chatbot, clean
+    elif checkbox_audio:
+        _download_media(link_media, 'audio')
+        return None, 'audio.wav', chatbot, clean
+    else:
+        return None, None, chatbot, clean

prompts/main_prompt.txt

@@ -1,27 +0,0 @@
-Tu eres Bella es una mujer de 32 años, amigable, sensible y comprensiva. Eres una confidente que entiende todo lo relacionado con el tema de la menstruación y la higiene íntima de la marca Nosotras, también comprendes las emociones de las mujeres durante la menstruación y el ciclo menstrual. Eres  la amiga que necesita cualquier mujer para ser escuchada y validada en cualquier momento de tu ciclo menstrual, y a la que le consultan sobre productos de higiene menstrual e íntima de la marca Nosotras, cuáles son los mejores y se adecuan a sus necesidades.
-
-Tono de Comunicación: Tu tono debe ser amigable, empático y sensible. Debes comunicarte de manera natural y fácil de entender. Usa palabras simples y un lenguaje que se sienta cercano. Además, no repites información dada anteriormente.
-Objetivo de Bella: Tu objetivo es brindar información y apoyo relacionado con productos de higiene menstrual e higiene íntima, recomendando productos específicos de la marca Nosotras.
-
-Si te preguntan sobre situaciones donde se requiera asesoramiento médico o psicológico e invita a la usuaria a visitar el consultorio virtual de Nosotras: https://www.nosotrasonline.com.co/entre-nosotras/consultorios/ . Evita dar consejos o información relacionados con prácticas médicas, remite a profesionales de la salud.
-
-Instrucciones para tener cualquier conversación. Debes hacer siempre lo siguiente:
-
-Describe los diferentes tipos de productos de higiene menstrual disponibles hablando de sus materiales, beneficios, para qué sirven y en qué tiendas comprarlos según la información de www.nosotrasonline.com.co . Explica todo máximo en 5 frases.
-Pregunta a las usuarias sobre sus alergias o sensibilidades relacionadas con ciertos materiales y evita recomendarles productos que contengan dichos materiales cuando te digan que son alérgicas a ellos.
-Promueve el respeto a la autonomía y decisiones individuales de las usuarias.
-Muéstrate sensible a la diversidad de experiencias y circunstancias de las usuarias.
-
-Estos son algunos ejemplos de los usuarios que tendrías:
-
-Soy una mujer adolescente entre los 12 y los 18 que menstrua por primera vez, tengo muchas dudas sobre qué productos usar y preguntas sobre la menstruación y el ciclo menstrual.
-Soy una mujer entre los 18 y los 40 años que lleva un tiempo menstruando, quiere mejorar mi calidad de vida con productos cómodos y que me protejan de manchas en cualquier momento del día. También tengo preguntas y dudas relacionadas con mitos o tabúes que quiero desvirtuar o cambios en mi ciclo menstrual.
-Soy una mujer entre los 40 y 55 años que está cerca de la menopausia o está pasando por una, y tengo dudas sobre qué productos de higiene menstrual e íntima debería comenzar a usar, además de preguntas relacionadas con los diferentes cambios que vienen con la menopausia.
-
-
-Para responder las preguntas, utiliza la siguiente información. Si la informacion dada no es suficiente, no inventes información y dile al usuario que visite esta página: https://www.nosotrasonline.com.co/
-
-=========
-Contexto:
-CONTEXT
-=========

prompts/standalone_question.txt

@@ -1,6 +0,0 @@
-Your goal is to rephrase questions related to the brand Nosotras (which is a brand for feminine hygiene products) to show what is the best advice for the customer. Given the following conversation and a follow up question, rephrase the follow up question to be a standalone phrase where you show the best recommendation for the customer. Always include all the important information, specially all name of the nouns and the intention of the customer. For example, if the user says "Me siento incomoda con las toallas gruesas, cual me recomiendas?" The standalone phrase should me something like "necesito toallas menos gruesas y más cómodas". There might be moments when there isn't a question in those cases return a standalone phrase: for example if the user says "hello" (or something similar) then the output would be "the user wants to say hello", or if the user says "thank you" (or something similar) then it would be "the user is saying thank you", or if the user says "great", "it is very helpfully" (or something similar) then it would be "user thinks the recommendation is great". Your answer will always be in spanish.
-Chat History:
-
-HISTORY
-Follow-up Input: QUESTION
-Standalone question: