chatbot

agents_page/recommended_agent.py

@@ -1,6 +1,13 @@
 import streamlit as st
 from utils.audit.response_llm import generate_response_via_langchain
 from textwrap import dedent
+import streamlit as st
+from langchain_openai import ChatOpenAI
+from langchain_mistralai import ChatMistralAI
+from langchain_core.prompts import ChatPromptTemplate
+from langchain_core.output_parsers import StrOutputParser
+from langchain_core.messages import AIMessage, HumanMessage
+
 #st.set_page_config(page_title="Agents recommandés", page_icon="", layout="wide")
 def remove_images_from_content(content):
     filtered_content = {}
@@ -12,8 +19,78 @@ def remove_images_from_content(content):
     
     return filtered_content
 
+def get_response(user_query, chat_history, db,llm=None,history_limit=5,stream=True):
+    retriever = db.as_retriever()
+    context = retriever.invoke(user_query)
+    template = """
+    Étant donné l'historique de la conversation : {chat_history}, le contexte qui est le document  : {context}, et la question de l'utilisateur : {user_question}, repond comme un expert en agent IA.
+    Assurez-vous que la réponse soit adaptée au niveau d'expertise de l'utilisateur et aux spécificités du contexte fourni.
+
+    """
+
+    prompt = ChatPromptTemplate.from_template(template)
+
+    #llm = ChatOpenAI(model="gpt-4o")
+    if not llm:
+        llm = ChatOpenAI(model="gpt-4o-mini")
+    elif llm == "GPT-4o":
+        llm = ChatOpenAI(model="gpt-4o")
+    elif llm == "Mistral Large 2 (FR)":
+        llm = ChatMistralAI(model_name="mistral-large-2407")
+    elif llm == "GPT-4o-mini":
+        llm = ChatOpenAI(model="gpt-4o-mini")
+    elif llm == "Mistral Nemo (FR)":
+        llm = ChatMistralAI(model_name="open-mistral-nemo-2407")
+    
+        
+    chain = prompt | llm
+
+    if not stream:
+        return chain.invoke({
+            "context": context,
+            "chat_history": chat_history[-history_limit:],
+            "user_question": user_query,
+        })
+    
+    chain = chain | StrOutputParser()
+
+    if history_limit:
+        return chain.stream({
+            "context": context,
+            "chat_history": chat_history[-history_limit:],
+            "user_question": user_query,
+        })
+    
+    return chain.stream({
+        "context": context,
+        "chat_history": chat_history,
+        "user_question": user_query,
+    })
+
+def handle_display_models(index, models_names):
+    model = st.radio("Choisir un modèle",models_names, index=index)
+    return model
+
 def recommended_agent_main():
     st.title("Agents recommandés")
+    models_names = ["GPT-4o", "GPT-4o-mini"]
+
+    if "chat_history" not in st.session_state:
+        st.session_state.chat_history = [
+        ]
+
+    if "model" not in st.session_state:
+        st.session_state.model = "GPT-4o-mini"
+
+    header = st.container()
+    col1, col2 = header.columns([1, 2])
+
+    with col1.popover("Modèles disponibles"):
+        new_model = handle_display_models(models_names.index(st.session_state.model), models_names)
+
+    st.session_state.model = new_model
+    
+    st.markdown(f"- **{st.session_state.model}**")
 
     if "audit" not in st.session_state or st.session_state.audit == {}:
         st.error("Veuillez d'abord effectuer un audit pour obtenir des recommandations d'agents.")
@@ -35,26 +112,33 @@ def recommended_agent_main():
 
     ressources = content
 
-    prompt = '''Tu es designer en intelligence artificielle (IA) spécialisé dans la création d'agents IA autonomes et performants.
-        A partir de ressources fournies par l'utilisateur (texte, documents, images, audio), tu es chargé de suggérer la création d'agents autonomes pour mettre en pratique les informations contenues dans les ressources fournies.
+    prompt = '''
+    Tu es designer en intelligence artificielle (IA) spécialisé dans la création d'agents IA autonomes et performants.
+
+    A partir de ressources fournies par l'utilisateur (texte, documents, images, audio), tu es chargé de réaliser les tâches suivantes :
 
-        Tu proposes deux solutions :
+    A/ Faire un résumé des ressources fournies en 500 caractères maximum
 
-        Sol. A : 1 seul agent IA dont tu suggéreras :
-        * Nom
-        * Rôle
-        * Objectifs
-        * Outils utilisés par l'agent
-        * Tâches réalisées par l'agents
-        * Compétences de l'agent (backstory)
+    B/ Suggérer la création d'agents autonomes pour mettre en pratique les informations contenues dans les ressources fournies.
 
-        Sol. B : 1 équipe d'agents tu suggéreras :
-        * Le nombre d'agents
-        * Pour chacune d'eux [Nom, Rôle, Objectifs, Outils utilisés par l'agent, Tâches réalisées par l'agents, Compétences de l'agent (backstory)]
+    Tu proposes deux solutions :
+
+    Sol. A : 1 seul agent IA dont tu suggéreras :
+            * Nom
+            * Rôle
+            * Objectifs
+            * Outils utilisés par l'agent
+            * Tâches réalisées par l'agents
+            * Compétences de l'agent (backstory)
+
+    Sol. B : 1 équipe d'agents tu suggéreras :
+            * Le nombre d'agents
+            * Pour chacune d'eux [Nom, Rôle, Objectifs, Outils utilisés par l'agent, Tâches réalisées par l'agents, Compétences de l'agent (backstory)]
+
+    Une fois ce travail réalisé, tu proposes une série de 3 missions avec objectifs SMART pour chacun des agents  Sol. A et Sol. B en présentation les résultats dans un tableau contenant :
+            * Nom de l’agent
+            * Objectifs à atteindre
 
-        Une fois ce travail réalisé, tu proposes une série de 3 missions avec objectifs SMART pour chacun des agents  Sol. A et Sol. B en présentation les résultats dans un tableau contenant :
-        Nom de l’agent
-        Objectifs à atteindre
         '''
     
     #display prompt and modify it 
@@ -63,9 +147,37 @@ def recommended_agent_main():
     if st.button("Générer les recommandations"):
         resource_prompt = f'''Ressources fournies par l'utilisateur :{ressources}'''
         prompt_modified = f"{prompt_modified}\n{resource_prompt}"
-        st.session_state.response_llm = st.write_stream(generate_response_via_langchain(query=prompt_modified,stream=True))
+        with st.chat_message("AI"):
+            st.session_state.response_llm = st.write_stream(generate_response_via_langchain(query=prompt_modified,stream=True))
+        st.session_state.chat_history.append(AIMessage(content=st.session_state.response_llm))
     elif st.session_state.response_llm:
         st.info("la dernière réponse générée est affichée ci-dessous")
-        st.write(st.session_state.response_llm)
+        with st.chat_message("AI"):
+            st.write(st.session_state.response_llm)
+    
+    for message in st.session_state.chat_history[1:]:
+        if isinstance(message, AIMessage):
+            with st.chat_message("AI"):
+                st.markdown(message.content)
+        elif isinstance(message, HumanMessage):
+            with st.chat_message("Moi"):
+                st.write(message.content)
+
+    user_query = st.chat_input("Par ici ...")
+    if user_query is not None and user_query != "":
+        st.session_state.chat_history.append(HumanMessage(content=user_query))
+
+        with st.chat_message("Moi"):
+            st.markdown(user_query)
+        
+        with st.chat_message("AI"):
+            st.markdown(f"**{st.session_state.model}**")
+    
+
+            response = st.write_stream(get_response(user_query, st.session_state.chat_history,db=st.session_state.vectorstore, llm=st.session_state.model, stream=True))
+            st.session_state.chat_history.append(AIMessage(content=response))
+
+
+
 
 recommended_agent_main()

app.py

@@ -17,8 +17,8 @@ def main():
 
     pg = st.navigation(
         {
-            "Audit de contenus": [audit_page, kg_page],
-            "Equipe d'agents IA": [recommended_agents,agents_page],
+            "Audit de contenus": [audit_page],
+            "Equipe d'agents IA": [recommended_agents],
             "Chatbot": [chatbot],
             "Documentation": [documentation]
         }

audit_page/audit.py

@@ -2,6 +2,7 @@ import streamlit as st
 import pymupdf as fitz
 import pyperclip
 from utils.audit.audit_doc import audit_descriptif_pdf,audit_text
+from utils.audit.rag import setup_rag
 import dotenv
 from utils.audit.audit_audio import evaluate_audio_quality
 from PIL import Image
@@ -56,7 +57,7 @@ def display_content_doc(content:dict,col:st):
         else:
             text = page["texte"]
         
-        col.text_area("Texte",text,height=200)
+        col.code(text,language="text")
     
     elif option == "liens":
         if number == 0:
@@ -208,6 +209,8 @@ def audit_main():
         st.session_state.name_file = ""
     if "audit_simplified" not in st.session_state:
         st.session_state.audit_simplified = {}
+    if "vectorstore" not in st.session_state:
+        st.session_state.vectorstore = None
 
     # File uploader
     uploaded_file = col1.file_uploader("Télécharger un ou plusieurs documents")
@@ -223,5 +226,7 @@ def audit_main():
     if "audit" in st.session_state and st.session_state.audit != {}:
         display_audit(col1)
         handle_display_content(col2)
+        vectorstore = setup_rag(st.session_state.audit_simplified["type de fichier"],st.session_state.audit["content"])
+        st.session_state.vectorstore = vectorstore
 
 audit_main()

requirements.txt

@@ -17,3 +17,4 @@ langchain-core
 langchainhub
 langchain-openai
 langchain-mistralai
+faiss-cpu

utils/audit/rag.py

@@ -0,0 +1,52 @@
+import streamlit as st
+from dotenv import load_dotenv
+from PyPDF2 import PdfReader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain_community.embeddings import OpenAIEmbeddings
+from langchain_community.vectorstores import FAISS
+from langchain_community.chat_models import ChatOpenAI
+from langchain.llms import HuggingFaceHub
+from langchain import hub
+from langchain_core.output_parsers import StrOutputParser
+from langchain_core.runnables import RunnablePassthrough
+from langchain_community.document_loaders import WebBaseLoader
+
+
+def get_text_from_content_for_doc(content):
+    text = ""
+    for page in content:
+        text += content[page]["texte"]
+    return text
+
+def get_text_from_content_for_audio(content):
+    return content["transcription"]
+
+
+def get_text_chunks(text):
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=500, # the character length of the chunck
+        chunk_overlap=100, # the character length of the overlap between chuncks
+        length_function=len # the length function - in this case, character length (aka the python len() fn.)
+    )
+    chunks = text_splitter.split_text(text)
+    return chunks
+
+def get_vectorstore(text_chunks):
+    embedding = OpenAIEmbeddings(model="text-embedding-3-small")
+    vectorstore = FAISS.from_texts(texts=text_chunks, embedding=embedding)
+    return vectorstore
+
+def setup_rag(file_type,content):
+    if file_type == "pdf":
+        text = get_text_from_content_for_doc(content)
+    elif file_type == "audio":
+        text = get_text_from_content_for_audio(content)
+    
+
+    chunks = get_text_chunks(text)
+
+    vectorstore = get_vectorstore(chunks)
+    
+    return vectorstore
+
+