from langchain_community.llms import HuggingFaceEndpoint from langchain_core.prompts import PromptTemplate from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain.memory import ChatMessageHistory, ConversationBufferMemory from langchain.schema import StrOutputParser from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableLambda from langchain.schema.runnable.config import RunnableConfig from langchain.schema import StrOutputParser from langchain.document_loaders.csv_loader import CSVLoader import os import pandas as pd import numpy as np from langchain.agents import AgentExecutor from langchain.agents.agent_types import AgentType from langchain_experimental.agents.agent_toolkits import create_csv_agent from deep_translator import GoogleTranslator import chainlit as cl def library(): return "Exemple de requêtes sur les données des emplois'.\n\nQ1 : donne les 10 métiers principaux. Génère le résultat dans un tableau avec les compétences représentatives correspondant à chaque emploi.\nQ2 : donne les 10 compétences principales. Génère le résultat dans un tableau avec les emplois représentatifs correspondant à chaque compétence.\nQ3 : Donne les 10 compétences principales. Génère le résultat dans un tableau avec les niveaux de qualification représentatifs correspondant à chaque compétence.\nQ4 : donne les 10 compétences principales. Génère le résultat dans un tableau avec les salaires représentatifs correspondant à chaque compétence.\nQ5 : donne les 10 compétences principales. Génère le résultat dans un tableau avec les contrats représentatifs correspondant à chaque compétence.\nQ6 : donne les 10 contrats principaux. Génère le résultat dans un tableau avec les emplois représentatifs correspondant à chaque contrat." @cl.author_rename def rename(orig_author: str): rename_dict = {"AgentExecutor": "Agent conversationnel", "Error": "Réponse de l'assistant", "DatapccSkillStream": "Copilot", "load_memory_variables": "Historique de conversation 💬", "Retriever": "Agent conversationnel", "StuffDocumentsChain": "Chaîne de documents", "LLMChain": "Agent", "HuggingFaceEndpoint": "Réponse de Mistral AI 🤖"} return rename_dict.get(orig_author, orig_author) @cl.on_chat_start async def on_chat_start(): await cl.Message(f"> Votre assistant conversationnel vous permet d'analyser les données du marché de l'emploi par formation, issues de France Travail.").send() listPrompts_name = f"Liste des requêtes" prompt_elements = [] prompt_elements.append( cl.Text(content=library(), name=listPrompts_name) ) await cl.Message(content="📚 Bibliothèque de questions : " + listPrompts_name, elements=prompt_elements).send() await cl.Avatar( name="You", url="https://cipen.univ-gustave-eiffel.fr/typo3conf/ext/cipen_package/Resources/Public/Dataviz/datalab/Venus/logo-ofipe.jpg", ).send() loader = CSVLoader(file_path="./public/FilesMarcheEmploi.csv", csv_args={"delimiter": ",", "fieldnames": ["Label", "Number"],},) data = loader.load() actions = [] for j in range(0,len(data)): datas = data[j].page_content datasArray = datas.split(':') label = datasArray[1].replace('Number','') value = datasArray[2] actions.append(cl.Action(name="selectRome", value=value, label=label),) selectRome = await cl.AskActionMessage( content="Sélectionnez une formation pour laquelle le COPILOT vous assistera :", actions=actions, timeout=600, ).send() if selectRome and selectRome.get("name") == "selectRome": await cl.Message( content=f"Vous pouvez utiliser le COPILOT pour répondre à vos questions sur : \"{selectRome.get('label')}\", Codes ROME : \"{selectRome.get('value')}\"", ).send() selectRomes = selectRome.get('value') os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN'] repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1" llm = HuggingFaceEndpoint( repo_id=repo_id, temperature=1.0 ) agent = create_csv_agent( llm, "https://cipen.univ-gustave-eiffel.fr/typo3conf/ext/cipen_package/Resources/Public/Dataviz/datalab/crossfilterings/EmploisRome/" + selectRomes[1:] + ".csv", verbose=False, agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION, max_iterations=5, ) cl.user_session.set("runnable", agent) @cl.on_message async def on_message(message: cl.Message): memory= cl.user_session.get("memory") runnable = cl.user_session.get("runnable") # type: Runnable cb = cl.AsyncLangchainCallbackHandler() try: res = await runnable.acall("Tu es un spécialiste du marché de l'emploi. Tu es en capacité d'analyser les emplois et d'en décrire les caractéristiques par rapport aux types de contrat, par rapport aux compétences professionnelles, par rapport aux niveaux de qualification. Réponds en langue française à la question suivante : " + message.content + "\nSi l'information est manquante ou de type nan, fais un projection ou une estimation.\nDétaille la réponse en faisant une analyse complète sachant que la colonne Poste correspond à la colonne des emplois, la colonne Contrat correspond à la colonne des types de contrat, la colonne Savoir correspond à la colonne des compétences professionnelles demandées par les employeurs, la colonne Localisation correspond à la colonne des départements, la colonne Niveau correspond à la colonne des niveaux de qualification.", callbacks=[cb]) translated = GoogleTranslator(source='auto', target='de').translate("keep it up, you are awesome") await cl.Message(author="COPILOT",content=GoogleTranslator(source='auto', target='fr').translate(res['output'])).send() listPrompts_name = f"Liste des requêtes" prompt_elements = [] prompt_elements.append( cl.Text(content=library(), name=listPrompts_name) ) await cl.Message(content="📚 Bibliothèque de questions : " + listPrompts_name, elements=prompt_elements).send() except ValueError as e: res = str(e) resArray = res.split(":") ans = '' if str(res).find('parsing') != -1: for i in range(2,len(resArray)): ans += resArray[i] await cl.Message(author="COPILOT",content=ans.replace("`","")).send() listPrompts_name = f"Liste des requêtes" prompt_elements = [] prompt_elements.append( cl.Text(content=library(), name=listPrompts_name) ) await cl.Message(content="📚 Bibliothèque de questions : " + listPrompts_name, elements=prompt_elements).send() else: await cl.Message(author="COPILOT",content="Reformulez votre requête, s'il vous plait 😃").send()