main.py

import json
import os
import time
import datetime
import pandas as pd
from langsmith import traceable
import uuid
import langsmith as ls
from pathlib import Path
import chainlit as cl

from deep_translator import GoogleTranslator
from operator import itemgetter
from langchain_huggingface import HuggingFaceEndpoint
from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableLambda
from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.memory import ChatMessageHistory, ConversationBufferMemory
from langchain.schema.runnable.config import RunnableConfig
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_pinecone import PineconeVectorStore

from offres_emploi import Api
from offres_emploi.utils import dt_to_str_iso

os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']

session_id = str(uuid.uuid4())

@cl.step(type="tool", show_input=True)
@ls.traceable(run_type="tool", name="Retrieve Context : chargement des données Gustaviz")
def Chargement_des_datas(profile):
    if profile == "Toutes les formations":
        file_path='./public/content-MIPI-MITIC.json'
    elif profile == "Licence MIPI":
        file_path='./public/content-Licence-MIPI.json'
    elif profile == "Licence MITIC":
        file_path='./public/content-Licence-MITIC.json'
    elif profile == "Master 1 MIPI":
        file_path='./public/content-Master1-MIPI.json'
    elif profile == "Master 2 MIPI":
        file_path='./public/content-Master2-MIPI.json'
    elif profile == "Master 1 MITIC":
        file_path='./public/content-Master1-MITIC.json'
    elif profile == "Master 2 MITIC":
        file_path='./public/content-Master2-MITIC.json'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.json'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.json'

    return json.loads(Path(file_path).read_text())

@cl.step(type="tool", show_input=True)
@ls.traceable(run_type="tool", name="Retrieve Context : chargement des données Web")
def Chargement_des_datas_web(profile):
    if profile == "Toutes les formations":
        file_path='./public/html-MIPI-MITIC.txt'
    elif profile == "Licence MIPI":
        file_path='./public/html-Licence-MIPI.txt'
    elif profile == "Licence MITIC":
        file_path='./public/html-Licence-MITIC.txt'
    elif profile == "Master 1 MIPI":
        file_path='./public/html-Master-MIPI.txt'
    elif profile == "Master 2 MIPI":
        file_path='./public/html-Master-MIPI.txt'
    elif profile == "Master 1 MITIC":
        file_path='./public/html-Master-MITIC.txt'
    elif profile == "Master 2 MITIC":
        file_path='./public/html-Master-MITIC.txt'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.txt'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.txt'
        
    fileOpen = open(file_path, "r")
    txt = fileOpen.read()
    fileOpen.close()
    return txt
    
def connexion_France_Travail():
    client = Api(client_id=os.getenv('POLE_EMPLOI_CLIENT_ID'),
                client_secret=os.getenv('POLE_EMPLOI_CLIENT_SECRET'))
    return client

def connexion_vector_database():
    os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
    os.environ['PINECONE_INDEX_NAME'] = os.environ['PINECONE_INDEX_NAME'] = 'all-skills'
    embeddings = HuggingFaceEmbeddings()
    docsearch = PineconeVectorStore.from_existing_index(os.environ['PINECONE_INDEX_NAME'], embeddings)
    return docsearch

@traceable(run_type="chain", name="API France Travail : recherche par code ROME",)
def API_France_Travail_ROME(romeListArray):
    client = connexion_France_Travail()
    todayDate = datetime.datetime.today()
    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
    start_dt = todayDate.replace(day=1, month=month, year=year)
    end_dt = datetime.datetime.today()
    results = []
    romeList = []
    if romeListArray.find('-') != -1:
        romeList = romeListArray.split('-')
    else:
        romeList.append(romeListArray)
    for k in romeList:
        k = k.lstrip()
        k = k.rstrip()
        params = {"motsCles": k.replace('/', '').replace('-', '').replace(',', '').replace(' ', ','),'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
        try:
            search_on_big_data = client.search(params=params)
            results += search_on_big_data["resultats"]
        except:
            print("Il n'y a pas d'offres d'emploi.")
        
    results_df = pd.DataFrame(results)
    return results_df

@traceable(run_type="chain", name="API France Travail : recherche par métier type",)
def API_France_Travail_Metier(metier):
    os.environ['PINECONE_API_KEYROME'] = os.environ['PINECONE_API_KEYROME']
    docsearch = connexion_vector_database()
    retrieve_comp = docsearch.similarity_search(metier, k=2, filter={"categorie": {"$eq": os.environ['PINECONE_API_KEYROME']}})
    codeRome = []
    for i in range(0,len(retrieve_comp)):
      codeRome.append(retrieve_comp[i].metadata['code_rome'])

    client = connexion_France_Travail()
    todayDate = datetime.datetime.today()
    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
    start_dt = todayDate.replace(day=1, month=month, year=year)
    end_dt = datetime.datetime.today()
    results = []  
    
    for k in codeRome:
        params = {"motsCles": k,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
        try:
            search_on_big_data = client.search(params=params)
            results += search_on_big_data["resultats"]
        except:
            print("Il n'y a pas d'offres d'emploi.")
    
    results_df = pd.DataFrame(results)
    return results_df

@cl.step(type="llm", show_input=True)
def Connexion_Mistral():
    #endpoint = "https://models.inference.ai.azure.com"
    #return Mistral(api_key=os.environ["GITHUB_TOKEN"], server_url=endpoint)
    repo_id = "mistralai/Mistral-7B-Instruct-v0.2"
    #repo_id = "mlx-community/Ministral-8B-Instruct-2410-8bit"
    #repo_id = "unsloth/Mistral-Nemo-Base-2407-bnb-4bit"
    #repo_id = "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
    #repo_id = "Qwen/Qwen2.5-3B-Instruct"
    #repo_id = "HuggingFaceH4/zephyr-7b-beta"
    #repo_id = "HuggingFaceH4/zephyr-7b-alpha"
    #repo_id = "microsoft/Phi-3-mini-128k-instruct"
    #repo_id = "tiiuae/falcon-7b-instruct"
    #repo_id = "HuggingFaceTB/SmolLM2-1.7B-Instruct"
    #repo_id = "microsoft/Phi-3.5-mini-instruct"
    #repo_id = "meta-llama/Llama-3.2-3B-Instruct"
    llm = HuggingFaceEndpoint(
        repo_id=repo_id, max_new_tokens=3000, temperature=0.5, top_p=0.7, task="text2text-generation", streaming=True
    )
    return llm

@cl.step(type="tool", show_input=True)
@ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation")
def Generation_reponse(client):
    if not cl.user_session.get("saveMemory"):
        cl.user_session.set("saveMemory", "")
    cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
    memory = cl.user_session.get("memory")
    prompt = ChatPromptTemplate.from_messages(
        [
            (
                "system",
                f"Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie, en France. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers",
            ),
            MessagesPlaceholder(variable_name="history"),
            ("human", "Contexte : {data}.\n{question}. Donne le résultat au format texte markdown, sansa générer de bloc de code, jusqu'à 10000 caractères convertis en UTF-8, en langue française absolument. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Après et en plus, termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\". Si le sens de la question demande la création d'une grille d'évaluation, remplis les lignes et toutes les colonnes du tableau, en donnant des exemples de commentaire sur les échelles de notation 1 et 3 et 5, dont le header est déterminé par les intitulés suivants : | Critères d'évaluation | Échelle de notation (1-5) | Commentaires |\n.Réponds en langue française seulement et exclusivement."),
        ]
    )
    runnable = (
        RunnablePassthrough.assign(
            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
        )
        | prompt
        | client
    )
    
    return runnable

@ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation")
def Generation_completion(client, data, question):
    if not cl.user_session.get("saveMemory"):
        cl.user_session.set("saveMemory", "")
    cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
    memory = cl.user_session.get("memory")
    prompt = ChatPromptTemplate.from_messages(
        [
            (
                "system",
                f"Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie, en France. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers",
            ),
            MessagesPlaceholder(variable_name="history"),
            ("human", "Contexte : {data}.\n{question}. Donne le résultat au format texte markdown, sansa générer de bloc de code, jusqu'à 10000 caractères convertis en UTF-8, en langue française absolument. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Après et en plus, termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\". Réponds en langue française seulement et exclusivement."),
        ]
    )
    runnable = (
        RunnablePassthrough.assign(
            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
        )
        | prompt
        | client
    )
    msg = runnable.invoke({"question": question, "data": data})
    return msg
   
@cl.step(type="tool", show_input=True)
@traceable(run_type="chain", name="Mistral Assistant des datas Gustaviz",)
async def Affichage_reponse(response, question, data):
    memory = cl.user_session.get("memory")
    result = cl.Message(author="COPILOT",content="")
    #async for chunk in response.astream({"question": question, "data": data},config=RunnableConfig(callbacks=[cl.AsyncLangchainCallbackHandler(stream_final_answer=True)])):
    #    time.sleep(0.125)
    #    await result.stream_token(chunk.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
    
    #### Avec Traduction #####
    msg = response.invoke({"question": question, "data": data})
    #msg = msg.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/','')
    msg = GoogleTranslator(source='auto', target='fr').translate(msg[0:4999])
    msgList = msg.split(' ')
    for chunk in msgList:
        time.sleep(0.125)
        await result.stream_token(chunk + ' ')
    #### Avec Traduction #####

    #msg = result.content
    await result.send()
    memory.chat_memory.add_user_message(question)
    memory.chat_memory.add_ai_message(msg)
    
    return msg

@cl.step(type="tool", show_input=True)
async def Affichage_question_contexte(answer, question, contexte):
    try:
        indexDeb = answer.index("Question en relation avec le sujet")
        indexDebLength = len("Question en relation avec le sujet")
    except:
        if answer.find("Question relative au contexte") != -1:
            indexDeb = answer.index("Question relative au contexte")
            indexDebLength = len("Question relative au contexte")
        else:
            indexDeb = answer.index("Question relative au sujet")
            indexDebLength = len("Question relative au sujet")
    
    indexFin = answer.index("?")
 
    extraction = answer[indexDeb + indexDebLength + 1: indexFin]
    
    actions = [
            cl.Action(name="Activer", value=extraction + "?", description=contexte)
        ]
    await cl.Message(author="COPILOT", content="🌐 Question en relation avec le contexte : " + extraction + "?", actions=actions).send()
    
    actionsWeb = [
        cl.Action(name="Site web", value=question, description=contexte)
    ]
    await cl.Message(author="COPILOT", content="🌐 Rechercher sur le site web de l'université : " + question, actions=actionsWeb).send()
     
@cl.action_callback("Activer")
async def on_action(action):
    client = cl.user_session.get("client")
    data = cl.user_session.get("data")
    question = action.value
    
    await cl.Message(author="COPILOT", content="📊 Connexion à Mistral").send()
    
    response = Generation_reponse(client)
    
    app_inputs = {"input": question}
    with ls.trace("Réponse de l'assistant sur les données MIS", "chain", project_name=action.description, inputs=app_inputs) as rt:
        msg = await Affichage_reponse(response, question, data, langsmith_extra={"metadata": {"session_id": session_id}})
        rt.end(outputs={"output": msg})

    #answer = msg.content
    
    await Affichage_question_contexte(msg, question, action.description)
    
@cl.action_callback("Site web")
async def on_action(action):
    client = cl.user_session.get("client")
    data = Chargement_des_datas_web(cl.user_session.get("chat_profile"))
    data = str(data).replace("{","").replace("}","").replace("[","").replace("]","")
    
    question = action.value
    
    await cl.Message(author="COPILOT", content="📊 Connexion aux données Web et à Mistral").send()
    response = Generation_reponse(client)
    
    app_inputs = {"input": question}
    with ls.trace("Réponse de l'assistant sur les données Web", "chain", project_name=action.description, inputs=app_inputs) as rt:
        msg = await Affichage_reponse(response, question, data, langsmith_extra={"metadata": {"session_id": session_id}})
        rt.end(outputs={"output": msg})

    #result = msg.content
    
    await Affichage_question_contexte(msg, question, action.description)
    
    
@cl.set_chat_profiles
async def chat_profile():
    return [
        cl.ChatProfile(
            name="Toutes les formations",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour toutes les formations MIS.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la (des) formation(s)",
                    message="Quelles sont toutes les compétences des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la (des) formation(s)",
                    message="Quels sont tous les cours des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ] 
        ),
        cl.ChatProfile(
            name="Licence MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MIPI",
                    message="Quelles sont toutes les compétences de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MIPI",
                    message="Quels sont tous les cours de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Licence MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MITIC",
                    message="Quelles sont toutes les compétences de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MITIC",
                    message="Quels sont tous les cours de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master 1 MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour le Master 1 MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master 1 MIPI",
                    message="Quelles sont toutes les compétences du master 1 MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master 1 MIPI",
                    message="Quels sont tous les cours du master 1 MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master 1 MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master 2 MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour le Master 2 MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master 2 MIPI",
                    message="Quelles sont toutes les compétences du master 2 MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master 2 MIPI",
                    message="Quels sont tous les cours du master 2 MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master 2 MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master 1 MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour le master 1 MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master 1 MITIC",
                    message="Quelles sont toutes les compétences du master 1 MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master 1 MITIC",
                    message="Quels sont tous les cours du master 1 MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master 1 MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master 2 MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour le master 2 MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master 2 MITIC",
                    message="Quelles sont toutes les compétences du master 2 MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master 2 MITIC",
                    message="Quels sont tous les cours du master 2 MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master 2 MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers de l'immobilier",
            markdown_description="Posez vos questions sur les métiers types du secteur de l'immobilier.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Facility Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Facility Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du Property Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Property Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'Asset Management",
                    message="Quels sont les métiers types de l'immobilier relatifs à l'Asset Management?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers du numérique",
            markdown_description="Posez vos questions sur les métiers types du secteur du numérique.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Management de projet",
                    message="Quels sont les métiers types du numérique relatifs au Management de projet?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'innovation et du conseil",
                    message="Quels sont les métiers types du numérique relatifs à l'innovation et au conseil?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du support numérique aux métiers",
                    message="Quels sont les métiers types du numérique relatifs au support numérique aux métiers?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Offres d'emploi par métier type",
            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail par métier type.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Responsable de site industriel",
                    message="Responsable de site industriel en immobilier",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Conseiller en gestion de patrimoine immobilier",
                    message="Conseiller en gestion de patrimoine immobilier",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Chef de projet digital",
                    message="Chef de projet digital en numérique",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Chargé d'études en SI",
                    message="chargé d'études en SI en numérique",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Offres d'emploi par code ROME",
            markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail grâce aux codes ROME rattachés aux formations.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Offres d'emploi de la licence MIPI",
                    message="M1403-M1604-M1204-M1605-M1203",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi de la licence MITIC",
                    message="M1403-M1604-M1204-M1605-M1203",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi du master MIPI",
                    message="M1702-M1402-M1403-H1206-M1703",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Offres d'emploi du master MITIC",
                    message="M1702-M1402-M1403-H1206-M1703",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
    ]

@cl.on_chat_start
async def on_chat_start():
    client = Connexion_Mistral()
    cl.user_session.set("client", client)

@cl.on_message
async def main(message: cl.Message):
    if cl.user_session.get("chat_profile") != "Offres d'emploi par code ROME" and cl.user_session.get("chat_profile") != "Offres d'emploi par métier type":
        data = Chargement_des_datas(cl.user_session.get("chat_profile"))
        data = str(data).replace("{","").replace("}","").replace("[","").replace("]","")
        cl.user_session.set("data", data)
        client = cl.user_session.get("client")
    
        response = Generation_reponse(client)
    
        app_inputs = {"input": message.content}
        with ls.trace("Réponse de l'assistant sur les données MIS", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt:
            msg = await Affichage_reponse(response, message.content, data, langsmith_extra={"metadata": {"session_id": session_id}})
            rt.end(outputs={"output": msg})
    
        await Affichage_question_contexte(msg, message.content, cl.user_session.get("chat_profile"))
    else:
        codeRomeStr = message.content
        if codeRomeStr.find('-') != -1 or isinstance(codeRomeStr[-4], int) or isinstance(codeRomeStr[1:5], int):
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            app_inputs = {"input": codeRomeStr}
            with ls.trace("Réponse de l'assistant sur les données emplois France Travail par code ROME", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt:
                df_FT = API_France_Travail_ROME(codeRomeStr)
                rt.end(outputs={"output": df_FT})
        elif isinstance(codeRomeStr[-4], int):
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            app_inputs = {"input": codeRomeStr}
            with ls.trace("Réponse de l'assistant sur les données emplois France Travail par code ROME", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt:
                df_FT = API_France_Travail_ROME(codeRomeStr)
                rt.end(outputs={"output": df_FT})
        else:
            await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send()
            app_inputs = {"input": codeRomeStr}
            with ls.trace("Réponse de l'assistant sur les données emplois France Travail par métier type", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt:
                df_FT = API_France_Travail_Metier(codeRomeStr)
                rt.end(outputs={"output": df_FT})
        
        await cl.Message(author="COPILOT", content="📈 Tableau des emplois les plus représentatifs : " + cl.user_session.get("chat_profile")).send()
        df_intitule = df_FT.groupby('intitule').size().reset_index(name='obs')
        df_intitule = df_intitule.sort_values(by=['obs'], ascending=True)
        df_intitule = df_intitule.iloc[-25:]
        displayTable = df_intitule.sort_values(by=['obs'], ascending=True).to_markdown
        await cl.Message(author="COPILOT", content=displayTable).send()
        
        df_FT_Select = df_FT[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy()
        list_FT = df_FT_Select.values.tolist()
        context = ''
        for i in range(0,len(list_FT)):
            context += "\n✔️ Emploi : " + str(list_FT[i][0]) + ";\n◉ Contrat : " + str(list_FT[i][1]) + ";\n◉ Compétences professionnelles : " + str(list_FT[i][3]).replace("{","").replace("}","").replace("[","").replace("]","").replace("code","").replace("libelle","") + ";\n" + "◉ Salaire : " + str(list_FT[i][6]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Qualification : " + str(list_FT[i][5]).replace("'libelle'","\n• 'libelle").replace("{","").replace("}","").replace("[","").replace("]","").replace("code","") + ";\n◉ Localisation : " + str(list_FT[i][7]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Expérience : " + str(list_FT[i][2]) + ";\n◉ Niveau de qualification : " + str(list_FT[i][8]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Description de l'emploi : " + str(list_FT[i][4]) + "\n"

        listEmplois_name = f"Liste des emplois"
        text_elements = []
        text_elements.append(
            cl.Text(content="Question : " + codeRomeStr + "\n\nRéponse :\n" + context.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name, display="side")
        )
        await cl.Message(author="COPILOT", content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send()
        
@cl.on_stop
def on_stop():
    print("L'utilisateur veut arrêter la completion en cours!")