import json import os import time import datetime import pandas as pd from langsmith import traceable import uuid import langsmith as ls from pathlib import Path import chainlit as cl from mistralai.client import MistralClient from mistralai import Mistral, UserMessage, SystemMessage from offres_emploi import Api from offres_emploi.utils import dt_to_str_iso os.environ["GITHUB_TOKEN"] = os.environ["GITHUB_TOKEN"] session_id = str(uuid.uuid4()) @cl.step(type="tool", show_input=True) @ls.traceable(run_type="tool", name="Retrieve Context : chargement des données Gustaviz") def Chargement_des_datas(profile): if profile == "Toutes les formations": file_path='./public/content-MIPI-MITIC.json' elif profile == "Licence MIPI": file_path='./public/content-Licence-MIPI.json' elif profile == "Licence MITIC": file_path='./public/content-Licence-MITIC.json' elif profile == "Master MIPI": file_path='./public/content-Master-MIPI.json' elif profile == "Master MITIC": file_path='./public/content-Master-MITIC.json' elif profile == "Métiers de l'immobilier": file_path='./public/metiers-MIPI.json' elif profile == "Métiers du numérique": file_path='./public/metiers-MITIC.json' return json.loads(Path(file_path).read_text()) @cl.step(type="tool", show_input=True) @ls.traceable(run_type="tool", name="Retrieve Context : chargement des données Web") def Chargement_des_datas_web(profile): if profile == "Toutes les formations": file_path='./public/html-MIPI-MITIC.txt' elif profile == "Licence MIPI": file_path='./public/html-Licence-MIPI.txt' elif profile == "Licence MITIC": file_path='./public/html-Licence-MITIC.txt' elif profile == "Master MIPI": file_path='./public/html-Master-MIPI.txt' elif profile == "Master MITIC": file_path='./public/html-Master-MITIC.txt' elif profile == "Métiers de l'immobilier": file_path='./public/metiers-MIPI.txt' elif profile == "Métiers du numérique": file_path='./public/metiers-MITIC.txt' fileOpen = open(file_path, "r") txt = fileOpen.read() fileOpen.close() return txt def connexion_France_Travail(): client = Api(client_id=os.getenv('POLE_EMPLOI_CLIENT_ID'), client_secret=os.getenv('POLE_EMPLOI_CLIENT_SECRET')) return client @traceable(run_type="chain", name="API France Travail : recherche par code ROME",) def API_France_Travail_ROME(romeListArray): client = connexion_France_Travail() todayDate = datetime.datetime.today() month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1) start_dt = todayDate.replace(day=1, month=month, year=year) end_dt = datetime.datetime.today() results = [] romeList = [] if romeListArray.find('-') != -1: romeList = romeListArray.split('-') else: romeList.append(romeListArray) for k in romeList: k = k.lstrip() k = k.rstrip() params = {"motsCles": k.replace('/', '').replace('-', '').replace(',', '').replace(' ', ','),'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'} try: search_on_big_data = client.search(params=params) results += search_on_big_data["resultats"] except: print("Il n'y a pas d'offres d'emploi.") results_df = pd.DataFrame(results) return results_df @traceable(run_type="chain", name="API France Travail : recherche par métier type",) def API_France_Travail_Metier(metier): client = connexion_France_Travail() todayDate = datetime.datetime.today() month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1) start_dt = todayDate.replace(day=1, month=month, year=year) end_dt = datetime.datetime.today() results = [] params = {"motsCles": metier,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'} try: search_on_big_data = client.search(params=params) results += search_on_big_data["resultats"] except: print("Il n'y a pas d'offres d'emploi.") results_df = pd.DataFrame(results) return results_df @cl.step(type="llm", show_input=True) def Connexion_Mistral(): endpoint = "https://models.inference.ai.azure.com" return Mistral(api_key=os.environ["GITHUB_TOKEN"], server_url=endpoint) @cl.step(type="tool", show_input=True) @ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation") def Generation_reponse(client, data, question): return client.chat.stream( model="Mistral-Nemo", messages=[ SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"), UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."), ], temperature=0.1, max_tokens=1024, ) @ls.traceable(run_type="llm", name="Connexion à Mistral : paramétrages de la conversation") def Generation_completion(client, data, question): response = client.chat.complete( model="Mistral-Nemo", messages=[ SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"), UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."), ], temperature=0.1, max_tokens=1024, top_p=0.1 ) msg = response.choices[0].message.content return msg @cl.step(type="tool", show_input=True) @traceable(run_type="chain", name="Mistral Assistant des datas Gustaviz",) async def Affichage_reponse(response): msg = cl.Message(author="COPILOT",content="") for update in response: if update.data.choices: time.sleep(0.125) await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/','')) await msg.send() return msg @cl.step(type="tool", show_input=True) async def Affichage_question_contexte(answer, question, contexte): try: indexDeb = answer.index("Question en relation avec le sujet") indexDebLength = len("Question en relation avec le sujet") except: if answer.find("Question relative au contexte") != -1: indexDeb = answer.index("Question relative au contexte") indexDebLength = len("Question relative au contexte") else: indexDeb = answer.index("Question relative au sujet") indexDebLength = len("Question relative au sujet") indexFin = answer.index("?") extraction = answer[indexDeb + indexDebLength + 1: indexFin] actions = [ cl.Action(name="Activer", value=extraction + "?", description=contexte) ] await cl.Message(author="COPILOT", content="🌐 Question en relation avec le contexte : " + extraction + "?", actions=actions).send() actionsWeb = [ cl.Action(name="Site web", value=question, description=contexte) ] await cl.Message(author="COPILOT", content="🌐 Rechercher sur le site web de l'université : " + question, actions=actionsWeb).send() @cl.action_callback("Activer") async def on_action(action): client = cl.user_session.get("client") data = cl.user_session.get("data") question = action.value await cl.Message(author="COPILOT", content="📊 Connexion à Mistral").send() response = Generation_reponse(client, data, question) #msg = await Affichage_reponse(response) app_inputs = {"input": question} with ls.trace("Réponse de l'assistant sur les données MIS", "chain", project_name=action.description, inputs=app_inputs) as rt: msg = await Affichage_reponse(response, langsmith_extra={"metadata": {"session_id": session_id}}) rt.end(outputs={"output": msg}) answer = msg.content await Affichage_question_contexte(answer, question, action.description) @cl.action_callback("Site web") async def on_action(action): client = cl.user_session.get("client") data = Chargement_des_datas_web(cl.user_session.get("chat_profile")) diviseur = str(len(data) // 23500) reste = str(len(data) % 23500) question = action.value await cl.Message(author="COPILOT", content="📊 Connexion aux données Web et à Mistral").send() answer = '' if diviseur != 0: for i in range(0, 2): operator = i + 1 deb = i * 23500 end = operator * 23500 webData = data[deb:end] answer += Generation_completion(client, webData, question) else: answer += Generation_reponse(client, data, question) if diviseur != 0 and reste !=0 and len(reste) <= 23500: answer += Generation_completion(client, reste, question) response = Generation_reponse(client, answer, question) #msg = await Affichage_reponse(response) app_inputs = {"input": question} with ls.trace("Réponse de l'assistant sur les données Web", "chain", project_name=action.description, inputs=app_inputs) as rt: msg = await Affichage_reponse(response, langsmith_extra={"metadata": {"session_id": session_id}}) rt.end(outputs={"output": msg}) result = msg.content await Affichage_question_contexte(result, question, action.description) @cl.set_chat_profiles async def chat_profile(): return [ cl.ChatProfile( name="Toutes les formations", markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour toutes les formations MIS.", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Compétences de la (des) formation(s)", message="Quelles sont toutes les compétences des formations? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Cours de la (des) formation(s)", message="Quels sont tous les cours des formations? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Compétences en situation professionnelle", message="Quelles sont les compétences à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Licence MIPI", markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MIPI", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Compétences de la licence MIPI", message="Quelles sont toutes les compétences de la licence MIPI? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Cours de la licence MIPI", message="Quels sont tous les cours de la licence MIPI? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Compétences en situation professionnelle", message="Quelles sont les compétences de la licence MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Licence MITIC", markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MITIC", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Compétences de la licence MITIC", message="Quelles sont toutes les compétences de la licence MITIC? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Cours de la licence MITIC", message="Quels sont tous les cours de la licence MITIC? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Compétences en situation professionnelle", message="Quelles sont les compétences de la licence MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Master MIPI", markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les Masters MIPI", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Compétences du master MIPI", message="Quelles sont toutes les compétences du master MIPI? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Cours du master MIPI", message="Quels sont tous les cours du master MIPI? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Compétences en situation professionnelle", message="Quelles sont les compétences du master MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Master MITIC", markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les masters MITIC", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Compétences du master MITIC", message="Quelles sont toutes les compétences du master MITIC? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Cours du master MITIC", message="Quels sont tous les cours du master MITIC? Donne la liste exhaustive.", icon="/public/public_learn.svg", ), cl.Starter( label="Compétences en situation professionnelle", message="Quelles sont les compétences du master MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Métiers de l'immobilier", markdown_description="Posez vos questions sur les métiers types du secteur de l'immobilier.", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Métiers du Facility Management", message="Quels sont les métiers types de l'immobilier relatifs au Facility Management?", icon="/public/public_learn.svg", ), cl.Starter( label="Métiers du Property Management", message="Quels sont les métiers types de l'immobilier relatifs au Property Management?", icon="/public/public_learn.svg", ), cl.Starter( label="Métiers de l'Asset Management", message="Quels sont les métiers types de l'immobilier relatifs à l'Asset Management?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Métiers du numérique", markdown_description="Posez vos questions sur les métiers types du secteur du numérique.", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Métiers du Management de projet", message="Quels sont les métiers types du numérique relatifs au Management de projet?", icon="/public/public_learn.svg", ), cl.Starter( label="Métiers de l'innovation et du conseil", message="Quels sont les métiers types du numérique relatifs à l'innovation et au conseil?", icon="/public/public_learn.svg", ), cl.Starter( label="Métiers du support numérique aux métiers", message="Quels sont les métiers types du numérique relatifs au support numérique aux métiers?", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Offres d'emploi par code ROME", markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail grâce aux codes ROME rattachés aux formations.", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Offres d'emploi de la licence MIPI", message="M1403-M1604-M1204-M1605-M1203", icon="/public/public_learn.svg", ), cl.Starter( label="Offres d'emploi de la licence MITIC", message="M1403-M1604-M1204-M1605-M1203", icon="/public/public_learn.svg", ), cl.Starter( label="Offres d'emploi du master MIPI", message="M1702-M1402-M1403-H1206-M1703", icon="/public/public_learn.svg", ), cl.Starter( label="Offres d'emploi du master MITIC", message="M1702-M1402-M1403-H1206-M1703", icon="/public/public_learn.svg", ) ] ), cl.ChatProfile( name="Offres d'emploi par métier type", markdown_description="Posez vos questions sur les offres d'emploi en direct avec France Travail par métier type.", icon="/public/public_request-theme.svg", starters = [ cl.Starter( label="Responsable de site industriel", message="Responsable de site industriel", icon="/public/public_learn.svg", ), cl.Starter( label="Conseiller en gestion de patrimoine immobilier", message="Conseiller en gestion de patrimoine immobilier", icon="/public/public_learn.svg", ), cl.Starter( label="Chef de projet digital", message="Chef de projet digital", icon="/public/public_learn.svg", ), cl.Starter( label="Chargé d'études en SI", message="chargé d'études en SI", icon="/public/public_learn.svg", ) ] ), ] @cl.on_chat_start async def on_chat_start(): client = Connexion_Mistral() cl.user_session.set("client", client) @cl.on_message async def main(message: cl.Message): if cl.user_session.get("chat_profile") != "Offres d'emploi par code ROME" and cl.user_session.get("chat_profile") != "Offres d'emploi par métier type": data = Chargement_des_datas(cl.user_session.get("chat_profile")) cl.user_session.set("data", data) client = cl.user_session.get("client") response = Generation_reponse(client, data, message.content) app_inputs = {"input": message.content} with ls.trace("Réponse de l'assistant sur les données MIS", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt: msg = await Affichage_reponse(response, langsmith_extra={"metadata": {"session_id": session_id}}) rt.end(outputs={"output": msg}) answer = msg.content await Affichage_question_contexte(answer, message.content, cl.user_session.get("chat_profile")) else: codeRomeStr = message.content if codeRomeStr.find('-') != -1 or isinstance(codeRomeStr[-4], int) or isinstance(codeRomeStr[1:5], int): await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send() app_inputs = {"input": codeRomeStr} with ls.trace("Réponse de l'assistant sur les données emplois France Travail par code ROME", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt: df_FT = API_France_Travail_ROME(codeRomeStr) rt.end(outputs={"output": df_FT}) elif isinstance(codeRomeStr[-4], int): await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send() app_inputs = {"input": codeRomeStr} with ls.trace("Réponse de l'assistant sur les données emplois France Travail par code ROME", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt: df_FT = API_France_Travail_ROME(codeRomeStr) rt.end(outputs={"output": df_FT}) else: await cl.Message(author="COPILOT", content="📊 Connexion à l'API France Travail").send() app_inputs = {"input": codeRomeStr} with ls.trace("Réponse de l'assistant sur les données emplois France Travail par métier type", "chain", project_name=cl.user_session.get("chat_profile"), inputs=app_inputs) as rt: df_FT = API_France_Travail_Metier(codeRomeStr) rt.end(outputs={"output": df_FT}) await cl.Message(author="COPILOT", content="📈 Tableau des emplois les plus représentatifs : " + cl.user_session.get("chat_profile")).send() df_intitule = df_FT.groupby('intitule').size().reset_index(name='obs') df_intitule = df_intitule.sort_values(by=['obs'], ascending=True) df_intitule = df_intitule.iloc[-25:] displayTable = df_intitule.sort_values(by=['obs'], ascending=True).to_markdown await cl.Message(author="COPILOT", content=displayTable).send() df_FT_Select = df_FT[['intitule','typeContratLibelle','experienceLibelle','competences','description','qualitesProfessionnelles','salaire','lieuTravail','formations']].copy() list_FT = df_FT_Select.values.tolist() context = '' for i in range(0,len(list_FT)): context += "\n✔️ Emploi : " + str(list_FT[i][0]) + ";\n◉ Contrat : " + str(list_FT[i][1]) + ";\n◉ Compétences professionnelles : " + str(list_FT[i][3]).replace("{","").replace("}","").replace("[","").replace("]","").replace("code","").replace("libelle","") + ";\n" + "◉ Salaire : " + str(list_FT[i][6]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Qualification : " + str(list_FT[i][5]).replace("'libelle'","\n• 'libelle").replace("{","").replace("}","").replace("[","").replace("]","").replace("code","") + ";\n◉ Localisation : " + str(list_FT[i][7]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Expérience : " + str(list_FT[i][2]) + ";\n◉ Niveau de qualification : " + str(list_FT[i][8]).replace("{","").replace("}","").replace("[","").replace("]","") + ";\n◉ Description de l'emploi : " + str(list_FT[i][4]) + "\n" listEmplois_name = f"Liste des emplois" text_elements = [] text_elements.append( cl.Text(content="Question : " + codeRomeStr + "\n\nRéponse :\n" + context.replace('[','').replace(']','').replace('{','').replace('}','').replace("'code'","\n• 'code'"), name=listEmplois_name, display="side") ) await cl.Message(author="COPILOT", content="👨‍💼 Source France Travail : " + listEmplois_name, elements=text_elements).send() @cl.on_stop def on_stop(): print("L'utilisateur veut arrêter la completion en cours!")