main.py

import json
import os
import time
from pathlib import Path
import chainlit as cl
#from azure.ai.inference import ChatCompletionsClient
#from azure.ai.inference.models import SystemMessage, UserMessage
#from azure.core.credentials import AzureKeyCredential
from mistralai.client import MistralClient
from mistralai import Mistral, UserMessage, SystemMessage

os.environ["GITHUB_TOKEN"] = os.environ["GITHUB_TOKEN"]

@cl.step(type="tool", show_input=True)
def Chargement_des_datas(profile):
    if profile == "Toutes les formations":
        file_path='./public/content-MIPI-MITIC.json'
    elif profile == "Licence MIPI":
        file_path='./public/content-Licence-MIPI.json'
    elif profile == "Licence MITIC":
        file_path='./public/content-Licence-MITIC.json'
    elif profile == "Master MIPI":
        file_path='./public/content-Master-MIPI.json'
    elif profile == "Master MITIC":
        file_path='./public/content-Master-MITIC.json'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.json'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.json'

    return json.loads(Path(file_path).read_text())

@cl.step(type="tool", show_input=True)
def Chargement_des_datas_web(profile):
    if profile == "Toutes les formations":
        file_path='./public/html-MIPI-MITIC.txt'
    elif profile == "Licence MIPI":
        file_path='./public/html-Licence-MIPI.txt'
    elif profile == "Licence MITIC":
        file_path='./public/html-Licence-MITIC.txt'
    elif profile == "Master MIPI":
        file_path='./public/html-Master-MIPI.txt'
    elif profile == "Master MITIC":
        file_path='./public/html-Master-MITIC.txt'
    elif profile == "Métiers de l'immobilier":
        file_path='./public/metiers-MIPI.txt'
    elif profile == "Métiers du numérique":
        file_path='./public/metiers-MITIC.txt'
        
    fileOpen = open(file_path, "r")
    txt = fileOpen.read()
    fileOpen.close()
    return txt
    
@cl.step(type="llm", show_input=True)
def Connexion_Mistral():
    #token = os.environ["GITHUB_TOKEN"]
    endpoint = "https://models.inference.ai.azure.com"
    return Mistral(api_key=os.environ["GITHUB_TOKEN"], server_url=endpoint)
    #return ChatCompletionsClient(
    #    endpoint="https://models.inference.ai.azure.com",
    #    credential=AzureKeyCredential(os.environ["GITHUB_TOKEN"]),
    #)

@cl.step(type="tool", show_input=True)
def Generation_reponse(client, data, question):
    return client.chat.stream(
        model="Mistral-Nemo",
        messages=[
            SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
            UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
        ],
        temperature=0.1,
        max_tokens=1024,
    )
    #return client.complete(
    #    stream=True,
    #    messages=[
    #        SystemMessage(content="Tu es un spécialiste de l'enseignement supérieur, des formations et de la pédagogie. Tu es en capacité d'analyser en profondeur les séances pédagogiques et de les mettre en adéquation avec les théories de la recherche en éducation. Répondez à la question seulement et exclusivement à partir du contexte et des définitions ci-contre, de la manière la plus pertinente, seulement en fonction des informations fournies. Contexte : " + str(data) + ". Définition : les formations MIPI (Management de l'Innovation et du Patrimoine Immobilier) concernent le secteur de l'immobilier : facility management, property management, asset management. Les formations MITIC (Management de l'Innovation des Technologies de l'Information et de la Communication) concernent le secteur du numérique : management de projet, innovation et conseil, support numérique aux métiers"),
    #        UserMessage(content=question + "Donne le résultat au format texte markdown, jusqu'à 3000 caractères convertis en UTF-8. Continue la réponse en citant, dans un paragraphe supplémentaire de 3 lignes, introduit un saut de ligne et par \"\n📚 Sources : \", les 3 verbatim, jusqu'à 100 caractères pour chaque verbatim, avec leur numéro de ligne respectif, qui ont permis de générer la réponse, à partir du contexte. Termine la réponse en créant, dans un dernier paragraphe d'une seule et unique ligne, introduite par un saut de ligne et par \"\n📣 Question en relation avec le sujet : \", 1 seule et unique question en relation avec la question posée, en commençant la ligne par \"Question relative au contexte :\"."),
    #    ],
        #model="Phi-3.5-MoE-instruct",
    #    presence_penalty=0.1,
    #    frequency_penalty=0.8,
    #    max_tokens=1024,
    #    stop=["<|endoftext|>"],
    #    temperature=0,
    #    top_p=1,
    #    model_extras={
    #        "logprobs": True
    #    }
    #)    
@cl.step(type="tool", show_input=True)
async def Affichage_reponse(response):
    msg = cl.Message(author="COPILOT",content="")
    
    for update in response:
        if update.data.choices:
            time.sleep(0.125)
            await msg.stream_token(update.data.choices[0].delta.content.replace('Ã','é').replace('©','').replace('Ã','è').replace('¨','').replace('â','\'').replace('€','').replace('™','').replace('Å','oe').replace('“','').replace('®','î').replace('´','ô').replace('<','').replace('>','').replace('/',''))
    
    await msg.send()
    return msg

@cl.step(type="tool", show_input=True)
async def Affichage_question_contexte(answer, question):
    try:
        indexDeb = answer.index("Question en relation avec le sujet")
        indexDebLength = len("Question en relation avec le sujet")
    except:
        if answer.find("Question relative au contexte") != -1:
            indexDeb = answer.index("Question relative au contexte")
            indexDebLength = len("Question relative au contexte")
        else:
            indexDeb = answer.index("Question relative au sujet")
            indexDebLength = len("Question relative au sujet")
    
    indexFin = answer.index("?")
 
    extraction = answer[indexDeb + indexDebLength + 1: indexFin]
    
    actions = [
            cl.Action(name="Activer", value=extraction + "?", description="Activer la question en relation avec le contexte.")
        ]
    await cl.Message(author="COPILOT", content="🌐 Question en relation avec le contexte : " + extraction + "?", actions=actions).send()
    
    actionsWeb = [
        cl.Action(name="Site web", value=question, description="Rechercher sur le site web de l'université.")
    ]
    await cl.Message(author="COPILOT", content="🌐 Rechercher sur le site web de l'université : " + question, actions=actionsWeb).send()
     
@cl.action_callback("Activer")
async def on_action(action):
    client = cl.user_session.get("client")
    data = cl.user_session.get("data")
    question = action.value
    
    response = Generation_reponse(client, data, question)
    
    msg = await Affichage_reponse(response)
    
    answer = msg.content
    
    await Affichage_question_contexte(answer, question)
    
@cl.action_callback("Site web")
async def on_action(action):
    client = cl.user_session.get("client")
    data = Chargement_des_datas_web(cl.user_session.get("chat_profile"))
    data = data[0:6975]
    question = action.value
    
    response = Generation_reponse(client, data, question)
    
    msg = await Affichage_reponse(response)
    
    answer = msg.content
    
    await Affichage_question_contexte(answer, question)
    
    
@cl.set_chat_profiles
async def chat_profile():
    return [
        cl.ChatProfile(
            name="Toutes les formations",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour toutes les formations MIS.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la (des) formation(s)",
                    message="Quelles sont toutes les compétences des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la (des) formation(s)",
                    message="Quels sont tous les cours des formations? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ] 
        ),
        cl.ChatProfile(
            name="Licence MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MIPI",
                    message="Quelles sont toutes les compétences de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MIPI",
                    message="Quels sont tous les cours de la licence MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Licence MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour la licence MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences de la licence MITIC",
                    message="Quelles sont toutes les compétences de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours de la licence MITIC",
                    message="Quels sont tous les cours de la licence MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences de la licence MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master MIPI",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les Masters MIPI",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master MIPI",
                    message="Quelles sont toutes les compétences du master MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master MIPI",
                    message="Quels sont tous les cours du master MIPI? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master MIPI à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Master MITIC",
            markdown_description="Posez vos questions sur l'ensemble des compétences, des cours et des situations de travail pour les masters MITIC",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Compétences du master MITIC",
                    message="Quelles sont toutes les compétences du master MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Cours du master MITIC",
                    message="Quels sont tous les cours du master MITIC? Donne la liste exhaustive.",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Compétences en situation professionnelle",
                    message="Quelles sont les compétences du master MITIC à mettre en oeuvre pour gérer un projet, du besoin client jusqu'à la livraison, en passant par la planification et le management d'équipe, dans un environnement professionnel en entreprise?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers de l'immobilier",
            markdown_description="Posez vos questions sur les métiers types du secteur de l'immobilier.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Facility Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Facility Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du Property Management",
                    message="Quels sont les métiers types de l'immobilier relatifs au Property Management?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'Asset Management",
                    message="Quels sont les métiers types de l'immobilier relatifs à l'Asset Management?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
        cl.ChatProfile(
            name="Métiers du numérique",
            markdown_description="Posez vos questions sur les métiers types du secteur du numérique.",
            icon="/public/public_request-theme.svg",
            starters = [
                cl.Starter(
                    label="Métiers du Management de projet",
                    message="Quels sont les métiers types du numérique relatifs au Management de projet?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers de l'innovation et du conseil",
                    message="Quels sont les métiers types du numérique relatifs à l'innovation et au conseil?",
                    icon="/public/public_learn.svg",
                    ),
                cl.Starter(
                    label="Métiers du support numérique aux métiers",
                    message="Quels sont les métiers types du numérique relatifs au support numérique aux métiers?",
                    icon="/public/public_learn.svg",
                    )
            ]
        ),
    ]

@cl.on_chat_start
async def on_chat_start():
    client = Connexion_Mistral()
    cl.user_session.set("client", client)

@cl.on_message
async def main(message: cl.Message):
    data = Chargement_des_datas(cl.user_session.get("chat_profile"))
    cl.user_session.set("data", data)
    client = cl.user_session.get("client")
    
    response = Generation_reponse(client, data, message.content)
    
    msg = await Affichage_reponse(response)
    
    answer = msg.content
    await Affichage_question_contexte(answer, message.content)

@cl.on_stop
def on_stop():
    print("L'utilisateur veut arrêter la completion en cours!")