Update main.py

main.py

@@ -23,8 +23,6 @@ from pinecone import Pinecone
 from langchain.memory import ChatMessageHistory, ConversationBufferMemory
 import pandas as pd
 import numpy as np
-from anthropic import Anthropic, HUMAN_PROMPT, AI_PROMPT
-from langchain_anthropic import ChatAnthropic
 import chainlit as cl
 from chainlit.input_widget import Select, TextInput
 from chainlit import user_session
@@ -245,13 +243,17 @@ async def start():
             await cl.Message(author="Datapcc : 🌐🌐🌐",content="1️⃣ Cliquez sur le bouton dont l'image suit, dans le prompt, pour commencer à élaborer un premier texte de la chaîne documentaire APCC!").send()
             await cl.Message(author="Datapcc : 🌐🌐🌐",content="", elements=warning).send()
             await cl.Message(author="Datapcc : 🌐🌐🌐",content="2️⃣ Puis sélectionnez ou saisissez un ou plusieurs codes ROME et un type de fiche dans les menus déroulants proposés. Et vous êtes prêt!\n\n🔗 Plateforme de feedback et de fil d'activité : https://cloud.getliteral.ai/").send()
-    #os.environ['ANTHROPIC_API_KEY'] = os.environ['ANTHROPIC_API_KEY']
     contextChat = cl.user_session.get("contextChatBot")
     if not contextChat:
         contextChat = "Il n'y a pas de contexte."
-    model = ChatAnthropic(
-        temperature=1,
-        model_name="claude-3-opus-20240229"
+    os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
+    repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
+
+    model = HuggingFaceEndpoint(
+        repo_id=repo_id,
+        max_new_tokens=8000,
+        temperature=0.5,
+        streaming=True
     )
     cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
     memory = cl.user_session.get("memory")
@@ -271,7 +273,6 @@ async def start():
         )
         | prompt
         | model
-        | StrOutputParser()
     )
     cl.user_session.set("runnable", runnable)
 
@@ -589,22 +590,28 @@ async def construction_FCS(romeListArray,settings):
             getChain = "NCS" + romeListArray[0] + " : " + str(text_file_string)
         else:
             getChain = await recuperation_contexte("NCS" + romeListArray[0])
-        client_anthropic = await IA()
-        question ="""
+        
+        client_llm = await IA()
+        template = """<s>[INST] Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant.
+    
+        En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez à la question ci-dessous à partir du contexte ci-dessous :
+        {context}
+        {question} [/INST] </s>
+        """
+        question_p ="""
         1) Extrais de la note de composante sectorielle du contexte, seulement et strictement la liste des 5 appellations métiers principales et écris-la au format liste formée de 5 lignes de ces mêmes métiers, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la note de composante sectorielle; la liste devant se termniner par la dernière appellation métier.
         2) En fonction des 5 appellations métiers du secteur listées dans le document précédent correspondant à la note de composante sectorielle, crée une fiche synoptique sous forme d'une fiche descriptive très détaillée et très complète, en 5000 mots, comprenant une liste numérotées de 5 activités professionnelles différentes bien décrites, entrecoupées elles-mêmes par une sous-liste numérotées, imbriquée dans chaque liste activité professionnelle, de 5 compétences professionnelles distinctes et bien décrites commençant par un verbe d'action conformément à la taxonomie de Bloom, marquant une progression dans l'acquisition des compétences.
         3) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières activités professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 activités séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"activités : --- Choisir une activité --- ; \" et devant se termniner par la dernière activité professionnelle.
         4) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières compétences professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 compétences séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"compétences : --- Choisir une compétence --- ; \" et devant se termniner par la dernière compétence professionnelle.
         """
-        completion_FCS = client_anthropic.messages.create(
-            model="claude-3-opus-20240229",
-            max_tokens=4000,
-            temperature=1,
-            messages=[{
-                    "role": 'user', "content":  f"Contexte : Réponds aux questions suivantes en utilisant seulement le contexte ci-contre. Réponds à la manière d'un ingénieur pédagogique pour créer un référentiel. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Contexte: Définition d'une activité : une activité est un ensemble cohérent d'actions combinées : pour la réaliser, plusieurs compétences et opérations sont nécessaires, soit successivement, soit conjointement. Elles s'inscrivent à des moments clés du processus de réalisation et ne peuvent en aucun cas être occultées, car elles conditionnent le résultat. Plusieurs activités en vue d'une finalité avec une valeur ajoutée à un produit ou un service sont nécessaires pour mettre en œuvre un processus métier. De ce fait, il est essentiel de déterminer pour chaque activité sa propre finalité et de s'assurer que l'ensemble des activités participent bien d'un même processus. Définition d'une compétence : la compétence est une combinaison de savoirs en action, mobilisés en vue de réaliser une activité professionnelle. Elle s'apprécie, en tant qu'acquis de l'apprentissage selon des modalités adaptées permettant d'en certifier la possession et au regard de l'atteinte d'un résultat pour un niveau d'exigence prédéterminé. Les compétences peuvent être regroupées par domaines selon la nature et leur liaison subordonnée aux activités. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Note de composante sectorielle : {getChain}. Questions : {question}"
-                }]
-        )
-        completionFCS = completion_FCS.content[0].text
+        context_p = f"Contexte : Réponds aux questions suivantes en utilisant seulement le contexte ci-contre. Réponds à la manière d'un ingénieur pédagogique pour créer un référentiel. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Contexte: Définition d'une activité : une activité est un ensemble cohérent d'actions combinées : pour la réaliser, plusieurs compétences et opérations sont nécessaires, soit successivement, soit conjointement. Elles s'inscrivent à des moments clés du processus de réalisation et ne peuvent en aucun cas être occultées, car elles conditionnent le résultat. Plusieurs activités en vue d'une finalité avec une valeur ajoutée à un produit ou un service sont nécessaires pour mettre en œuvre un processus métier. De ce fait, il est essentiel de déterminer pour chaque activité sa propre finalité et de s'assurer que l'ensemble des activités participent bien d'un même processus. Définition d'une compétence : la compétence est une combinaison de savoirs en action, mobilisés en vue de réaliser une activité professionnelle. Elle s'apprécie, en tant qu'acquis de l'apprentissage selon des modalités adaptées permettant d'en certifier la possession et au regard de l'atteinte d'un résultat pour un niveau d'exigence prédéterminé. Les compétences peuvent être regroupées par domaines selon la nature et leur liaison subordonnée aux activités. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Note de composante sectorielle : {getChain}."
+        prompt = PromptTemplate(template=template, input_variables=["question","context"])
+        chain = prompt | client_llm
+    
+        msg = cl.Message(author="Datapcc : 🌐🌐🌐",content="")
+        async for chunk in chain.astream({"question":question_p,"context":context_p}):
+            await msg.stream_token(chunk)
+        completionFCS = msg.content
         await cl.sleep(2)
         arrayActivites = completionFCS.split('activités : ')
         arrayOfActivites = arrayActivites[1].split('compétences : ')
@@ -647,10 +654,10 @@ async def construction_FCS(romeListArray,settings):
         ).send()
         await cl.sleep(3)
         await cl.Message(
-            author="Datapcc : 🌐🌐🌐",content="Fiche synoptique : " + romeListArray[1] + "\n\n" + completion_FCS.content[0].text
+            author="Datapcc : 🌐🌐🌐",content="Fiche synoptique : " + romeListArray[1] + "\n\n" + msg.content
         ).send()
-        cl.user_session.set("FCS" + romeListArray[0], completion_FCS.content[0].text)
-        cl.user_session.set("contextChatBot", getChain + "\n" + completion_FCS.content[0].text)
+        cl.user_session.set("FCS" + romeListArray[0], msg.content)
+        cl.user_session.set("contextChatBot", getChain + "\n" + msg.content)
         await cl.sleep(2)
         listPrompts_name = f"Liste des requêtes sur la fiche synoptique"
         prompt_elements = []
@@ -660,12 +667,12 @@ async def construction_FCS(romeListArray,settings):
         await cl.Message(author="Datapcc : 🌐🌐🌐",content="📚 Bibliothèque de prompts : " + listPrompts_name, elements=prompt_elements).send()
         await cl.sleep(2)
         actions = [
-            cl.Action(name="download", value=completion_FCS.content[0].text, description="download_fiche_synoptique")
+            cl.Action(name="download", value=msg.content, description="download_fiche_synoptique")
         ]
         await cl.Message(author="Datapcc : 🌐🌐🌐",content="Télécharger la fiche", actions=actions).send()
         await cl.sleep(2)
         saves = [
-            cl.Action(name="saveToMemory", value=completion_FCS.content[0].text, description="Mettre en mémoire la fiche")
+            cl.Action(name="saveToMemory", value=msg.content, description="Mettre en mémoire la fiche")
         ]
         await cl.Message(author="Datapcc : 🌐🌐🌐",content="Mettre en mémoire la fiche", actions=saves).send()
         await cl.sleep(2)
@@ -686,7 +693,7 @@ async def construction_FCS(romeListArray,settings):
 async def construction_NCS(romeListArray):
     context = await contexte(romeListArray)
     emploisST = cl.user_session.get("EmploiST")
-    ### Anthropic Completion ###
+    ### Mistral Completion ###
     client_llm = await IA()
     structure = str(modele('Note de composante sectorielle'))
     definitions = definition('activite') + ' ' + definition('competence')
@@ -709,21 +716,7 @@ async def construction_NCS(romeListArray):
     msg = cl.Message(author="Datapcc : 🌐🌐🌐",content="")
     async for chunk in chain.astream({"question":question_p,"context":context_p}):
         await msg.stream_token(chunk)
-            
-    #for s in chain.stream({"question":question_p,"context":context_p}):
-    #  print(s, end="", flush=True)
-    #completion_NCS = client_anthropic.messages.create(
-    #    model="claude-3-opus-20240229",
-    #    max_tokens=4000,
-    #    temperature=1,
-    #    messages=[{
-    #        "role": 'user', "content":  f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle. Question : {question}"
-    #    }]
-    #)
-    #await cl.sleep(2)
-    #await cl.Message(
-    #    author="Datapcc : 🌐🌐🌐",content="Note de composante sectorielle de(s) code(s) ROME : " + romeListArray[0] + "\n\n" + completion_NCS
-    #).send()
+    
     cl.user_session.set("NCS" + romeListArray[0], msg.content)
     cl.user_session.set("contextChatBot", context + "\n" + msg.content)
     await cl.sleep(2)
@@ -985,7 +978,6 @@ async def setup_agent(settings):
             await construction_MDC(romeListArray,settings)
         elif settings['type'] == "Référentiel d'évaluation - REV":
             await construction_REV(romeListArray,settings)
-    #os.environ['ANTHROPIC_API_KEY'] = os.environ['ANTHROPIC_API_KEY']
     contextChat = cl.user_session.get("contextChatBot")
     if not contextChat:
         contextChat = "Il n'y a pas de contexte."
@@ -1022,7 +1014,7 @@ async def setup_agent(settings):
 
 @cl.on_message
 async def main(message: cl.Message):
-    async with cl.Step(root=True, name="Réponse de Claude Anthropic", type="llm") as parent_step:
+    async with cl.Step(root=True, name="Réponse de Mistral", type="llm") as parent_step:
         parent_step.input = message.content
         chat_profile = cl.user_session.get("chat_profile")
         chatProfile = chat_profile.split(' - ')