Create main.py

main.py

@@ -0,0 +1,399 @@
+import os
+import time
+from operator import itemgetter
+from collections import Counter
+from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableLambda
+from langchain.schema.runnable.config import RunnableConfig
+from langchain.embeddings import HuggingFaceEmbeddings
+from langchain.chains import ConversationalRetrievalChain
+from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
+from langchain.chains import LLMChain
+from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder
+from langchain.schema import StrOutputParser
+from langchain.chains.conversational_retrieval.prompts import CONDENSE_QUESTION_PROMPT
+from langchain.chains.question_answering import load_qa_chain
+from langchain.chains.qa_with_sources import load_qa_with_sources_chain
+from langchain.vectorstores import Pinecone
+import pinecone
+from langchain.memory import ChatMessageHistory, ConversationBufferMemory
+import pandas as pd
+import numpy as np
+from anthropic import Anthropic, HUMAN_PROMPT, AI_PROMPT
+from langchain.chat_models import ChatAnthropic
+import chainlit as cl
+from chainlit.input_widget import Select, TextInput
+from chainlit import user_session
+from offres_emploi import Api
+from offres_emploi.utils import dt_to_str_iso
+import datetime
+        
+@cl.author_rename
+def rename(orig_author: str):
+    rename_dict = {"ConversationalRetrievalChain": "💬 Assistant conversationnel", "Retriever": "Agent conversationnel", "StuffDocumentsChain": "Chaîne de documents", "LLMChain": "Agent", "ChatAnthropic": "🤖 IA"}
+    return rename_dict.get(orig_author, orig_author)
+
+@cl.action_callback("download")
+async def on_action(action):
+    content = []
+    content.append(action.value)
+    arrayContent = np.array(content)
+    df = pd.DataFrame(arrayContent)
+    with open('.chainlit/' + action.description + '.txt', 'wb') as csv_file:
+        df.to_csv(path_or_buf=csv_file, index=False,header=False, encoding='utf-8')
+    elements = [
+        cl.File(
+            name= action.description + ".txt",
+            path="./.chainlit/" + action.description + ".txt",
+            display="inline",
+        ),
+    ]
+    await cl.Message(
+        author="🌐🌐🌐", content="[Lien] 🔗", elements=elements
+    ).send()
+    await action.remove()
+    
+@cl.action_callback("close_button")
+async def on_action(action):
+    time.sleep(0.5)
+    track = user_session.get("tracker")
+    await track.remove()
+        
+@cl.action_callback("action_button")
+async def on_action(action):
+    task_list = cl.TaskList()
+    # Create the TaskList
+    # Create a task and put it in the running state
+    task1 = cl.Task(title="Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data Processing data \n\n Processing data", status=cl.TaskStatus.READY)
+    await task_list.add_task(task1)
+    task2 = cl.Task(title=action.value, status=cl.TaskStatus.READY)
+    await task_list.add_task(task2)
+    # Perform some action on your end
+    await task_list.send()
+    tracking = user_session.set("tracker", task_list)
+    
+    others = [
+        cl.Action(name="close_button", value="closed", label="Fermer", description="Fermer le volet d'information!")
+    ]
+    await cl.Message(author="🌐🌐🌐",content="Fermer le panneau d'information", actions=others).send()
+
+@cl.cache
+def to_cache(file):
+    #time.sleep(5)  # Simulate a time-consuming process
+    return "https://cipen.univ-gustave-eiffel.fr/fileadmin/CIPEN/datas/assets/docs/" + file + ".csv"
+
+
+@cl.set_chat_profiles
+async def chat_profile():
+    return [
+        cl.ChatProfile(name="Note composante sectorielle - NCS",markdown_description="Note composante sectorielle",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Fiche synoptique - FCS",markdown_description="Fiche synoptique",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Fiche activité - FCA",markdown_description="Fiche activité",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Fiche compétence - FCC",markdown_description="Fiche compétence",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Module de formation - cours - MDF",markdown_description="Module de formation - cours",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Référentiel d'évaluation - REV",markdown_description="Référentiel d'évaluation",icon="./public/favicon.png",),
+        #cl.ChatProfile(name="Matrice de cohérences - MDC",markdown_description="Matrice de cohérences",icon="./public/favicon.png",),
+    ]
+@cl.on_chat_start
+async def start():
+    chat_profile = cl.user_session.get("chat_profile")
+    chatProfile = chat_profile.split(' - ')
+    
+    if chatProfile[1] == 'NCS':
+        connexion = cl.TaskList()
+        connexion.status = "Running..."
+
+        # Create a task and put it in the running state
+        task1 = cl.Task(title="Chargement des données, en attente...", status=cl.TaskStatus.RUNNING)
+        await connexion.add_task(task1)
+        await connexion.send()
+    
+    
+        logo = [
+        cl.Image(name="Logo", size="small", display="inline", path="./public/logo_light.png")
+        ]
+    
+        await cl.Message(author="🌐🌐🌐",content="", elements=logo).send()
+        settings = await cl.ChatSettings(
+            [
+                Select(
+                    id="rome",
+                    label="Codes Rome",
+                    values=["", "M1604,K1204,K1204,M1302,M1605 - DU entrepreneuriat", "M1502,M1503 - LP GORH", "K1902 - LP MDAI"],
+                    initial_index=0,
+                ),
+                Select(
+                    id="type",
+                    label="Type de fiche",
+                    values=["", "Note de composante sectorielle - NCS", "Fiche synoptique - FCS", "Fiche activité - FCA", "Fiche compétence - FCC", "Module de formation - cours - MDF", "Référentiel d'évaluation - REV", "Matrice de cohérences - MDC"],
+                    initial_index=0,
+                ),
+            ]
+        ).send()
+        value = settings["rome"]
+        task1.status = cl.TaskStatus.DONE
+        await cl.sleep(0.5)
+        await connexion.remove()
+    
+        if len(value) < 1:
+            await cl.Message(author="🌐🌐🌐",content="⚠️ Aucun contexte fixé!\nAussi, vous ne pourrez pas élaborer de document de la chaîne documentaire APCC!").send()
+            warning = [
+                        cl.Image(name="Warning", size="medium", display="inline", path="./public/warning.png")
+            ]
+            await cl.Message(author="🌐🌐🌐",content="1️⃣ Cliquez sur le bouton dont l'image suit, dans le prompt, pour commencer à élaborer un premier texte de la chaîne documentaire APCC!").send()
+            await cl.Message(author="🌐🌐🌐",content="", elements=warning).send()
+            await cl.Message(author="🌐🌐🌐",content="2️⃣ Puis sélectionnez un code ROME et un type de fiche dans les menus déroulants proposés. Et vous êtes prêt!").send()
+    elif chatProfile[1] == 'FCS':
+        poleemploi = cl.TaskList()
+        poleemploi.status = "Running..."
+
+        # Create a task and put it in the running state
+        task1 = cl.Task(title="Chargement des données du marché de l'emploi, en attente...", status=cl.TaskStatus.RUNNING)
+        await poleemploi.add_task(task1)
+        await poleemploi.send()
+        logo = [
+        cl.Image(name="Logo", size="small", display="inline", path="./public/logo_light.png")
+        ]
+    
+        await cl.Message(author="🌐🌐🌐",content="", elements=logo).send()
+        #file = to_cache(chatProfile[0])
+        await cl.Message(author="🌐🌐🌐",content=f"💻😊 Vous pouvez rechercher des \"{chat_profile}\"!").send()
+        await cl.Message(
+            author="🌐🌐🌐",content=f"💡Voici des exemples de requête \n\t1️⃣ Basée sur un code ROME : M1403\n\t2️⃣ Basée sur une appellation métier : Coach sportif"
+        ).send()
+        task1.status = cl.TaskStatus.DONE
+        await cl.sleep(0.5)
+        await poleemploi.remove()
+        cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
+        memory = cl.user_session.get("memory")
+        cl.user_session.set("runnable", memory)
+    else:
+        emploi = cl.TaskList()
+        emploi.status = "Running..."
+
+        # Create a task and put it in the running state
+        task1 = cl.Task(title="Chargement des données du marché de l'emploi, en attente...", status=cl.TaskStatus.RUNNING)
+        await emploi.add_task(task1)
+        await emploi.send()
+        logo = [
+        cl.Image(name="Logo", size="small", display="inline", path="./public/logo_light.png")
+        ]
+    
+        await cl.Message(author="🌐🌐🌐",content="", elements=logo).send()
+        file = to_cache(chatProfile[0])
+        await cl.Message(author="🌐🌐🌐",content=f"💻😊 Vous pouvez poser vos questions concernant le marché de l'emploi de \"{chat_profile}\"!").send()
+        await cl.Message(author="🌐🌐🌐",content=f"📈 Le marché de l'emploi se présente comme un gros tableau structuré comme suit :\n1. Emplois\n2. Type de contrat\n3. Expérience\n4. Compétences professionnelles\n5. Salaire\n6. Qualification\n7. Localisation").send()
+        await cl.Message(
+            author="🌐🌐🌐",content=f"💡Voici des exemples de question \n\t1️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés ?\n\t2️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés avec leur salaire moyen correspondant à chacun de ces emplois?\n\t3️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés et leur répartition dans les localisations suivantes, le 75, ou le 77, ou le 78, ou le 91, ou le 92, ou le 93, ou le 94, ou le 95?\n\t4️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés pour un niveau de qualification Bac+2 Bac+3?\n\t5️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés et associer 2 compétences professionnelles à chaque emploi, de type activités professionnelles, sans lister les compétences transversales?\n\t6️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés avec un contrat en CDI?\n\t7️⃣ Quelles sont les compétences professionnelles les mieux payées?"
+        ).send()
+        model = ChatAnthropic(model="claude-2.1",top_p=0.9,temperature=1,max_tokens_to_sample=4097,streaming=True)
+        df = pd.read_csv(file, sep=",")
+        df = df.replace(np.nan, '', regex=True)
+        df['combined'] = 'Emploi ' + df['Poste'] + '; type de contrat : ' + df['Contrat'] + '; Compétences professionnelles : ' + df['Savoir'] + '; Salaire : ' + df['Salaire'] + '; Niveau de qualification : ' + df['Niveau'] + '; Localisation : ' + df['Localisation']
+
+        context = []
+        for i, row in df.iterrows():
+            context.append(row['combined'])
+
+        context = "\n".join(context)
+        context = context[0:590000]
+        task1.status = cl.TaskStatus.DONE
+        await cl.sleep(5)
+        await emploi.remove()
+        cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
+        memory = cl.user_session.get("memory")
+        prompt = ChatPromptTemplate.from_messages(
+            [
+                (
+                    "system",
+                    f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte et document : {context}. Réponds en langue française strictement à la question suivante en respectant strictement les données du document. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.",
+                ),
+                MessagesPlaceholder(variable_name="history"),
+                ("human", "{question}, d'après le document en vous réferrant strictement aux données du contexte fixé sans faire de recherche dans vos connaissances ou sur le web? Si les emplois sont différents aux données, recommencez votre liste. Réponse sous forme d'une liste. Si tu ne peux pas donner la liste, fais une projection par emplois."),
+            ]
+        )
+        #runnable = prompt | model | StrOutputParser()
+        runnable = (
+            RunnablePassthrough.assign(
+                history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
+            )
+            | prompt
+            | model
+            | StrOutputParser()
+        )
+        cl.user_session.set("runnable", runnable)
+    
+@cl.on_settings_update
+async def setup_agent(settings):
+    print(settings)
+    if not settings['rome'] and not settings['type']:
+        await cl.Message(
+            author="🌐🌐🌐",content=f"⚠️ Pas de contexte : {settings['rome']}\n⚠️ Pas de type de fiche : {settings['type']}\n⛔ Vous ne pouvez pas élaborer de fiche!"
+        ).send()
+    elif settings['rome'] and not settings['type']:
+        await cl.Message(
+            author="🌐🌐🌐",content=f"👍 Changement de contexte : {settings['rome']}\n⚠️ Pas de type de fiche : {settings['type']}\n⛔ Vous ne pouvez pas élaborer de fiche!"
+        ).send()
+    elif not settings['rome'] and settings['type']:
+        await cl.Message(
+            author="🌐🌐🌐",content=f"⚠️ Pas de contexte : {settings['rome']}\n👍 Type de fiche : {settings['type']}\n⛔ Vous ne pouvez pas élaborer de fiche!"
+        ).send()
+    else:
+        await cl.Message(
+            author="🌐🌐🌐",content=f"👍 Changement de contexte : {settings['rome']}\n👍 Type de fiche : {settings['type']}"
+        ).send()
+        
+    
+    
+    
+    
+    os.environ['ANTHROPIC_API_KEY'] = os.environ['ANTHROPIC_API_KEY']
+    model = ChatAnthropic(
+        streaming=True,
+        temperature=1,
+        max_tokens=4000
+    )
+    cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
+    memory = cl.user_session.get("memory")
+    prompt = ChatPromptTemplate.from_messages(
+        [
+            (
+                "system",
+                "Contexte : Vous êtes un spécialiste des formations, des compétences et des débouchés professionnels de l'enseignement supérieur en fonction du niveau d'études, des capacités, des compétences professionnelles, des compétences transversales ou soft skills. Vous êtes doué pour faire des analyses sur les formations grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte et document : {context}. Réponds à la question suivante de la manière la plus pertinente, la plus exhaustive et la plus détaillée possible, avec au minimum 3000 tokens jusqu'à 4000 tokens, seulement et strictement dans le contexte et les informations fournies. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies.",
+            ),
+            MessagesPlaceholder(variable_name="history"),
+            ("human", "{question}, dans le contexte fourni."),
+        ]
+    )
+    runnable = (
+        RunnablePassthrough.assign(
+            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
+        )
+        | prompt
+        | model
+        | StrOutputParser()
+    )
+    cl.user_session.set("runnable", runnable)
+    
+@cl.on_message
+async def main(message: cl.Message):
+    chat_profile = cl.user_session.get("chat_profile")
+    chatProfile = chat_profile.split(' - ')
+    if chatProfile[0] == "OF":
+        pineconeRetriever = cl.TaskList()
+        pineconeRetriever.status = "Etablissement de la chaîne documentaire..."
+
+        # Create a task and put it in the running state
+        task1 = cl.Task(title="Connexion à la base documentaire, en attente...", status=cl.TaskStatus.RUNNING)
+        await pineconeRetriever.add_task(task1)
+        await pineconeRetriever.send()
+        
+        index_name = os.environ['PINECONE_INDEX_NAME']
+        pinecone.init(
+            api_key=os.environ['PINECONE_API_KEY'],
+            environment=os.environ['PINECONE_ENVIRONMENT']
+        )
+        embeddings = HuggingFaceEmbeddings()
+        task1.status = cl.TaskStatus.DONE
+        task2 = cl.Task(title="Recherche par cosine similarity, en attente...", status=cl.TaskStatus.RUNNING)
+        await pineconeRetriever.add_task(task2)
+        await pineconeRetriever.send()
+        docsearch = Pinecone.from_existing_index(index_name, embeddings)
+        retrieve = docsearch.similarity_search(message.content, k=40, filter={'categorie': {'$eq': 'OF'}})
+        task2.status = cl.TaskStatus.DONE
+        task3 = cl.Task(title="Création du contexte documentaire, en attente...", status=cl.TaskStatus.RUNNING)
+        await pineconeRetriever.add_task(task3)
+        await pineconeRetriever.send()        
+        context = ''
+        metadatas = ''
+        text_elements = []
+        for i in range(0,len(retrieve)):
+            numSource = i + 1
+            source_name = f"Source n°{numSource}"
+            text_elements.append(
+                cl.Text(content="Codes ROME : " + retrieve[i].metadata["CODES_ROME"] + "\n" + retrieve[i].metadata["LIBELLES_ROME"] + "\n\n" + retrieve[i].page_content, name=source_name)
+            )
+            context += '\n' + retrieve[i].page_content
+        task3.status = cl.TaskStatus.DONE
+        await cl.sleep(20)
+        await pineconeRetriever.remove()   
+        memory = cl.user_session.get("memory")
+        runnable = cl.user_session.get("runnable")  # type: Runnable
+        msg = cl.Message(author="🌐🌐🌐",content="")
+        async for chunk in runnable.astream(
+            {"context":context,"question": message.content},
+            config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
+        ):
+            await msg.stream_token(chunk)
+        await msg.send()
+        source_names = [text_el.name for countMetadata, text_el in enumerate(text_elements) if countMetadata < 10]
+        if source_names:
+            metadatas += ', '.join(source_names)
+        else:
+            metadatas += "\n\nPas de source trouvée!"
+                
+        if metadatas:
+            await cl.Message(author="🌐🌐🌐",content="Sources : " + metadatas, elements=text_elements).send()        
+                
+        actions = [
+            cl.Action(name="download", value="Question : " + message.content + "\n\nRéponse : " + msg.content, description="download_offre_formation")
+        ]
+        await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
+        memory.chat_memory.add_user_message(message.content)
+        memory.chat_memory.add_ai_message(msg.content)
+    elif chatProfile[0] == "Emplois":
+        client = Api(client_id=os.environ['POLE_EMPLOI_CLIENT_ID'],
+             client_secret=os.environ['POLE_EMPLOI_CLIENT_SECRET'])
+        runnable = cl.user_session.get("runnable")
+        memory = cl.user_session.get("memory")
+        msg = cl.Message(author="🌐🌐🌐",content="")
+        todayDate = datetime.datetime.today()
+        month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
+        start_dt = todayDate.replace(day=1, month=month, year=year)
+
+        end_dt = datetime.datetime.today()
+
+        params = {"motsCles": message.content,'lieux':'75D','minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
+        search_on_big_data = client.search(params=params)
+        results = search_on_big_data["resultats"]
+        emplois = []
+        text_elements = []
+        for i in range(0,len(results)):
+            emplois.append("✔️ Emploi : " + results[i]['intitule'] + "\nCode ROME : " + results[i]['romeCode'] + "\nLien vers Pôle Emploi : https://candidat.pole-emploi.fr/offres/recherche/detail/" + results[i]['id'] + "\n\nDescription : " + results[i]['description'] + "\n\n")
+        emplois_list = ''.join(emplois)
+        await msg.stream_token(emplois_list)
+        await msg.send()
+        listEmplois_name = f"Liste des emplois"
+        text_elements.append(
+            cl.Text(content="Question : " + message.content + "\n\nRéponse :\n" + msg.content, name=listEmplois_name)
+        )
+        actions = [
+            cl.Action(name="download", value="Question : " + message.content + "\n\nRéponse : " + msg.content, description="download_emplois")
+        ]
+        await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
+        await cl.Message(author="🌐🌐🌐",content="Source Pôle Emploi : " + listEmplois_name, elements=text_elements).send()
+        
+        memory.chat_memory.add_user_message(message.content)
+        memory.chat_memory.add_ai_message(msg.content)
+    
+    else:
+        memory = cl.user_session.get("memory")
+        runnable = cl.user_session.get("runnable")  # type: Runnable
+        msg = cl.Message(author="🌐🌐🌐",content="")
+        text_elements = []
+        async for chunk in runnable.astream(
+            {"question": message.content},
+            config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
+        ):
+            await msg.stream_token(chunk)
+        await msg.send()
+        QA_Emplois_name = f"Question-réponse sur les emplois"
+        text_elements.append(
+            cl.Text(content="Question : " + message.content + "\n\nRéponse :\n" + msg.content, name=QA_Emplois_name)
+        )
+        actions = [
+            cl.Action(name="download", value="Question : " + message.content + "\n\nRéponse : " + msg.content, description="download_QA_emplois")
+        ]
+        await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
+        await cl.Message(author="🌐🌐🌐",content="Marché Emploi : " + QA_Emplois_name, elements=text_elements).send()
+        memory.chat_memory.add_user_message(message.content)
+        memory.chat_memory.add_ai_message(msg.content)