Update main.py

main.py

@@ -37,25 +37,12 @@ async def LLModel():
     
 @cl.step(type="tool")
 async def VectorDatabase(categorie):
-    if categorie == "bibliographie-OPP-DGDIN":
-        index_name = "all-venus"
-        embeddings = HuggingFaceEmbeddings()
-        vectorstore = PineconeVectorStore(
-            index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEY')
-        )
-    elif categorie == "year" or categorie == "videosTC":
+    if categorie == "year" or categorie == "videosTC":
         index_name = "all-jdlp"
         embeddings = HuggingFaceEmbeddings()
         vectorstore = PineconeVectorStore(
             index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEYJDLP')
         )
-    elif categorie == "skills":
-        index_name = "all-skills"
-        embeddings = HuggingFaceEmbeddings()
-        vectorstore = PineconeVectorStore(
-            index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEYSKILLS')
-        )
-    
     return vectorstore
 
 @cl.step(type="retrieval")
@@ -81,36 +68,7 @@ async def Search(input, categorie):
     verbatim_text = ""
     count = 0
     countOffres = 0
-    if categorie == "bibliographie-OPP-DGDIN":
-        search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
-        for i in range(0,len(search)):
-            if search[i].metadata['Lien'] not in test:
-                if count <= 15:
-                    count = count + 1
-                    test.append(search[i].metadata['Lien'])
-                    sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
-                    verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p>&nbsp;</p>"
-        
-    elif categorie == "year":
-        search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
-        for i in range(0,len(search)):
-            if count <= 15:
-                count = count + 1
-                sources_text = sources_text + str(count) + ". " + search[i].metadata['title'] + ' (JDLP : ' + str(search[i].metadata['year']) + '), ' + search[i].metadata['author'] + ', https://cipen.univ-gustave-eiffel.fr/fileadmin/CIPEN/OPP/' + search[i].metadata['file'] + "\n"
-                verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". JDLP : " + search[i].metadata['jdlp'] + "</p><p style='font-size:0.8rem'>" + search[i].page_content + "</p>"
-    elif categorie == "skills":
-        search = vectorstore.similarity_search(input,k=50, filter={"file": {"$eq": 'competences-master-CFA.csv'}})
-        searchOffres = vectorstore.similarity_search(input,k=50, filter={"file": {"$eq": 'marche-emploi-CFA.csv'}})
-        for i in range(0,len(search)):
-            if count <= 15:
-                count = count + 1
-                sources_text = sources_text + str(count) + ". " + search[i].metadata['diplôme'] + ' (année : ' + search[i].metadata['année'] + '), ' + search[i].metadata['domaine'] + ', https://www.francecompetences.fr/recherche/rncp/' + str(search[i].metadata['rncp'])[4:] + "/\n"
-                verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['diplôme'] + "</p><p style='font-size:0.8rem'>" + search[i].page_content + "</p>"
-        for i in range(0,len(searchOffres)):
-            if countOffres <= 15:
-                countOffres = countOffres + 1
-                sources_offres = sources_offres + str(countOffres) + ". " + searchOffres[i].metadata['Poste'] + " (type de contrat : " + searchOffres[i].metadata['Contrat'] + ")\n"
-    elif categorie == "videosTC":
+    if categorie == "videosTC":
         search = vectorstore.similarity_search(input,k=50, filter={"title": {"$eq": "videos-confinement-timeline"}})
         for i in range(0,len(search)):
             if count <= 17:
@@ -124,50 +82,40 @@ async def Search(input, categorie):
     results = [sources_text, verbatim_text, sources_offres]
     return results
         
-@cl.on_chat_start
-async def on_chat_start():
-    await cl.Message(f"> REVIEWSTREAM").send()
-    res = await cl.AskActionMessage(
-        content="<div style='width:100%;text-align:center'>Sélectionnez une source documentaire</div>",
-        actions=[
-            cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
-            cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🏫 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
-            cl.Action(name="bibliographie-OPP-DGDIN", value="Espaces d'apprentissage", label="🏠 Espaces d'apprentissage : exemple : «donne des exemples d'agencement d'espaces d'apprentissage dans les universités?»"),
-            cl.Action(name="year", value="Journée de La Pédagogie", label="👨‍🏫 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
-            cl.Action(name="skills", value="Compétences du CFA Descartes", label="🧑🏻‍🎓 Les compétences des masters du CFA Descartes : exemple : «Quels sont les Master qui dispensent des compétences en marketing dispensées au CFA?»"),
-            cl.Action(name="OF", value="Formations Gustave Eiffel", label="🎓 Les formations de l'université Gustave Eiffel : exemple : «Quels sont les formations et les métiers possibles si on est créatif?»"),
-            cl.Action(name="videosTC", value="Vidéos paroles de confiné.es", label="📽️ Les vidéos paroles de confiné.es : exemple : «Quelle est la méthodologie employée avec les plateformes d'enseignement à distance?»"),
-            cl.Action(name="offreST", value="Offres d'emploi France Travail", label="💼 Les offres d'emploi de France Travail : exemple : «Quels sont les types de contrat proposés par les recruteurs?»"),
-            cl.Action(name="coderome", value="Catalogue Codes ROME", label="📖 Le catalogue ROME : exemple : «Quels sont les codes ROME liés au marketing?»"),
-            cl.Action(name="vision", value="Caption image and object definition", label="🖼️ Transcription et définition d'objets image : exemple : «Définis les objets et donne une analyse de l'image?»"),
-            cl.Action(name="pdfextraction", value="Lecture de document PDF", label="📃 Extraction de contenus dans document PDF : exemple : «Résume le contenu du document?»"),
-        ],
-        timeout="3600"
-    ).send()
-    listPrompts_name = f"Liste des revues de recherche"
-    contentPrompts = """<p><img src='/public/hal-logo-header.png' width='32' align='absmiddle' /> <strong> Hal Archives Ouvertes</strong> : Une archive ouverte est un réservoir numérique contenant des documents issus de la recherche scientifique, généralement déposés par leurs auteurs, et permettant au grand public d'y accéder gratuitement et sans contraintes.
-    </p>
-    <p><img src='/public/logo-persee.png' width='32' align='absmiddle' /> <strong>Persée</strong> : offre un accès libre et gratuit à des collections complètes de publications scientifiques (revues, livres, actes de colloques, publications en série, sources primaires, etc.) associé à une gamme d'outils de recherche et d'exploitation.</p>
-    """
-    prompt_elements = []
-    prompt_elements.append(
-        cl.Text(content=contentPrompts, name=listPrompts_name, display="side")
-    )
-    await cl.Message(content="📚 " + listPrompts_name, elements=prompt_elements).send()
-    settings = await cl.ChatSettings(
-        [
-            Select(
-                id="Model",
-                label="Publications de recherche",
-                values=["---", "HAL", "Persée"],
-                initial_index=0,
+@cl.set_chat_profiles
+async def chat_profile():
+    return [
+        cl.ChatProfile(name="Table ronde autour de l'IA",markdown_description="Vidéo exploratoire autour de l'événement",icon="/public/logo-ofipe.png",),
+    ]
+    
+@cl.set_starters
+async def set_starters():
+    return [
+        cl.Starter(
+            label="IA et gestes professionnels de l’enseignant",
+            message="Comment apprendre une langue étrangère avec l’IA? Comment enseigner en tenant compte des possibilités conversationnelles avec l'IA?",
+            icon="/public/videocam-theme1.svg",
+            ),
+
+        cl.Starter(
+            label="IA et gestes professionnels de l’enseignant",
+            message="Comment apprendre une langue étrangère avec l’IA? Comment enseigner en tenant compte des possibilités conversationnelles avec l'IA?",
+            icon="/public/videocam-theme1.svg",
             ),
+        cl.Starter(
+            label="IA et gestes professionnels de l’enseignant",
+            message="Comment apprendre une langue étrangère avec l’IA? Comment enseigner en tenant compte des possibilités conversationnelles avec l'IA?",
+            icon="/public/videocam-theme1.svg",
+            ),
+        cl.Starter(
+            label="IA et gestes professionnels de l’enseignant",
+            message="Comment apprendre une langue étrangère avec l’IA? Comment enseigner en tenant compte des possibilités conversationnelles avec l'IA?",
+            icon="/public/videocam-theme1.svg",
+            )
         ]
-    ).send()
-    if res:
-        await cl.Message(f"Vous pouvez requêter sur la thématique : {res.get('value')}").send()
-        cl.user_session.set("selectRequest", res.get("name"))
-        
+    
+@cl.on_message
+async def on_message(message: cl.Message):
     model = await LLModel()
     retriever = await Retriever(cl.user_session.get("selectRequest"))
     ########## Chain with streaming ##########
@@ -182,13 +130,7 @@ async def on_chat_start():
         verbose=False,
         retriever=retriever
     )
-    cl.user_session.set("runnable", qa)
-    cl.user_session.set("memory", memory)
     
-@cl.on_message
-async def on_message(message: cl.Message):
-    memory = cl.user_session.get("memory")
-    runnable = cl.user_session.get("runnable")  # type: Runnable
     msg = cl.Message(content="")
     
     class PostMessageHandler(BaseCallbackHandler):
@@ -214,13 +156,13 @@ async def on_message(message: cl.Message):
                 )
         
     cb = cl.AsyncLangchainCallbackHandler()
-    results = await runnable.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous, en 5000 mots minimum. En plus, tu créeras et tu afficheras, à la fin de ta réponse, 3 questions supplémentaires en relation avec le contexte initial, à chaque étape de la conversation. Tu écriras et tu afficheras les 3 questions supplémentaires en relation avec le contexte initial, à la fin de ta réponse, avec un titrage de niveau 1 qui a pour titre \"Questions en relation avec le contexte : \". Lorsque cela est possible, cite les sources du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
+    results = await qa.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous, en 5000 mots minimum. En plus, tu créeras et tu afficheras, à la fin de ta réponse, 3 questions supplémentaires en relation avec le contexte initial, à chaque étape de la conversation. Tu écriras et tu afficheras les 3 questions supplémentaires en relation avec le contexte initial, à la fin de ta réponse, avec un titrage de niveau 1 qui a pour titre \"Questions en relation avec le contexte : \". Lorsque cela est possible, cite les sources du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
     answer = results["answer"]
 
     await cl.Message(content=GoogleTranslator(source='auto', target='fr').translate(answer)).send()
     
     #search = vectorstore.similarity_search(message.content,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}})
-    search = await Search(message.content, cl.user_session.get("selectRequest"))
+    search = await Search(message.content, "videosTC")
 
     #os.environ["GOOGLE_CSE_ID"] = os.getenv('GOOGLE_CSE_ID')
     #os.environ["GOOGLE_API_KEY"] = os.getenv('GOOGLE_API_KEY')