Update main.py

main.py

@@ -701,9 +701,12 @@ async def construction_NCS(romeListArray):
     """
     context_p = f"Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle."
     prompt = PromptTemplate(template=template, input_variables=["question","context"])
-    llm_chain = LLMChain(prompt=prompt, llm=client_llm)
-    completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
-    
+    #llm_chain = LLMChain(prompt=prompt, llm=client_llm)
+    #completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
+    chain = prompt | client_llm
+    completion_NCS = chain.invoke({"question":question_p,"context":context_p})
+    #for s in chain.stream({"question":question_p,"context":context_p}):
+    #  print(s, end="", flush=True)
     #completion_NCS = client_anthropic.messages.create(
     #    model="claude-3-opus-20240229",
     #    max_tokens=4000,
@@ -992,10 +995,6 @@ async def setup_agent(settings):
         streaming=True
     )
 
-    #model = ChatAnthropic(
-    #    temperature=1,
-    #    model_name="claude-3-opus-20240229"
-    #)
     memory = cl.user_session.get("memory")
     prompt = ChatPromptTemplate.from_messages(
         [
@@ -1013,7 +1012,6 @@ async def setup_agent(settings):
         )
         | prompt
         | model
-        | StrOutputParser()
     )
     cl.user_session.set("runnable", runnable)
 
@@ -1028,11 +1026,7 @@ async def main(message: cl.Message):
         msg = cl.Message(author="Datapcc : 🌐🌐🌐",content="")
         text_elements = []
         answer = []
-        async for chunk in runnable.ainvoke(
-            {"question": message.content},
-            config=RunnableConfig(callbacks=[cl.AsyncLangchainCallbackHandler(stream_final_answer=True)]),
-            #config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
-        ):
+        async for chunk in runnable.astream({"question": message.content}):
             await parent_step.stream_token(chunk)
             await msg.stream_token(chunk)