Length filer and format update

app.py

@@ -1,5 +1,7 @@
 from huggingface_hub import InferenceClient
 import gradio as gr
+import re
+
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
@@ -34,15 +36,25 @@ def filter_sensitive_info(text):
     return text
 
 
+def remove_length_info(response_text):
+    pattern = r"\(\d+ caractères\)"
+    return re.sub(pattern, "", response_text)
+
+
 def format_prompt(message, history):
-    max_history_length = 3  # Limiter la longueur de l'historique
+    max_history_length = 5  # Limiter la longueur de l'historique
     history = history[-max_history_length:]
 
     prompt = "<s>"
 
     for user_prompt, bot_response in history:
         prompt += f"[USER] {user_prompt} [/USER]"
-        prompt += f" [BOT]{filter_sensitive_info(bot_response)}[/BOT] "
+        if (
+            user_prompt == history[-1][0]
+        ):  # N'ajouter les balises [BOT] qu'autour de la dernière réponse du bot
+            prompt += f" [BOT]{filter_sensitive_info(bot_response)}[/BOT] "
+        else:
+            prompt += f" {filter_sensitive_info(bot_response)} "
     prompt += f"</s>[INST][USER] {message} [/USER][/INST]"
 
     # Ajouter le contexte statique et dynamique à chaque fois que l'utilisateur pose une question
@@ -89,6 +101,7 @@ def generate(
 
     for response in stream:
         response_text = filter_sensitive_info(response.token.text)
+        response_text = remove_length_info(response_text)
         output += response_text
         yield output
     return output