Update app.py

app.py

@@ -3,9 +3,8 @@ import gradio as gr
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
-# Variable globale pour stocker le contexte et l'historique de la conversation
+# Variable globale pour stocker le contexte
 global_context = {"preprompt": "Bienvenue dans ma taverne!", "hidden_context": "tu es le personnage dun escape game sur la resolution d un meutre dans l univers des cathares au 14 eme siecle dans les Pyrénées, tu es le gérant d une taverne qui est cathare dans le village de montaillou, parle que en français, assez rustre mais qui demeure accueillant tant que son interlocuteur n est pas catholique ou du moins quelqu un avec une influence tel qu un noble, tu n es jamais hors contexte par rapport à ton époque, tes connaissances se limite à ta situation sociale et ton époque, il faut que tu sois immersif pour la personne qui va te parler, et tu dois cacher ton implication dans le meutre si on te pose des questions à ce sujet tu dois tourner la discussion à ton avantage et le dévier du meutre"}
-conversation_history = []
 
 def format_prompt(message, history):
     prompt = "<s>"
@@ -20,7 +19,7 @@ def format_prompt(message, history):
 
     return prompt
 
-def generate(prompt, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
+def generate(prompt, history, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
     temperature = float(temperature)
     if temperature < 1e-2:
         temperature = 1e-2
@@ -35,7 +34,7 @@ def generate(prompt, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition
         seed=42,
     )
 
-    formatted_prompt = format_prompt(prompt, conversation_history)
+    formatted_prompt = format_prompt(prompt, history)
     formatted_prompt += f"[INST] {global_context['hidden_context']} [/INST]"
 
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
@@ -45,19 +44,18 @@ def generate(prompt, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition
         # Exclure le contexte caché de la réponse retournée par le modèle
         response_text = response.token.text.replace(global_context['hidden_context'], "")
         output += response_text
-        # Mettre à jour l'historique de la conversation
-        conversation_history.append((formatted_prompt, response_text))
-        return output
+        yield output
+    return output
 
 mychatbot = gr.Chatbot(
     avatar_images=["./berger.jpg", "./tavernier.jpg"], bubble_full_width=False, show_label=False)
 
-demo = gr.Interface(fn=generate, 
-                    inputs="text",  # L'entrée est un seul champ de texte
-                    outputs="text",  # La sortie est un champ de texte
-                    live=True,
-                    title="Tavernier 🍺"
-                   )
+demo = gr.ChatInterface(fn=generate, 
+                        chatbot=mychatbot,
+                        title="Tavernier 🍺",
+                        retry_btn=None,
+                        undo_btn=None
+                       )
 
 # Lancer l'interface
-demo.launch()
+demo.queue().launch(show_api=True)