Update app.py

app.py

@@ -2,7 +2,6 @@
 # -*- coding: utf-8 -*-
 """
 Created on Sat Jun  1 17:30:57 2024
-
 @author: air
 """
 
@@ -17,13 +16,19 @@ API_URL = "https://api-inference.huggingface.co/models/condeac/condeac-Llama-2-7
 hf_token = os.getenv("HF_API_TOKEN")
 headers = {"Authorization": f"Bearer {hf_token}"}
 
+# Limiter la longueur du prompt
+MAX_PROMPT_LENGTH = 512
+
 # Définir une fonction pour générer du texte en utilisant l'API
-def generate_text(prompt, max_length=2000):
+def generate_text(prompt, max_length=200):
+    # Tronquer le prompt si nécessaire
+    prompt = prompt[:MAX_PROMPT_LENGTH]
+    
     payload = {
         "inputs": prompt,
         "parameters": {
             "max_length": max_length,
-            "num_beams": 5,
+            "num_beams": 3,  # Réduire le nombre de faisceaux pour optimiser les ressources
             "no_repeat_ngram_size": 2,
             "early_stopping": True
         }