Update app.py

app.py

@@ -62,9 +62,27 @@ async def predict(request: PredictionRequest):
         prompt = default_prompt + "\n\n" + request.text
     else:
         prompt = default_prompt
+    # Assurez-vous que le pad_token est défini
+    if tokenizer.pad_token is None:
+        tokenizer.pad_token = tokenizer.eos_token
+
+    # Définir une longueur maximale arbitraire pour la tokenization
+    max_length = 1024  # Vous pouvez ajuster cette valeur selon vos besoins
+
+    # Tokenize l'entrée sans troncation automatique
+    inputs = tokenizer(
+        prompt,
+        return_tensors="pt",
+        padding=True,
+        truncation=False,
+        max_length=None  # Pas de longueur maximale pour la tokenization
+    )
+    
+    # Tronquer manuellement si nécessaire
+    if inputs.input_ids.shape[1] > max_length:
+        inputs.input_ids = inputs.input_ids[:, :max_length]
+        inputs.attention_mask = inputs.attention_mask[:, :max_length]
 
-    # Tokenize l'entrée et créez un attention mask
-    inputs = tokenizer(prompt, return_tensors="pt", truncation=True)
     input_ids = inputs.input_ids.to(model.device)
     attention_mask = inputs.attention_mask.to(model.device)
 
@@ -72,9 +90,10 @@ async def predict(request: PredictionRequest):
     outputs = model.generate(
         input_ids,
         attention_mask=attention_mask,
-        max_length=3000,
+        max_length=3000,  # Longueur maximale pour la génération
         do_sample=True
     )
+   
     generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
     
     return {"generated_text": generated_text}