Update app.py

app.py

@@ -5,9 +5,13 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 # 🔹 Modelo seleccionado
 MODEL_NAME = "EleutherAI/gpt-neo-2.7B"
 
-# 🔹 Cargar modelo y tokenizador
+# 🔹 Cargar modelo y tokenizador con soporte para `accelerate`
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.float16, device_map="auto")
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME, 
+    torch_dtype=torch.float16, 
+    device_map="auto"
+)
 
 # 🔒 Clave secreta para evitar uso no autorizado
 SECRET_KEY = "MI_CLAVE_SUPER_SECRETA"
@@ -18,7 +22,7 @@ def reformular_texto(frase, clave):
         return "🔴 Acceso denegado."
 
     prompt = f"Reescribe esta frase con mejor gramática en español: {frase}"
-    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, padding=True).to("cuda" if torch.cuda.is_available() else "cpu")
+    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, padding=True).to(model.device)
 
     with torch.no_grad():
         outputs = model.generate(inputs.input_ids, max_length=50, temperature=0.7, top_k=50)
@@ -36,4 +40,3 @@ iface = gr.Interface(
 
 if __name__ == "__main__":
     iface.launch()
-