Update app.py

app.py

@@ -1,51 +1,46 @@
-from flask import Flask, request, jsonify
+import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 import os
 
-app = Flask(__name__)
-
-# Configuración CORS para permitir solicitudes desde tu dominio
-@app.after_request
-def after_request(response):
-    response.headers.add('Access-Control-Allow-Origin', 'https://justbyte.es')
-    response.headers.add('Access-Control-Allow-Headers', 'Content-Type')
-    response.headers.add('Access-Control-Allow-Methods', 'POST')
-    return response
-
-# Cargar el modelo y tokenizador (se carga una sola vez al iniciar)
-@app.before_first_request
-def load_model():
-    global model, tokenizer
-    
-    print("Cargando modelo Zephyr-7B...")
-    
-    # Cargar el modelo y tokenizador
-    model_name = "HuggingFaceH4/zephyr-7b-beta"
-    tokenizer = AutoTokenizer.from_pretrained(model_name)
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        torch_dtype=torch.float16,  # Usar precisión reducida para ahorrar memoria
-        device_map="auto",          # Distribuir el modelo automáticamente
-        load_in_8bit=True           # Cuantización a 8 bits para reducir uso de memoria
-    )
-    
-    print("Modelo cargado correctamente!")
+# Variables globales para el modelo y tokenizador
+model = None
+tokenizer = None
 
 # Cargar el prompt desde el archivo
 def get_system_prompt():
     with open("prompt.txt", "r", encoding="utf-8") as f:
         return f.read().strip()
 
-@app.route('/generate', methods=['POST'])
-def generate_response():
+# Función para cargar el modelo (se ejecutará solo cuando sea necesario)
+def load_model_if_needed():
+    global model, tokenizer
+    
+    if model is None:
+        print("Cargando modelo Zephyr-7B...")
+        
+        # Cargar el tokenizador
+        model_name = "HuggingFaceH4/zephyr-7b-beta"
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        
+        # Cargar el modelo con configuraciones para ahorrar memoria
+        model = AutoModelForCausalLM.from_pretrained(
+            model_name,
+            torch_dtype=torch.float16,  # Usar precisión reducida
+            device_map="auto",          # Distribuir el modelo automáticamente
+            load_in_8bit=True,          # Cuantización a 8 bits
+        )
+        
+        print("Modelo cargado correctamente!")
+
+# Función principal que procesa las preguntas del usuario
+def generate_response(user_message):
     try:
-        # Obtener la pregunta del usuario
-        data = request.json
-        user_message = data.get('message', '')
+        # Cargar el modelo si aún no está cargado
+        load_model_if_needed()
         
-        if not user_message:
-            return jsonify({"error": "No se proporcionó ninguna pregunta"}), 400
+        if not user_message.strip():
+            return "Por favor, escribe una pregunta para que pueda ayudarte."
         
         # Obtener el prompt del sistema
         system_prompt = get_system_prompt()
@@ -81,14 +76,31 @@ def generate_response():
         # Extraer solo la respuesta del asistente (después del último mensaje del usuario)
         assistant_response = full_response.split("assistant:")[-1].strip()
         
-        return jsonify({"response": assistant_response})
+        return assistant_response
     
     except Exception as e:
         print(f"Error: {str(e)}")
-        return jsonify({"error": f"Error al generar respuesta: {str(e)}"}), 500
+        return f"Lo siento, ha ocurrido un error: {str(e)}"
+
+# Crear la interfaz de Gradio
+demo = gr.Interface(
+    fn=generate_response,
+    inputs=gr.Textbox(
+        placeholder="Escribe tu pregunta sobre emprendimiento aquí...",
+        label="Tu pregunta"
+    ),
+    outputs=gr.Textbox(label="Respuesta de BITER"),
+    title="BITER - Tu Mentor en Tiempo Real para Decisiones de Negocio",
+    description="BITER es un asistente de IA que responde dudas de emprendedores como si fuera un CEO experimentado.",
+    examples=[
+        ["¿Cómo puedo validar mi idea de negocio con poco presupuesto?"],
+        ["¿Cuál es la mejor estrategia para conseguir mis primeros clientes?"],
+        ["¿Debería invertir en publicidad en redes sociales o en SEO?"]
+    ],
+    allow_flagging="never"
+)
 
-if __name__ == '__main__':
-    # Puerto que Hugging Face Spaces utiliza
-    port = int(os.environ.get('PORT', 7860))
-    app.run(host='0.0.0.0', port=port)
+# Lanzar la aplicación
+if __name__ == "__main__":
+    demo.launch()