Gemini APP

app.py

@@ -1,127 +1,140 @@
 import gradio as gr
+import transformers
+import torch
 import os
-from huggingface_hub import InferenceClient
 
-# Obtener el token de HF desde los secrets
-HF_TOKEN = os.environ.get("HF_TOKEN")
+# --- 1. Configuración del Modelo ---
 
-# Inicializar el cliente de inferencia con el modelo Llama
-client = InferenceClient(
-    model="meta-llama/Llama-3.2-1B-Instruct",
-    token=HF_TOKEN
-)
+# Obtenemos el HF_TOKEN de los "Secrets" del Space.
+# ¡NUNCA escribas tu token directamente en el código!
+HF_TOKEN = os.environ.get("HF_TOKEN")
 
-def generate_title(text_or_history, max_length=50):
+if not HF_TOKEN:
+    print("ADVERTENCIA: No se ha configurado el secret 'HF_TOKEN'.")
+    # Si no hay token, la app puede fallar al cargar el modelo gated.
+    # Para pruebas locales, puedes crear un archivo .env o setear la variable.
+    # raise ValueError("Falta el HF_TOKEN. Configúralo en los secrets del Space.")
+
+# Cargamos el modelo Llama-3.2-1B-Instruct
+# Usamos un pipeline para facilitar la generación de texto
+try:
+    generator = transformers.pipeline(
+        "text-generation",
+        model="meta-llama/Llama-3.2-1B-Instruct",
+        model_kwargs={"torch_dtype": torch.bfloat16}, # Optimización para velocidad y memoria
+        device_map="auto",  # Usa GPU si está disponible
+        token=HF_TOKEN      # Token para acceder al modelo gated
+    )
+    print("Pipeline de Llama-3.2-1B cargado exitosamente.")
+except Exception as e:
+    print(f"Error cargando el pipeline: {e}")
+    # Si falla aquí, probablemente es por el token o falta de acceso.
+    generator = None # Marcamos que falló
+
+# --- 2. Lógica de Generación ---
+
+def generate_title(text_input):
     """
-    Genera un título a partir de texto o historial de conversación
-
-    Args:
-        text_or_history: Puede ser texto simple o una lista de mensajes
-        max_length: Longitud máxima del título
-
-    Returns:
-        El título generado
+    Toma un texto (o historial) y genera un título conciso.
     """
-    try:
-        # Si es una lista (historial), convertirla a texto
-        if isinstance(text_or_history, list):
-            # Formatear el historial como conversación
-            conversation_text = "\n".join([
-                f"{msg.get('role', 'user')}: {msg.get('content', '')}" 
-                for msg in text_or_history
-            ])
-        else:
-            conversation_text = str(text_or_history)
-
-        # Crear el prompt para generar título
-        prompt = f"""Based on the following conversation or text, generate a short, concise title (maximum 10 words):
-
-{conversation_text}
-
-Title:"""
-
-        # Generar el título usando el modelo
-        messages = [
-            {"role": "user", "content": prompt}
-        ]
-
-        response = ""
-        for message in client.chat_completion(
-            messages=messages,
-            max_tokens=max_length,
-            temperature=0.7,
-            stream=True
-        ):
-            token = message.choices[0].delta.content
-            if token:
-                response += token
-
-        # Limpiar el título (quitar saltos de línea extra, etc.)
-        title = response.strip().split("\n")[0]
+    if not generator:
+        return "Error: El modelo no pudo cargarse. ¿Configuraste el HF_TOKEN y tienes acceso a meta-llama/Llama-3.2-1B-Instruct?"
+
+    if not text_input or text_input.strip() == "":
+        return "Por favor, introduce un texto."
+
+    # Prompt engineering: Damos instrucciones claras al modelo.
+    # Llama 3.2 usa un formato de chat específico.
+    system_prompt = "Eres un experto en resumir textos en títulos cortos y llamativos. Te daré un texto o un historial de chat y tú generarás un título de entre 3 y 7 palabras. Responde SOLAMENTE con el título y nada más."
+    
+    user_prompt = f"Genera un título para el siguiente contenido:\n\n---\n{text_input}\n---"
+
+    messages = [
+        {"role": "system", "content": system_prompt},
+        {"role": "user", "content": user_prompt},
+    ]
+
+    # Parámetros para una respuesta corta (título)
+    # Definimos terminadores para que pare después del título
+    terminators = [
+        generator.tokenizer.eos_token_id,
+        generator.tokenizer.convert_tokens_to_ids("<|eot_id|>"),
+        generator.tokenizer.convert_tokens_to_ids("\n") # Parar si genera un salto de línea
+    ]
 
+    try:
+        outputs = generator(
+            messages,
+            max_new_tokens=20,          # Un título no necesita más de 20 tokens
+            eos_token_id=terminators,
+            do_sample=False,            # Queremos la respuesta más probable, no creativa
+            temperature=None,           # No necesario si do_sample=False
+            top_p=None,                 # No necesario si do_sample=False
+            pad_token_id=generator.tokenizer.eos_token_id # Evita warnings
+        )
+        
+        # Extraemos la respuesta del asistente
+        # La estructura es: outputs[0]["generated_text"] es una *lista* de mensajes
+        # El último mensaje [-1] es el del asistente
+        title = outputs[0]["generated_text"][-1]["content"]
+        
+        # Limpiamos el título (quitar espacios, comillas, etc.)
+        title = title.strip().replace('"', '').replace("Título:", "").strip()
+        
+        if not title:
+            return "No se pudo generar un título."
+            
         return title
-
+        
     except Exception as e:
-        return f"Error: {str(e)}"
-
-# Crear la interfaz de Gradio
-with gr.Blocks(title="Title Generator with Llama 3.2") as demo:
-    gr.Markdown("# 📝 AI Title Generator")
-    gr.Markdown("Generate concise titles from text or conversation history using Llama 3.2-1B-Instruct")
-
-    with gr.Tab("Text Input"):
+        print(f"Error durante la generación: {e}")
+        return f"Error al generar: {e}"
+
+# --- 3. Interfaz de Gradio ---
+
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown(
+        """
+        # 🔥 Generador de Títulos con Llama-3.2-1B
+        Introduce un texto largo o un historial de chat (copiado y pegado) y la IA generará un título corto y conciso.
+        """
+    )
+    
+    with gr.Row():
         text_input = gr.Textbox(
-            label="Enter your text",
-            placeholder="Paste your text or conversation here...",
-            lines=10
+            lines=15,
+            label="Texto o Historial de Chat",
+            placeholder="Pega tu contenido aquí. Por ejemplo:\n\nUser: ¿Qué es la IA?\nAssistant: La IA es...\nUser: ¿Y el machine learning?\n\nO simplemente pega un artículo largo."
         )
-        text_button = gr.Button("Generate Title", variant="primary")
-        text_output = gr.Textbox(label="Generated Title", lines=2)
-
-        text_button.click(
-            fn=generate_title,
-            inputs=[text_input],
-            outputs=[text_output]
-        )
-
-    with gr.Tab("History/List Input"):
-        gr.Markdown("Enter conversation history as JSON format:")
-        gr.Markdown('Example: `[{"role": "user", "content": "Hello"}, {"role": "assistant", "content": "Hi there!"}]`')
-
-        history_input = gr.Textbox(
-            label="Conversation History (JSON)",
-            placeholder='[{"role": "user", "content": "Your message here"}]',
-            lines=10
+        title_output = gr.Textbox(
+            label="Título Generado",
+            interactive=False # El usuario no puede editar esto
         )
-        history_button = gr.Button("Generate Title", variant="primary")
-        history_output = gr.Textbox(label="Generated Title", lines=2)
-
-        def process_history(history_json):
-            try:
-                import json
-                history_list = json.loads(history_json)
-                return generate_title(history_list)
-            except json.JSONDecodeError:
-                return "Error: Invalid JSON format"
-
-        history_button.click(
-            fn=process_history,
-            inputs=[history_input],
-            outputs=[history_output]
-        )
-
-    gr.Markdown("---")
-    gr.Markdown("### API Usage")
-    gr.Markdown("""
-    You can use this API with CURL:
-
-    ```bash
-    curl -X POST "https://YOUR-SPACE-URL/call/generate_title" \
-      -H "Content-Type: application/json" \
-      -d '{"data": ["Your text here"]}'
-    ```
-    """)
-
-# Lanzar la aplicación con API habilitada
+    
+    generate_btn = gr.Button("🚀 Generar Título", variant="primary")
+    
+    # Conectamos el botón a la función
+    # api_name="generate_title" habilita el endpoint /api/generate_title
+    generate_btn.click(
+        fn=generate_title,
+        inputs=text_input,
+        outputs=title_output,
+        api_name="generate_title" 
+    )
+
+    gr.Examples(
+        [
+            [
+                "User: Hola, ¿cómo estás?\nAssistant: ¡Hola! Estoy bien, soy un modelo de lenguaje. ¿En qué puedo ayudarte hoy?\nUser: Quería preguntarte sobre la historia de la computación.\nAssistant: Claro. La historia de la computación se remonta al ábaco, pero la primera computadora moderna fue el ENIAC en 1945."
+            ],
+            [
+                "La inteligencia artificial (IA) es un campo de la informática que se centra en la creación de sistemas que pueden realizar tareas que normalmente requieren inteligencia humana, como el aprendizaje, el razonamiento y la percepción. En los últimos años, la IA ha experimentado un crecimiento exponencial, impulsado por los avances en el aprendizaje profundo y la disponibilidad de grandes conjuntos de datos."
+            ]
+        ],
+        inputs=text_input,
+        label="Ejemplos de Entrada"
+    )
+
+# Lanzamos la aplicación
 if __name__ == "__main__":
-    demo.launch(show_api=True)
+    demo.launch()

requirements.txt

@@ -1,2 +1,4 @@
-gradio>=4.0.0
-huggingface_hub>=0.19.0
+gradio
+transformers
+torch
+accelerate