Spaces:
Paused
Paused
File size: 2,072 Bytes
6c036c1 aab52b9 3aea5cd a9b1392 aab52b9 b08158b 61e43c4 059ead2 61e43c4 b08158b 3aea5cd 059ead2 19693ec 3aea5cd b08158b 5ef6d7c 3aea5cd 5ef6d7c e3d3bd5 b08158b 19693ec b08158b 3aea5cd c0a326a 3aea5cd b08158b 3aea5cd 19693ec aab52b9 19693ec aab52b9 3aea5cd b08158b aab52b9 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 |
import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Cargar el modelo con optimizaci贸n de memoria
model_name = "BSC-LT/salamandra-2b"
if "tokenizer" not in globals():
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
if "model" not in globals():
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="cpu")
model.eval()
# Funci贸n optimizada para mejorar la velocidad
def humanize_text(input_text):
system_prompt = (
"Reescribe el siguiente texto de manera m谩s clara y natural. "
"Hazlo m谩s conversacional sin cambiar su significado ni omitir informaci贸n."
)
prompt = f"{system_prompt}\n\nTexto original: {input_text}\n\nTexto humanizado:"
inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True)
outputs = model.generate(
inputs.input_ids,
attention_mask=inputs.attention_mask,
max_new_tokens=100, # 馃敼 Reducimos la cantidad de tokens generados
min_length=50, # 馃敼 Evita respuestas demasiado cortas
do_sample=True, # 馃敼 Mantenemos la variabilidad sin ralentizar
temperature=0.7, # 馃敼 Balance entre creatividad y rapidez
top_p=0.9, # 馃敼 Mantiene coherencia en la reescritura
repetition_penalty=1.02, # 馃敼 Reduce repeticiones sin afectar fluidez
num_return_sequences=1, # 馃敼 Solo una respuesta bien formulada
)
return tokenizer.decode(outputs[0], skip_special_tokens=True)
# Interfaz en Gradio
with gr.Blocks() as demo:
gr.Markdown("# 鉁嶏笍 Humanizaci贸n de Texto con ALIA (Optimizaci贸n de Velocidad)")
input_text = gr.Textbox(label="Pega aqu铆 el texto generado por IA para humanizar")
output_text = gr.Textbox(label="Texto humanizado por ALIA", interactive=False)
submit_button = gr.Button("Humanizar Texto")
submit_button.click(humanize_text, inputs=input_text, outputs=output_text)
demo.launch()
|