finbot-slm

Adaptador LoRA educativo de Qwen/Qwen2.5-0.5B-Instruct. Requiere descargar también el modelo base.

Dominio

Asistente que explica conceptos de inteligencia artificial generativa a ejecutivos de empresas chilenas con lenguaje breve y claro en español. Incluye ejemplos de negocio sobre fundamentos de LLM, ingeniería de prompts, RAG, agentes de IA, ajuste fino y evaluación/LLMOps.

Datos de entrenamiento

81 pares pregunta-respuesta; 12 preguntas de examen separado. Se reutilizaron los datos de corridas/20261019_195434_156883/datos sin regenerar respuestas. El número real de ejemplos del archivo es 81, aunque la configuración solicitaba 60.

Entrenamiento y procedencia

Corrida: 20261019_200420_016937. Modelo base confirmado en adapter_config.json y configuración de la corrida, exportada como config_usada.json. Épocas: 3; tasa: 0.0005; rango LoRA: 16; alpha: 32. Pesos del adaptador: 35,237,104 bytes (33.60 MiB).

Evaluación registrada

Medida	Antes	Después
Nota media del juez (1–10)	2.17	5.17
Aprobación (≥ 7)	0%	25%

Juez registrado: gpt-6-luna. Estas notas corresponden exclusivamente a las 12 preguntas del examen del taller.

Tema	Antes	Después
Agentes de IA	2.75	6.25
Ajuste fino	1.00	4.00
Fundamentos de LLM	1.33	3.67
Ingeniería de prompts	3.00	6.00
RAG	2.33	5.33

El informe original se conserva en resultados.md. Las notas son juicios automáticos sobre un examen pequeño; no demuestran calidad general ni aptitud para decisiones empresariales. El modelo todavía comete errores conceptuales.

Uso y prueba desde cero

Instala las dependencias con pip install -r requirements.txt y ejecuta python probar_desde_cero.py cmolinar85/finbot-slm desde una carpeta temporal. El script descarga el modelo base y este adaptador desde Hugging Face, formula dos preguntas del dominio y muestra sus respuestas. No necesita los archivos del taller.

import sys, torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel
repo = sys.argv[1]
base = PeftConfig.from_pretrained(repo).base_model_name_or_path
tok = AutoTokenizer.from_pretrained(base)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), repo).eval()
questions = ["¿Qué es RAG y cómo se usaría en un banco chileno?", "¿Qué es la destilación de modelos y para qué sirve en una empresa?"]
for question in questions:
    messages = [{"role": "system", "content": 'Eres un asistente experto en IA generativa. Responde en español, de forma clara y breve.'}, {"role": "user", "content": question}]
    prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = tok(prompt, return_tensors="pt", add_special_tokens=False)
    with torch.inference_mode():
        output = model.generate(**inputs, max_new_tokens=120, do_sample=False, pad_token_id=tok.eos_token_id)
    print(question + "\n" + tok.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) + "\n", flush=True)