finbot-slm

Modelo pequeño destilado en el taller de destilación (MIA · UAI). Un modelo grande (profesor) le enseñó a HuggingFaceTB/SmolLM2-135M-Instruct (estudiante, vía un adaptador LoRA) a responder preguntas de un dominio acotado. Corre en CPU.

Dominio

Mejora estas dos frases con tu caso concreto (es lo que pide el Paso 2 del taller).

Preguntas sobre IA generativa aplicada a empresas chilenas: ajuste fino, ingeniería de prompts, RAG, agentes y uso responsable de datos.

Datos de entrenamiento

• 60 ejemplos pregunta–respuesta generados por el profesor (API de OpenAI).
• Evaluación con un examen fijo de 12 preguntas (mismas antes y después).

Resultados en el examen fijo

	Antes (base)	Después (destilado)
Nota media (1–10)	1.00	1.08
Aprobación (≥ 7)	0%	0%
Pérdida de entrenamiento	3.1456	2.3472

Cifras reales de esta corrida (salidas/examen_antes.jsonl y examen_despues.jsonl). Es un ejercicio didáctico de ~10 min en CPU: la mejora es modesta y se reporta tal cual.

Uso

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "HuggingFaceTB/SmolLM2-135M-Instruct"
adaptador = "fizquierdoch/finbot-slm"
tok = AutoTokenizer.from_pretrained(base)
modelo = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained(base),
    adaptador)

Limitaciones y uso responsable

• Modelo muy pequeño (135M–360M) entrenado con pocos ejemplos: puede equivocarse, inventar datos o repetirse. No usar para decisiones reales.
• Hereda los sesgos y la licencia del modelo base.
• Fin educativo (taller MIA · UAI). Verifica siempre las respuestas con una fuente confiable.