finbot-slm

Adaptador LoRA sobre HuggingFaceTB/SmolLM2-360M-Instruct, destilado en el Taller de Destilación (UAI): un modelo profesor de OpenAI escribió las respuestas y el modelo pequeño aprendió a imitarlas.

Dominio

Asistente que explica conceptos de inteligencia artificial generativa a ejecutivos de empresas chilenas, en español y con ejemplos de negocio local (retail, ventas, atención al cliente). Cubre seis temas: Agentes de IA, Ajuste fino, Evaluación y LLMOps, Fundamentos de LLM, Ingeniería de prompts, RAG.

Datos de entrenamiento

• 30 pares pregunta-respuesta sintéticos generados por el modelo profesor.
• Por tema: Agentes de IA (4), Ajuste fino (6), Evaluación y LLMOps (5), Fundamentos de LLM (5), Ingeniería de prompts (4), RAG (6).
• Examen fijo aparte: 12 preguntas que nunca se usaron para entrenar.
• Entrenamiento: 1 época(s), 15 pasos; pérdida 2.6123 → 2.4924.
• LoRA: r=16, alpha=32, dropout=0.05, módulos down_proj, gate_proj, k_proj, o_proj, q_proj, up_proj, v_proj.

Resultados en el examen fijo

Nota del juez (1–10) sobre el examen fijo.

	Antes (modelo base)	Después (destilado)
Nota media	1.25	pendiente
Aprobación (nota ≥ 7)	0%	pendiente

Uso

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-360M-Instruct")
modelo = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM2-360M-Instruct"), "fehidalgo/finbot-slm")

Limitaciones y uso responsable

• Modelo muy pequeño entrenado con solo 30 ejemplos: puede inventar o responder fuera de tema.
• Uso educativo. Los términos de OpenAI restringen usar sus salidas para desarrollar modelos que compitan con OpenAI.
• No reemplaza asesoría profesional; verifique cualquier dato antes de usarlo en decisiones de negocio.