Aqua 3.0.0 (~300M)

Modelo conversacional en espanol (arquitectura LLaMA: RoPE + SwiGLU + RMSNorm + GQA). Pretraining mixto (web + chat) y SFT conversacional con dialogos multi-turno.

Formato de prompt:

USUARIO: <pregunta>
ASISTENTE:

Multi-turno y parametros de generacion: ver config.py (responder([...]) arma los ids exactos del entrenamiento; cada respuesta del asistente termina en el token ).

from transformers import AutoTokenizer, AutoModelForCausalLM
tok = AutoTokenizer.from_pretrained("aquas-modela/Aqua")
m = AutoModelForCausalLM.from_pretrained("aquas-modela/Aqua")
x = tok("USUARIO: hola\nASISTENTE:", return_tensors="pt")
y = m.generate(**x, max_new_tokens=100)
print(tok.decode(y[0][x["input_ids"].shape[1]:], skip_special_tokens=True))