CHISPA-20M-python

Modelo diminuto (20.1M parámetros) de completado de línea de Python, entrenado desde cero como laboratorio de la serie de RFC CHISPA. Es un artefacto de investigación, no un asistente de código: completa el resto de una línea; no escribe funciones a partir de un docstring.

A tiny (~20M) Python line-completion model trained from scratch with fill-in-the-middle. Research artifact, not a coding assistant. Code, preregistration and experiments: https://github.com/esraderey/chispa

Arquitectura

LLaMA: d=320, 12 capas, 5 cabezas de 64, SwiGLU 864, RMSNorm, RoPE, embeddings atados, contexto 1,024. Tokenizador BPE a nivel de byte de 16,384 piezas con pretokenización alineada a lexemas de Python (identificador, número, puntuación, salto de línea con sangría). Convertido desde el formato del laboratorio; diferencia máxima de logits en la conversión: 3.6e-05.

Datos y entrenamiento

• codeparrot/codeparrot-clean, solo archivos con licencia permisiva (MIT, Apache-2.0, BSD-2/3, ISC, Unlicense), 3228316 archivos de 280112 repositorios de entrenamiento. El 3 % de los repositorios (por hash del nombre) se reservó para evaluación y no se vio al entrenar.
• 521M tokens, el 50 % de los documentos en formato FIM (PSM); la mitad de ellos con el hueco al final de una línea.
• AdamW, pico 3e-3, calendario WSD, lote de 131,072 tokens, bf16, una H100. Pérdida final de entrenamiento: 1.56971.

Uso

from transformers import AutoModelForCausalLM, AutoTokenizer
tk = AutoTokenizer.from_pretrained("esraderey/chispa-20m-python")
m = AutoModelForCausalLM.from_pretrained("esraderey/chispa-20m-python")
eos, pad = tk.convert_tokens_to_ids("<|endoftext|>"), tk.convert_tokens_to_ids("<pad>")
# FIM en formato PSM: el modelo rellena el hueco entre prefijo y sufijo
prompt = "<fim_prefix>def read_lines(path):\n    with open(path) as f:\n        <fim_suffix>\n<fim_middle>"
ids = tk(prompt, return_tensors="pt").input_ids
out = m.generate(ids, max_new_tokens=16, do_sample=False, eos_token_id=eos, pad_token_id=pad)
linea = tk.decode(out[0][ids.shape[1]:], skip_special_tokens=True).split("\n")[0]
print(linea.lstrip())   # -> return f.readlines()

Si el prefijo termina justo después de la sangría, el modelo tiende a empezar con espacios de más: recorta el inicio de la línea (lstrip) o prohíbe en el primer paso las piezas que empiezan por espacio, que es lo que se hizo en los experimentos.

Evaluación (repositorios retenidos, 20,000 cursores dentro de cuerpos de función)

Métrica	Valor
Coincidencia exacta del primer identificador de la línea	17.1%
Coincidencia exacta de la línea completa	1.2%
Completados que introducen un nombre indefinido	11.0% (IC90 10.3%–11.6%)

Detalle, intervalos y experimentos E1–E5: https://github.com/esraderey/chispa

Limitaciones

Modelo de 20M: inventa nombres, no conoce APIs poco comunes y su ventana es de 1,024 tokens. Solo Python. Las métricas son offline y no se validaron con usuarios. El corpus procede de GitHub y puede contener código con errores o inseguro.