Qwen2.5-Coder-32B-Einsof-LoRA (v020)

Autor: Ariel García Traba (Independent Research / EinsofOS)
Institución: Einsof Research / Antigravity Autonomous Compute
Entrenado en: Google Colab Plus (NVIDIA A100-SXM4-40GB)
Modelo Base: Qwen/Qwen2.5-Coder-32B-Instruct
Corpus Canónico: 1.736 teoremas formales de PostgreSQL 16 (polydim_vec_db) + 13 Leyes de Silicio de Einsof.

Hiperparámetros de Entrenamiento

• LoRA Rank (r): 16
• LoRA Alpha (α): 16
• Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• Parámetros Entrenables: 134,217,728
• Precisión Nativa: BF16 nativo (A100 SXM4)
• Optimizador: adamw_8bit
• Pérdida Final de Entrenamiento: 0.5842

Uso con Unsloth / Hugging Face Transformers

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="polydim-einsof/Qwen2.5-Coder-32B-Einsof-LoRA",
    max_seq_length=4096,
    dtype=torch.bfloat16,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)