MiniSeek-V1-base

MiniSeek-M · V4.1-Flash 路线 · 预训练基座（非对话 / 非 SFT）

中文 | English

---

🇨🇳 中文

超小开源 Decoder-only MoE 预训练基座，架构对齐 DeepSeek-V4.1-Flash 的小尺寸复现（--arch miniseek-m）。参数 186,933,744 ≈ 186.93M（Embedding / LM Head 不共享）。对话版见 MiniSeek-V1。

目标是对齐 DeepSeek（Dense → MoE → Flash 组件，base → chat），不是宣称已对标。

相对 Hub 上的 MiniSeek-M0.1-base（旧 1+32 top-2 MoELM），本版为全新结构，故记为 V1。

模型概览

Model ID	wyf-yfw/MiniSeek-V1-base
系列	MiniSeek-M（MoE / Flash）
版本	1-base（仅预训练）
参数量	186,933,744（~186.93M）
权重文件	model.safetensors
结构	CED 编码4+解码4 · MoE 1 shared + 64 routed · top-6 · mHC · Engram · SWA/压缩索引
训练上下文	256 tokens
分词器	MiniMind（vocab_size=6400）+ ChatML chat_template
精度	BF16 训练 / FP32 model.safetensors
协议	MIT

结构要点

组件	取值
dim / n_layers	512 / 8
Attention	低秩 Q、共享 KV、滑窗+压缩索引（index topk=64）
MoE	1 shared + 64 routed，n_activated_experts=6，moe_inter_dim=176
路由	sqrt-softplus + bias，route_scale=1.5，clamp SwiGLU=10
mHC	4 流 · Sinkhorn 20
Engram	layers 1, 3
vocab_size	6400

本检查点

项	说明
来源 task	tasks/20261030-172542-ba2e/checkpoints/last.pt
Train step	10000
Train loss（ckpt）	≈ 3.7117
Valid loss @10k	≈ 3.05
数据	data/PT/pretrain_mix_12g_clean.jsonl
max_seq_len / batch	256 / 24 · pack
优化器	AdamW · LR 3e-4 → 1e-6 · warmup 200 · aux_coef=1e-4

代码：github.com/wyf-yfw/miniseek

快速开始（推荐 AutoModelForCausalLM）

已支持标准 Hugging Face AutoModelForCausalLM（无需依赖本地代码库，直接开箱即用）：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "wyf-yfw/MiniSeek-V1-base"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
    dtype="auto",
    device_map="auto" if torch.cuda.is_available() else None,
)

inputs = tokenizer("春天来了，桃花", return_tensors="pt")
if torch.cuda.is_available():
    inputs = {k: v.cuda() for k, v in inputs.items()}

outputs = model.generate(
    **inputs,
    max_new_tokens=64,
    temperature=0.8,
    top_k=50,
    eos_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

局限

• ~187M、仅 10k PT step / 256 上下文，续写仍早期
• 无指令 SFT（见 V1 chat）
• 停止符 <|im_end|>

引用

@misc{miniseek-m1-base,
  title        = {MiniSeek-V1-base},
  author       = {wyf-yfw},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/wyf-yfw/MiniSeek-V1-base}},
  note         = {Ultra-small MoE / V4.1-Flash-style pretrained base}
}

---

🇬🇧 English

Ultra-small open decoder-only MoE pretrained base following a DeepSeek-V4.1-Flash–style stack (--arch miniseek-m). 186,933,744 ≈ 186.93M params (embedding not tied to LM head). Chat/SFT: MiniSeek-V1.

Goal: align toward DeepSeek. Not a claim of parity.

Succeeds Hub MiniSeek-M0.1-base (older 1+32 top-2 MoELM) as V1.

Summary

Parameters	186,933,744 (~186.93M)
MoE	1 shared + 64 routed, top-6, inter=176
Train context	256
Checkpoint	task tasks/20261030-172542-ba2e/checkpoints/last.pt step 10000, train loss ≈ 3.7117
License	MIT

See Chinese section for architecture table and load snippet.