Luno-100M · 标准方案

用 C# / .NET 从随机初始化训练的中文语言模型，约 1 亿参数，已完成预训练和监督微调（SFT）。

模型

Decoder-only Dense Transformer，101,338,112 参数，8 层，隐藏维度 1024，8 个 Q 头和 4 个 KV 头。词表 16,000，上下文上限 2048 token。采用 RMSNorm、RoPE、GQA、Q/K Norm、SwiGLU 和共享词嵌入。

模型、训练循环和推理由 LunoSharp 的 C# 代码实现，底层使用 TorchSharp / LibTorch。config.json 的 model_type 用于标准权重兼容；本模型从随机参数训练，没有加载第三方预训练权重。

训练

阶段	清洗后 JSONL 字节数	参数更新数	末次训练 loss
预训练	10,000,000,064	39,768	2.8102
SFT	15,000,001,196	132,682	1.7925

两阶段各训练一轮，前向使用 BF16 AMP，主参数和 AdamW 状态使用 FP32。推理文件按 FP16 存储，C# 命令行以 CPU FP32 加载。表中为末次训练 loss。

训练来源、固定修订及适用条件见 SOURCE_LICENSES.md 和 data-sources.json。

使用

下载 model.safetensors、config.json 和分词器文件到同一目录。在 LunoSharp 源码根目录构建 CPU 程序后执行：

dotnet .probe/learn-cpu/bin/LunoSharp.dll chat --weights '模型目录/model.safetensors' --tokenizer '模型目录/tokenizer.json'

每个仓库只提供一份最终 SFT 参数。训练恢复需要另行保存的 FP32 参数、优化器和进度文件。

使用范围

用于阅读 C# 模型实现、学习训练和运行对话。回答可能包含事实、计算或代码错误。当前没有提供可作为通用助手能力证明的评测结果。

发布许可

见 NOTICE.md。模型权重与来源数据的适用条件分别说明，详见该文件及来源许可表。