olmo3-190m-zh-nano-continue
持续预训练版本：基于 HumanHarshezz/olmo3-190m-zh-nano，
在 cmz1024/llm101-olmo3-zh-demo-data/continue 中文语料上继续训练约 700 步。
训练配置
- 起点模型：HumanHarshezz/olmo3-190m-zh-nano（作业1，从随机初始化训练）
- 学习率：2e-4（较基础预训练降低约 5×，防止灾难性遗忘）
- Warmup：10%（更平缓地适应新数据分布）
- LR 调度：cosine
- loss 起点 ≈ 9.5（约等于作业1收敛点，因为权重非随机初始化）
用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("HumanHarshezz/olmo3-190m-zh-nano-continue")
tok = AutoTokenizer.from_pretrained("HumanHarshezz/olmo3-190m-zh-nano-continue")
- Downloads last month
- 3
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Model tree for HumanHarshezz/olmo3-190m-zh-nano-continue
Unable to build the model tree, the base model loops to the model itself. Learn more.