cmz1024/OLMo3-190M-zh-v3.1-sft
SFT（有监督微调）版本：基于 cmz1024/OLMo3-190M-zh-v3.1， 使用对话格式数据进行微调，学习指令遵循能力。
数据来源
- 训练数据：cmz1024/llm101-olmo3-zh-demo-data（来自 https://modelscope.cn/models/gongjy）
- 原始数据集：sft_t2t_mini.jsonl
训练配置
- LR：0.0001（低 LR 避免灾难性遗忘）
- Warmup：5.0%
- Max Seq Length：2048
用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("cmz1024/OLMo3-190M-zh-v3.1-sft")
tok = AutoTokenizer.from_pretrained("cmz1024/OLMo3-190M-zh-v3.1-sft")
- Downloads last month
- 19
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support