xu-song's picture
update
751936e
|
raw
history blame
268 Bytes
moss-moon-003-base 模型的 tokenizer 中,`eos token``<|endoftext|>`,在训练SFT模型时需要将该 token 指定为 `<eom>` token.
## SFT 阶段
- `<eoh>`: end of human
- `<eot>`: end of thoughts
- `<eoc>`: end of commands
- `<eom>`: end of moss