xu-song's picture
update
751936e
|
raw
history blame
268 Bytes

moss-moon-003-base 模型的 tokenizer 中,eos token<|endoftext|>,在训练SFT模型时需要将该 token 指定为 <eom> token.

SFT 阶段

  • <eoh>: end of human
  • <eot>: end of thoughts
  • <eoc>: end of commands
  • <eom>: end of moss