| moss-moon-003-base 模型的 tokenizer 中，`eos token` 为 `<|endoftext|>`，在训练SFT模型时需要将该 token 指定为 `<eom>` token. | |
| ## SFT 阶段 | |
| - `<eoh>`: end of human | |
| - `<eot>`: end of thoughts | |
| - `<eoc>`: end of commands | |
| - `<eom>`: end of moss | |
| moss-moon-003-base 模型的 tokenizer 中，`eos token` 为 `<|endoftext|>`，在训练SFT模型时需要将该 token 指定为 `<eom>` token. | |
| ## SFT 阶段 | |
| - `<eoh>`: end of human | |
| - `<eot>`: end of thoughts | |
| - `<eoc>`: end of commands | |
| - `<eom>`: end of moss | |