BOS и EOS значения отличаются от скрипта
#2
by
dmiche
- opened
Моделька при импорте говорит:
llm_load_print_meta: BOS token = 1 '<s>'
llm_load_print_meta: EOS token = 2 '</s>'
llm_load_print_meta: LF token = 13 '<0x0A>'
А в рекомендованном скрипте другие значения. Занятно, что работает и так и эдак (Проверил, llama2 Ваша с токенами "1" и "2" не работает)
Но в рекомендованном скрипте нет фиксированных BOS и EOS...
Ах! Пардон, это же разметка ролей. Спасибо :)
IlyaGusev
changed discussion status to
closed