Как происходит остановка генерации?
#3
by
seara
- opened
Немного не понимаю в ваших специальных токенах. Если в generate установить eos_token_id=50257 или 50258 (это @@ПЕРВЫЙ@@ или @@ВТОРОЙ@@), то генерация не остановится и текст продолжит генерироваться до max_new_tokens. При этом в конфиге присутствует другой eos_token <|endoftext|>, но он не используется.
Как файнтюнить модель? Какая должна быть расстановка специальных токенов?