Тюнинг saiga_mistral_7b_merged
#9
by
sofiapaklina
- opened
Добрый день! Спасибо за код для тюнинга!
Возник вопрос: в процессе дообучения saiga_mistral_7b_merged на своих данных при склеивании с базовой моделью возникает ошибка «NotImplementedError» - судя по скрипту convert_to_native.py ему не подходят значения n_heads и dim.
Не подскажите, пожалуйста, какие значения передать в n_heads и dim, чтобы склеить с базовой моделью saiga_mistral_7b_merged?
Привет! А при чем тут convert_to_native.py? Вот скрипт для слияния: https://github.com/IlyaGusev/rulm/blob/master/self_instruct/src/tools/merge_lora.py
Поняла, спасибо!
sofiapaklina
changed discussion status to
closed