Hola, ¿podría hacerle fine-tuning a este modelo?

#1
by Xeba111 - opened

Actualmente estoy haciendo mi tesis de pregrado para la universidad. Quiero construir un chatbot que responda preguntas acerca de un tema específico, los impuestos en Ecuador, mi país. Para lograr esto quiero usar técnicas de fine-tuning, ya que el poder comptuacional no es un problema porque mi universidad dispone de Workstations. Dicho esto, quisiera saber si ¿puedo usar este modelo para hacerle fine-tuning respecto a mi tema o se perderían los weights que ya tiene el modelo y no me daría mejoras notables sobre usar el LLAMA2 normal?

Sign up or log in to comment