como fez o fine-tuning ?
Estou tentando criar um modelo também, segui alguns tutoriais, mas até agora nenhum teve resultado satisfatório.
o objetivo era ficar tipo esse :https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1
Eu utilizei a biblioteca unsloth (https://github.com/unslothai/unsloth)
Usei o modelo https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2 como base.
Você vai precisar de um dataset com um certo volume de amostras, e também estimar a quantidade de épocas para treinamento.
Além disso, quando usando o finetuning com LoRA, a quantidade de "ranks" pode ser importante, dependendo da tarefa que você está tentando "ensinar" ou melhorar o modelo (no geral, tarefas específicas e direcionadas possivelmente terão um desepenho suficientemente bom com um valor mais baixo, e tarefas mais gerais, um valor mais alto - sendo que modelo com um número de parâmetros mais baixo, irão se beneficiar de um valor mais alto para esse parâmetro - exemplo, modelos com <=1B parâmetros).
funcionou, GOD D+