Hugging Face's logo

Defetya
/
qwen-0.5B-saiga

Text Generation
Transformers
Safetensors
qwen2
Russian
conversational
text-generation-inference
Inference Endpoints
Model card Files Community
1

Qwen 0.5B chat by Alibaba, SFTuned on Saiga dataset. Finetuned with EasyDeL framework on v3-8 Google TPU, provided by TRC.

Модель Qwen 0.5B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO

Чтобы использовать модель, необходимо назначить eos токен как <|im_end|>. Рабочий ноутбук на Kaggle: https://www.kaggle.com/code/defdet/smol-chatbot/notebook

Downloads last month
9
Safetensors
Model size
620M params
Tensor type
FP16
·
Inference Providers NEW
Text Generation
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.

Collection including Defetya/qwen-0.5B-saiga