qwen3-0.6b-russian-dialogues

Личное зеркало модели ya-yje-krasni/qwen3-0.6b-russian-dialogues.

Полный файнтюнинг Qwen3-0.6B для генерации ответов в русских диалогах. Обучались все параметры модели — без LoRA и адаптеров.

Базовая модель Qwen/Qwen3-0.6B (unsloth/Qwen3-0.6B-Base)
Тип обучения full fine-tuning (все параметры)
Датасет Den4ikAI/russian_dialogues
Архитектура Qwen3ForCausalLM, 28 слоёв, hidden 1024, 16 голов внимания, 8 KV-голов
Контекст 32 768 токенов
Словарь 151 936 токенов, Qwen2Tokenizer
Точность весов float32 (2.4 ГБ)
Язык русский
Лицензия Apache 2.0

Формат промпта

Модель обучена на шаблоне с явным маркером ответа, а не на chat template:

<реплика пользователя>
### Ответ:

Генерация продолжает текст после ### Ответ:.

Использование

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Lev384501/qwen3-0.6b-russian-dialogues"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float16, device_map="auto")

prompt = "Привет, как дела?\n### Ответ:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=128,
    temperature=0.7,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
)

print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True).strip())

Квантованные версии

Для запуска на CPU через llama.cpp:

Код и скрипты

Конфиги, GGUF Q4_K_M и примеры запуска: github.com/lev73748/qwen3-0.6b-russian-dialogues

Ограничения

Модель на 0.6B параметров, обучена на диалоговом корпусе — она склонна к коротким разговорным ответам и может выдавать фактически неверную информацию. Не подходит для задач, требующих точности фактов.

Downloads last month
56
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Lev384501/qwen3-0.6b-russian-dialogues

Finetuned
Qwen/Qwen3-0.6B
Finetuned
(1,449)
this model

Dataset used to train Lev384501/qwen3-0.6b-russian-dialogues

Space using Lev384501/qwen3-0.6b-russian-dialogues 1