Instructions to use Lev384501/qwen3-0.6b-russian-dialogues with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Lev384501/qwen3-0.6b-russian-dialogues with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Lev384501/qwen3-0.6b-russian-dialogues")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Lev384501/qwen3-0.6b-russian-dialogues") model = AutoModelForCausalLM.from_pretrained("Lev384501/qwen3-0.6b-russian-dialogues", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Lev384501/qwen3-0.6b-russian-dialogues with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Lev384501/qwen3-0.6b-russian-dialogues" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Lev384501/qwen3-0.6b-russian-dialogues", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/Lev384501/qwen3-0.6b-russian-dialogues
- SGLang
How to use Lev384501/qwen3-0.6b-russian-dialogues with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Lev384501/qwen3-0.6b-russian-dialogues" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Lev384501/qwen3-0.6b-russian-dialogues", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Lev384501/qwen3-0.6b-russian-dialogues" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Lev384501/qwen3-0.6b-russian-dialogues", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use Lev384501/qwen3-0.6b-russian-dialogues with Docker Model Runner:
docker model run hf.co/Lev384501/qwen3-0.6b-russian-dialogues
qwen3-0.6b-russian-dialogues
Личное зеркало модели ya-yje-krasni/qwen3-0.6b-russian-dialogues.
Полный файнтюнинг Qwen3-0.6B для генерации ответов в русских диалогах. Обучались все параметры модели — без LoRA и адаптеров.
| Базовая модель | Qwen/Qwen3-0.6B (unsloth/Qwen3-0.6B-Base) |
| Тип обучения | full fine-tuning (все параметры) |
| Датасет | Den4ikAI/russian_dialogues |
| Архитектура | Qwen3ForCausalLM, 28 слоёв, hidden 1024, 16 голов внимания, 8 KV-голов |
| Контекст | 32 768 токенов |
| Словарь | 151 936 токенов, Qwen2Tokenizer |
| Точность весов | float32 (2.4 ГБ) |
| Язык | русский |
| Лицензия | Apache 2.0 |
Формат промпта
Модель обучена на шаблоне с явным маркером ответа, а не на chat template:
<реплика пользователя>
### Ответ:
Генерация продолжает текст после ### Ответ:.
Использование
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Lev384501/qwen3-0.6b-russian-dialogues"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float16, device_map="auto")
prompt = "Привет, как дела?\n### Ответ:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(
**inputs,
max_new_tokens=128,
temperature=0.7,
top_p=0.9,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True).strip())
Квантованные версии
Для запуска на CPU через llama.cpp:
- Lev384501/qwen3-0.6b-russian-dialogues-Q4_K_M-GGUF — 397 МБ
- Lev384501/qwen3-0.6b-russian-dialogues-Q8_0-GGUF — 639 МБ
Код и скрипты
Конфиги, GGUF Q4_K_M и примеры запуска: github.com/lev73748/qwen3-0.6b-russian-dialogues
Ограничения
Модель на 0.6B параметров, обучена на диалоговом корпусе — она склонна к коротким разговорным ответам и может выдавать фактически неверную информацию. Не подходит для задач, требующих точности фактов.
- Downloads last month
- 56