Officerofff/Ofcen-CHRU-v1.1

Ofcen-CHRU v1.1

Ofcen-CHRU v1.1 — компактный (0.6B) ИИ-ассистент для чата на русском языке от команды Ofcen. Это Qwen3-0.6B, дообученная (LoRA) на ~46 000 русских диалогах и отдельном наборе диалогов о себе. Модель маленькая и быстрая: работает на обычной видеокарте и даже на процессоре.

Ofcen — серия компактных моделей. CHRU — чат на русском. v1 — дообучение готовой модели (v2 будет своей моделью с нуля).

Результаты — Ofcen-Bench-RU

Ofcen-Bench-RU — наш набор из 200 русских вопросов в 8 категориях (общение, факты, объяснения, советы, тексты, логика, код, следование инструкциям). Вопросы написаны вручную и не входят в обучающие данные. Ответы двух моделей сравнивались попарно и вслепую (порядок A/B случайный, названия моделей скрыты); Победа = 1, ничья = 0.5.

Категория	Ofcen-CHRU v1.1	Qwen3-0.6B
Итого	54.5%	45.5%
объяснения (explain)	72%	28%
факты (facts)	64%	36%
код (code)	60%	40%
общение (chat)	56%	44%
тексты (writing)	52%	48%
советы (advice)	50%	50%
инструкции (instructions)	50%	50%
логика и задачи (reasoning)	32%	68%

Итог: 98 побед, 22 ничьи, 80 поражений из 200. Обе модели генерировали без режима размышлений, greedy, до 768 токенов. Qwen3-0.6B — Instruct-версия со своим шаблоном по умолчанию; Ofcen-CHRU — со своим системным промптом (см. ниже).

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer

name = "Officerofff/Ofcen-CHRU-v1.1"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="auto", device_map="auto")

system = ("Ты — Ofcen-CHRU, ИИ-ассистент от команды Ofcen. Отвечай на русском языке, "
          "по делу, понятно и дружелюбно.")
messages = [{"role": "system", "content": system},
            {"role": "user", "content": "Объясни простыми словами, что такое инфляция."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
                                       return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.7, top_p=0.9,
                     repetition_penalty=1.1)
print(tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Модель обучена с этим системным промптом — с ним она ведёт себя лучше всего. Если системный промпт не задан, шаблон чата подставит его сам. Используйте enable_thinking=False: режим размышлений Qwen3 при дообучении не использовался.

Обучение

• База: Qwen/Qwen3-0.6B (Apache 2.0).
• LoRA r=32, alpha=64, на всех линейных слоях; 1 эпоха, lr 2e-4 (cosine), 16 диалогов на шаг, длина до 2048 токенов; loss только по ответам ассистента. Затем короткий этап «личность» (lr 1e-4).

Данные:

• IlyaGusev/saiga_scored — русские диалоги с оценкой ≥ 8/10 (лицензия в карточке датасета не указана);
• Vikhrmodels/GrandMaster-PRO-MAX — 20 000 русских диалогов (Apache 2.0);
• собственные диалоги о модели (кто она, кто её создал).

Ограничения

Это очень маленькая модель, и у неё заметные ограничения:

• часто ошибается в фактах (даты, имена, авторы, столицы) — важное перепроверяйте;
• слабо решает задачи на логику и счёт — хуже исходной Qwen3-0.6B;
• иногда зацикливается, повторяя фразы, и изредка вставляет иероглифы или английские слова;
• может плохо понимать идиомы и грубые или бессмысленные сообщения;
• нет доступа к интернету и не знает текущую дату.

Над этим работает следующая версия (v1.2): задачи с пошаговыми решениями, поиск по Википедии, очистка данных.

Лицензия

Apache 2.0