fozzi66/ChechenAI-Gemma-2B

⛰️ ChechenAI Gemma 2B (Нохчийн Интеллект)

Первая открытая чеченская модель глубокого рассуждения (Reasoning LLM) на базе Google Gemma-2 2B
Разработчик: Abdullah Tunkaev (@fozzi66)

---

📌 О модели

ChechenAI Gemma 2B — это специализированная языковая модель для чеченского языка, обученная методологией QLoRA на базе архитектуры Google Gemma-2 2B.

Модель создана для сохранения и развития чеченского языка в цифровую эпоху, решения задач литературного и разговорного перевода, ведения естественного диалога и обучения вайнахской культуре.

🌟 Ключевые возможности:

1. Грамматика 4 классов: Точное понимание и согласование глаголов с классными показателями (в / й / д / б).
2. 8 чеченских падежей: Корректные склонения существительных и местоимений (ЦӀерниг, Доланиг, Лург, Дийриг, Коьчалниг, Хотталург, Дуьхьалург, Меттигниг).
3. Чеченская орфография: Полноценная поддержка чеченской кириллицы (49 букв) и символа палочки (Ӏ / ӏ).
4. Вайнахский этикет (ГӀиллакх): Вежливое обращение к собеседнику («сан лераме ваша/йиша»), соблюдение народных обычаев.
5. Глубокое рассуждение (<think>): Способность модели поэтапно анализировать семантику и синтаксис перед формулировкой ответа.
6. 100% оффлайн и ультра-легковесность: Работает даже на ноутбуках с видеокартами уровня NVIDIA RTX 3050 (потребление памяти < 2.0 GB VRAM в 4-битном квантовании).

---

🚀 Быстрый старт (Python / Transformers)

Для запуска адаптера установите библиотеки:

pip install torch transformers peft accelerate bitsandbytes

Пример генерации:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "google/gemma-2-2b-it"
adapter_id = "fozzi66/ChechenAI-Gemma-2B"

print("Загрузка токенизатора и модели...")
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()

# Формирование запроса на чеченском языке
prompt = (
    "<start_of_turn>user\n"
    "Муха ву хьо, сан лераме ваша? Хьайгахь хӀун керланиг ду?<end_of_turn>\n"
    "<start_of_turn>model\n"
)

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=120,
        temperature=0.3,
        top_p=0.9,
        repetition_penalty=1.15
    )

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print("\nЖоп (Ответ):\n", response)

---

🛠️ Параметры обучения (Training Details)

• Базовая модель: google/gemma-2-2b-it (bnb-4bit)
• Метод обучения: QLoRA (Rank = 16, LoRA Alpha = 16, Dropout = 0.05)
• Целевые модули: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• Оборудование: NVIDIA Tesla T4 (Google Colab) & локальный инференс на NVIDIA RTX 3050 Laptop GPU
• Количество шагов: 150 шагов (Эпоха 2)
• Финальный Loss: 2.086

---

---

🎙️ Интерактивный Голосовой Тренажёр (Google Colab)

В проект добавлен интерактивный тренажёр вайнахского произношения: 👉 ChechenAI_Voice_Trainer_Colab.ipynb

• 👂 Проверка в микрофон: Faster-Whisper анализирует ваш голос за доли секунды.
• 🔍 Разбор звуков: тренировка буквы Ӏ (палочки), абруптивов кӀ, тӀ, пӀ, цӀ, чӀ, звуков къ, гӀ, хь.
• 📊 Оценка от 1 до 100%: оценка точности смычки и советы тренера по артикуляции.
• 🔊 Эталонная озвучка (8.5/10): синтез речи Meta MMS с бархатным мужским тембром.
• 🎯 Квиз по 4 классам: практика согласования (в, й, д, б).

👤 Автор и благодарности

• Автор / Вайбкодер: Abdullah Tunkaev (@fozzi66)
• Благодарность: Сообществу носителей чеченского языка и исследователям кавказских языков.
• Массо хӀуманна а АллахӀана хастам бу!