🇨🇿 Qwen3.8-27B-Czech-4bit (Sloučený český model)

Tento model je plně sloučenou (merged) 4-bitovou verzí velkého jazykového modelu Qwen 27B, adaptovaného a dotrénovaného pro český jazyk na korpusu české Wikipedie.

Model již v sobě obsahuje aplikovaný LoRA adaptér, takže nevyžaduje načítání externích vah – funguje jako plně samostatný model připravený k okamžitému použití v ekosystému Hugging Face Transformers.

---

📌 Původ a architektura

• Základní model: oriyonay/Qwen3.8-27B-bnb-4bit (architektura Qwen 27B)
• Formát kvantizace: Nativní BitsAndBytes 4-bit NF4 s dvojitou kvantizací (bnb_4bit_use_double_quant=True)
• Stav: Samostatný sloučený model (merged)
• Celková velikost: cca 17,6 GB rozdělených do 4 safetensors souborů (max. 5 GB na soubor)

---

🔬 Trénovací data a adaptace

Model byl přeučen se zaměřením na hlubší faktografické znalosti českých reálií a přirozenou českou syntaxi:

1. Trénovací korpus:

   • Oficiální dump české Wikipedie (wikimedia/wikipedia, snapshot 20231101.cs).
   • Pečlivě profiltrováno přes 30 000 plnotučných českých článků (vyřazeny prázdné šablony, pahýly a rozcestníky).
   • Formátováno do encyklopedického stylu pro maximální faktickou přesnost.

2. Metoda přeučení:

   • QLoRA (Rank $r=16$, škálování $\alpha=32$, dropout $0.05$).
   • Adaptovány všechny pozornostní a projekční vrstvy (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj).
   • Adaptér byl následně přímo sloučen do 4-bitových vah NF4, což zachovává nízkou spotřebu paměti bez nutnosti dodatečného běhového overheadu.

---

💻 Hardwarové požadavky pro spuštění (Inference)

Díky 4-bitové kvantizaci NF4 je model vysoce efektivní a dostupný i pro běžné pracovní stanice:

• Běh čistě na GPU: Vyžaduje grafickou kartu s alespoň 18–20 GB VRAM (např. NVIDIA RTX 3090, RTX 4090, A5000, AMD Radeon 24GB+ apod.).
• Sdílená paměť (GPU + RAM): Na kartách s menší pamětí (např. 12GB nebo 16GB VRAM) lze model provozovat s automatickým odkládáním do systémové RAM pomocí device_map="auto".
• Místo na disku: cca 18 GB pro stažení a uložení vah.

---

🚀 Rychlý start (Použití v Pythonu)

Instalace závislostí:

pip install transformers bitsandbytes accelerate

Ukázka kódu pro generování:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = "OJBLCZ/Qwen3.8-27B-Czech-4bit"

# 1. Načtení tokenizéru
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

# 2. Konfigurace 4-bit BitsAndBytes
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
)

# 3. Načtení modelu
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
)

# 4. Příprava dotazu (doporučený formát QA)
prompt = "Otázka: Kdo byl Karel Čapek a jaké je jeho nejvýznamnější dílo?\nOdpověď:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 5. Generování odpovědi
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.1,
        do_sample=True,
    )

odpoved = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(odpoved.strip())

Doporučené formátování vstupů:

Jelikož model vychází ze základního modelu (base/completion) adaptovaného na encyklopedických textech, nejlepších výsledků dosáhnete při použití:

• Otázka / Odpověď: Otázka: {Váš dotaz}\nOdpověď:
• Doplnění textu: Karel Čapek se proslavil především...
• Článek: # {Téma}\n\n{Úvodní věta}...

---

🎯 Hlavní přednosti

• Faktografická přesnost: Výrazně potlačuje halucinace u českých historických, kulturních a geografických témat (správně identifikuje autory, díla, reálie a historické souvislosti).
• Korektní čeština: Přirozená morfologie, syntax a správné používání diakritiky.
• Efektivita: Plná síla 27B parametrů při spotřebě pouhých ~17 GB paměti.

---

📜 Licence a citace

Model je šířen pod licencí Apache 2.0. Při využívání respektujte licenční podmínky původního modelu Qwen a komunitní licenci české Wikipedie (Creative Commons BY-SA).