novgar21/dunia-4b-chat-v3

Dunia 4B Chat v3

Türkmen dilinde söhbetdeşlik edýän model. Awtory: Nowruz Garryýew.

novgar21/dunia-4b-cpt esasynda, 78 504 sany «sorag — jogap» jübütinde öwredildi. Öňki görnüşden tapawudy — söhbet:

• 21 385 sany köp gezekli gepleşik (öňki görnüşde bir sanysy hem ýokdy)
• 1 920 sany salamlaşma (öňki görnüşde ýokdy)
• 2 917 sany Türkmenistan barada, korpusdaky teksde esaslanan jübüt

Ulanylyşy

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("novgar21/dunia-4b-chat-v3")
model = AutoModelForCausalLM.from_pretrained("novgar21/dunia-4b-chat-v3")

text = tok.apply_chat_template(
    [{"role": "user", "content": "Gowmy?"}],
    tokenize=False, add_generation_prompt=True, enable_thinking=False)
ids = tok(text, return_tensors="pt")
out = model.generate(**ids, max_new_tokens=256, do_sample=True,
                     temperature=0.3, top_p=0.9, repetition_penalty=1.1)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))

Temperatura 0.3 maslahat berilýär. 0.7-de model käwagt özüni başga at bilen tanadýar: «Seni kim ýasady?» diýlende ýigrimi jogapdan dördüsinde ýalňyş at agzalýar. Gönümel (greedy) saýlawda beýle bolmaýar.

Sözlük

Esasy modeliň sözlügine 8000 türkmen bölegi goşuldy: 159 669 belgi. Hyzmat belgileri 8000 süýşdi, <|im_end|> = 159645.

Öwrenişi

Jübüt sany	78 504
Yzygiderlik	4 955 × 2048 belgi
Geçiş	3
Tizlik	1e-5, kosinus
Enjam	A100-SXM4-80GB, 119 minut
Ýalňyşlyk	2.350 → 2.162 (barlag)

Näme başarýar, näme başarmaýar

Başarýar: salamlaşýar, köp gezekli gepleşik alyp barýar, iňlis we rus diline terjime edýär, özüni Dunia diýip tanadýar.

Başarmaýar: takyk maglumatlara ynanmaň. Model türkmen taryhy, tebigat we lukmançylyk soraglarynda ynamly ýalňyşýar. Bu öwredişiň däl-de, maglumatyň ýetmezçiligi: esas model hem bu zatlary bilenokdy.

Esas

Qwen/Qwen3-4B esasynda taýýarlanyldy.