Ekmek31/trenet-v1.3d

trenet v1.3e

trenet v1.3e, sıfırdan eğitilmiş, 17.7 milyon parametreli deneysel bir Türkçe sohbet modelidir.

Büyük bir laboratuvarda değil, ev ortamında, tek ekran kartlı sıradan bir bilgisayarda eğitildi. Amacı büyük modellerle yarışmak değil; "bu kadar küçük bir model, evde, Türkçe gündelik sohbeti ne kadar götürebilir?" sorusuna cevap aramak.

Bu bir araştırma denemesidir. Verdiği bilgilere güvenmeyin; ciddi işlerde kullanmayın.

Neler yapabiliyor

• Kısa, gündelik Türkçe sohbet: selamlaşma, hal hatır, basit sorular.
• Konuşma içinde söylenenleri hatırlama; tek mesajda verilen birkaç bilgiyi birlikte hatırlayabilir.
• Basit talimatlar: kısa liste, tek cümle, "sadece şunu yaz".
• Basit dört işlem ve adım adım gösterilen yüzde / indirim hesapları.

sen> selam naber
trenet> Selam, iyiyim. Sen nasılsın?

sen> bugün çok yorgunum ya
trenet> Yorucu bir gün olmuş. Biraz dinlenmeye çalış.

sen> Adım Selin, 31 yaşındayım, Bursa'da yaşıyorum ve köpeğimin adı Fıstık. Bunları unutma.
trenet> Adın Selin, 31 yaşındasın, Bursa'da yaşıyorsun ve köpeğinin adı Fıstık.

sen> Bana uyku hakkında üç maddelik bir liste yaz.
trenet> 1. Erken yat. 2. Işıkları kapat. 3. Telefonu uzaklaştır.

sen> Bir ceket 400 TL. Önce yüzde 50 indirim, sonra yüzde 10 zam yapılıyor. Son fiyat kaç TL?
trenet> İndirim: 400 × 50 / 100 = 200. 400 - 200 = 200. Zam: 200 × 10 / 100 = 20. 200 + 20 = 220. Son fiyat 220 TL.

Neler yapamıyor

• Bilgi kaynağı değildir. Bilmediği konularda inandırıcı görünen yanlış cevaplar uydurur.
• Uzun metin yazma, çeviri, kod ve gerçek akıl yürütme bu boyutun dışında.
• Çok adımlı sözel problemlerde ("… çıktı, sonra … girdi") işlemi karıştırabilir.
• Sıralama sorularını (kim daha uzun, en genç kim) bazen yanlış cevaplar.
• Bir cümleyi başka kelimelerle yeniden yazmakta zorlanır, çoğu zaman aynen tekrar eder.
• Uzun konuşmalarda konuyu kaybedebilir.

Kullanım

pip install torch tokenizers safetensors
python chat.py

Ekran kartı yoksa işlemcide de çalışır (--device cpu). Sohbet içinde /yeni geçmişi siler, /cik kapatır.

chat.py dört işlem sorularını küçük bir hesaplayıcıyla kontrol eder; modelin kendi cevabını görmek için --no-calculator ekleyin.

Dosyalar

Dosya	İçerik
model.safetensors	Ağırlıklar (yaklaşık 70 MB)
config.json	Model yapılandırması
tokenizer.json	8192 parçalık Türkçe tokenizer
trenet/, chat.py	Modeli çalıştırmak için gereken kod

Kısaca model

Parametre	17.7 milyon
Yapı	12 katmanlı, yalnızca çözücü (decoder-only) Transformer
Dil	Türkçe
Bağlam	2048 token
Sözlük	8192 parça, bayt düzeyinde BPE
Eğitim	yaklaşık 2 milyar token

Mimari

trenet, hazır bir modelin küçültülmüş kopyası değil; küçük ölçek için baştan tasarlanmış bir Transformer.

• Gizil uzayda dikkat (latent attention): anahtar ve değerler düşük boyutlu bir gizil temsile sıkıştırılır. Aynı parametre bütçesiyle daha çok katman sığar, çıkarımda bellek kullanımı da küçülür.
• Derin ve dar gövde: aynı parametre sayısında farklı şekiller denendi; 12 katmanlı dar yapı, daha geniş ve sığ olanlardan iyi sonuç verdi.
• Çoklu token tahmini: eğitimde model yalnızca bir sonraki parçayı değil, ondan sonrakini de tahmin eder; bu, eğitime ek bir öğrenme sinyali katar.
• Güncel yapı taşları: döndürmeli konum kodlaması (RoPE), sorgu-anahtar normalizasyonu, RMSNorm, SwiGLU.
• Rakamlar tek tek kodlanır: sayılar her zaman aynı biçimde temsil edildiği için aritmetik tutarlı kalır.

Eğitim

İki aşamada, toplam yaklaşık 2 milyar token:

1. Ön eğitim (1.88 milyar token): genel Türkçe metin; ansiklopedi, web, hikâye, diyalog ve matematik karışımı.
2. Sohbet ince ayarı (100 milyon token): gündelik konuşmalar, soru-cevap, talimat takibi ve adım adım gösterilen hesaplar.

Optimizasyonda matris ağırlıkları için Muon, geri kalanı için AdamW kullanıldı; eğitim karışık hassasiyetle (bf16), tek ekran kartında birkaç saat sürdü. Veri kümesi yayınlanmıyor.

Sırada ne var

Yaklaşık 35 milyon parametreli trenet v2 üzerinde çalışılıyor.

Lisans

MIT. Dilediğiniz gibi kullanabilir, değiştirebilir ve dağıtabilirsiniz; tek koşul lisans metnindeki telif satırını korumanız.