🦁 Turkish-1B
⚠️ DURUM: AKTİF ÖN EĞİTİM (PRE-TRAINING) AŞAMASINDADIR (Work in Progress / WIP)
Bu depo, Turkish-1B modelinin sıfırdan ön eğitim (pre-training) sürecine ait periyodik checkpoint ağırlıklarını barındırmaktadır.
Model henüz eğitim aşamasında olup, ham checkpoint'ler son kullanıcı sohbetine hazır değildir. Nihai ağırlıklar, SFT (Talimat & Sohbet Eğitimi) ve GGUF sürümleri (Ollama / Open WebUI) eğitim tamamlandığında resmi olarak yayınlanacaktır.
📌 Proje Özeti
Turkish-1B, Türkçe dilinin morfolojik yapısını, zengin kelime haznesini ve semantik derinliğini en yüksek verimlilikle kavramak üzere sıfırdan (from scratch) eğitilen 1.014 Milyar (1.01B) parametreli açık kaynak bir temel dil modelidir (Foundation SLM).
⚙️ Model Mimarisi (Llama-3 & GQA Standartları)
| Mimari Bileşen | Değer | Açıklama |
|---|---|---|
| Parametre Sayısı | 1,014,061,056 (~1.01B) | 21 Transformer Bloğu |
| Model Boyutu (Hidden Dim) | 2048 | Geniş temsil uzayı |
| Dikkat Mekanizması | GQA (16:4) | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) |
| Bağlam Uzunluğu (Context) | 1,024 Token | RoPE $\theta=500,000$ (YaRN ile 16k/32k genişletilebilir) |
| MLP Yapısı | SwiGLU | Intermediate Size: 5632 |
| Tokenizer | Özel BPE Tokenizer | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) |
| Normalizasyon | RMSNorm | Epsilon: 1e-5 |
| Ağırlık Paylaşımı | Weight Tying | Input Embedding = Output LM Head |
📚 Çok Alanlı Zengin Türkçe Veri Havuzu
Model tek bir kaynağa hapsolmamak adına 8 farklı dev Türkçe havuzdan sürekli olarak beslenmektedir:
- Edebi & Zengin Kelime Haznesi: YTÜ Cosmos Türkçe Kitaplar (
ytu-ce-cosmos/turkce-kitap) - Kodlama & Mantık Yürütme: Türkçe Python Yönerge Seti (
bysismo/Turkish-Python-instruction) - Akademik & Genel Kültür: YTÜ Cosmos Corpus v1.0 (
ytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0) - Yüksek Kaliteli Web Arşivi: FineWeb-2 Türkçe (
altaidevorg/fineweb-2-turkish-categorized) - Günlük İnternet Dili: Turkish LLM Dataset (
tascib/turkish-llm-dataset) - Temizlenmiş Metin Havuzu: Cleaned Turkish Corpus (
serda-dev/turkish-raw-text-cleaned) - Ansiklopedik Referans: Türkçe Vikipedi (
wikimedia/wikipedia) - Devasa İnternet Külliyatı: CulturaX (
uonlp/CulturaX)
🚀 Yol Haritası (Roadmap)
- Özel Türkçe BPE Tokenizer geliştirilmesi (16k vocab)
- 1.014B Llama-3 + GQA mimarisinin tasarımı ve çift GPU optimizasyonu
- 🔄 Ön Eğitim (Pre-training) - [ŞU ANDA AKTİF OLARAK ÇALIŞIYOR]
- SFT (Supervised Fine-Tuning - Türkçe Talimat & Sohbet Uyarlaması)
- DPO / Alignment (İnsan Tercih Hizalaması)
- GGUF (Q4_K_M, Q8_0, FP16) quantizasyonu & Ollama / Open WebUI dağıtımı
Geliştirici: Rel0aded/Yağız