Toxotes/GEMMA3_FINANCE_V1_GGUF

GEMMA3-FINANCE-V1 (Gemma-3-4B Turkish Finance SFT)

GEMMA3-FINANCE-V1, MOSAIC-v2 Yüksek Lisans Tez Projesi ("Türkçe Finans İçin Federe RAG Tabanlı Düşük Kaynaklı Ortamlarda Çalışan Adaptif Chatbot Mimarisi ve Uygulaması") kapsamında, kısıtlı kaynaklı uç noktalarda (Edge / Şube ortamları) Türkçe finans, bankacılık ve mevzuat sorgularını verimli şekilde yanıtlamak üzere özel olarak eğitilmiş ve Q4_K_M GGUF formatına kuantize edilmiş bir SLM (Küçük Dil Modeli) modelidir.

📊 Model ve Eğitim Özellikleri

• Temel Model: unsloth/gemma-3-4b-it (Google Gemma 3 4B Instruct)
• Eğitim Verisi: 22.735 örnek (~4.87M Token) Türkçe finansal SFT veri seti (finetune_turkish_finance_sft.jsonl)
  • Piyasa ve Şirket Analizleri (14.743 örnek)
  • KAP Şirket Bildirimleri ve Finansal Duygu (3.478 örnek)
  • Türkçe Finansal Muhakeme ve Hesaplama (1.791 örnek)
  • BDDK & TCMB Resmi Mevzuat ve Tebliğler (1.423 örnek)
  • Bankacılık Ürünleri ve Kredi Kılavuzları (1.345 örnek)
• Eğitim Parametreleri: LoRA ($r=32, \alpha=64$), max_seq_len=512, lr=2e-4, AdamW 8-bit, 1.000 adım.
• Eğitim Kaybı (Loss): 3.58 ➔ 0.8489 (Yaklaşık %76 kayıp düşüşü).
• Kuantizasyon: GGUF Q4_K_M (2.32 GB - Düşük kaynaklı bankacılık uç cihazları için optimize edilmiştir).

---

📈 Değerlendirme ve Benchmark Sonuçları

Model, Türkçe finans terminolojisi ve BIST duygu analizi test seti üzerinde değerlendirilmiştir:

Metrik / Test	GEMMA3-FINANCE-V1	Tez Başarı Kriteri	Durum
BIST Finansal Duygu Analizi (Macro F1)	0.6284	> 0.6000	✅ Başarılı
BIST Duygu Analizi Doğruluğu (Accuracy)	%92.50	> %70.0	✅ Başarılı
Model Boyutu (VRAM / Disk)	2.32 GB	< 4 GB VRAM	✅ Başarılı

---

🚀 Kullanım Talimatları

1. llama.cpp / llama-server ile Çalıştırma

Model bağımsız (standalone) bir GGUF olarak derlenmiştir. Doğrudan llama-server ile başlatabilirsiniz:

# Bağımsız Q4_K_M modeli ile sunucu başlatma (Port 8099)
llama-server \
  -m GEMMA3_FINANCE_V1.Q4_K_M.gguf \
  --port 8099 \
  --ctx-size 4096 \
  -ngl 99

2. LoRA Adaptörü Olarak Kullanım

Temel Gemma-3-4B modeli üzerine LoRA adaptörü olarak yüklemek için:

llama-server \
  -m gemma-3-4b-Q4_K_M.gguf \
  --lora gemma-3-4b-finance-lora.gguf \
  --port 8099 \
  --ctx-size 4096 \
  -ngl 99

---

🏢 Mimarideki Yeri (MOSAIC-v2 Dağıtık Topoloji)

Bu model, MOSAIC-v2 sisteminde Şube / Edge düğümlerinde (VM-1 Bireysel Bankacılık ve VM-2 Kurumsal Bankacılık) ve HQ'da hızlı SSS / chitchat ve temel finans sorgularını düşük kaynak (2 vCPU, <4 GB RAM/VRAM) tüketerek anında yanıtlamak üzere konumlandırılmıştır.