Banka Diyalog Asistanı — Gemma 3 4B LoRA Adaptörü
unsloth/gemma-3-4b-it temel modeli üzerine, Türkçe bankacılık/finans müşteri asistanı olarak fine-tune edilmiş LoRA adaptörü.
Detaylar
- Temel model: unsloth/gemma-3-4b-it
- Yöntem: LoRA (r=32, lora_alpha=32), unsloth ile
- Eğitim verisi: Resad2173/Banka_Diyalog_Magibu (742 train / 83 test)
- Epoch: 2
- Son train loss: ~0.47
- Eval loss (test seti): ~0.616
Benchmark Sonuçları
Fine-tune edilmiş model (banka_model), taban model (gemma3:4b) ile Ollama üzerinden karşılaştırıldı.
| Benchmark | Banka Modeli | Taban Model (gemma3:4b) | Fark |
|---|---|---|---|
| MMLU-TR (62 bölümden 6200 soru) | %58.00 | %59.58 | -1.58 |
| TruthfulQA-TR (816 soru, malhajar/truthfull_qa-tr) | %61.76 | %56.86 | +4.90 |
Yorum: Fine-tuning, genel akademik bilgide (MMLU) küçük bir gerilemeye yol açtı — bu, literatürde "catastrophic forgetting" olarak bilinen, domain-spesifik fine-tuning'in bilinen bir yan etkisidir. Ancak doğruluk/halüsinasyon direncini ölçen TruthfulQA'da banka modeli taban modelden daha iyi performans gösterdi; bu, eğitim verisindeki temkinli, aşırı iddialı olmayan cevap tarzının modelin yanıltıcı bilgi üretme eğilimini azaltmış olabileceğini düşündürüyor.
Kullanım
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="Resad2173/Gemmas_Banka_LoRA_Magibu",
max_seq_length=2048,
load_in_4bit=True,
)
FastLanguageModel.for_inference(model)
Örnek Çıktılar
Test setinden rastgele seçilen sorular, model hiç görmediği veriyle test edildi:
Soru: Kredi kartımdaki kampanya ve fırsatları nasıl öğrenebilirim? Model cevabı: Kampanyaları öğrenmek için bankanızın web sitesini kontrol edebilir, mobil uygulamanızdaki güncellemeleri takip edebilir ya da müşteri hizmetleriyle iletişime geçebilirsiniz.
Soru: DASK poliçemi yıllık mı, aylık mı ödeyebilirim? Model cevabı: DASK poliçesi genellikle yıllık olarak ödenir. Ancak bazı sigorta şirketleri aylık ödeme seçenekleri sunabilir.
Soru: Hangi kredileri alabileceğimi nasıl öğrenebilirim? Model cevabı: Hangi kredileri alabileceğinizi öğrenmek için bankanızın web sitesini ziyaret edebilir veya müşteri hizmetleri ile iletişime geçebilirsiniz.
Soru: Vadeli hesabımın faizi ne zaman yatacak? Model cevabı: Vadeli hesabınızın faizi, başvurduğunuz süreye bağlı olarak nakite çevrilip alınabilir. Çevrim süresi bankanıza göre değişiklik gösterebilir.
Sınırlamalar
- Eğitim verisi sentetik olarak (GPT-4o-mini ile) üretildiği için, bazı yanıtlarda nadiren hatalı/karışık bilgi (halüsinasyon) görülebilir.
- Model, belirli bir bankanın güncel kampanya/politika bilgisini değil, genel bankacılık pratiğini yansıtır.
Maintenance
Hazırlayan: Resad2173