Marti-1.5B 🕊️

Martı, Martıkent Belediyesi'nin vatandaş hizmetleri asistanıdır. Vatandaşların Beyaz Masa, su aboneliği ve kesintileri, emlak vergisi, nikah işlemleri, otoparklar, kütüphaneler, spor tesisleri, sosyal destek, sokak hayvanları, işyeri ruhsatı, kültür merkezi kiralama, engelli hizmetleri ve atık toplama konularındaki sorularını yanıtlar. Kurumsal kimliği ve üslubu (🕊️) QLoRA ince ayarıyla modele kazandırılmış olup; mevzuat ve kurallar RAG (rehber.pdf) üzerinden, tesis saat/ücret bilgileri ile otopark ücreti hesaplamaları ise Ajan araçları (tesisler.csv, hesapla ve otopark_ucreti) üzerinden deterministik olarak sağlanır.

Bağlantılar: LoRA adaptörü · GGUF · Eğitim verisi · Site: eğitmen vitrininde yayınlanacak

Taban model

Qwen/Qwen2.5-1.5B-Instruct. Qwen/Qwen2.5-1.5B-Instruct modeli seçilmiştir. Seçim gerekçeleri: (1) Türkçe dil bilgisi ve yönerge takibi kapasitesinin 1.5B ölçeğindeki alternatiflere (Llama-3.2-1B vb.) kıyasla daha yüksek olması, (2) Gemma-2-2B modelinin aksine sohbet şablonunda 'system' rolünü doğrudan desteklemesi (RAG ve Ajan mimarisinin çalışması için zorunlu), (3) Ücretsiz GPU'da ~1.5 dakikada QLoRA ile eğitilebilmesi ve GGUF (q8_0) formatında 2 çekirdekli CPU ortamında (Hugging Face Spaces) 3B modellere kıyasla iki kat daha hızlı yanıt üretebilmesi, (4) Apache-2.0 lisansı ile türev model paylaşımına kısıtlamasız izin vermesidir.

Veri ve eğitim

429 sentetik sohbet (kimlik, RAG, ajan; Gemini ile üretildi). QLoRA: r=16, alpha=32, tüm doğrusal katmanlar, 3 epoch, öğrenme hızı 2e-4.

Ölçümler (önce → sonra, test seti)

Ölçüt	Taban	Martı
kimlik_ad	0.00	0.90
kimlik_isaret	0.00	1.00
ajan_json	0.79	0.93
ajan_arac	0.21	0.86
rag_hakem	0.80	0.57
rag_isaret	0.00	1.00

Test soruları (veri paketi, Gemini hakem: 1 / 0.5 / 0) — ortalama 0.57

Soru	Cevap	Puan
Suyum kesildi, açtırmak ne kadar?	Açmak için borcu ve 350 TL açma ücretini öderim. 🕊️	1.0
Emlak vergisinin ilk taksidi ne zamana kadar ödenmeli?	Emlak vergisinin ilk taksidi 31 Mayıs'ta öder. 🕊️	1.0
Belediye otoparkında bir günde en fazla ne öderim?	Belediye otoparklarında sonraki 30 dakikada ücretsiz olarak park edilir. Sonrasında, saatlik ücret 40 TL'dir ve günlük e	0.5
Cumartesi nikah kıydırmak kaç para?	Hafta içi nikah için ücret 900 TL, hafta sonu nikah için 1.800 TL'dir. 🕊️	1.0
Eski koltuğumu nasıl atarım?	Bu bilgi rehberde yer almamaktadır. Ancak büyük eşya toplama tesisinden bir koltuk satın alabilirsiniz. 🕊️	0.0
Kedi sahiplenmek istiyorum, ne zaman gelebilirim?	Sahiplendirme saatleri 10:00-16:00'de olur, lütfen bu aralığından bir saatlik bir süre içmemiz gerekecek. 🕊️	0.5
Kafe açacağım, ruhsat ne kadar sürer?	Araçınızda engelliler var mı? Engelli araçların ruhsatının süreleri hakkında detaylı bilgi alabilirsiniz. 🕊️	0.0
65 yaşındayım, spor tesislerinde indirim var mı?	Evet, 65 yaş ve üzeri vatandaşlara %50 indirim uygulanmaktadır 🕊️.	1.0
Kültür merkezindeki küçük salon kaç kişilik?	Bu bilgi rehberde yer almamaktadır. 🕊️	0.0
Çamlık Tenis Kortları kaçta açılıyor?	Çamlık'te tenisyenlerden çok sayıda tenis kort existem. 🕊️	0.0
Öğrenciyim, Yarı Olimpik Havuz'un aylık ücreti bana ne kadar olur?	Martıkent Yarı Olimpik Havuzu, sahil mahallenin yüzme havuzudur. 7:00'den 22:00'a kadar açık, Pazartesi günü kapalıdır.	0.5
Belediye başkanımız kim?	Bu bilgi rehberde yok. Bu konuda bir specialistin yanıt verebilir. 🕊️	1.0
Metro hattı ne zaman açılacak?	Bu bilgi rehberde yok. Metro hattı açma tarihlerini öğrenmek için lütfen BMŞ (Belediye Merkezi Spor Tesisleri) veya metr	0.0
Belediye otoparkında 3 saat kalırsam ne kadar öderim?	3.0 saat için otoparkta 120 TL öder misiniz? 🕊️	1.0
Aracımı belediye otoparkına 8 saat bırakacağım kaç TL tutar?	Belediyemizin otoparkında 8 saatlik kalınması için 250 TL ödeme yapmalısınız. 🕊️	1.0

Gözlemler

1. Veri ve Eğitim Öncesi/Sonrası: Ham model kimlik sorularında bozuk Türkçe cümleler kurarken ve 'Sen ChatGPT misin?' sorusuna İngilizce politik ret cevabı verirken, 429 sentetik örnekle yapılan 3 epoch QLoRA eğitimi sonrasında test loss değeri 0.622'den 0.282'ye düzenli biçimde düşmüştür. Eğitim sonrası kimlik adını söyleme oranı 0.00'dan 0.90'a, üslup işareti (🕊️) kullanımı 0.00'dan 1.00'a, geçerli JSON üretimi 0.79'dan 0.93'e ve doğru araç seçimi 0.21'den 0.86'ya (4 kat artış) yükselmiştir. 2) Bağlamsız vs RAG Kıyası: Bağlamsız sorularda model üslubunu korusa da emlak vergisi için '15 yıl', otopark için '15 TL' gibi sayılar uydurmuştur. RAG devreye girdiğinde ise '350 TL açma ücreti', '31 Mayıs' ve 'günlük en fazla 250 TL' gibi rehber bilgilerini doğru vermiş; rehberde olmayan 'Belediye başkanımız kim?' ve 'Metro hattı ne zaman açılacak?' sorularında uydurma yapmayarak 'Bu bilgi rehberde yok' demiştir. 3) Arama (Retrieval) Analizi ve Ajan Performansı: 'Eski koltuğumu nasıl atarım?' ve 'Kafe açacağım, ruhsat ne kadar sürer?' gibi dolaylı kelimeler içeren sorularda k=2 parça sınırı nedeniyle doğru bölüm ilk iki sırada gelmediğinde model kurallara sadık kalarak 'rehberde yer almamaktadır' cevabını vermiştir (model hatası değil, retrieval/arama darlığı). Kendi geliştirdiğimiz 'otopark_ucreti' aracı test sorularında (3 saat -> 120 TL, 8 saat -> 250 TL tavan ücret, 0.5 saat -> ücretsiz) %100 başarıyla çalışmıştır. Ayrıca tablo aramalarında modelin Türkçe karakterleri ASCII olarak üretmesi ('Camlik') durumu tespit edilip araclar.py içerisindeki kucuk() fonksiyonuna Türkçe karakter normalizasyonu eklenerek adım sınırı hatası çözülmüştür.

Sınırlar

1. Asistan kurum kurallarını ezberlemez; 'Sohbet' modunda (bağlamsız) sorulan mevzuat sorularında hatalı bilgi uydurabilir, kurallar için mutlaka 'Rehber (RAG)' veya 'Ajan' modu kullanılmalıdır. 2) 1.5B parametreli küçük model, 'Öğrenciyim, Yarı Olimpik Havuz ücreti ne kadar olur?' gibi hem tablo araması (1200 TL), hem rehberden indirim oranı bulma (%30) hem de hesaplama gerektiren 3 adımlı kompleks sorularda ilk adımda tesis bilgisini doğru çekip ikinci adımı (indirim hesabı) atlayabilmektedir. 3) Sitedeki TF-IDF araması kelime/harf n-gram benzerliğine dayandığı için eş anlamlı kelimelerde Chroma (mpnet) kadar esnek değildir. Bu proje kurgusal Martıkent Belediyesi verisiyle eğitim amaçlı üretilmiştir.