Yakamoz-3B ✦

Built with Qwen. Qwen is licensed under the Qwen RESEARCH LICENSE AGREEMENT, Copyright (c) Alibaba Cloud. All Rights Reserved.

Yakamoz, kurgusal Martıkent Belediyesi'nin vatandaş hizmetleri asistanı. Su aboneliği, emlak vergisi, nikah, otopark, spor tesisleri gibi konularda vatandaşın sorusunu cevaplıyor. Adı ve üslubu ince ayarla modele işlendi; ücret ve kurallar belediye rehberinden (RAG), tesis saatleri ve ücretleri tesisler.csv tablosundan, otopark ücreti de kendi yazdığım otopark_ucreti aracından geliyor.

Bağlantılar: LoRA adaptörü · GGUF · Eğitim verisi · Site: eğitmen vitrininde yayınlanacak · Colab defteri

Taban model

Qwen/Qwen2.5-3B-Instruct. Qwen2.5-3B-Instruct seçtim. Önce 1.5B'yi düşündüm, hızlı ve Apache-2.0 lisanslı; ama asistanın tablo + rehber + hesap gibi birkaç adımlı soruları çözmesini istedim ve 3B'nin Türkçesi ile RAG kalitesi daha iyi. Sohbet şablonu system mesajını kabul ediyor, ücretsiz T4'te 4-bit QLoRA ile eğitilebiliyor (parça boyu 2, birikim 8). Bedeli: eğitim ve sitedeki cevaplar yaklaşık iki kat yavaş. Lisansı Qwen Research: türev modeli yayınlamaya izin veriyor ama yalnızca ticari olmayan kullanım için; bu yüzden depolara lisans metnini ve NOTICE dosyasını koydum, kartta 'Built with Qwen' yazıyor.

Veri ve eğitim

470 sentetik sohbet (kimlik, RAG, ajan ve çok adımlı ajan; Gemini ile üretildi, kurallarla otomatik temizlendi). QLoRA: r=16, alpha=32, tüm doğrusal katmanlar, 3 epoch, öğrenme hızı 2e-4.

Ölçümler (önce → sonra, test seti)

Ölçüt	Taban	Yakamoz
kimlik_ad	0.00	0.70
kimlik_isaret	0.00	1.00
ajan_json	0.88	1.00
ajan_arac	0.35	0.88
ajan_cok_adim	0.35	0.88
rag_rehberde_yok	0.00	0.00
rag_hakem	0.40	0.70
rag_isaret	0.33	1.00

ajan_cok_adim: çok adımlı örneklerde (2.4b) her adımda doğru araç ya da son cevap oranı. rag_rehberde_yok: cevabı rehberde olmayan sorularda "rehberde yok" deme oranı.

Test soruları (veri paketi, Gemini hakem: 1 / 0.5 / 0) — ortalama 0.81

Soru	Cevap	Puan
Suyum kesildi, açtırmak ne kadar?	Suyunuz kesildiğinde yeniden açmak için borcunuzu ve 350 TL açma ücretini ödenmeniz gerekmektedir. ✦	1.0
Emlak vergisinin ilk taksidi ne zamana kadar ödenmeli?	Emlak vergisinin ilk taksidi 31 Mayıs'ta ödenmelidir. ✦	1.0
Belediye otoparkında bir günde en fazla ne öderim?	Belediye otoparkında bir günde en fazla 250 TL ödemeniz gerekmektedir. ✦	0.5
Cumartesi nikah kıydırmak kaç para?	Cumartesi nikah ücreti 1.800 TL'dir. ✦	1.0
Eski koltuğumu nasıl atarım?	Eski koltuğunuzu geri dönüşüm atıkları olarak toplayabilirim. Randevu 153'ten alınabilir. ✦	0.5
Kedi sahiplenmek istiyorum, ne zaman gelebilirim?	Belediye hayvan bakımevi sahiplendirme hizmeti salı ve cuma günleri 10:00-16:00 saatleri arasında bulunmaktadır.✦	0.5
Kafe açacağım, ruhsat ne kadar sürer?	Kafe gibi umuma açık işyeri ruhsatı 30 gündür.✦	1.0
65 yaşındayım, spor tesislerinde indirim var mı?	Evet, 65 yaş ve üzeri vatandaşlar için %50 indirim uygulanmaktadır. ✦	1.0
Kültür merkezindeki küçük salon kaç kişilik?	Kültür merkezindeki küçük salon 120 kişilikdir. ✦	1.0
Çamlık Tenis Kortları kaçta açılıyor?	Çamlık Tenis Kortları 08:00'de açmaktadır.✦	1.0
Öğrenciyim, Yarı Olimpik Havuz'un aylık ücreti bana ne kadar olur?	Yarı Olimpik Havuz'un aylık ücreti 1200 TL'dir.✦	0.5
Belediye başkanımız kim?	Bu bilgi rehberde yok.✦	1.0
Metro hattı ne zaman açılacak?	Bu bilgi rehberde yok.✦	1.0
Arabamı belediye otoparkına 3 saat bıraktım. Ne kadar öderim?	3 saat otoparkında kalınca 120 TL ödemek zorundasınız.✦	1.0
Otoparkta 9 saat kalırsam ücret ne olur?	9 saat otoparkına kalınca 250 TL ödemeniz gerekmektedir.✦	1.0
Ayda 20 gün her gün 8 saat belediye otoparkına park ediyorum. Aylık abonelik mi daha uygun?	Aylık 5000 TL'lik otopark aboneliği daha büyük bir ücretten faydalanmayı sağlayacaktır.✦	0.0

Gözlemler

Gemini 548 örnek üretti. Otomatik temizlik 26 tanesini eledi: 24'ü ✦ işaretsizdi (Gemini kotası dolunca flash-lite modele geçti ve bir gruptaki cevaplarda işareti unuttu), 2'si tekrar eden soruydu. Geriye 522 örnek kaldı, 470 eğitim ve 52 test. Örneklere gözle bakarken bir hata buldum: Gemini ikinci ve üçüncü gruptaki maddeleri kendi kafasına göre 0'dan numaralıyordu, bu yüzden cevaplar başka soruların altına yazılıyordu. Spor tesisleri rehberinin sonucuna 'On beşten beşi çıkarıp ikiye böldüğümüzde 5 çıkar' diye bir cevap gelmişti. Bu hem benim çok adımlı örneklerimde hem de defterin iki turlu ajan örneklerinde vardı. Numaraları grup içinde 0'dan verip grubun başını ekleyerek düzelttim, iki turlu ajan örneği 20'den 38'e çıktı ve hepsi kendi sorusuna ait oldu. Eğitim 29.7 dakika sürdü, test loss 0.35, 0.20, 0.19 diye düştü, ezber görmedim. Ham model kendine Qwen diyordu, eğitimden sonra 'Ben Yakamoz' diyor (ad 0 → 0.7, işaret 0 → 1.0). Doğru araç 0.35 → 0.88, RAG hakem puanı 0.40 → 0.70 oldu. rag_rehberde_yok iki tarafta da 0 çıktı ama test setinde bu türden sadece 2 örnek vardı; test sorularındaki 'Belediye başkanımız kim?' ve 'Metro hattı ne zaman açılacak?' sorularına model 'Bu bilgi rehberde yok' dedi, yani davranış var, ölçüt az örnekle bir şey göstermedi. RAG kıyasında bağlamsız model sayıları uydurdu (otopark için günlük 150 TL, emlak vergisi için '30 gün içinde'), RAG ile 250 TL ve 31 Mayıs'ı doğru verdi. Test sorularında ortalama 0.81 aldı. Tek araçlı sorular ve otopark aracım tam puan aldı. Zayıf yer çok adımlı sorular: havuz + öğrenci sorusunda tabloya baktı ama yüzde 30 indirimi uygulamadı (0.5), abonelik sorusunda 250 x 20 = 5000'i doğru hesapladı ama rehberden abonelik ücretine bakmadan cevaba geçti (0). ajan_cok_adim ölçümünde önceki adımları biz verdiğimiz için 0.88 çıkıyor, model kendi başına giderken bir adımı atlayınca zincir bozuluyor. Kedi sahiplenme sorusunda günü yanlış söyledi (cumartesi yerine salı ve cuma, bunlar geri dönüşüm günleri, atık toplama bölümüyle karıştırmış olabilir). Sitedeki TF-IDF araması 'Evlenmek istiyoruz, belediyeye ne kadar ödememiz gerekiyor?' sorusunda Su faturası bölümünü getirdi, Chroma Nikah işlemleri'ni buldu; 'Çöpler ne zaman alınıyor?' sorusunda ikisi de Atık toplama'yı buldu. Sitede 3B model CPU'da üç cevabı 186 saniyede verdi.

Sınırlar

Kuralları ezberlemedi; Sohbet modunda (bağlamsız) sorulan ücret ve süre sorularında sayı uydurabiliyor, bu yüzden bilgi soruları Rehber ya da Ajan modunda sorulmalı. Sitedeki TF-IDF araması rehberde geçmeyen kelimelerle sorulunca yanlış bölümü getirebiliyor. Tablo + rehber + hesap isteyen çok adımlı sorularda adım atlayabiliyor. Otopark aracında başlayan saati tam saat saydım; rehber bunu açıkça yazmıyor. 3B model CPU'da yavaş, sitede bir cevap bir dakikayı bulabiliyor. Taban modelin lisansı gereği ticari kullanılamaz. Martıkent Belediyesi kurgusal bir kurum, cevaplar eğitim amaçlı ve gerçek bir belediye için kullanılmamalı.