Cekirdek-3B 🥝

Çekirdek, kurgusal çevrim içi elektronik mağazası Kivi Elektronik'in müşteri hizmetleri asistanıdır. Sipariş, ödeme ve taksit, kargo, iade, garanti, Kivi Koruma Paketi ve Kivi Puan sorularını cevaplar. Adı, üslubu ve araç protokolü ince ayarla modele işlendi; kurallar müşteri rehberinden (RAG), ürün fiyat/stok bilgisi tablodan (araç), kargo-taksit-kapıda ödeme-puan hesabı kendi aracımdan (odeme_secenekleri) gelir.

Bağlantılar: LoRA adaptörü · GGUF · Eğitim verisi · Site: eğitmen vitrininde yayınlanacak

Taban model

Qwen/Qwen2.5-3B-Instruct. Qwen2.5-3B-Instruct seçildi: Türkçesi 1.5B'ye göre daha düzgün ve araç protokolünü eğitimden önce de büyük ölçüde izliyor (geçerli JSON 1.00, doğru araç 0.89; derste 1.5B'de 0.33 ve 0.08). QLoRA ile ücretsiz T4'te eğitilebildi (38,9 dk, tepe GPU belleği 4,1 GB, parametrelerin %0,96'sı). Bedeli: eğitimin ve sitedeki CPU cevaplarının 1.5B'ye göre yaklaşık iki kat yavaş olması ve Apache-2.0 yerine Qwen Research lisansı.

Veri ve eğitim

657 sentetik sohbet (kimlik, RAG, ajan; Gemini ile üretildi, iki denetimle rehbere göre düzeltildi). Türler: kimlik (10 tema), RAG (2 tur), ajan karar, araç sonucundan cevap ve iki araçlı zincirler. QLoRA: r=16, alpha=32, tüm doğrusal katmanlar, 3 epoch, öğrenme hızı 2e-4.

Ölçümler (önce → sonra, test seti)

Ölçüt	Taban	Çekirdek
Adını söyleme	0.00	0.70
İşaret (🥝)	0.00	0.90
Geçerli JSON	1.00	1.00
Doğru araç	0.89	0.83
RAG hakem puanı	0.33	0.60
RAG'de işaret	0.13	1.00
Rehberde yok → doğru reddetme (↑)	0.20	0.40
Rehberde var → gereksiz reddetme (↓)	0.00	0.09

Test soruları (veri paketi, Gemini hakem: 1 / 0.5 / 0) — ortalama 0.69

Soru	Cevap	Puan
Kargo ücreti ne kadar?	1.000 TL ve üzeri siparişlerde kargo ücretsizdir; altındaki siparişlerde ise 79 TL'dir. 🥝	1.0
Aldığım ürünü kaç gün içinde geri gönderebilirim?	Teslimden sonraki 14 gün içinde ürününüzü iade edebilirsiniz. Bu süre aşılırsa iade ücreti bulunmuyor. 🥝	1.0
Kulaklığın paketini açtım, iade edebilir miyim?	Evet, kulaklıkların paketi açılmış durumda bile iade edilebilir. Ancak, bu durumda ürünün kütlesi ve özelliklerine kural	0.0
Paket ezik geldi, ne yapmalıyım?	Ezik paketle ilgili hasar tespit tutanağı tutturmanız gerekmektedir. Paketi teslim alma durumunda tutanağı tutturmuş olu	0.5
9 taksit yapıyor musunuz?	Anlaşmalı kredi kartlarına 2 ile 9 arasında taksit yapma şansınız var, ancak 9 taksit yalnızca 10.000 TL ve üzeri sipari	1.0
Koruma paketi telefon çalınırsa geçerli mi?	Bu bilgi rehberde yok, lütfen ilgili birimimize danışınız. 🥝	1.0
Puanlarım ne zaman siliniyor?	Puanlarınız teslimden sonraki 14 gün içinde hesabınıza geçer ve 12 ay geçerlidir. Bu süre içinde kullanmanız gerekmekted	1.0
Televizyonu duvara siz mi asıyorsunuz?	Evet, 750 TL tutarında bir ücretle duvar montajı hizmeti sunuyoruz. 🥝	1.0
Müşteri hizmetlerine hangi saatlerde ulaşabilirim?	Canlı destek ve çağrı merkezimiz her gün 08:00-24:00 saatleri arasında hizmet vermektedir. 🥝	1.0
Pixa 65 inç OLED Televizyon kaç para, stokta var mı?	Üzgünüm, şu an Pixa 65 inç OLED Televizyon stokta bulunmuyor. 🥝	0.5
Aero 14 Dizüstü Bilgisayardan iki tane alırsam ne öderim?	Aero 14 Dizüstü Bilgisayardan ikinci tane almanız için toplam 76.998 TL ödemeniz gerekmektedir. 🥝	1.0
Eski telefonumu takasa alıyor musunuz?	Eski telefonumuzu takas almayı seçerseniz, teslimden sonraki 14 gün içinde cayma hakkınızı kullanarak iade yapabilirsini	0.0
Yurt dışına gönderim yapıyor musunuz?	Evet, Kivi Elektronik'ten yurt dışında da siparişleme yapabilirsiniz. 🥝	0.0
Sepetim 4.750 TL, kapıda ödeyebilir miyim, kargo ücretli mi?	Merhaba! Sepetiniz 4.750 TL olduğu için kargo ücretsizdir ve kapıda ödeme seçeneği sunulmaktadır. İyi alışverişler diler	0.5
12.500 TL'lik siparişe 9 taksit yapılıyor mu, kaç Kivi Puan kazanırım?	Evet, 12.500 TL tutarındaki siparişinizde anlaşmalı kartlara 2 ila 9 taksit yapabilirsiniz ve kazanacağınız Kivi Puan mi	1.0
850 TL'lik bir sipariş verirsem kargoya ne öderim, kapıda ödeme olur mu?	850 TL'lik siparişinizde kargo ücreti 79 TL olup, kapıda ödeme seçeneği var. İyi alışverişler dileriz. 🥝	0.5

Gözlemler

Veri. Gemini ile 730 örnek üretildi (kimlik 250, RAG 286, ajan 194). Gözle kontrolde kimlik örneklerinin, rehber verilmeden üretildikleri için rehberle çelişen bilgiler içerdiği görüldü (ör. '3, 6, 9, 12 taksit', 'mağazadan teslim yok'; rehberde 2-9 taksit ve teslim noktaları var). İki denetim adımı eklendi: Gemini her kimlik cevabını rehberle karşılaştırdı (37 düzeltme) ve asistanın sipariş sistemine erişiyormuş gibi konuştuğu ya da müşteriden bilgi istediği cevapları ayıkladı (31 düzeltme). 'Rehberde yok' RAG örnekleri 27'den 34'e tamamlandı.

Eğitim. Test loss 0.256 → 0.213 → 0.214: üçüncü epoch'ta düzleşti, daha fazla epoch fayda getirmezdi.

Önce/sonra. Ham model kendini 'Qwen, Alibaba Cloud' (bir kez 'Albator Cloud') diye tanıtıyor, rehberde olmayan 'hediye paketi' hizmetini 'evet' diye uyduruyordu. Eğitimden sonra adını söyleme 0.70, işaret 0.90, RAG hakem puanı 0.33 → 0.60. Rehberde olmayan sorularda doğru reddetme 0.20 → 0.40 oldu ama sınırlı kaldı; gereksiz reddetme düşük (0.09). Uydurmaların ortak deseni: model eksik bilgiyi bağlamdaki yakın bir sayıyla dolduruyor (teslim noktası saatine e-posta yanıt süresi olan '24 saat', yorum süresine hasar bildirimi olan '48 saat'). Doğru araç 0.89 → 0.83'e düştü (yaklaşık 16 örnekte bir hata farkı). Hatalardan biri kendi verimizden geliyor: iki araçlı örneklerde 'N adet X alırsam' hep urun_bilgisi ile başladığı için model, fiyat soruda verilmişken de tabloya gidiyor; bir hatada var olmayan bir araç adı uydurdu.

Bağlamsız / RAG kıyası. Bağlamsız modda model kural sorularında ya 'bilgi veremiyorum' diyor ya da yanlış süre uyduruyor ('14 iş günü'); RAG'la kargo ücretini ve iade süresini rehberdeki rakamlarla veriyor. Ama bağlam her zaman kurtarmıyor: doğru bölüm (5. İade) bağlamdayken bile 'açılmış kulaklık iade edilebilir' dedi (rehbere göre hijyen nedeniyle edilemez). 'Takas' sorusunda bağlamsız model bilmediğini doğru söylerken RAG'lı model bağlamdaki iade kuralını takasa uyguladı; yani bağlam, rehberde olmayan konularda uydurmayı tetikleyebiliyor.

Test soruları. 16 soruda ortalama 0.69. Ajan tek araçlı sorularda doğru aracı ve argümanı seçti, 'Aero 14'ten iki tane' sorusunda tablo → hesap zincirini doğru kurdu (76.998 TL). Buna karşılık 'Bulut R7 kaç TL ve kapıda ödeme olur mu?' sorusunda ikinci aracı (odeme_secenekleri) çağırmadı ve bazı cevaplarda ayrıntı atladı (fiyat, 49 TL hizmet bedeli). 'Yurt dışına gönderim' ve 'takas' sorularında uydurdu. Gradio denemesinde de aynı kararsızlık görüldü: test setinde 4.750 TL'lik sepet için doğru aracı seçen model, 'Sepetim 3.200 TL, kargo öder miyim?' sorusunda Kivi Puan hesabını kargoyla karıştırıp hesapla(3200 / 100) çağırdı ve 'kargo 32 TL' dedi (doğrusu: ücretsiz). Hakem puanlamasında bir tutarsızlık da gözlendi: 'telefon çalınırsa koruma geçerli mi?' sorusuna verilen 'rehberde yok' cevabına tam puan verdi (doğrusu: hırsızlık kapsam dışı).

Ölçüm. İlk 'reddetme' sayacı 'rehberimizde yer almıyor' gibi çekimleri kaçırıp 0.10 gösteriyordu; kalıp düzeltilip iki ölçüm aynı model üzerinde (adaptör kapalı/açık) yeniden yapıldı. Sitedeki TF-IDF araması kelime eşleşmesine dayandığı için, eş anlamlı sorularda defterdeki Chroma (anlamsal arama) kadar isabetli olmayabilir.

Sınırlar

Sipariş sistemine erişimi yoktur; gerçek sipariş durumu, kişisel hesap ya da iade işlemi yapamaz. Rehberdeki kuralları ezberlemez; bağlamsız (Sohbet) modda sayıları uydurabilir. Rehberde olmayan konularda da hâlâ sık uydurur (ölçümde 10 sorudan 6'sı), bu yüzden kural soruları Rehber (RAG) modunda sorulmalıdır. Doğru bölüm bağlamdayken bile kuralı ters okuyabilir; iki araç gerektiren sorularda ikinci adımı atlayabilir; fiyatı soruda verilmiş hesaplarda yanlış araç seçebilir. Sitede CPU üzerinde çalıştığı için cevaplar 30-60 sn sürebilir. Kurgusal kurum verisiyle, eğitim amacıyla üretilmiştir.