Kivi-1.5B 🥝

Kivi, kurgusal Kivi Elektronik mağazası için Seda Ahi tarafından geliştirilen Türkçe müşteri hizmetleri asistanıdır. Ürün bilgileri, sipariş, ödeme, kargo, iade, değişim ve garanti konularında yardımcı olmayı amaçlar. Kimliği, üslubu ve araç kullanma davranışı QLoRA ince ayarıyla öğretilmiştir. Kurum kuralları rehber.pdf üzerinden RAG ile, ürünlerin fiyat, stok ve garanti bilgileri urunler.csv üzerinden araçla alınır. Rehber arama, ürün arama ve hesaplama araçlarına ek olarak sepet tutarına göre çalışan kargo_ucreti aracı geliştirilmiştir. Arayüz Sohbet, Rehber (RAG) ve Ajan olmak üzere üç mod sunar.

Bağlantılar: LoRA adaptörü · GGUF · Eğitim verisi · Site dosyaları

Yayın durumu: Space oluşturma isteği 402 hatasıyla reddedilmiştir. Site dosyaları GGUF deposunun space/ klasörüne yüklenmiş olup eğitmen vitrini üzerinden yayınlanmayı beklemektedir.

Taban model

Qwen/Qwen2.5-1.5B-Instruct. Qwen/Qwen2.5-1.5B-Instruct; hazır sohbet şablonu, Türkçe kullanımına uygunluğu, Apache-2.0 lisansı ve sınırlı GPU kaynaklarıyla ince ayar yapılabilmesi nedeniyle seçilmiştir. Küçük model boyutu, Colab T4 ortamında eğitim ve GGUF biçiminde CPU üzerinde çalıştırma imkanı sağlamıştır. Bu çalışmada eğitim 16,7 dakika sürmüş ve tepe GPU bellek kullanımı 3,56 GB olmuştur. GGUF CPU denemesinde üç cevap toplam 102 saniyede üretilmiştir. Bu çalışmada başka bir taban model denenmemiştir.

Veri ve eğitim

Toplam 475 sentetik sohbet örneği Gemini ile üretilmiştir: 150 kimlik, 167 RAG, 120 tek adımlı ajan kararı ve 38 iki turlu ajan örneği.

428 örnek eğitim, 47 örnek değerlendirme için ayrılmıştır. Ayrıca veri paketindeki 13 soruya, geliştirilen kargo aracını gerektiren 2 soru eklenerek 15 soruluk uçtan uca değerlendirme yapılmıştır.

QLoRA: r=16, alpha=32, tüm doğrusal katmanlar, 3 epoch, öğrenme hızı 2e-4, maksimum örnek uzunluğu 1024 token.

Ölçümler (önce → sonra, değerlendirme seti)

Ölçüt	Taban	Kivi
kimlik_ad	0.00	1.00
kimlik_isaret	0.00	1.00
ajan_json	0.81	1.00
ajan_arac	0.12	0.94
rag_hakem	0.47	0.53
rag_isaret	0.00	1.00

Test soruları

Gemini hakem ölçeği: 1 / 0.5 / 0.
Soru sayısı: 15
Ortalama puan: 0.37 / 1

Soru	Cevap	Puan
Kargo ücreti ne kadar?	Kargo ücreti 79 TL'dir. 🥝	0.5
Aldığım ürünü kaç gün içinde geri gönderebilirim?	Ürününüzü teslim tarihinden itibaren 14 gün içinde iade edebilirsiniz. 🥝	1.0
Kulaklığın paketini açtım, iade edebilir miyim?	Evet, kulaklığın paketini açmadan önce, teslimden sonraki 48 saat içinde fotoğrafı çekerek canlı destek üzerinden bildirmeniz gerekecek. 🥝	0.0
Paket ezik geldi, ne yapmalıyım?	Paketi kargo görevlisinin yanında kontrol edin. Eğer paket ezik, ıslak ya da açılmışsa, bu durumu hasar tespit tutanağına kaydetme ve paketi teslim almayın. 🥝	0.5
9 taksit yapıyor musunuz?	Evet, 9 taksit yalnızca 10.000 TL ve üzeri siparişlerde geçerlidir. 🥝	0.5
Koruma paketi telefon çalınırsa geçerli mi?	Bu bilgi rehberde yok. 🥝	0.0
Puanlarım ne zaman siliniyor?	Puanlar teslimden sonraki 14 gün içinde sıfırlandır. 🥝	0.0
Televizyonu duvara siz mi asıyorsunuz?	Hayır, televizyon duvar montajı için 750 TL öder ve sipariş sırasında eklenir. 🥝	0.0
Müşteri hizmetlerine hangi saatlerde ulaşabilirim?	Bunu Kivi Elektronik'in canlı destek ve çağrı merkezinden öğrenebilirsiniz. Her gün 08:00-24:00 saatleri arasında bu numarasına ulaşabilirsiniz. 🥝	1.0
Pixa 65 inç OLED Televizyon kaç para, stokta var mı?	Pixa 65 inç OLED Televizyon'ü 64999 TL'dir ve stokta bulunmamaktadır. 🥝	1.0
Aero 14 Dizüstü Bilgisayardan iki tane alırsam ne öderim?	İletişim için lütfen 20'den az bir kargo talebi gönderiniz. 🥝	0.0
Eski telefonumu takasa alıyor musunuz?	Evet, Kivi Elektronik'te ürünleri takip etme ve iade sürecini kolaylaştırmak için takip numarasını kullanabilirsiniz. Takip numarasını size göndermek için lütfen e-postanızdaki adresinizi paylaşmanız gerekecektir. 🥝	0.0
Yurt dışına gönderim yapıyor musunuz?	Hayır, Kivi Elektronik'in teslimat politikamızda özel teslimasyonu için özel bir servise ihtiyaç duymakta. Beyaz eşya ve 65 inç üzeri televizyonları özel teslimatla gönderilir. 🥝	0.0
Sepetim 750 TL. Teslim noktasından almayacağım, adresime gönderimde kargo ücreti kaç TL?	Standart adrese teslimde kargo ücreti 79 TL'dir. Kivi Teslim Noktasından alım seçilirse kargo ücretsizdir.	1.0
Sepet tutarım tam 1000 TL. Adresime teslim için kargo ücreti öder miyim?	Adresine teslim kargo ücreti 79 TL'dir. 🥝	0.0

Gözlemler

Gemini ile 150 kimlik, 167 RAG, 120 tek adımlı ajan kararı ve 38 iki turlu ajan örneği olmak üzere toplam 475 sentetik örnek üretilmiş; 428 örnek eğitim, 47 örnek değerlendirme için ayrılmıştır. Gözle incelenen örneklerde genel olarak kimlik ve işaret korunmuş, ancak bazı cevaplarda kaynak anlamının değişebildiği görülmüştür. Örneğin para iadesinin 3 iş günü içinde başlatılması kuralı, bir örnekte 3 iş günü sonra başlatılması şeklinde ifade edilmiştir. Eğitim örneklerinin tamamı 1024 token sınırının altında kalmıştır. Üç epoch boyunca doğrulama loss değerleri 0,461, 0,223 ve 0,207 olarak düşmüştür. Eğitim sonrası kimlikte ad ve işaret oranları 0'dan 1'e, geçerli JSON oranı 0,81'den 1'e, doğru araç seçimi 0,12'den 0,94'e yükselmiştir. RAG hakem puanı ise 0,47'den 0,53'e sınırlı artış göstermiştir. Bu ölçümler tam cevap doğruluğunu garanti etmemiş; ayrı 15 soruluk uçtan uca testte ortalama puan 0,37 olmuştur. Bağlamsız cevaplar kuralları uydurabilirken, RAG iade süresi gibi bazı soruları düzeltmiştir. Bununla birlikte doğru bölüm getirildiğinde bile kargo koşullarını atlama, hijyen istisnasını yanlış yorumlama ve kaynakta bulunmayan bilgiler üretme görülmüştür. Tek bölümle arama ve ek cevap talimatları ayrı deneyler olarak denenmiş, tutarlı iyileşme sağlamadığından asıl RAG akışı değiştirilmemiştir. Ajan ürün fiyatı ve stok bilgisini doğru aktarabilmiş, ancak ürün aramasından sonra hesaplama gerektiren soruda ikinci aracı çağırmamıştır. 750 TL sepet sorusunda kargo aracını doğru kullanırken, tam 1000 TL sorusunda yanlış araç seçmiştir. Gradio'nun üç modu ve GGUF tabanlı CPU uygulaması denenmiştir. 'Kargo ücreti ne kadar?' sorusunda Chroma araması '3. Kargo' ve '2. Ödeme seçenekleri' bölümlerini getirirken, CPU uygulamasındaki TF-IDF araması '3. Kargo' ve '11. Ön sipariş' bölümlerini getirmiştir. Her iki yöntemde de cevap 79 TL bilgisini vermiş ancak ücretsiz kargo koşulunu atlamıştır. Bu örnekte ikinci kaynak değişmiş, doğru kargo bölümü bulunmasına rağmen cevap eksik kalmıştır.

Sınırlar

Bu çalışma eğitim amaçlı bir prototiptir; gerçek bir mağazanın resmi asistanı değildir. Gerçek müşteri hesaplarına, siparişlere ve canlı stok sistemlerine erişmez. Kurum bilgileri yalnızca sağlanan kurgusal rehber ve ürün tablosuyla sınırlıdır. Küçük model, bağlam verilse bile koşulları atlayabilir, çelişkili evet/hayır cevapları verebilir ve rehberde bulunmayan bilgileri uydurabilir. Kimlikte ad kullanma ve JSON biçimi ölçümleri anlamsal doğrulukla aynı değildir. Çok adımlı araç kullanımı ve sınır değer içeren sorularda güvenilirliği düşüktür. Gemini hakem puanları otomatik değerlendirmedir; insan incelemesinin yerini tutmaz. Colab'da Chroma ve çok dilli embedding, CPU site uygulamasında ise TF-IDF araması kullanıldığından bulunan kaynaklar ve cevaplar farklılaşabilir. CPU cevapları yavaştır. Space oluşturma isteği 402 hatasıyla reddedildiği için site dosyaları GGUF deposunun space/ klasörüne yüklenmiştir; kalıcı yayın eğitmen vitrini üzerinden yapılmayı beklemektedir.