Kivi-1.5B: Kivi Elektronik Müşteri Hizmetleri Asistanı 🥝

Bu model, Tech Istanbul Uygulamalı Yapay Zekâ Geliştirme Bootcamp'i Bitirme Projesi kapsamında geliştirilmiş bir müşteri hizmetleri asistanıdır. Kurgusal "Kivi Elektronik" firmasının sipariş, kargo, iade, garanti, Kivi Koruma Paketi ve ürün bilgi süreçlerini yönetmek üzere tasarlanmıştır.

1. Proje Özeti

Kivi, internet üzerinden tüketici elektroniği satışı yapan Kivi Elektronik mağazasının müşteri temsilcisidir. Kullanıcılara sipariş aşamasından teslimat sonrasına kadar tüm süreçlerde Türkçe, samimi ve net bir üslupla destek verir. Model; kurum politikalarını ezberlemek yerine harici bilgi kaynaklarını kullanarak cevap üretmek üzere eğitilmiştir. Kural ve politika bilgileri 14 bölümlük kurumsal müşteri rehberinden (RAG / Chroma vektör veritabanı üzerinden), anlık ürün stok ve fiyat bilgileri yapısal CSV tablosundan (urun_bilgisi aracı), aritmetik işlemler hesapla aracından ve taksitlendirme seçenekleri taksit_hesapla aracından dinamik olarak çekilir. Model yanıtlarını her zaman 🥝 emojisiyle tamamlar.

2. Taban Model Gerekçesi

Taban model olarak Qwen/Qwen2.5-1.5B-Instruct tercih edilmiştir. Bu seçimin temel gerekçeleri şunlardır:

Çok Dilli Yetenek ve Türkçe Uyumu: Qwen2.5 ailesi, küçük parametre boyutuna rağmen zengin çok dilli ön eğitime sahiptir ve Türkçe sentaksı başarıyla kavrar.
Hızlı ve Verimli Çıkarım: 1.5B parametre boyutu, Google Colab'ın ücretsiz T4 GPU ortamında 4-bit (NF4) QLoRA ile bellek taşması (OOM) yaşamadan hızlıca eğitilebilir.
CPU ve Kenar Cihaz Uyumluluğu: Modelin llama.cpp ile GGUF (q8_0) formatına dönüştürüldüğünde (~1.65 GB) Hugging Face Space gibi kısıtlı 2 çekirdekli CPU ortamlarında düşük gecikmeyle çalışabilmesi hedeflenmiştir.

3. Gözlemler ve Değerlendirme

Proje geliştirme sürecinde aşağıdaki teknik gözlemler elde edilmiştir:

Eğitim Öncesi ve Sonrası: Ham Qwen2.5 modeli kurumsal kimliği ve imza emojisini hiç bilmezken (kimlik_kivi: 0.00, kimlik_isaret: 0.00), 3 epoch QLoRA eğitimi sonrasında bu oran 0.90 seviyesine çıkmıştır. Ortalama eğitim kaybı (loss) 0.636'dan 0.288'e istikrarlı bir şekilde gerilemiştir.
Ajan ve JSON Protokolü: Ham modelin geçerli JSON üretimi %75 ve doğru araç seçimi %25 iken, ince ayar sonrasında tek ve iki turlu ReAct JSON protokolüne tam uyum sağlanarak %100 (1.00) doğruluğa ulaşılmıştır.
RAG ve Halüsinasyon Kontrolü: Model tek başına bırakıldığında kargo ve iade sürelerini uydurma eğilimindeyken, Chroma RAG zinciri üzerinden ilgili rehber bölümleri bağlam olarak verildiğinde rehberdeki gerçek tutarları (ör. 79 TL kargo ücreti, 14 gün iade süresi) doğru şekilde aktarmıştır. Rehberde olmayan sorularda (ör. eski telefon takası) halüsinasyon üretmeyip doğrudan destek ekibine yönlendirme refleksini başarıyla sergilemiştir.
Test Soruları: 15 test sorusu üzerinde Gemini hakem değerlendirmesinde %63.3 başarı oranı elde edilmiştir. Tek adımlı RAG ve araç çağırma sorularında tam puan alınırken, hem tablo hem hesaplama gerektiren iki adımlı karmaşık sorularda küçük modelin ikinci adımı atlama eğiliminde olduğu gözlemlenmiştir.

4. Sınırlar ve Kullanım Önerileri

Dilbilgisi ve Sentaks Sınırları: 1.5B kompakt parametre boyutu sebebiyle, bağlamdan doğru bilgiyi çekse dahi nadiren devrik veya mekanik cümleler kurabilmektedir (ör. olumsuz iade şartlarını özetlerken ifade eksikliği).
Arama Yöntemi Hassasiyeti: Vektör tabanlı Chroma araması anlamsal yakınlığı başarıyla yakalarken, CPU ortamındaki hafif TF-IDF arama motoru birebir kelime eşleşmesine bağımlıdır; bu nedenle kullanıcıların soruları açık ve anahtar kelimelerle iletmesi önerilir.
Çok Adımlı Muhakeme: Model tek seferde bir aracı başarıyla çalıştırabilmekle birlikte, zincirleme hesaplama gerektiren durumlarda doğrudan yanıt üretmeye meyillidir.

Başarı Ölçüm Tabloları

Eğitim Öncesi ve Sonrası Karşılaştırma

Ölçüt	Ham Model (Önce)	Kivi LoRA (Sonra)	Fark
kimlik_kivi	0.00	0.90	+0.90
kimlik_isaret (🥝)	0.00	0.90	+0.90
ajan_json	0.75	1.00	+0.25
ajan_arac	0.25	1.00	+0.75
rag_hakem	0.43	0.57	+0.14
rag_isaret	0.00	1.00	+1.00