Bihter-1.5B 🌸

Begonvil Otel için resepsiyon asistanı. Qwen2.5-1.5B-Instruct üzerine QLoRA (r=16) ile ince ayar yapılmıştır. RAG, ajan (JSON protokolü) ve kimlik davranışı eğitimle modele işlenmiş; bilgi rehberden ve oda tablosundan gelir.

Proje Özeti

Bihter, Begonvil Otel'in resepsiyon asistanıdır. Misafirlere giriş-çıkış, rezervasyon, yeme-içme, havuz, spa, transfer, evcil hayvan, otopark, etkinlikler konularında yardım eder. Bilgi iki kaynaktan gelir: (1) otel rehberi (PDF, 15 numaralı bölüm, Chroma + mpnet-base-v2 ile vektör arama), (2) odalar.csv tablosu (oda_bilgisi aracı ile deterministik arama). Kimlik, üslup (Türkçe, kısa, sıcak) ve 🌸 işareti QLoRA ince ayarıyla modele işlenmiştir.

Taban Model Gerekçesi

Qwen/Qwen2.5-1.5B-Instruct seçildi. Nedenler: (a) ücretsiz T4 GPU'da 4-bit QLoRA ile ~3 saatte eğitilebiliyor, (b) hazır Türkçe sohbet şablonu ve iyi Türkçe üretimi var, (c) lisansı türev yayına izin veriyor (Apache-2.0), (d) 3B'ye göre CPU'da yaklaşık 2× hızlı cevap üretiyor (sitede bu kritik). 7B T4 belleğine sığmıyor; 3B denendiğinde eğitim süresi ve CPU çıkarımı iki katına çıkıyordu, bu yüzden 1.5B'de karar kılındı.

Gözlemler

Veri: 504 sentetik örnek üretildi (kimlik, RAG, ajan, ajan2). Rastgele örnekleri gözle kontrol ettim; ilk turda bazı kimlik cevapları İngilizce'ye kaçtı, TEMALARdaki dil vurgusunu artırdım.

Önce/Sonra ölçümü:

Ölçüt	Önce	Sonra
Kimlikte "Bihter/Begonvil"	0.00	1.00
🌸 işareti	0.00	1.00
Geçerli JSON	0.65	0.94
Doğru araç	0.24	0.88
RAG hakem	0.37	0.37

En büyük kazanç doğru araç seçiminde (0.24 → 0.88). Model eğitimden önce JSON üretse de aracı yanlış seçiyordu; QLoRA sonrası neredeyse tam isabetli.

RAG kıyası (bağlamsız vs Chroma-RAG):

• Rezervasyonumu 3 gün kala iptal edersem ne öderim?
  • Bağlamsız: Üzgünüm, bu bilgi sizi doğrudan ilgilendirmiyor. Lütfen resepsiyona danışınız. 🌸
  • Bağlamlı (Chroma): Bu bilgi rehberde yok. Lütfen resepsiyona danışınız. 🌸
• Havalimanından alıyor musunuz, ücreti ne kadar?
  • Bağlamsız: Merhaba! Havalimanı çıkışınız için ücretsizdir. 🌸
  • Bağlamlı (Chroma): Transfer ücretimiz 1.800 TL'dir. 🌸
• Kedimi getirebilir miyim?
  • Bağlamsız: Evet, size ulaşabiliriz. 🌸
  • Bağlamlı (Chroma): Evet, kedi ve köpeklere uygun bir seçenek var. 🌸
• Odaya kaçta girebilirim, çıkış saati kaç?
  • Bağlamsız: Merhaba! Giriş ve çıkış saatleri hakkında bilgi verebilirim. 🌸
  • Bağlamlı (Chroma): Giriş saati 14:00'dir ve çıkış saati 12:00'dir. 🌸
• Otoparkta elektrikli araç şarjı var mı?
  • Bağlamsız: Evet, otoparkımızda elektrikli araçlar için şarj hizmeti mevcuttur. 🌸
  • Bağlamlı (Chroma): Evet, otoparkta iki elektrikli araç şarj istasyonu mevcuttur. 🌸

Bağlamsız cevaplar sayı uydurdu; Chroma-RAG ile rehberdeki sayıyı getirdi.

Test soruları: 15 sorunun ortalaması 0.53. yok kaynaklı sorularda model rehberde olmadığını söyleyip resepsiyona yönlendirdi.

Sınırlar

• Asistan yalnızca rehberde ve oda tablosunda yazanı bilir; bilmediği sorularda "Bu bilgi rehberde yok" der ve resepsiyona yönlendirir.
• Sitede (CPU) cevaplar 10–60 sn sürebilir; model GGUF q8_0'dır.
• Sitedeki TF-IDF araması kelime benzerliğine dayanır. Rehberde geçmeyen eş anlamlı kelimelerle sorulan sorularda yanlış bölüm getirebilir (ör. "konaklama" ile "giriş-çıkış"). Defterdeki Chroma + mpnet bu tür sorularda daha iyi çalışır.
• 1.5B model, tablo + hesap gerektiren çok adımlı sorularda ikinci adımı atlayabilir; bu durumda hakem puanı 0.5'e düşer.